CN115292470A - 一种用于小额贷款智能客服的语义匹配方法及系统 - Google Patents

Abstract

本发明提供一种用于小额贷款智能客服语义匹配的方法；包括S1：进入模型预训练阶段，对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；本发明提供的用于小额贷款智能客服语义匹配的方法增强了BERT模型对小额贷咨询业务领域关键信息的建模能力，提升模型在语义匹配任务中的效果，相对于其他语义匹配技术，BERT模型可以学习到语义层的信息，支持数据并行处理，提高了语义匹配准确率，进一步的优化了模型，也降低了训练时间和成本。

Description

一种用于小额贷款智能客服的语义匹配方法及系统

技术领域

本发明涉及金融智能客服技术领域，具体涉及一种用于小额贷款智能客服的语义匹配方法。

背景技术

目前，在各金融公司的业务发展的实际需要中，智能客服系统与海量用户之间的沟通建立了一种基于自然语言的快捷有效的技术手段，同时还能够为企业提供精细化管理所需的统计分析信息。实现智能客服的关键技术是自然语言处理中的文本语义匹配，其中文本语义匹配是研究两个文本之间语义等价的度量，是自然语言处理的基础任务之一。在智能问答中，语义匹配的任务是将用户输入的问题与知识库中的标准问题进行匹配，返回与用户所提问题语义相似度最高的标准问题，并根据标准问题返回答案。但是，大型企业的客服系统所涉及的产品和服务种类繁多，不同企业间的产品都不相同，用户提出的问题都趋向于口语化缺乏标准性，这样就会使用户提问与标准问题库之间的语义精准匹配存在一定难度。在现有的语义匹配方案中，基于VSM 和Word2vec 的方法只能学习到句子中各词语的表层信息，无法学习到句子中的语义层信息，仅根据句子中词汇的相似性判断两个句子相似，容易受小额贷业务咨询中专业用语占比高的影响，导致语义匹配准确率较低。基于双向长短期记忆网络（Bi-LSTM）实现的语义匹配，是将整个句子作为输入，没有对句子中重要信息进行提取，另外由于Bi-LSTM网络的结构复杂，不能并行处理输入，训练和测试的计算能力受内存和带宽约束，导致其训练代价高，在实际应用中存在局限性。因此需要一种可以最大化的利用文档中含有的知识去调整BERT模型中的网络参数,增强模型在语义匹配任务中的性能，提高语义匹配准确率的用于小额贷款智能客服的语义匹配方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于BERT模型，可以增强模型在语义匹配任务中的性能，提高语义匹配准确率的用于小额贷款智能客服的语义匹配方法。

为了实现本发明的目的，本发明提供了一种用于小额贷款智能客服的语义匹配方法，包括以下步骤：

S1：进入模型预训练阶段，对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；

S2：进入模型调整阶段，获取网络上关于小额贷咨询业务的问题，对获取的问题进行加工处理并且匹配标注，形成调整语料，使用调整语料对训练后的匹配模型进行调整训练，得到调整后的匹配模型；

S3：进入模型应用阶段，接收用户的提问，将用户所提问题与预设问题库中的多个标准问题构成问题对，输入到调整后的匹配模型中计算相似度，得到相似度最高的问题对，根据相似度最高的问题对中的标准问题向用户反馈问题答案。

优选的，步骤S1进一步包括如下子步骤：

S11：运用随机掩码方法对预设文档进行遮掩处理；

S12：将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练，得到BERT’模型；

S13：运用专业用语全词掩码方法对预设文档进行遮掩处理；

S14：将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT’模型训练，得到训练后的匹配模型；

在步骤S11中，所述随机掩码方法用于对给定长度为T的句子序列x=[x1,…,xT]，随机选择其中第一预设比例的token，将选中token中的第二预设比例token替换成“[MASK]”，第三预设比例token替换成一个随机的token，第四预设比例token保留原来的token，被遮掩后的句子为x’，第二预设比例、第三预设比例、第四预设比例之和为100%；

在步骤S12中，将x’输入到BERT模型中；经过多层Transformer编码后得到隐向量序列h(x’)=[h1,...hT]，并运用公式（1）所示的交叉熵损失函数计算掩码训练的损失值以更新BERT模型的参数，得到BERT’模型；

在步骤S13中，所述专业用语全词掩码方法首先运用关键词匹配法，对于输入长度为T的句子序列x=[x1,…,xT]，找到领域专业词汇序列xi:j；用j-i+1个“[MASK]”替换xi:j得到遮掩后的句子x′；

在步骤S14中，将步骤13中的x作为lable，与x′一起输入到BERT’模型中，经过多层Transformer编码后得到最后一层的隐向量序列为h(x’)=[h1,...hT]，并对h(x’)中的h(x’)i:j运用公式（1）所示的交叉熵损失函数，计算掩码训练的损失值以更新BERT’模型的参数，得到训练后的匹配模型；

公式（1）为

所述x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

优选的，步骤S2进一步包括如下子步骤：

S21：使用网络爬虫技术从网络上获取关于小额贷咨询业务的问题；

S22：对获取的问题进行人工清洗，将问题中与特定产品相关的词汇替换为通用词汇；

S23：对清洗后的问题进行筛选与人工匹配标注，先将问题随机两两配对，而后判断问题对的语义是否一致，若一致则标注为相似标签，反之标注为不相似标签；

S24：将标注好的问题作为调整语料，将所述调整语料输入至训练后的匹配模型中进行调整训练，得到调整后的匹配模型。

优选的，步骤S3进一步包括如下子步骤：

S31：接收用户的提问；

S32: 将用户提问与问题库中的多个标准问题组成多个问题对；

S33：将S32步骤获得的全部问题对输入至调整后的匹配模型中，得到每个问题对的标签以及预测该标签的概率，标签包括语义不相似标签和语义相似标签，概率为调整后的匹配模型判断问题对中两个问题相似或者不相似的可信度；

S34：根据调整后的匹配模型输出的全部问题对的标签及标签的概率，对标签为语义相似标签的问题对的概率进行排序，选择标签为语义相似标签且概率最高的问题对为目标问题对；

S35：选择与目标问题对中的标准问题相对应的答案，向用户反馈所述答案。

优选的，在步骤S11中，所述预设文档包括小额贷款产品手册与活动说明文档，在步骤S13中，关键词包括小额贷款产品名称、小额贷款专业用语。

优选的，本发明还提供一种用于小额贷款智能客服的语义匹配系统，包括：

模型预训练模块，用于对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；

模型调整模块，用于获取网络上关于小额贷咨询业务的问题，对获取的问题进行加工处理并且匹配标注，形成调整语料，使用调整语料对训练后的匹配模型进行调整训练，得到调整后的匹配模型；

模型应用模块，用于接收用户的提问，将用户所提问题与预设问题库中的多个标准问题构成问题对，输入到调整后的匹配模型中计算相似度，得到相似度最高的问题对，根据相似度最高的问题对中的标准问题向用户反馈问题答案。

优选的，所述模型预训练模块采用如下方法进行BERT模型预训练：

S11：运用随机掩码方法对预设文档进行遮掩处理；

S12：将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练，得到BERT’模型；

S13：运用专业用语全词掩码方法对预设文档进行遮掩处理；

S14：将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT’模型训练，得到训练后的匹配模型；

在步骤S11中，所述随机掩码方法用于对给定长度为T的句子序列x=[x1,…,xT]，随机选择其中第一预设比例的token，将选中token中的第二预设比例token替换成“[MASK]”，第三预设比例token替换成一个随机的token，第四预设比例token保留原来的token，被遮掩后的句子为x’，第二预设比例、第三预设比例、第四预设比例之和为100%；

在步骤S12中，将x’输入到BERT模型中；经过多层Transformer编码后得到隐向量序列h(x’)=[h1,...hT]，并运用公式（1）所示的交叉熵损失函数计算掩码训练的损失值以更新BERT模型的参数，得到BERT’模型；

在步骤S13中，所述专业用语全词掩码方法首先运用关键词匹配法，对于输入长度为T的句子序列x=[x1,…,xT]，找到领域专业词汇序列xi:j；用j-i+1个“[MASK]”替换xi:j得到遮掩后的句子x′；

在步骤S14中，将步骤13中的x作为lable，与x′一起输入到BERT’模型中，经过多层Transformer编码后得到最后一层的隐向量序列为h(x’)=[h1,...hT]，并对h(x’)中的h(x’)i:j运用公式（1）所示的交叉熵损失函数，计算掩码训练的损失值以更新BERT’模型的参数，得到训练后的匹配模型；

公式（1）为

优选的，所述x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

优选的，所述模型调整模块采用如下方法调整训练后的匹配模型：

S21：使用网络爬虫技术从网络上获取关于小额贷咨询业务的问题；

S22：对获取的问题进行人工清洗，将问题中与特定产品相关的词汇替换为通用词汇；

S23：对清洗后的问题进行筛选与人工匹配标注，先将问题随机两两配对，而后判断问题对的语义是否一致，若一致则标注为相似标签，反之标注为不相似标签；

S24：将标注好的问题作为调整语料，将所述调整语料输入至训练后的匹配模型中进行调整训练，得到调整后的匹配模型。

优选的，所述模型应用模块采用如下方法获得用户问题的答案：

S31：接收用户的提问；

S32: 将用户提问与问题库中的多个标准问题组成多个问题对；

S33：将S32步骤获得的全部问题对输入至调整后的匹配模型中，得到每个问题对的标签以及预测该标签的概率，标签包括语义不相似标签和语义相似标签，概率为调整后的匹配模型判断问题对中两个问题相似或者不相似的可信度；

S34：根据调整后的匹配模型输出的全部问题对的标签及标签的概率，对标签为语义相似标签的问题对的概率进行排序，选择标签为语义相似标签且概率最高的问题对为目标问题对；

S35：选择与目标问题对中的标准问题相对应的答案，向用户反馈所述答案。

优选的，在步骤S11中，所述预设文档包括小额贷款产品手册与活动说明文档，在步骤S13中，关键词包括小额贷款产品名称、小额贷款专业用语。

本发明的有益效果为：本发明提供了一种用于小额贷款智能客服语义匹配的方法，本方法基于预训练语言模型BERT，应用到实际任务时运用任务相关语料进行继续训练，通过三个步骤增强BERT模型对小额贷咨询业务领域关键信息的建模能力，提升模型在语义匹配任务中的效果，相对于其他语义匹配技术，BERT模型可以学习到语义层的信息，支持数据并行处理，提高了语义匹配准确率，进一步的优化了模型，也降低了训练时间和成本。

附图说明

通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。

图1为本发明提供的用于小额贷款智能客服语义匹配的方法的示意图；

图2 为本发明提供的用于小额贷款智能客服语义匹配的系统的示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。

需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。本文所使用的术语“安装”、“一端”、“另一端”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本文的技术领域的技术人员通常理解的含义相同。本文中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，本发明的优选实施例提供了一种用于小额贷款智能客服的语义匹配的方法，具体包括以下步骤：

S1：进入模型预训练阶段，对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；

S2：进入模型调整阶段，获取网络上关于小额贷咨询业务的问题，对获取的问题进行加工处理并且匹配标注，形成调整语料，使用调整语料对训练后的匹配模型进行调整训练，得到调整后的匹配模型；

S3：进入模型应用阶段，接收用户的提问，将用户所提问题与预设问题库中的多个标准问题构成问题对，输入到调整后的匹配模型中计算相似度，得到相似度最高的问题对，根据相似度最高的问题对中的标准问题向用户反馈问题答案；

在本方法的优选实施例中，预设文档为小额贷款的产品手册与活动说明文档，在步骤S1中，也就是预训练阶段，用掩码对输入的产品手册与活动说明文档进行预处理再训练。

参考图1所示，步骤S1进一步包括如下子步骤：

S11：运用随机掩码方法对预设文档进行遮掩处理，具体的，在子步骤S11中，先将输入的语料先复制一份，然后将复制的语料用随机掩码方法遮掩部分的字或词;

S12：将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练，得到BERT’模型；具体的，在本子步骤S12中，使用随机掩码方法对文档进行遮掩处理，可以充分利用产品手册和活动文档的知识，将token随机替换成[MASK]，进行无监督训练，被遮掩后的语料和原始语料会一起输入至模型中，模型根据上下文信息来预测被遮掩的部分内容，而原始语料则作为标签判断模型预测是否正确。

S13：运用专业用语全词掩码方法对预设文档进行遮掩处理；

S14：将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT’模型训练，得到训练后的匹配模型，该匹配模型为知识增强的BERT模型。使用专业用词全词掩码方法，更改了预训练阶段的训练样本生成策略，使模型在训练过程中预测同一个词中的每一个被mask的token，更好地捕捉词与词的边界关系。

在以上的子步骤中，对同一份语料采用了随机掩码方法和专业用语全词掩码两种遮掩方式，实现了对产品手册与活动说明文档中知识的最大化利用。

在步骤S11中，随机掩码方法用于对给定长度为T的句子序列x=[x1,…,xT]，随机选择其中第一预设比例的token，将选中token中的第二预设比例token替换成“[MASK]”，第三预设比例token替换成一个随机的token，第四预设比例token保留原来的token，被遮掩后的句子为x’，第二预设比例、第三预设比例、第四预设比例之和为100%；使用随机掩码方法，可以充分利用产品手册和活动文档的知识，将token随机替换成[MASK]，进行无监督训练。在本实施例中，第一预设比例可以是15%，第二预设比例可以是80%，第三预设比例和第四预设比例可以均为10%。当然，在其他实施例中，上述比例也可以调整，例如第一预设比例为20%，第二预设比例为70%，第三预设比例为20%，第四预设比例为10%。

在步骤S12中，将x’输入到BERT模型中；经过多层Transformer编码后得到隐向量序列为h(x’)=[h1,...hT]，并运用公式（1）所示的交叉熵损失函数计算掩码训练的损失值以更新BERT模型的参数，得到BERT’模型；

在步骤S13中，专业用语全词掩码方法首先运用关键词匹配法，对于输入长度为T的句子序列x=[x1,…,xT]，找到领域专业词汇序列xi:j；用j-i+1个“[MASK]”替换xi:j得到遮掩后的句子x′；

在步骤S14中，将步骤13中的x作为lable，与x′一起输入到BERT’模型中，经过多层Transformer编码后得到最后一层的隐向量序列为h(x’)=[h1,...hT]，并对h(x’)中的h(x’)i:j运用公式（1）所示的交叉熵损失函数，计算掩码训练的损失值以更新BERT’模型的参数，得到训练后的匹配模型；

公式（1）为

其中，x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

参考图1所示，步骤S2进一步包括如下子步骤：

S21：使用网络爬虫技术从网络上获取关于小额贷咨询业务的问题，网络爬虫技术已为现有技术，具体的，网络爬虫技术也称网络机器人或网络蜘蛛，是通过模拟人（网络用户）的行为，自动、高效地浏览互联网并抓取所需数据的计算机程序；

S22：对获取的问题进行人工清洗，将问题中与特定产品相关的词汇替换为通用词汇，具体的，例如可以将贷款的产品名称替换成概念性用语,如“贷款”，还可以将贷款平台的名称替换成“银行”，“APP”等泛指性用语，减少这些专有名词在微调过程中对模型造成的干扰；

S23：对清洗后的问题进行筛选与人工匹配标注，先将问题随机两两配对，而后判断问题对的语义是否一致，若一致则标注为相似标签，反之标注为不相似标签，具体的，可以将相似标签设置为1，不相似标签设置为0；

S24：将标注好的问题作为调整语料，将调整语料输入至训练后的匹配模型中进行调整训练，得到调整后的匹配模型，调整语料也相当于是训练语料，训练语料可以对知识增强的BERT进行微调，使BERT模型适应语义匹配任务。

参考图1所示，步骤S3进一步包括如下子步骤：

S31：接收用户的提问；

S32: 将用户提问与问题库中的多个标准问题组成多个问题对，具体的，如果问题库中有n个问题，那么对于每一个用户提问都会产生n个问题对；

S33：将S32步骤获得的全部问题对输入至调整后的匹配模型中，得到每个问题对的标签以及预测该标签的概率，具体的，将n个问题对输入知识增强的语义匹配BERT模型，模型会返回问题对的标签与预测为该标签的概率；

标签包括语义不相似标签和语义相似标签，设置语义不相似标签为0，设置语义相似标签为1；

概率为调整后的匹配模型判断问题对中两个问题相似或者不相似的可信度，其中，概率越高则表示为模型认为两个句子语义相识度越高；

S34：根据调整后的匹配模型输出的全部问题对的标签及标签的概率，对标签为语义相似标签的问题对的概率进行排序，选择标签为语义相似标签且概率最高的问题对为目标问题对,即对标签为1的预测概率进行排序，就可以返回预测概率最高的问题对；

S35：选择与目标问题对中的标准问题相对应的答案，向用户反馈答案。

参考图1所示，在进一步的优选实施例中，在步骤S11中，预设文档包括小额贷款产品手册与活动说明文档，在步骤S13中，关键词包括小额贷款产品名称、小额贷款专业用语。

参考图2所示，本发明的优选实施例还提供一种用于小额贷款智能客服的语义匹配系统，包括：

模型预训练模块，用于对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；

模型调整模块，用于获取网络上关于小额贷咨询业务的问题，对获取的问题进行加工处理并且匹配标注，形成调整语料，使用调整语料对训练后的匹配模型进行调整训练，得到调整后的匹配模型；

模型应用模块，用于接收用户的提问，将用户所提问题与预设问题库中的多个标准问题构成问题对，输入到调整后的匹配模型中计算相似度，得到相似度最高的问题对，根据相似度最高的问题对中的标准问题向用户反馈问题答案；

在本系统中的三个模块根据小额贷款智能客服的语义匹配的方法进行运行，在微调阶段，从网络上获取与小额贷业务咨询相关的问题，并对问题进行筛选、去专有名词与人工匹配标注处理，再输入BERT模型训练，使BERT模型适应小额贷业务咨询问题的语义匹配任务，实现在用户提问时，能够在问题库中找到与之语义匹配的标准问题，并根据标准问题返回答案，分担人工客服话务量、降低运营成本与提升用户使用体验。

参考图2所示，在进一步的优选实施例中，模型预训练模块采用如下方法进行BERT模型预训练：

S11：运用随机掩码方法对预设文档进行遮掩处理，具体的，在本方法S11中，先将输入的语料先复制一份，然后将复制的语料用随机掩码方法遮掩部分的字或词；

S12：将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练，得到BERT’模型，具体的，在本方法S12中，使用随机掩码方法对文档进行遮掩处理，可以充分利用产品手册和活动文档的知识，将token随机替换成[MASK]，进行无监督训练，被遮掩后的语料和原始语料会一起输入至模型中，模型根据上下文信息来预测被遮掩的部分内容，而原始语料则作为标签判断模型预测是否正确；

S13：运用专业用语全词掩码方法对预设文档进行遮掩处理；

S14：将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT’模型训练，得到训练后的匹配模型，使用专业用词全词掩码方法，更改了预训练阶段的训练样本生成策略，使模型在训练过程中预测同一个词中的每一个被mask的token，更好地捕捉词与词的边界关系，通过运用随机掩码和专业用语全词掩码两种掩码处理，再按序输入模型训练，可以最大化利用文档中含有的知识去调整BERT模型中的网络参数,增强模型在语义匹配任务中的性能；

在步骤S11中，随机掩码方法用于对给定长度为T的句子序列x=[x1,…,xT]，随机选择其中第一预设比例的token，将选中token中的第二预设比例token替换成“[MASK]”，第三预设比例token替换成一个随机的token，第四预设比例token保留原来的token，被遮掩后的句子为x’，第二预设比例、第三预设比例、第四预设比例之和为100%，使用随机掩码方法，可以充分利用产品手册和活动文档的知识，将token随机替换成[MASK]，进行无监督训练；在本实施例中，第一预设比例可以是15%，第二预设比例可以是80%，第三预设比例和第四预设比例可以均为10%。当然，在其他实施例中，上述比例也可以调整，例如第一预设比例为20%，第二预设比例为70%，第三预设比例为20%，第四预设比例为10%；

在步骤S12中，将x’输入到BERT模型中；经过多层Transformer编码后得到隐向量序列为h(x’)=[h1,...hT]，并运用公式（1）所示的交叉熵损失函数计算掩码训练的损失值以更新BERT模型的参数，得到BERT’模型；

在步骤S13中，专业用语全词掩码方法首先运用关键词匹配法，对于输入长度为T的句子序列x=[x1,…,xT]，找到领域专业词汇序列xi:j；用j-i+1个“[MASK]”替换xi:j得到遮掩后的句子x′；

在步骤S14中，将步骤13中的x作为lable，与x′一起输入到BERT’模型中，经过多层Transformer编码后得到最后一层的隐向量序列为h(x’)=[h1,...hT]，并对h(x’)中的h(x’)i:j运用公式（1）所示的交叉熵损失函数，计算掩码训练的损失值以更新BERT’模型的参数，得到训练后的匹配模型；

公式（1）为

参考图2所示，在进一步的优选实施例中，x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

参考图2所示，在进一步的优选实施例中，x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

参考图2所示，在进一步的优选实施例中，模型调整模块采用如下方法调整训练后的匹配模型：

S21：使用网络爬虫技术从网络上获取关于小额贷咨询业务的问题，网络爬虫技术已为现有技术，具体的，网络爬虫技术也称网络机器人或网络蜘蛛，是通过模拟人（网络用户）的行为，自动、高效地浏览互联网并抓取所需数据的计算机程序；

S22：对获取的问题进行人工清洗，将问题中与特定产品相关的词汇替换为通用词汇，具体的，例如可以将贷款的产品名称替换成概念性用语,如“贷款”，还可以将贷款平台的名称替换成“银行”，“APP”等泛指性用语，减少这些专有名词在微调过程中对模型造成的干扰；

S23：对清洗后的问题进行筛选与人工匹配标注，先将问题随机两两配对，而后判断问题对的语义是否一致，若一致则标注为相似标签，反之标注为不相似标签，具体的，可以将相似标签设置为1，不相似标签设置为0；

S24：将标注好的问题作为调整语料，将调整语料输入至训练后的匹配模型中进行调整训练，得到调整后的匹配模型，调整语料也相当于是训练语料，训练语料可以对知识增强的BERT进行微调，使BERT模型适应语义匹配任务。

参考图2所示，在进一步的优选实施例中，模型应用模块采用如下方法获得用户问题的答案：

S31：接收用户的提问；

S32: 将用户提问与问题库中的多个标准问题组成多个问题对，具体的，如果问题库中有n个问题，那么对于每一个用户提问都会产生n个问题对；

S33：将S32步骤获得的全部问题对输入至调整后的匹配模型中，得到每个问题对的标签以及预测为该标签的概率，具体的，将n个问题对输入知识增强的语义匹配BERT模型，模型会返回问题对的标签与预测该标签的概率，标签包括语义不相似标签和语义相似标签，设置语义不相似标签为0，设置语义相似标签为1，概率为调整后的匹配模型判断问题对中两个问题相似或者不相似的可信度，其中，概率越高则表示为模型认为两个句子语义相识度越高；

S34：根据调整后的匹配模型输出的全部问题对的标签及标签的概率，对标签为语义相似标签的问题对的概率进行排序，选择标签为语义相似标签且概率最高的问题对为目标问题对,即对标签为1的预测概率进行排序，就可以返回预测概率最高的问题对；

S35：选择与目标问题对中的标准问题相对应的答案，向用户反馈所述答案。

在进一步的优选实施例中，在步骤S11中，预设文档包括小额贷款产品手册与活动说明文档，在步骤S13中，关键词包括小额贷款产品名称、小额贷款专业用语。

本发明的有益效果为:本发明提供了一种用于小额贷款智能客服语义匹配的方法，本方法基于预训练语言模型BERT，应用到实际任务时运用任务相关语料进行继续训练，通过三个步骤增强BERT模型对小额贷咨询业务领域关键信息的建模能力，提升模型在语义匹配任务中的效果，相对于其他语义匹配技术，BERT模型可以学习到语义层的信息，支持数据并行处理，提高了语义匹配准确率，进一步的优化了模型，也降低了训练时间和成本。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“优选实施例”、“再一实施例”、“其他实施例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上实施例仅表达了发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围，因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于小额贷款智能客服的语义匹配方法，其特征在于，包括以下步骤：

S1：进入模型预训练阶段，对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；

S2：进入模型调整阶段，获取网络上关于小额贷咨询业务的问题，对获取的问题进行加工处理并且匹配标注，形成调整语料，使用调整语料对训练后的匹配模型进行调整训练，得到调整后的匹配模型；

S3：进入模型应用阶段，接收用户的提问，将用户所提问题与预设问题库中的多个标准问题构成问题对，输入到调整后的匹配模型中计算相似度，得到相似度最高的问题对，根据相似度最高的问题对中的标准问题向用户反馈问题答案。

2.根据权利要求1所述的用于小额贷款智能客服的语义匹配方法，其特征在于，步骤S1进一步包括如下子步骤：

S11：运用随机掩码方法对预设文档进行遮掩处理；

S12：将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练，得到BERT’模型；

S13：运用专业用语全词掩码方法对预设文档进行遮掩处理；

S14：将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT’模型训练，得到训练后的匹配模型；

在步骤S11中，所述随机掩码方法用于对给定长度为T的句子序列x=[x1,…,xT]，随机选择其中第一预设比例的token，将选中token中的第二预设比例token替换成“[MASK]”，第三预设比例token替换成一个随机的token，第四预设比例token保留原来的token，被遮掩后的句子为x’，第二预设比例、第三预设比例、第四预设比例之和为100%；

在步骤S12中，将x’输入到BERT模型中；经过多层Transformer编码后得到隐向量序列h(x’)=[h1,...hT]，并运用公式（1）所示的交叉熵损失函数计算掩码训练的损失值以更新BERT模型的参数，得到BERT’模型；

在步骤S13中，所述专业用语全词掩码方法首先运用关键词匹配法，对于输入长度为T的句子序列x=[x1,…,xT]，找到领域专业词汇序列xi:j；用j-i+1个“[MASK]”替换xi:j得到遮掩后的句子x′；

在步骤S14中，将步骤13中的x作为lable，与x′一起输入到BERT’模型中，经过多层Transformer编码后得到最后一层的隐向量序列为h(x’)=[h1,...hT]，并对h(x’)中的h(x’)i:j运用公式（1）所示的交叉熵损失函数，计算掩码训练的损失值以更新BERT’模型的参数，得到训练后的匹配模型；

公式（1）为

所述x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

3.根据权利要求1所述的用于小额贷款智能客服的语义匹配方法，其特征在于，步骤S2进一步包括如下子步骤：

S21：使用网络爬虫技术从网络上获取关于小额贷咨询业务的问题；

S22：对获取的问题进行人工清洗，将问题中与特定产品相关的词汇替换为通用词汇；

S23：对清洗后的问题进行筛选与人工匹配标注，先将问题随机两两配对，而后判断问题对的语义是否一致，若一致则标注为相似标签，反之标注为不相似标签；

S24：将标注好的问题作为调整语料，将所述调整语料输入至训练后的匹配模型中进行调整训练，得到调整后的匹配模型。

4.根据权利要求1所述的用于小额贷款智能客服的语义匹配方法，其特征在于，步骤S3进一步包括如下子步骤：

S31：接收用户的提问；

S32: 将用户提问与问题库中的多个标准问题组成多个问题对；

S33：将S32步骤获得的全部问题对输入至调整后的匹配模型中，得到每个问题对的标签以及预测该标签的概率，标签包括语义不相似标签和语义相似标签，概率为调整后的匹配模型判断问题对中两个问题相似或者不相似的可信度；

S34：根据调整后的匹配模型输出的全部问题对的标签及标签的概率，对标签为语义相似标签的问题对的概率进行排序，选择标签为语义相似标签且概率最高的问题对为目标问题对；

S35：选择与目标问题对中的标准问题相对应的答案，向用户反馈所述答案。

5.根据权利要求2所述的用于小额贷款智能客服的语义匹配方法，其特征在于，在步骤S11中，所述预设文档包括小额贷款产品手册与活动说明文档，在步骤S13中，关键词包括小额贷款产品名称、小额贷款专业用语。

6.一种用于小额贷款智能客服的语义匹配系统，其特征在于，包括：

模型预训练模块，用于对预设文档进行遮掩处理，将遮掩后的预设文档与没遮掩的预设文档输入BERT模型进行训练，得到训练后的匹配模型；

模型调整模块，用于获取网络上关于小额贷咨询业务的问题，对获取的问题进行加工处理并且匹配标注，形成调整语料，使用调整语料对训练后的匹配模型进行调整训练，得到调整后的匹配模型；

模型应用模块，用于接收用户的提问，将用户所提问题与预设问题库中的多个标准问题构成问题对，输入到调整后的匹配模型中计算相似度，得到相似度最高的问题对，根据相似度最高的问题对中的标准问题向用户反馈问题答案。

7.根据权利要求6所述的用于小额贷款智能客服的语义匹配系统，其特征在于，所述模型预训练模块采用如下方法进行BERT模型预训练：

S11：运用随机掩码方法对预设文档进行遮掩处理；

S12：将随机掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT模型训练，得到BERT’模型；

S13：运用专业用语全词掩码方法对预设文档进行遮掩处理；

S14：将专业用语全词掩码方法遮掩后的预设文档与未遮掩的预设文档输入BERT’模型训练，得到训练后的匹配模型；

在步骤S11中，所述随机掩码方法用于对给定长度为T的句子序列x=[x1,…,xT]，随机选择其中第一预设比例的token，将选中token中的第二预设比例token替换成“[MASK]”，第三预设比例token替换成一个随机的token，第四预设比例token保留原来的token，被遮掩后的句子为x’，第二预设比例、第三预设比例、第四预设比例之和为100%；

在步骤S12中，将x’输入到BERT模型中；经过多层Transformer编码后得到隐向量序列h(x’)=[h1,...hT]，并运用公式（1）所示的交叉熵损失函数计算掩码训练的损失值以更新BERT模型的参数，得到BERT’模型；

在步骤S13中，所述专业用语全词掩码方法首先运用关键词匹配法，对于输入长度为T的句子序列x=[x1,…,xT]，找到领域专业词汇序列xi:j；用j-i+1个“[MASK]”替换xi:j得到遮掩后的句子x′；

在步骤S14中，将步骤13中的x作为lable，与x′一起输入到BERT’模型中，经过多层Transformer编码后得到最后一层的隐向量序列为h(x’)=[h1,...hT]，并对h(x’)中的h(x’)i:j运用公式（1）所示的交叉熵损失函数，计算掩码训练的损失值以更新BERT’模型的参数，得到训练后的匹配模型；

公式（1）为

所述x’为遮掩后语料，x_t为被遮掩token，t为被遮掩token下标，对于专业用语全词掩码方法t为i:j，e(x_t)为token x_t的词嵌入，V为模型的词表，h(x’)_t为隐向量序列h(x’)的子序列。

8.根据权利要求6所述的用于小额贷款智能客服的语义匹配系统，其特征在于，所述模型调整模块采用如下方法调整训练后的匹配模型：

S21：使用网络爬虫技术从网络上获取关于小额贷咨询业务的问题；

S22：对获取的问题进行人工清洗，将问题中与特定产品相关的词汇替换为通用词汇；

S23：对清洗后的问题进行筛选与人工匹配标注，先将问题随机两两配对，而后判断问题对的语义是否一致，若一致则标注为相似标签，反之标注为不相似标签；

S24：将标注好的问题作为调整语料，将所述调整语料输入至训练后的匹配模型中进行调整训练，得到调整后的匹配模型。

9.根据权利要求6所述的用于小额贷款智能客服的语义匹配系统，其特征在于，所述模型应用模块采用如下方法获得用户问题的答案：

S31：接收用户的提问；

S32: 将用户提问与问题库中的多个标准问题组成多个问题对；

S33：将S32步骤获得的全部问题对输入至调整后的匹配模型中，得到每个问题对的标签以及预测该标签的概率，标签包括语义不相似标签和语义相似标签，概率为调整后的匹配模型判断问题对中两个问题相似或者不相似的可信度；

S34：根据调整后的匹配模型输出的全部问题对的标签及标签的概率，对标签为语义相似标签的问题对的概率进行排序，选择标签为语义相似标签且概率最高的问题对为目标问题对；

S35：选择与目标问题对中的标准问题相对应的答案，向用户反馈所述答案。

10.根据权利要求7所述的用于小额贷款智能客服的语义匹配系统，其特征在于，在步骤S11中，所述预设文档包括小额贷款产品手册与活动说明文档，在步骤S13中，关键词包括小额贷款产品名称、小额贷款专业用语。

Images