CN111368024A - 文本语义相似度的分析方法、装置及计算机设备 - Google Patents

Abstract

本申请公开了一种文本语义相似度的分析方法、装置及计算机设备，涉及计算机技术领域，可以解决在对目标领域的短文本进行相似度分析时，存在短文本相似度数据的获取以及标注困难，且短文本相似度算法效果容易受数据标注质量的影响，导致计算结果不稳定的问题。其中方法包括：获取通用数据集以及目标领域数据集；将所述通用数据集作为训练样本训练语义相似度识别模型；利用所述目标领域数据集作为迁移学习样本调整所述语义相似度识别模型；将待进行语义相似度识别的目标短文本输入至调整完成的所述语义相似度识别模型中，获取得到语义相似度；基于所述语义相似度确定语义相似度识别结果。本申请适用于对目标领域的文本语义相似度的分析。

Description

文本语义相似度的分析方法、装置及计算机设备

技术领域

本申请涉及计算机技术领域，尤其涉及到一种文本语义相似度的分析方法、装置及计算机设备。

背景技术

语义相似度计算也可以称作文本匹配。文本匹配是很多自然语言处理应用中常见的问题，短文本相似度是指文本长度在一定范围的相似度计算，相比长文本，短文本包含的信息更少，在相似度计算上具有更大的挑战性。

目前的短文本相似度计算方法主要采用深度学习的方法，基于深度的短文本相似度计算首先需要人工标注大量的数据，进而利用标注数据进行相似度计算。

然而现有的基于特定领域的短文本相似度计算，如果该领域的公开数据较少，存在短文本相似度数据的获取以及标注困难的问题，且短文本相似度算法效果容易受数据标注质量的影响，导致计算结果不稳定。

发明内容

有鉴于此，本申请提供了一种文本语义相似度的分析方法、装置及计算机设备，主要解决在对目标领域的短文本进行相似度分析时，存在短文本相似度数据的获取以及标注困难，且短文本相似度算法效果容易受数据标注质量的影响，导致分析结果不稳定的问题。

根据本申请的一个方面，提供了一种文本语义相似度的分析方法，该方法包括：

获取通用数据集以及目标领域数据集；

将所述通用数据集作为训练样本训练语义相似度识别模型；

利用所述目标领域数据集作为迁移学习样本调整所述语义相似度识别模型；

将待进行语义相似度识别的目标短文本输入至调整完成的所述语义相似度识别模型中，获取得到语义相似度；

基于所述语义相似度确定语义相似度识别结果。

根据本申请的另一个方面，提供了一种文本语义相似度的分析装置，该装置包括：

获取模块，用于获取通用数据集以及目标领域数据集；

训练模块，用于将所述通用数据集作为训练样本训练语义相似度识别模型；

调整模块，用于利用所述目标领域数据集作为迁移学习样本调整所述语义相似度识别模型；

输入模块，用于将待进行语义相似度识别的目标短文本输入至调整完成的所述语义相似度识别模型中，获取得到语义相似度；

确定模块，用于基于所述语义相似度确定语义相似度识别结果。

根据本申请的另一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述文本语义相似度的分析方法。

根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述文本语义相似度的分析方法。

借由上述技术方案，本申请提供的一种文本语义相似度的分析方法、装置及计算机设备，与目前对目标领域的短文本相似度分析方式相比，本申请使用迁移学习的思想，通过大量的已有的公开数据集，学习一个通用领域的短文本相似度分析方法。然后只需要标注适量的目标领域内的数据，利用这标注数据进行精细化学习，实现目标领域的短文本相似度分析。相比直接使用通用数据或金融数据，或者通用数据与金融数据的混合，这种方式既能学习到通用数据的短文本相似度的语义信息，又能有针对性地将这种先验知识应用到目标领域的短文本相似度分析中，实现提升领域内的分析效果，从而也解决了目标领域获取大量训练数据的难题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种文本语义相似度的分析方法的流程示意图；

图2示出了本申请实施例提供的另一种文本语义相似度的分析方法的流程示意图；

图3示出了本申请实施例提供的一种文本语义相似度的分析装置的结构示意图；

图4示出了本申请实施例提供的另一种文本语义相似度的分析装置的结构示意图。

具体实施方式

下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

针对目前在对目标领域的短文本进行相似度计算时，存在短文本相似度数据的获取以及标注困难，且短文本相似度算法效果容易受数据标注质量的影响，导致分析结果不稳定的问题，本申请实施例提供了一种文本语义相似度的分析方法，如图1所示，该方法包括：

101、获取通用数据集以及目标领域数据集。

其中，通用数据集可为：由ATEC2018蚂蚁金服短文本语义相似度竞赛，CCKS2018微众银行智能客服问句匹配大赛，哈工大整理的数据集LCQMC等方式获取到的40万短文本相似度数据集；目标领域数据集可为目标领域内的历史数据记录、搜索引擎等积累数据等。

102、将通用数据集作为训练样本训练语义相似度识别模型。

在具体的应用场景中，计算相似度需要标注出两句话的相似与否，且数据量不能太小，要求有一定的普适性，这对标注人员来说是一项艰巨的工作。也因为如此，短文本相似度计算一直是一项值得研究的课题。在本申请中，可选用数据量较大的通用数据集作为训练样本初步训练语义相似度识别模型。

103、利用目标领域数据集作为迁移学习样本调整语义相似度识别模型。

在具体的应用场景中，可开发算法来最大限度地利用有标注的领域的知识，来辅助目标领域的知识获取和学习。其核心是找到源领域和目标领域之间的相似性，并加以合理利用。这种相似性非常普遍，例如，用来辨识汽车的模型，可以被用来提升识别卡丁车的能力，迁移学习可以存储和利用其他不同但相关的问题的先验知识。

104、将待进行语义相似度识别的目标短文本输入至调整完成的语义相似度识别模型中，获取得到语义相似度。

在具体的应用场景中，在完成对相似度识别模型的调整后，可将相似度识别模型应用到目标领域的短文本相似度检测中，根据输入的短文本对，输出对应的相似度。

105、基于语义相似度确定语义相似度识别结果。

相应的，可通过设定相似度阈值的方式来确定语义相似度对应的相似度识别结果。

通过本实施例中文本语义相似度的分析方法，可使用迁移学习的思想，通过大量的已有的公开数据集，学习一个通用领域的短文本相似度分析方法。然后只需要标注适量的目标领域内的数据，利用这标注数据进行精细化学习，实现目标领域的短文本相似度分析。相比直接使用通用数据或金融数据，或者通用数据与金融数据的混合，这种方式既能学习到通用数据的短文本相似度的语义信息，又能有针对性地将这种先验知识应用到目标领域的短文本相似度分析中，实现提升领域内的分析效果，从而也解决了目标领域获取大量训练数据的难题。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种文本语义相似度的分析方法，如图2所示，该方法包括：

201、获取通用数据集以及目标领域数据集。

对于本实施例，在具体的应用场景中，由于基于深度的短文本相似度需要大量的人工标注数据，但基于目标领域的数据却很少，导致短文本相似度在目标领域内的分析效果不够理想，故在前期训练过程中可利用通用数据集来替代，之后再利用获取到的目标领域数据集进一步修正训练，故在本申请中，需要预先获取大量的通用数据集，并尽可能地收集到能够满足修正标准的预定数量个目标领域数据集。

202、从通用数据集中任意筛选出两个短文本构成待测文本对。

对于本实施例，在具体的应用场景中，为了保证训练的准确性，可从通用数据集中随机抽取短文本构成待测文本对，用于多次、全面的训练语义相似度识别模型。

203、对待测文本对进行预处理并输入至语义相似度识别模型中的Embedding层，获取得到第一序列和第二序列，第一序列对应待测文本对中其中一个短文本的映射结果，第二序列对应待测文本对中另一个短文本的映射结果。

例如，输入A、B两个句子，经过预处理及Embedding层映射即可得到第一序列a＝(a1…a_la)和第二序列b＝(b1…b_lb)，其中，ai，bj∈Rl为Embedding层输出的l维向量。

204、将第一序列和第二系列输入至双向长短时记忆网络BiLSTM中，以便获取得到对应的第一向量以及第二向量。

例如，将实施例步骤203中获取得到的第一序列和第二序列输入至双向长短时记忆网络BiLSTM中，BiLSTM可以学习一句话中的词和它的上下文关系，得到新的Embedding向量。即：

其中

表示a在BiLSTM网络中第i个时间步的输出，

表示b在BiLSTM网络中第i个时间步的输出。

通过公式可计算出第一向量

和第二向量

205、计算第一向量及第二向量之间的差异性，并获取得到第一向量对应加权后的第三序列和第二向量对应加权后的第四序列。

例如，基于实施例步骤204可获取得到第一向量

和第二向量

并计算第一向量和第二向量之间的差异性，这里可应用注意力attention模型。其中attention weight的计算方式为：

之后基于上述attention weight分别计算a和b的权重加权后的值，即：

其中，

为第三序列，

为第四序列。

206、根据第一序列、第二序列、第三序列和第四序列计算得到特征向量。

在具体的应用场景中，为了充分获取两个句子之间的差异信息及句子交互信息，分别对第三序列和第四序列进行对位相减与对位相乘，并将前述得到的第一序列和第二序列进行拼接操作，得到

之后将得到的值再一次送到BiLSTM中，这里的BiLSTM主要是为了捕获局部推理信息

m_a和m_b及其上下文信息。将v_a和v_b依次输入池化层，池化层包括最大池化层以及平均池化层，之后将池化后的结果再一次拼接起来，得到特征向量

207、基于特征向量输出第一相似度识别结果。

相应的，在获取到特征向量后，可通过softmax输出层，输出类别为2类，输出值为范围为0到1之间的数，即相似度值。进一步根据相似度值确定出第一相似度识别结果，其中，相似度值越接近1表示输入的两句话越相似，否则，则越不相似。

208、确定第一相似度识别结果相对于第一目标识别结果的第一准确度损失。

在具体的应用场景中，可预先根据待测文本对中的标记获取得到第一目标识别结果，在获取得到第一相似度识别结果后，可将第一相似度识别结果与第一目标识别结果进行匹配，根据两者之间的相似度进一步确定出第一准确度损失。

209、基于第一准确度损失确定第一损失函数，利用第一损失函数对语义相似度识别模型进行优化。

对于本实施例，训练过程损失函数是softmaxwithloss，学习率learning rate可初始为1e-3，设置随着训练动态衰减学习率，训练收敛后，保存相似度识别模型。

210、根据目标领域数据集的数据量以及文本相似度的大小调整语义相似度识别模型。

对于本实施例，在具体的应用场景中，实施例步骤210具体可以包括：若确定目标领域数据集的数据量小于或等于第一预设阈值、文本相似度大于第二预设阈值，则修改语义相似度识别模型中softmax层的输出类别；若确定目标领域数据集的数据量小于或等于第一预设阈值、文本相似度小于或等于第二预设阈值，则冻结语义相似度识别模型中的初始层，再次训练余下的各层；若确定目标领域数据集的数据量大于第一预设阈值、文本相似度小于或等于第二预设阈值，则利用目标领域数据集重新训练语义相似度识别模型；若确定目标领域数据集的数据量大于第一预设阈值、文本相似度大于第二预设阈值，则保留语义相似度识别模型的体系结构和初始权重，并利用初始权重来重新训练语义相似度识别模型。

在具体的应用场景中，本申请可适用于数据量少，但数据相似度很高的情况，且softmax输出层是相同的。微调阶段，可以直接使用预训练的模型权重，使用较小的学习率来继续训练网路(例如1e-4)，得到最终的相似度检测模型。

211、利用目标领域数据集中的历史数据记录构建正例训练样本。

对于本实施例，在具体的应用场景中，正例训练样本可以通过用户点击等行为来指导标注，例如，对于相同的搜索点击行为，可以将不同的查询命令query作为相似问题。

212、基于杰卡德相似性度量方法筛选负例训练样本。

对于本实施例，在具体的应用场景中，实施例步骤212具体可以包括：从目标领域数据集中随机筛选出两个短文本句子构建样本句子对，基于杰卡德相似性度量方法对样本句子对进行相似度计算，获取得到相似度计算结果；若相似度计算结果大于第三预设阈值，则将对应的样本句子对确定为负例训练样本。

其中，杰卡德相似性度量方法的计算公式为：

其中，J(A,B)为相似度计算结果，A为样本句子对中的一个短文本句子，B为样本句子对中的另一个短文本句子。

在具体的应用场景中，在构造负例训练样本时，为了筛选出大量完全不相关的两句话作为负例训练样本，故需要预先对随机筛选出的两两组合句子进行相似度计算。对不满足相似度阈值的数据进行过滤。同时也保留一部分相似度阈值低的句子对，以保证数据的多样性。这里的相似度只需要保证字面意思是否相近。

例如，句子1：你是哪个公司的,找我干嘛？、句子2：你是哪个公司的,我不是你说的那个人。去除句子1和句子2中的标点符号即可分别转为集合A＝{你，是，哪，个，公，司，的，找，我，干，嘛}，B＝{你，是，哪，个，公，司，的，我，不，是，你，说，的，这，个，人}，获取得到并集A∪B：{你，是，哪，个，公，司，的，找，我，干，嘛，不，说，那，个，人}，获取得到交集A∩B：{你，是，哪，个，公，司，的，我}，进一步可计算出杰卡德系数为：交集个数/并集个数＝8/16＝0.5，也即句子1和句子2的杰卡德相似度为0.5。之后可将对应杰卡德相似度大于或等于预设阈值的两个句子的相似度确定为1，反之确定为0，进一步保留相似度为1的两个句子作为负例训练样本。

213、将正例训练样本及负例训练样本输入至调整后的语义相似度识别模型中，获取得到第二相似度识别结果。

在具体的应用场景中，可将正例训练样本及负例训练样本输入至调整后的语义相似度识别模型中，进一步对语义相似度识别模型进行训练修正，获取得到对应的第二相似度识别结果。

214、确定第二相似度识别结果相对于第二目标识别结果的第二准确度损失。

在具体的应用场景中，可预先根据正例训练样本及负例训练样本中的标记获取得到第二目标识别结果，在获取得到第二相似度识别结果后，可将第二相似度识别结果与第二目标识别结果进行匹配，根据两者之间的相似度进一步确定出第二准确度损失。

215、基于第二准确度损失确定第二损失函数，利用第二损失函数调整后的语义相似度识别模型进行优化，使语义相似度识别模型的识别精度符合预设标准。

对于本实施例，训练过程损失函数是softmaxwithloss，学习率learning rate可初始为1e-4，设置随着训练动态衰减学习率，训练收敛并且当识别精度大于或等于预设标准中设定的识别精度后，保存语义相似度识别模型。

216、将待进行语义相似度识别的目标短文本输入至调整完成的语义相似度识别模型中，获取得到语义相似度。

在具体的应用场景中，在对语义相似度识别模型完成调整后，即可将待进行语义相似度识别的两个目标短文本输入语义相似度识别模型中，获取得到两个目标短文本间的相似度。

217、基于语义相似度确定语义相似度识别结果。

对于本实施例，在具体的应用场景中，实施例步骤217具体可以包括：将相似度值与第四预设阈值以及第五预设阈值进行对比；若确定相似度值小于第四预设阈值，则确定语义相似度识别结果为不相似；若确定相似度值大于或等于第四预设阈值且小于第五预设阈值，则确定语义相似度识别结果为中度相似；若确定相似度值大于或等于第五预设阈值，则确定语义相似度识别结果为高度相似；输出相似度识别结果。

对于本实施例，需要说明的是，根据相似度值确定语义相似度识别结果的方式不仅限于上述一种情况，还可包含多中实施方式，例如还可仅设定一个预设阈值，当相似度值大于该预设阈值时，判定语义相似度识别结果为相似，反之判定为不相似。

通过上述文本语义相似度的分析方法，可最大限度地利用有标注的领域的数据来训练语义相似度识别模型，进而将语义相似度识别模型基于迁移学习的思想应用于目标领域，只需要标注适量的目标领域内数据，利用目标领域数据对语义相似度识别模型调整，训练获取到适用于目标领域的相似度检测模型，进而实现对目标领域短文本相似度的识别判定。相比直接使用通用数据或目标领域数据，或者通用数据与目标领域数据的混合，这种方式既能学习到通用数据的短文本相似度的语义信息，又能有针对性地将这种先验知识应用到目标领域的短文本相似度计算中，实现提升领域内的计算效果，从而也解决了目标领域获取大量训练数据的难题，提高语义相似度计算的精度以及工作效率。

进一步的，作为图1和图2所示方法的具体体现，本申请实施例提供了一种文本语义相似度的分析装置，如图3所示，该装置包括：获取模块31、训练模块32、调整模块33、输入模块34、确定模块35。

获取模块31，可用于获取通用数据集以及目标领域数据集；

训练模块32，可用于将通用数据集作为训练样本训练语义相似度识别模型；

调整模块33，可用于利用目标领域数据集作为迁移学习样本调整语义相似度识别模型；

输入模块34，可用于将待进行语义相似度识别的目标短文本输入至调整完成的语义相似度识别模型中，获取得到语义相似度；

确定模块35，可用于基于语义相似度确定语义相似度识别结果。

在具体的应用场景中，为了利用通用数据集训练得到训练语义相似度识别模型，训练模块32，具体可用于从所述通用数据集中任意筛选出两个短文本构成待测文本对；对所述待测文本对进行预处理并输入至语义相似度识别模型中的Embedding层，获取得到第一序列和第二序列，所述第一序列对应所述待测文本对中其中一个短文本的映射结果，所述第二序列对应所述待测文本对中另一个短文本的映射结果；将所述第一序列和所述第二系列输入至双向长短时记忆网络BiLSTM中，以便获取得到对应的第一向量以及第二向量；计算所述第一向量及所述第二向量之间的差异性，并获取得到所述第一向量对应加权后的第三序列和所述第二向量对应加权后的第四序列；根据所述第一序列、所述第二序列、所述第三序列和所述第四序列计算得到特征向量；基于所述特征向量输出第一相似度识别结果；确定所述第一相似度识别结果相对于第一目标识别结果的第一准确度损失；基于所述第一准确度损失确定第一损失函数，利用所述第一损失函数对所述语义相似度识别模型进行优化

相应的，为了调整得到适用于目标领域的语义相似度识别模型，调整模块33，具体可用于根据所述目标领域数据集的数据量以及文本相似度的大小调整所述语义相似度识别模型；利用所述目标领域数据集中的历史数据记录构建正例训练样本；基于杰卡德相似性度量方法筛选负例训练样本；将所述正例训练样本及所述负例训练样本输入至调整后的语义相似度识别模型中，获取得到第二相似度识别结果；确定所述第二相似度识别结果相对于第二目标识别结果的第二准确度损失；基于所述第二准确度损失确定第二损失函数，利用所述第二损失函数所述调整后的语义相似度识别模型进行优化，使所述语义相似度识别模型的识别精度符合预设标准。

在具体的应用场景中，为了根据目标领域数据集的数据量以及文本相似度的大小调整相似度识别模型，调整模块33，具体可用于若确定所述目标领域数据集的数据量小于或等于第一预设阈值、文本相似度大于第二预设阈值，则修改所述语义相似度识别模型中softmax层的输出类别；若确定所述目标领域数据集的数据量小于或等于所述第一预设阈值、所述文本相似度小于或等于所述第二预设阈值，则冻结所述语义相似度识别模型中的初始层，再次训练余下的各层；若确定所述目标领域数据集的数据量大于所述第一预设阈值、所述文本相似度小于或等于所述第二预设阈值，则利用所述目标领域数据集重新训练所述语义相似度识别模型；若确定所述目标领域数据集的数据量大于所述第一预设阈值、所述文本相似度大于所述第二预设阈值，则保留所述语义相似度识别模型的体系结构和初始权重，并利用所述初始权重来重新训练所述语义相似度识别模型。

相应的，为了基于杰卡德相似性度量方法筛选出负例训练样本，调整模块33，具体可用于从目标领域数据集中随机筛选出两个短文本句子构建样本句子对，基于杰卡德相似性度量方法对样本句子对进行相似度计算，获取得到相似度计算结果；若相似度计算结果大于第三预设阈值，则将对应的样本句子对确定为负例训练样本。

其中，杰卡德相似性度量方法的计算公式为：

其中，J(A,B)为相似度计算结果，A为样本句子对中的一个短文本句子，B为样本句子对中的另一个短文本句子。

在具体的应用场景中，为了基于所述语义相似度确定语义相似度识别结果，确定模块35，具体可用于将所述相似度值与第四预设阈值以及第五预设阈值进行对比；若确定所述相似度值小于所述第四预设阈值，则确定所述语义相似度识别结果为不相似；若确定所述相似度值大于或等于所述第四预设阈值且小于所述第五预设阈值，则确定所述语义相似度识别结果为中度相似；若确定所述相似度值大于或等于所述第五预设阈值，则确定所述语义相似度识别结果为高度相似；

在具体的应用场景中，为了将语义相似度识别结果显示到显示页面，如图4所示，本装置还包括：输出模块36。

输出模块36，用于输出相似度识别结果。

需要说明的是，本实施例提供的一种文本语义相似度的分析装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的文本语义相似度的分析方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的文本语义相似度的分析方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是文本语义相似度的分析实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可最大限度地利用有标注的领域的数据来训练语义相似度识别模型，进而将语义相似度识别模型基于迁移学习的思想应用于目标领域，只需要标注适量的目标领域内数据，利用目标领域数据对语义相似度识别模型调整，训练获取到适用于目标领域的相似度检测模型，进而实现对目标领域短文本相似度的识别判定。相比直接使用通用数据或目标领域数据，或者通用数据与目标领域数据的混合，这种方式既能学习到通用数据的短文本相似度的语义信息，又能有针对性地将这种先验知识应用到目标领域的短文本相似度计算中，实现提升领域内的计算效果，从而也解决了目标领域获取大量训练数据的难题，提高语义相似度计算的精度以及工作效率。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种文本语义相似度的分析方法，其特征在于，包括：

获取通用数据集以及目标领域数据集；

将所述通用数据集作为训练样本训练语义相似度识别模型；

利用所述目标领域数据集作为迁移学习样本调整所述语义相似度识别模型；

将待进行语义相似度识别的目标短文本输入至调整完成的所述语义相似度识别模型中，获取得到语义相似度；

基于所述语义相似度确定语义相似度识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述通用数据集作为训练样本训练语义相似度识别模型，具体包括：

从所述通用数据集中任意筛选出两个短文本构成待测文本对；

对所述待测文本对进行预处理并输入至语义相似度识别模型中的Embedding层，获取得到第一序列和第二序列，所述第一序列对应所述待测文本对中其中一个短文本的映射结果，所述第二序列对应所述待测文本对中另一个短文本的映射结果；

将所述第一序列和所述第二系列输入至双向长短时记忆网络BiLSTM中，以便获取得到对应的第一向量以及第二向量；

计算所述第一向量及所述第二向量之间的差异性，并获取得到所述第一向量对应加权后的第三序列和所述第二向量对应加权后的第四序列；

根据所述第一序列、所述第二序列、所述第三序列和所述第四序列计算得到特征向量；

基于所述特征向量输出第一相似度识别结果；

确定所述第一相似度识别结果相对于第一目标识别结果的第一准确度损失；

基于所述第一准确度损失确定第一损失函数，利用所述第一损失函数对所述语义相似度识别模型进行优化。

3.根据权利要求2所述的方法，其特征在于，所述利用所述目标领域数据集作为迁移学习样本调整所述语义相似度识别模型，具体包括：

根据所述目标领域数据集的数据量以及文本相似度的大小调整所述语义相似度识别模型；

利用所述目标领域数据集中的历史数据记录构建正例训练样本；

基于杰卡德相似性度量方法筛选负例训练样本；

将所述正例训练样本及所述负例训练样本输入至调整后的语义相似度识别模型中，获取得到第二相似度识别结果；

确定所述第二相似度识别结果相对于第二目标识别结果的第二准确度损失；

基于所述第二准确度损失确定第二损失函数，利用所述第二损失函数所述调整后的语义相似度识别模型进行优化，使所述语义相似度识别模型的识别精度符合预设标准。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标领域数据集的数据量以及文本相似度的大小调整所述语义相似度识别模型，具体包括：

若确定所述目标领域数据集的数据量小于或等于第一预设阈值、文本相似度大于第二预设阈值，则修改所述语义相似度识别模型中softmax层的输出类别；

若确定所述目标领域数据集的数据量小于或等于所述第一预设阈值、所述文本相似度小于或等于所述第二预设阈值，则冻结所述语义相似度识别模型中的初始层，再次训练余下的各层；

若确定所述目标领域数据集的数据量大于所述第一预设阈值、所述文本相似度小于或等于所述第二预设阈值，则利用所述目标领域数据集重新训练所述语义相似度识别模型；

若确定所述目标领域数据集的数据量大于所述第一预设阈值、所述文本相似度大于所述第二预设阈值，则保留所述语义相似度识别模型的体系结构和初始权重，并利用所述初始权重来重新训练所述语义相似度识别模型。

5.根据权利要求3所述的方法，其特征在于，所述基于杰卡德相似性度量方法筛选负例训练样本，具体包括：

从所述目标领域数据集中随机筛选出两个短文本句子构建样本句子对，基于杰卡德相似性度量方法对所述样本句子对进行相似度计算，获取得到相似度计算结果；

若所述相似度计算结果大于第三预设阈值，则将对应的所述样本句子对确定为负例训练样本。

6.根据权利要求5所述的方法，其特征在于，所述杰卡德相似性度量方法的计算公式为：

其中，J(A,B)为相似度计算结果，A为所述样本句子对中的一个短文本句子，B为所述样本句子对中的另一个短文本句子。

7.根据权利要求6所述的方法，其特征在于，所述基于所述语义相似度确定语义相似度识别结果，具体包括：

将所述相似度值与第四预设阈值以及第五预设阈值进行对比；

若确定所述相似度值小于所述第四预设阈值，则确定所述语义相似度识别结果为不相似；

若确定所述相似度值大于或等于所述第四预设阈值且小于所述第五预设阈值，则确定所述语义相似度识别结果为中度相似；

若确定所述相似度值大于或等于所述第五预设阈值，则确定所述语义相似度识别结果为高度相似；

在所述基于所述语义相似度确定语义相似度识别结果之后，具体还包括：

输出所述相似度识别结果。

8.一种文本语义相似度的分析装置，其特征在于，包括：

获取模块，用于获取通用数据集以及目标领域数据集；

训练模块，用于将所述通用数据集作为训练样本训练语义相似度识别模型；

调整模块，用于利用所述目标领域数据集作为迁移学习样本调整所述语义相似度识别模型；

输入模块，用于将待进行语义相似度识别的目标短文本输入至调整完成的所述语义相似度识别模型中，获取得到语义相似度；

确定模块，用于基于所述语义相似度确定语义相似度识别结果。

9.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的文本语义相似度的分析方法。

10.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的文本语义相似度的分析方法。

Images