CN110442760B - 一种问答检索系统的同义词挖掘方法及装置 - Google Patents

Abstract

本发明涉及一种问答检索系统的同义词挖掘方法及装置，本发明通过对问答语料分类，按类别进行关键词提取，得到待处理关键词集，同时对垂直领域内的大语料进行词向量训练，并计算词向量的余弦相似度，得到当前类别关键词的广义相关词集合，然后进行词性筛选，得到缩略相关词集，再计算缩略相关词集合内的欧式距离，得到同义词对，并统计同义词对的共现频次，计算同义词的替换概率，最终根据同义词对替换后的检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正，较好的解决了同义词替换后的语义变形问题，提高了同义词挖掘的准确度以及问答对检索结果的准确性。

Description

一种问答检索系统的同义词挖掘方法及装置

技术领域

本发明涉及信息检索领域，尤其涉及一种问答检索系统的同义词挖掘方法及装置。

背景技术

随着互联网技术的飞速发展，面对海量的信息和资源，传统的搜索引擎不能很好的满足人们全面、快捷、准确的知识获取需求，智能的、基于精准知识获取的问答检索系统成为未来发展的方向。近些年，人工智能的不断兴起，技术上的发展进步，问答检索系统的应用深入到各行各业，并已逐渐成为一种非常实用流行的知识获取方式。

同义词替换作为问答检索系统一项重要的技术，是问答检索、搜索引擎系统中的基础性和必要性工作，已成为提高问答检索召回效率不可或缺的一部分。同义词替换是通过用户输入语句，语句中的词语在相似的上下文语境下可以相互替换，并使语句的核心意思不变。由于地区语言差异，时代的变化，新词层出不穷，现有的同义词词表查询的方法对同义词判别已经不再适用，不能满足用户搜索的需要，容易造成检索系统出现致命错误，检索返回的结果不准确。使用智能高效的的方法进行同义词挖掘，形成新的同义词词表，提高检索结果的召回效率，成为非常紧迫的任务。

现阶段同义词挖掘方法主要有以下四种：

1、基于同义词词林的挖掘方法。同义词词林一般是由语言学家的编写整理而成，如哈工大同义词词林，知网的HowNet同义词词林等，同义词对准确度较高，有一定的参考价值，但其在收集编写的过程中，耗费了大量的人力和物力，且数量有限，不能满足领域内的问答检索的同义词替换需求。

2、基于规则模板的挖掘方法。该方法是在百科、文献以及网页上的各类文章中，将具有一定规则的同义词对挖掘出来，如网页文章中某个词语后的括号内的关键词语，还有利用“又名”、“又称”等关键词挖掘出同义词语。但该种方法挖掘出来的同义词集，在特定领域的同义词对有限，不能满足垂直领域的问答检索系统的需求。

3、基于搜索点击日志的挖掘方法。该方法是根据某个时间段同一用户搜索点击行为，通过不同的搜索词共现来计算共现词语的相似度，根据相似度阈值来判断是否为同义词对。该方法能够挖掘出搜索日志中存在错别字的词语，例如债权-债券，账款-帐款等，以及词语相似度达到设定阈值的，主要用于同义词集的扩展。但该种方法对于短语的挖掘效果不理想，且对于新开发的检索系统，在没有日志的情况下，是无法采用这一方法的。

4、基于语义的相似度挖掘方法。该方法通过对大语料训练词向量，根据每个词语对应的词向量，计算各词向量的余弦值，距离范围在0-1之间，值越大代表两个词的关联度越高，从而根据余弦值进行同义词的挖掘。

现有的同义词挖掘方式主要是基于搜索点击日志和语义相似度的挖掘方法。专利申请号CN 201811345950.2提出一种同义词挖掘方法及装置，它是基于搜索点击日志的挖掘方法，通过对用户在一个预定时长的时间窗口内的历史搜索行为所对应多个的搜索词，进行同义词挖掘，但在细粒度词语的同义词挖掘表现不佳，且受到日志数量的限制。专利申请号CN 201810023323.0提出一种近义词挖掘方法、装置及电子设备，它是基于语义的相似度挖掘方法，通过基于词向量的文档相似度算法计算词向量的距离进行同义词挖掘，但没有将同义替换后检索的召回结果，进行分析，判断是否返回正确答案，从而对同义词对进行反馈修正。

发明内容

本发明为克服上述的不足之处，目的在于提供一种问答检索系统的同义词挖掘方法及装置，本发明通过对问答语料分类，按类别进行关键词提取，得到待处理关键词集，同时对垂直领域内的大语料进行词向量训练，并计算词向量的余弦相似度，得到当前类别关键词的广义相关词集合，然后进行词性筛选，得到缩略相关词集，再计算缩略相关词集合内的欧式距离，得到同义词对，并统计同义词对的共现频次，计算同义词的替换概率，最终根据同义词对替换后的检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正，较好的解决了同义词替换后的语义变形问题，提高了同义词挖掘的准确度以及问答对检索结果的准确性。

本发明是通过以下技术方案达到上述目的：一种问答检索系统的同义词挖掘方法，包括如下步骤：

(1)爬取和收集垂直领域不同类别的问答语料数据集A和该领域用于训练的大语料数据集B，并对不同类别的数据集A和数据集B进行数据预处理，得到关键词提取数据和训练数据；

(2)对数据集A和数据集B进行词向量训练，提取文本中同义词的特征，挖掘大语料下的广义相关词，并利用词性对其进行筛选，得到缩略相关词，再采用分类挖掘方法，在同类别下挖掘同义词对，形成最终的同义词集；

(3)提取同义词对的共现频次，并根据共现频次计算确定同义词替换的概率；

(4)基于同义词集进行同义词替换，并检查检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正。

作为优选，所述步骤(1)具体如下：

(1.1)爬取收集数据：爬取和收集垂直领域的不同类别的数据集A和数据集B；

(1.2)数据清洗：根据步骤(1.1)中爬取收集的数据，对其进行数据清洗，包括相似的文本去重，低质量文本过滤，缺失的文本去除，以及对较短的文本进行删除；

(1.3)文本分类：根据步骤(1.2)得到处理后的数据，对其进行文本分类；其中，对于没有类别的数据采用CNN算法进行文本分类；

(1.4)数据分词：根据步骤(1.2)得到处理后的数据，分别对数据集A和数据集B进行细粒度分词，并建立停用词典和自定义词典，提高分词质量；

(1.5)统计词频并排序：根据步骤(1.4)数据分词得到的结果，统计每个单词出现的频率，并对词频进行降序排序，生成词表；

(1.6)关键词提取：将数据集A中的问题Query细粒度分词后的结果作为关键词集I，并对数据集A中的答案Answer提取关键词得到关键词集II，将关键词集I与关键词集II合并得到初步需要挖掘的关键词集，再进行词性筛选，得到最终需要挖掘同义词的关键词集。

作为优选，所述步骤(1.6)中，提取关键词采用基于统计的TF-IDF算法与基于图模型的TextRank算法相结合，提取文本关键词。

作为优选，所述的词性筛选具体为：对初步的关键词集进行词性筛选，保留名词、动词和形容词；最后得到的最终需要挖掘同义词的关键词集应按类别区分开。

作为优选，所述步骤(2)具体如下：

(2.1)文本向量化：根据分词后的词表，将词表中的词语转化为词向量形式；首先对词表进行one-hot编码得到矩阵M，利用word2vec训练词向量，构建|V|*d的向量矩阵，其中隐藏层的矩阵用N表示，V代表词表的大小，d代表词向量的维度；得到每个词语的词向量：Q＝M*N；

(2.2)文本同义词特征提取：根据步骤(2.1)得到的词向量，将某一类别关键词集中的各个词语与词表中各个词语进行词嵌入后计算余弦相似度，其中余弦值大于设置的相似度阈值的，作为广义相关词集；

(2.3)词性筛选：将步骤(2.2)得到的关键词的广义相关词，进行词性筛选，确保广义相关词中的词语与某一类别关键词当中的词语的词性应保持一致，得到缩略相关词集；

(2.4)同义词集获取：在当前类别的关键词集中的关键词与步骤

(2.3)中的缩略相关词集进行欧式距离的计算，其中距离值大于预设阈值的，作为最终的同义词集。

作为优选，所述步骤(3)具体如下：

(3.1)提取共现频次：根据步骤(2)得到的最终同义词集，提取同义词集的共现频次；

(3.2)计算同义词替换概率：根据步骤(3.1)得到的同义词共现频次，计算同义词替换概率；计算一组同义词对的替换概率P公式如下：

其中，P为同义词对的替换概率，count为这一组同义词对的共现频次，count_all为同义词对中某个词的所对应的词语的共现总次数。

作为优选，所述步骤(4)具体如下：

(4.1)问答检索系统对输入的问题进行细粒度分词；

(4.2)根据步骤(4.1)的细粒度分词结果与步骤(2)的同义词集，对于同义词集中包含分词后的关键词的，根据步骤(3)得到的同义词替换概率大小进行替换，检索并返回相似度最高的问答检索结果；

(4.3)根据得到的问答检索结果，判断其相似度是否大于预先设定的阈值S，进行反馈修正：若相似度大于预先设定的阈值S的，则返回用户检索匹配的结果，若相似度小于预先设定的阈值S的，则记录替换的同义词对，待后验修正同义词集。

作为优选，所述在步骤(4.3)中，检索并返回相似度最高的问答检索结果，具体指基于PostgreSQL全文检索结果，与输入的问题比较，基于bert计算文本相似度，返回相似度最高的问答检索结果。

一种问答检索系统的同义词挖掘装置，包括：数据获取模块、数据预处理模块、同义词集获取模块、反馈修正模块；

所述数据获取模块用于爬取和收集垂直领域不同类别的问答语料和作为训练语料的大语料集；

所述数据预处理模块用于语料数据预处理，包括数据清洗、文本分类、数据分词、关键词提取；

所述同义词集获取模块用于训练词向量，提取同义词特征，筛选词性，分类挖掘同义词对，获取同义词集；

所述反馈修正模块用于根据同义词对替换后的检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正。

作为优选，所述同义词集获取模块，包括文本向量化单元、同义词集输出单元；所述文本向量化单元用于将分词后的文本转化为词向量，得到词向量模型；所述同义词集输出单元，通过加载词向量模型，对于每个关键词进行词嵌入计算余弦相似度，对于余弦相似值大于预设的阈值的，作为每个关键词相对应的广义相关词，再进行词性筛选，确保每个广义相关词与对应的关键词词性相同，从而得到缩略相关词集，再在当前类别的关键词集中的关键词与缩略相关词集进行欧式距离的计算，其中相似度值大于设置的阈值的，作为最终的同义词集；

所述反馈修正模块，包括替换概率计算单元和反馈修正单元；所述替换概率计算单元，通过统计同义词对的共现词频，计算同义词的替换概率；所述反馈修正单元用于对用户的问答系统的检索信息进行分词，至少有一个关键词，对于同义词集中包含分词后的关键词的，根据同义词的替换概率进行同义词替换，得到加权得分最高的问答检索结果，其中加权得分后的权值小于预先设定的阈值S的，则记录替换的同义词对，待后验修正同义词集。

本发明的有益效果在于：(1)本发明采用细粒度分词，对垂直领域中大规模语料词语进行词向量训练，使其能够更好的在垂直领域相关语料内挖掘同义词对；(2)本发明采用分类挖掘方法，通过在同类别下挖掘同义词对，提高了同义词对挖掘的效率和准确率；(3)本发明通过统计同义词对的共现频次，计算同义词对的替换概率，根据替换概率进行同义词替换，提高了同义词的可信度；(4)本发明根据同义词对替换后的检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正，较好的解决了同义词替换后的语义变形问题，提高了检索返回结果的精准度；(5)本发明具有较强的移植性，不仅可以在司法领域的大语料下进行同义词挖掘，在其他不同垂直领域都可适用。

附图说明

图1是本发明的装置结构示意图；

图2是本发明的方法流程示意图；

图3是本发明的关键词集获取流程示意图；

图4是本发明的同义词集获取流程示意图；

图5是本发明的同义词集反馈修正流程示意图；

图6是本发明的同义词替换示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种问答检索系统的同义词挖掘装置，包括：数据获取模块、数据预处理模块、同义词集获取模块、反馈修正模块；

所述数据获取模块用于爬取和收集垂直领域不同类别的问答语料和作为训练语料的大语料集；

所述数据预处理模块用于语料数据预处理，包括数据清洗、文本分类、数据分词、关键词提取；其中，关键词提取，是将问答语料中的Query进行细粒度分词作为关键词集I，并对Answer进行关键词提取得到关键词集II，将关键词集I与关键词集II进行合并，得到初步需要挖掘的关键词集，再进行词性筛选，主要是保留名词、动词以及形容词等，得到最终的关键词集，关键词集按类别进行提取。

所述同义词集获取模块用于训练词向量，提取同义词特征，筛选词性，分类挖掘同义词对，获取同义词集；

所述同义词集获取模块，包括文本向量化单元、同义词集输出单元；所述文本向量化单元用于将分词后的文本转化为词向量，得到词向量模型；所述同义词集输出单元，通过加载词向量模型，对于每个关键词进行词嵌入计算余弦相似度，对于余弦相似值大于预设的阈值的，作为每个关键词相对应的广义相关词，再进行词性筛选，确保每个广义相关词与对应的关键词词性相同，从而得到缩略相关词集，再在当前类别的关键词集中的关键词与缩略相关词集进行欧式距离的计算，其中相似度值大于设置的阈值的，作为最终的同义词集；

所述反馈修正模块用于根据同义词对替换后的检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正。

所述反馈修正模块，包括替换概率计算单元和反馈修正单元；所述替换概率计算单元，通过统计同义词对的共现词频，计算同义词的替换概率；所述反馈修正单元用于对用户的问答系统的检索信息进行分词，至少有一个关键词，对于同义词集中包含分词后的关键词的，根据同义词的替换概率进行同义词替换，得到加权得分最高的问答检索结果，其中加权得分后的权值小于预先设定的阈值S的，则记录替换的同义词对，待后验修正同义词集。

如图2所示，一种问答检索系统的同义词挖掘方法包括如下步骤：

(1)爬取和收集垂直领域不同类别的问答语料数据集A和该领域用于训练的大语料数据集B，并对不同类别的数据集A和数据集B进行数据预处理，得到关键词提取数据和训练数据。

数据集A是用于问答系统的语料，数据集B是垂直领域的大语料，用来训练该领域的词向量模型的。如果语料有限可以直接拿问答语料训练。本实施例中，爬取和收集司法垂直领域不同类别的问答语料(简称为数据集A)和裁判文书数据集(简称为数据集B)，其中数据集A为近4万的问答对，数据集B为1000万的裁判文书，主要有债权债务类、婚姻家庭类以及房产纠纷类等。

(1.1)爬取收集数据：爬取和收集垂直领域的不同类别的数据集A和数据集B；

(1.2)数据清洗：由于数据文本质量将对模型训练以及问答检索结果的质量产生重大的影响，需对相似文本去重，低质量文本过滤，缺失的文本去除等处理。利用jaccard相似度算法对相似的文本去重，相似阈值设为0.8；同时对数据集A中不同问题但答案相同以及相同问题不同答案的需进行处理，确保答案精炼准确。

(1.3)数据分类对齐：根据步骤(1.2)收集的数据，得到数据集A与数据集B的类别不能完全对应，需要进行类别对齐，比如数据集A中的债权债务对应数据集B中的民间借贷纠纷。其中对于爬取到的没有类别的数据，利用CNN算法进行文本分类。

本实施例中对司法数据进行文本分类，其分类是按照垂直领域的数据特征进行分类的，主要有债权债务类、劳动纠纷类、婚姻家庭纠纷类、房产纠纷类以及金融纠纷类等。在不同垂直领域其数据特征不同，例如在医疗领域问答中，根据病人就诊的电子病例数据，可以按就诊科室进行分类，可分为骨科、普外科、胸外科以及耳鼻喉科等。例如在金融领域问答中，根据金融相关的数据特征，可分为基金类、证券类、股票类、保险类以及金融借贷类等。

(1.4)数据分词：根据步骤(1.3)分类后的数据，利用jieba进行细粒度分词，并建立停用词典，移除掉语气词、标点符号、数字以及特殊符号等；建立司法领域的自定义词典，使其能够分出原始词库中没有的词以及优先分出一些词，提高分词质量。

(1.5)统计词频并排序：根据步骤(1.4)数据分词得到的结果，利用Python的collections模块中的Counter()函数统计每个单词出现的频率，并对词频进行降序排序，生成一个词表。

(1.6)关键词提取：如图3所示，将问答语料中的Query进行细粒度分词作为关键词集I，并对Answer进行关键词提取得到关键词集II，将关键词集I与关键词集II进行合并，得到初步需要挖掘的关键词集，再进行词性筛选，主要是保留名词、动词以及形容词等，得到最终需要挖掘同义词的关键词集，关键词集应按类别进行提取。在本实施例中，关键词提取算法采用基于统计的TF-IDF算法与基于图模型的TextRank算法相结合。其具体详细步骤如下：

(a)统计人工词典爬取词典劳动法词典标签，并得到标签权重；

(b)利用TF-IDF提取算法得到分析文本关键词集(取top20)；

(c)将20个关键词的权重乘对应标签热度T＝TFIDF*Weight；

(d)全部关键字不在标签字典里导致结果为0时，使用textrank来提取关键词；

(e)根据计算结果重新排序，保留最多不超过5个关键字。

(2)对数据集A和数据集B进行词向量训练，采用余弦相似度计算方法提取文本中同义词的特征，挖掘大语料下的广义相关词，并利用词性对其进行筛选，得到缩略相关词，再采用分类挖掘方法，通过欧式距离算法在同类别下挖掘同义词对，形成最终的同义词集；具体步骤如图4所示。

(2.1)文本向量化：根据步骤(1.5)得到分词后的词表，词表大小为670K，根据词表进行one-hot编码，得到1*670K的矩阵M。在本实施例中，将每个词表示为一个维度为300的向量，即每个词语有300个特征，那么隐藏层则为|V|*d的向量矩阵，其中隐藏层的矩阵用N表示，V代表词表的大小，d代表词向量的维度。最后得到每个词语的词向量：Q＝M*N。

(2.2)文本同义词特征提取：根据步骤(2.1)学习训练语料获取词向量和提取文本特征，词向量是维度为d的实数向量，因词向量中包含了自然语言中的语义和语法关系，各词语之间的远近代表着词语的相关度，距离越近，相关度越高，越可能为同义词。例如关键词“债务”对应的向量与关键词“债款”对应的向量距离就更近，与关键词“租赁”对应的向量距离就更远。在本实施例中，各词语之间的远近用余弦相似度来度量，其中cosine余弦值越接近1，词语对应的词向量就越相似。余弦相似度表达式为：

其中，X_i代表某一类别关键词集中的第i个值对应的词向量，Y_i代表词表中的第i个值对应的词向量，其中cosine余弦值越接近1，词语对应的词向量就越相似；

再根据相似值与预设阈值相比较，或者返回前top n的相关词语，预设阈值设置在0.5-0.6之间，或者返回相似度为前top10的相关词语。本实施例中是将需要挖掘同义词的关键词对应的词向量与大语料中各词语的词向量计算余弦值，并将余弦值与预设阈值进行比较，余弦值大于预设阈值的为关键词的广义相关词，小于预设阈值的则删除，其中预设阈值为0.6。

最后遍历需要挖掘同义词的关键词集，挖掘关键词对应的广义相关词，得到广义相关词集。例如关键词“债务”的广义相关词集为“债权债款欠款借款负债外债贷款欠债偿债借贷”。

(2.3)词性筛选：根据步骤(2.2)得到关键词集对应的广义相关词集，对其进行词性筛选，得到缩略相关词集。主要保证关键词的词性与对应的广义相关词的词性应保持一致，减少同义词替换后的语义上的变形。

在步骤(2.2)的基础上进行词性筛选，例如关键词“债务”的词性为名词，则对应的缩略相关词集也应为名词，因此关键词“债务”对应的缩略相关词集为“债权债款外债贷款”。

(2.4)同义词集获取：根据步骤(2.3)得到关键词集对应的缩略相关词集，对其进行欧式距离计算。词向量是低维的的实数向量，欧式距离通过对关键词集和缩略相关词集词语的向量进行距离度量，来衡量向量空间各个点间的绝对距离，这距离是和向量中各个点的个体特征维度的数值直接相关的。其中n维空间里两个向量X(x₁,x₂,…,x_n)与Y(y₁,y₂,…,y_n)之间的欧式距离计算公式为：

在本实施例中，将关键词所对应的向量与所有缩略相关词以及其他需要挖掘同义词的关键词的向量进行欧式距离计算，计算的距离值与预设阈值相比较，对于距离值大于预设阈值的作为第一相关词集；将缩略相关词所对应的向量与所有的关键词集以及其他缩略相关词所对应的向量进行距离计算，对于距离值大于预设阈值的作为第二相关词集；再将第一相关词集与第二相关词集求交集，得到最终的同义词集。本实施例中的预设阈值为0.7。

在步骤(2.3)的基础上进行欧式距离计算，例如关键词“债务”的同义词集为“债权债款外债”。

(3)采用统计同义词对的方法提取同义词对的共现频次，并根据共现频次计算确定同义词替换的概率。具体步骤如下：

(3.1)统计同义词对共现频次：在当前类别下同一篇文本中，依次计算数据中出现同义词对的频次，进行统计，若频次越大，就可以认为它们的关联度越大，是同义词的概率也越大。反之，若频次越小，同义词的概率也就越小。根据步骤(2.4)得到的最终同义词集，统计同义词集的共现频次。

在本实施例中，统计词频采用Python的collections模块中的Counter()函数统计同义词对共现频次。

(3.2)计算同义词替换概率：根据步骤(3.1)得到的同义词共现频次，计算同义词替换概率。由先验知识可以，共现频次和同义词是呈正相关的。计算一组的同义词对的替换概率P公式如下：

其中，P为同义词对的替换概率，count为这一组同义词对的共现频次，count_all为同义词对中某个词的所对应的词语的共现总次数。

根据公式(3)计算同义词对的共现频次在某个词的所对应的词语的共现总次数中占比。如果在某个词的所有共现中，该同义词对的共现频次占比较大，那么是同义词的可信度也就越高。

假设词X和词Y为一个同义词对，词X可能只有一个同义词对，也可能有多个同义词对。在本实施例中，同义词共现频次的词表示例如下所示：

催账|催债|8

催账|讨债|49

催账|追债|4

催账|要债|2

催账|讨账|5

催账|逼债|2

催账|讨款|3

催账|催款|16

催账|追账|2

催账|要帐|1

催账|索债|1

催账|家里要钱|1

催账|追|1

催账|要账|2

由上面同义词共现频次的词表示例可知，结构为词X|词Y|共现频次。其中“催账”和“讨债”的共现频次最高，占比最大，则其可信度也就越大。

(4)基于同义词集进行同义词替换，并检查检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正。具体步骤如图5所示：

(4.1)用户在使用问答检索系统时输入的问题，可以为关键词或者关键短语，也可以为问句，问答检索系统对输入的语句进行细粒度分词，得到分词后的关键词集，可以是一个或者多个词语。

(4.2)根据步骤(4.1)的细粒度分词与步骤(2.4)的同义词集，对于同义词集中包含分词后的关键词的，根据步骤(3)得到的同义词替换概率大小，选取同义词替换概率最大的词语进行同义词替换，将替换后的结果去进行检索，得到PostgreSQL全文检索和基于bert文本相似度计算两者的权值加权计算后的分数，并返回得分最高的问答检索结果。

本实施例中，PostgreSQL全文检索和基于bert文本相似度计算两者的权值加权计算后的分数具体步骤如下：

本实施例中，在计算PostgreSQL全文检索和基于bert文本相似度计算两者的权值时，将用户输入的问题进行同义词替换后，将进行关键词提取的结果记作H；将数据库中存储的问答对中的问题进行关键词提取，得到字段keyword，其中字段keyword中的关键词记作J；另外根据字段keyword新建一辅助字段question_keyword，其中question_keyword字段中的关键词是经过同义词替换后得到的，记作K，具体如图6所示：

(a)pg_score计算并按分数排序：进行全文检索有两种情况，(1)当关键词J存在时，则用关键词H在PostgreSQL库里question_keyword字段中的关键词K中进行全文检索得到pg_score，根据pg_score筛选出result；(2)当关键词J不存在时，则用关键词H在PostgreSQL库里的问题/答案进行全文检索得到pg_score，根据pg_score筛选出result。其中筛选出result是根据pg分数进行排序，选取前top30，返回的result是数据库中的原问题。

(b)bert_score计算并重新排序：根据步骤(a)中的result和用户输入的问题，都用bert进行encode转为向量，求出它们之间的余弦距离，得到bert_score。根据bert_score对result重新排序，选取result中得分最高的question，并返回question对应的answer。其中bert_score计算是将用户输入的原问题与pg库中的问题进行向量化计算得到的。

(4.3)根据步骤(4.2)得到的问答检索结果，判断其加权得分后的权值是否大于预先设定的阈值S，进行反馈修正。若加权得分后的权值大于预先设定的阈值S的，则返回用户检索匹配的结果，若加权得分后的权值小于预先设定的阈值S的，则记录替换的同义词对，待后验修正同义词集，进而更新同义词集，从而较好的解决了同义词替换后的语义变形问题，提高了同义词挖掘的准确度以及问答对检索结果的准确性。

例如，在债权债务纠纷中的“算账”与“结账”属于同义词对，但进行同义词替换后，可能产生语义变形问题，从而对检索结果产生较大的影响。进行检索结果的反馈修正可以很好的处理这一现象。

本发明实施例中是按类别进行提取需要挖掘同义词的关键词，整个流程按类别进行。依次按类别更新同义词集，提高在同类别下挖掘同义词的准确率。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (9)

1.一种问答检索系统的同义词挖掘方法，其特征在于，包括如下步骤：

(1)爬取和收集垂直领域不同类别的问答语料数据集A和该领域用于训练的大语料数据集B，并对不同类别的数据集A和数据集B进行数据预处理，得到关键词提取数据和训练数据；

(2)对数据集A和数据集B进行词向量训练，提取文本中同义词的特征，挖掘大语料下的广义相关词，并利用词性对其进行筛选，得到缩略相关词，再采用分类挖掘方法，在同类别下挖掘同义词对，形成最终的同义词集；具体如下：

(2.1)文本向量化：根据分词后的词表，将词表中的词语转化为词向量形式；首先对词表进行one-hot编码得到矩阵M，利用word2vec训练词向量，构建|V|*d的向量矩阵，其中隐藏层的矩阵用N表示，V代表词表的大小，d代表词向量的维度；得到每个词语的词向量：Q＝M*N；

(2.2)文本同义词特征提取：根据步骤(2.1)得到的词向量，将某一类别关键词集中的各个词语与词表中各个词语进行词嵌入后计算余弦相似度，其中余弦值大于设置的相似度阈值的，作为广义相关词集；

(2.3)词性筛选：将步骤(2.2)得到的关键词的广义相关词，进行词性筛选，确保广义相关词中的词语与某一类别关键词当中的词语的词性应保持一致，得到缩略相关词集；

(2.4)同义词集获取：在当前类别的关键词集中的关键词与步骤(2.3)中的缩略相关词集进行欧式距离的计算，其中距离值大于预设阈值的，作为最终的同义词集；

(3)提取同义词对的共现频次，并根据共现频次计算确定同义词替换的概率；

(4)基于同义词集进行同义词替换，并检查检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正。

2.根据权利要求1所述的一种问答检索系统的同义词挖掘方法，其特征在于：所述步骤(1)具体如下：

(1.1)爬取收集数据：爬取和收集垂直领域的不同类别的数据集A和数据集B；

(1.2)数据清洗：根据步骤(1.1)中爬取收集的数据，对其进行数据清洗，包括相似的文本去重，低质量文本过滤，缺失的文本去除，以及对较短的文本进行删除；

(1.3)文本分类：根据步骤(1.2)得到处理后的数据，对其进行文本分类；其中，对于没有类别的数据采用CNN算法进行文本分类；

(1.4)数据分词：根据步骤(1.2)得到处理后的数据，分别对数据集A和数据集B进行细粒度分词，并建立停用词典和自定义词典，提高分词质量；

(1.5)统计词频并排序：根据步骤(1.4)数据分词得到的结果，统计每个单词出现的频率，并对词频进行降序排序，生成词表；

(1.6)关键词提取：将数据集A中的问题Query细粒度分词后的结果作为关键词集I，并对数据集A中的答案Answer提取关键词得到关键词集II，将关键词集I与关键词集II合并得到初步需要挖掘的关键词集，再进行词性筛选，得到最终需要挖掘同义词的关键词集。

3.根据权利要求2所述的一种问答检索系统的同义词挖掘方法，其特征在于：所述步骤(1.6)中，提取关键词采用基于统计的TF-IDF算法与基于图模型的TextRank算法相结合，提取文本关键词。

4.根据权利要求2所述的一种问答检索系统的同义词挖掘方法，其特征在于：所述的词性筛选具体为：对初步的关键词集进行词性筛选，保留名词、动词和形容词；最后得到的最终需要挖掘同义词的关键词集应按类别区分开。

5.根据权利要求1所述的一种问答检索系统的同义词挖掘方法，其特征在于：所述步骤(3)具体如下：

(3.1)提取共现频次：根据步骤(2)得到的最终同义词集，提取同义词集的共现频次；

(3.2)计算同义词替换概率：根据步骤(3.1)得到的同义词共现频次，计算同义词替换概率；计算一组同义词对的替换概率P公式如下：

其中，P为同义词对的替换概率，count为这一组同义词对的共现频次，count_all为同义词对中某个词的所对应的词语的共现总次数。

6.根据权利要求1所述的一种问答检索系统的同义词挖掘方法，其特征在于：所述步骤(4)具体如下：

(4.1)问答检索系统对输入的问题进行细粒度分词；

(4.2)根据步骤(4.1)的细粒度分词结果与步骤(2)的同义词集，对于同义词集中包含分词后的关键词的，根据步骤(3)得到的同义词替换概率大小进行替换，检索并返回相似度最高的问答检索结果；

(4.3)根据得到的问答检索结果，判断其相似度是否大于预先设定的阈值S，进行反馈修正：若相似度大于预先设定的阈值S的，则返回用户检索匹配的结果，若相似度小于预先设定的阈值S的，则记录替换的同义词对，待后验修正同义词集。

7.根据权利要求6所述的一种问答检索系统的同义词挖掘方法，其特征在于：所述在步骤(4.3)中，检索并返回相似度最高的问答检索结果，具体指基于PostgreSQL全文检索结果，与输入的问题比较，基于bert计算文本相似度，返回相似度最高的问答检索结果。

8.一种应用如权利要求1所述方法的同义词挖掘装置，其特征在于，包括：数据获取模块、数据预处理模块、同义词集获取模块、反馈修正模块；

所述数据获取模块用于爬取和收集垂直领域不同类别的问答语料和作为训练语料的大语料集；

所述数据预处理模块用于语料数据预处理，包括数据清洗、文本分类、数据分词、关键词提取；

所述同义词集获取模块用于训练词向量，提取同义词特征，筛选词性，分类挖掘同义词对，获取同义词集；

所述反馈修正模块用于根据同义词对替换后的检索召回结果，对不满足检索召回阈值的同义词对，进行反馈修正。

9.根据权利要求8所述的同义词挖掘装置，其特征在于，

所述同义词集获取模块，包括文本向量化单元、同义词集输出单元；所述文本向量化单元用于将分词后的文本转化为词向量，得到词向量模型；所述同义词集输出单元，通过加载词向量模型，对于每个关键词进行词嵌入计算余弦相似度，对于余弦相似值大于预设的阈值的，作为每个关键词相对应的广义相关词，再进行词性筛选，确保每个广义相关词与对应的关键词词性相同，从而得到缩略相关词集，再在当前类别的关键词集中的关键词与缩略相关词集进行欧式距离的计算，其中相似度值大于设置的阈值的，作为最终的同义词集；

所述反馈修正模块，包括替换概率计算单元和反馈修正单元；所述替换概率计算单元，通过统计同义词对的共现词频，计算同义词的替换概率；所述反馈修正单元用于对用户的问答系统的检索信息进行分词，至少有一个关键词，对于同义词集中包含分词后的关键词的，根据同义词的替换概率进行同义词替换，得到加权得分最高的问答检索结果，其中加权得分后的权值小于预先设定的阈值S的，则记录替换的同义词对，待后验修正同义词集。

Images