CN114742062B - 文本关键词提取处理方法及系统 - Google Patents

Abstract

本公开涉及一种文本关键词提取处理方法及系统，其中方法包括：获取企业介绍文本；将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；基于TF‑IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取，以生成企业关键词和企业关键词特征；将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的。

Description

文本关键词提取处理方法及系统

技术领域

本公开实施例涉及文本处理技术领域，尤其涉及一种文本关键词提取处理方法及系统。

背景技术

目前的文本关键词提取技术主要有词频逆文本频率指数TF-IDF（TermFrequency/Inverse Document Frequency）算法，其是信息检索领域非常重要的搜索词重要性度量方法，用以衡量一个关键词对于查询文本所能提供的信息。通过构建IDF字典，可以有效地提取出文本中重点且相对其他文本有特点的词汇。然而目前的TF-IDF算法无法解决定向领域关键词的提取问题，比如，如果希望提取一篇企业介绍文本中与产品相关的核心关键词，这类算法就变得无能为力，因为这类算法提取的关键词是无法定向提取企业产品这单一领域的。相关技术中可采用命名实体识别算法，如当前比较流行的基于BERT模型预训练的中文命名实体识别模型把某一定向领域的关键词定义为某类实体，则可以一定程度上解决定向领域关键词的提取问题。

虽然命名实体识别方法可以提取定向领域的关键词，但是却又面临两个问题：其一是提取的关键词没有对应的用以衡量关键词相对重要性的数值，因此无法完成关键词排序任务。其二是忽略了标注实体以外的其他类型的有价值的关键词，使得提取的关键词的准确性降低。

而企业介绍文本中与产品相关的关键词一般具备一定的特性，如词性往往希望是名词或是动名词组合，而不是副词、形容词等。这种特性使得使用当前主流的关键词提取算法或者实体命名识别模型提取关键词时，即使有比较好的停留词库，也无法对企业介绍文本中提取的关键词进行合理的处理如排序等，且提取的企业介绍文本中的关键词的准确性依然有待提高。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种文本关键词提取处理方法及系统。

第一方面，本公开实施例提供了一种文本关键词提取处理方法，包括：

获取企业介绍文本；

将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；

将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；

基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理，以生成企业关键词和企业关键词特征；

将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。

在一个实施例中，该方法还包括：

基于所述多个第一关键词、所述多个第二关键词以及所述企业关键词，确定最终的企业关键词；

将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型，以得到第二企业关键词排序结果。

在一个实施例中，所述将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型之前，该方法还包括：

基于所述最终的企业关键词，确定指定关键词特征，所述指定关键词特征至少包括词长和/或与核心词汇的词向量相似度；

基于所述指定关键词特征和所述企业关键词特征，确定最终的企业关键词特征；

将所述最终的企业关键词和所述最终的企业关键词特征输入所述关键词排序模型，以得到第三企业关键词排序结果。

在一个实施例中，所述基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理之前，该方法包括：

将所述多个第一关键词以及所述多个第二关键词作为所述TF-IDF算法分词处理过程中使用的词库，且将分词处理优先级均设置为最高，以使所述TF-IDF算法在分词过程优先处理。

在一个实施例中，所述第一企业关键词排序结果包括按重要程度由大到小排列的多组词集，该方法还包括：

删除所述按重要程度由大到小排列的多组词集中重要程度最小的一组词集，得到剩余组词集；

对所述剩余组词集中各组词集内的关键词分别进行排序，得到组内排序后的剩余组词集；

将所述组内排序后的剩余组词集合并得到最终的企业关键词排序结果。

在一个实施例中，所述对所述剩余组词集中各组词集内的关键词分别进行排序，包括：

针对所述剩余组词集中的每一组词集，基于所述每一组词集中的关键词的词频和与核心词汇的词向量相似度对所述每一组词集中的关键词进行降序排序。

在一个实施例中，所述样本企业关键词和样本企业关键词特征是基于TF-IDF算法对样本企业介绍文本、第一样本关键词和第二样本关键词处理得到的，所述第一样本关键词是将所述样本企业介绍文本输入所述预设命名实体识别模型识别得到的，所述第二样本关键词是将所述样本企业介绍文本与所述指定主题词库进行匹配得到的。

第二方面，本公开实施例提供一种文本关键词提取处理系统，包括：

获取模块，用于获取企业介绍文本；

第一处理模块，用于将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；

第二处理模块，用于将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；

第三处理模块，用于基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理，以生成企业关键词和企业关键词特征；

排序模块，用于将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。

第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述文本关键词提取处理方法。

第四方面，本公开实施例提供一种电子设备，包括：

处理器；以及

存储器，用于存储计算机程序；

其中，所述处理器配置为经由执行所述计算机程序来执行上述任一实施例所述文本关键词提取处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供的文本关键词提取处理方法及系统，获取企业介绍文本，将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；同时将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；然后基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理，以生成企业关键词和企业关键词特征；最后将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。这样，本实施例的方案融合了TF-IDF算法以及实体命名识别模型方法，另外增加主题词库与企业介绍文本进行匹配得到的关键词进行融合处理，考虑了除标注实体以外的其他类型的有价值的关键词，使得提取的企业介绍文本中的关键词的准确性提高，另外基于TF-IDF算法得到企业关键词和企业关键词特征后，基于标注了体现企业关键词重要程度的标签的训练样本数据对XGBoost模型训练得到的关键词排序模型进行排序处理，实现对企业介绍文本中提取的企业关键词的排序处理，且排序结果准确性被提高。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例文本关键词提取处理方法流程图；

图2为本公开实施例文本关键词提取处理过程示意图；

图3为本公开实施例关键词排序处理过程示意图；

图4为本公开实施例文本关键词提取处理系统示意图；

图5为本公开实施例的电子设备示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

应当理解，在下文中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

图1为本公开实施例的一种文本关键词提取处理方法流程图，该方法可包括以下步骤：

步骤S101：获取企业介绍文本。

示例性的，例如通过图像识别技术获取企业宣传册图像的文本作为企业介绍文本，或者通过获取企业官方网站的企业介绍文本，当然并不限于此。企业介绍文本可以包括企业介绍信息、经营范围信息、产品信息、招投标信息和专利信息等，本实施例中对此不作限制。在一个示例中，结合图2中所示，例如从A公司的官方网站获取A公司相关文本作为企业介绍文本。

步骤S102：将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词。其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的。

示例性的，可以预先收集不同的多个企业介绍相关文本作为样本企业介绍文本，也可以依次对不同来源的文本进行编号，构建词源特征。基于样本企业介绍文本对BERT模型训练得到预设命名实体识别模型，以便可以定向提取企业介绍文本如A公司介绍文本中的多个关键词如与产品相关的核心关键词作为多个第一关键词。

BERT模型预训练的预设命名实体识别模型如中文命名实体识别模型，其实体类别可以包括企业主要业务、主要产品或服务、优势科技等，提取关键词的同时可以构建实体类别特征，并将提取的关键词纳入分词词库。关于BERT模型具体训练过程可以参考现有技术理解，此处不再赘述，本实施例中仅是训练样本数据以及应用场景不同。

步骤S103：将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词。

示例性的，指定主题词库可以是第三方词库，如企业产品主题词库、行业名称主题词库等。如图2所示，将企业介绍文本如A公司相关文本输入第三方词库进行匹配，依据关键词匹配结果，得到关键词主题特征，同时把匹配成功的关键词结果即多个第二关键词也纳入到分词词库。

步骤S104：基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行处理，以得到企业关键词和企业关键词特征。

示例性的，使用TF-IDF算法对基于企业介绍文本如A公司相关文本进行关键词提取处理得到的多个第一关键词和多个第二关键词，计算这些关键词的TF-IDF值，保留TF-IDF值最大的前n个关键词作为企业关键词，其中n的取值可以自定义设置。除了TF-IDF值以外。企业关键词特征可以包括但不限于词频特征、词性特征等。通过TF-IDF算法处理之后即可得到A公司关键词和A公司关键词特征。

步骤S105：将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果。其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。

示例性的，预先对大量样本企业关键词的重要程度进行标注，例如关键词重要程度按照标签0、1、2、3 标注，0代表最不重要的关键词，3代表最重要的关键词，2代表次重要关键词，如此类推，降序排列。不同标签与样本企业关键词对应的样本企业关键词特征相关，如样本企业关键词的词频特征如TF-IDF值越大，则关键词重要程度越高。通过标注得到训练样本数据，然后使用XGBoost模型进行训练得到关键词排序模型。该关键词排序模型对关键词进行分类预测，输入为企业关键词和企业关键词特征，输出为企业关键词排序结果如按照标签0、1、2、3 代表的不同重要程度（即四个类别）的四组关键词集合（简称词集），如0级词集，1级词集，2级词集和3级词集，每个词集内包括至少一个关键词且各关键词的重要程度相同。

本实施例的方案融合了TF-IDF算法以及实体命名识别模型方法，另外增加主题词库与企业介绍文本进行匹配得到的关键词进行融合处理，考虑了除标注实体以外的其他类型的有价值的关键词，使得提取的企业介绍文本中的关键词的准确性提高，另外基于TF-IDF算法得到企业关键词和企业关键词特征后，基于标注了体现企业关键词重要程度的标签的训练样本数据对XGBoost模型训练得到的关键词排序模型进行排序处理，实现对企业介绍文本中提取的企业关键词的排序处理，且排序结果准确性被提高。

在一个实施例中，所述样本企业关键词和样本企业关键词特征是基于TF-IDF算法对样本企业介绍文本、第一样本关键词和第二样本关键词处理得到的，所述第一样本关键词是将所述样本企业介绍文本输入所述预设命名实体识别模型识别得到的，所述第二样本关键词是将所述样本企业介绍文本与所述指定主题词库进行匹配得到的。

本实施例中关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，而该训练样本即样本企业关键词和样本企业关键词特征是基于TF-IDF算法对样本企业介绍文本、第一样本关键词和第二样本关键词处理得到的，其中第一样本关键词是将样本企业介绍文本输入所述预设命名实体识别模型识别得到的，第二样本关键词是将样本企业介绍文本与指定主题词库进行匹配得到的，也即是说，训练样本是对样本企业介绍文本进行中文命名实体识别、第三方词库匹配、传统关键词挖掘算法TF-IDF这三种方式相结合得到的，通过这样预处理得到的训练样本来训练XGBoost模型，由于训练样本数据更加精确，可使得训练得到的关键词排序模型对企业介绍文本中提取的企业关键词的排序结果准确性进一步提高。

在一个实施例中，该方法还可以包括以下步骤：步骤i）：基于所述多个第一关键词、所述多个第二关键词以及所述企业关键词，确定最终的企业关键词。步骤ii）：将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型，以得到第二企业关键词排序结果。

具体的，也即将基于TF-IDF算法得到的关键词与命名实体识别、第三方词库匹配这两种方式得到的关键词综合确定如取三者相同的关键词得到最终的企业关键词，然后将最终的企业关键词和企业关键词特征输入所述关键词排序模型输出第二企业关键词排序结果。如此使得从企业介绍文本中提取筛选的企业关键词更加准确，且使得对企业介绍文本中提取的企业关键词的排序结果准确性更进一步提高。

在一个实施例中，所述将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型之前，该方法还可以包括以下步骤：

步骤1）：基于所述最终的企业关键词，确定指定关键词特征，所述指定关键词特征至少包括词长和/或与核心词汇的词向量相似度。

示例性的，确定最终的企业关键词的词长，将词长作为指定关键词特征，和/或，确定最终的企业关键词与核心词汇的词向量相似度，将其作为指定关键词特征。其中核心词汇是从企业介绍文本中确定的核心关键词，如产品相关的核心关键词，具体可以根据需要设置，对此不作限制。

步骤2）：基于所述指定关键词特征和所述企业关键词特征，确定最终的企业关键词特征。

示例性的，基于最终的企业关键词的词长、与核心词汇的词向量相似度，以及企业关键词特征如词频特征、词性特征等综合确定最终的企业关键词特征，其包括多个不同的特征。

步骤3）：将所述最终的企业关键词和所述最终的企业关键词特征输入所述关键词排序模型，以得到第三企业关键词排序结果。

具体的，将确定的最终的企业关键词和最终的企业关键词特征输入上述关键词排序模型，以得到对应的关键词排序结果。通过上述方式得到的企业关键词特征更为全面准确，关键词排序模型基于更为全面准确的企业关键词特征进行处理排序，使得对企业介绍文本中提取的企业关键词的排序结果准确性更进一步提高。

在一个实施例中，所述步骤S104中基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行处理之前，该方法包括：将所述多个第一关键词以及所述多个第二关键词作为所述TF-IDF算法分词处理过程中使用的词库，且将分词处理优先级均设置为最高，以使所述TF-IDF算法在分词过程优先处理。也即TF-IDF算法在分词过程中优先处理多个第一关键词以及所述多个第二关键词。

本实施例中在使用TF-IDF算法提取关键词前，把前面两个步骤S102和S103新增的分词词汇即多个第一关键词和第二关键词的分词优先级调整到最高，以此确保最终提取的关键词能计算TF-IDF值，如此使得最终提取得到的企业关键词更准确。

在一个实施例中，所述第一企业关键词排序结果包括按重要程度由大到小排列的多组词集，该方法还包括以下步骤：步骤a)：删除所述按重要程度由大到小排列的多组词集中重要程度最小的一组词集，得到剩余组词集；步骤b)：对所述剩余组词集中各组词集内的关键词分别进行排序，得到组内排序后的剩余组词集；步骤c)：将所述组内排序后的剩余组词集合并得到最终的企业关键词排序结果。

具体的，在一个示例中，结合图3所示，把分类为0的0级词集删除后，所有的关键词具有了3级排序标签。剩下具有3级排序标签的关键词根据词频、与核心词向量相似度进行组内排序等综合排序策略，完成关键词的组内排序，同样也是降序排列。最后依据3、2、1三级关键词标签以及组内排序结果进行合并得到最终的关键词排序结果。如此构建了一个自动提取关键词并自动排序的方案。这样可以通过组内排序再合并的方式，可以提高排序处理的效率同时通过删除低质量的关键词筛选处理使得提取的企业介绍文本中的关键词的准确性进一步提高。

在上述实施例的基础上，于一个实施例中，所述步骤b)中对所述剩余组词集中各组词集内的关键词分别进行排序，具体可以包括：针对所述剩余组词集中的每一组词集，基于所述每一组词集中的关键词的词频和与核心词汇的词向量相似度对所述每一组词集中的关键词进行降序排序。

示例性的，例如一个关键词K的词频越大或者与核心词汇的词向量相似度越高，则该关键词K的重要程度越高，排序靠前。本实施例中通过组内的精确排序，使得最终对企业介绍文本中提取的企业关键词的排序结果准确性进一步提高。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。另外，也易于理解的是，这些步骤可以是例如在多个模块/进程/线程中同步或异步执行。

如图4所示，本公开实施例提供一种文本关键词提取处理系统，包括：

获取模块401，用于获取企业介绍文本；

第一处理模块402，用于将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；

第二处理模块403，用于将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；

第三处理模块404，用于基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理，以生成企业关键词和企业关键词特征；

排序模块405，用于将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。

在一个实施例中，该系统还包括第四处理模块，用于：基于所述多个第一关键词、所述多个第二关键词以及所述企业关键词，确定最终的企业关键词；排序模块405，还用于将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型，以得到第二企业关键词排序结果。

在一个实施例中，该系统还包括第五处理模块，用于在所述排序模块405将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型之前，基于所述最终的企业关键词，确定指定关键词特征，所述指定关键词特征至少包括词长和/或与核心词汇的词向量相似度；基于所述指定关键词特征和所述企业关键词特征，确定最终的企业关键词特征；所述排序模块405还用于将所述最终的企业关键词和所述最终的企业关键词特征输入所述关键词排序模型，以得到第三企业关键词排序结果。

在一个实施例中，所述第三处理模块404基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行处理之前，将所述多个第一关键词以及所述多个第二关键词作为所述TF-IDF算法分词处理过程中使用的词库，且将分词处理优先级均设置为最高，以使所述TF-IDF算法在分词过程中优先处理。

在一个实施例中，所述第一企业关键词排序结果包括按重要程度由大到小排列的多组词集，排序模块405还可用于：删除所述按重要程度由大到小排列的多组词集中重要程度最小的一组词集，得到剩余组词集；对所述剩余组词集中各组词集内的关键词分别进行排序，得到组内排序后的剩余组词集；将所述组内排序后的剩余组词集合并得到最终的企业关键词排序结果。

在一个实施例中，所述排序模块405对所述剩余组词集中各组词集内的关键词分别进行排序，包括：针对所述剩余组词集中的每一组词集，基于所述每一组词集中的关键词的词频和与核心词汇的词向量相似度对所述每一组词集中的关键词进行降序排序。

在一个实施例中，所述样本企业关键词和样本企业关键词特征是基于TF-IDF算法对样本企业介绍文本、第一样本关键词和第二样本关键词处理得到的，所述第一样本关键词是将所述样本企业介绍文本输入所述预设命名实体识别模型识别得到的，所述第二样本关键词是将所述样本企业介绍文本与所述指定主题词库进行匹配得到的。

关于上述实施例中的系统，其中各个模块执行操作的具体方式以及带来的相应技术效果已经在有关该方法的实施例中进行了对应的详细描述，此处将不做详细阐述说明。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项实施例所述文本关键词提取处理方法。

示例性的，该可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

本公开实施例还提供一种电子设备，包括处理器以及存储器，存储器用于存储计算机程序。其中，所述处理器配置为经由执行所述计算机程序来执行上述任一项实施例中文本关键词提取处理方法。

下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件（包括存储单元620和处理单元610）的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述方法实施例部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示方法的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元（ROM）6203。

所述存储单元620还可以包括具有一组（至少一个）程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、或者网络设备等）执行根据本公开实施方式的上述各实施例的方法步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种文本关键词提取处理方法，其特征在于，包括：

获取企业介绍文本；

将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；

将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；

基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理，以生成企业关键词和企业关键词特征；

将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

基于所述多个第一关键词、所述多个第二关键词以及所述企业关键词，确定最终的企业关键词；

将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型，以得到第二企业关键词排序结果。

3.根据权利要求2所述的方法，其特征在于，所述将所述最终的企业关键词和所述企业关键词特征输入所述关键词排序模型之前，该方法还包括：

基于所述最终的企业关键词，确定指定关键词特征，所述指定关键词特征至少包括词长和/或与核心词汇的词向量相似度；

基于所述指定关键词特征和所述企业关键词特征，确定最终的企业关键词特征；

将所述最终的企业关键词和所述最终的企业关键词特征输入所述关键词排序模型，以得到第三企业关键词排序结果。

4.根据权利要求1~3任一项所述的方法，其特征在于，所述基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理之前，该方法包括：

将所述多个第一关键词以及所述多个第二关键词作为所述TF-IDF算法分词处理过程中使用的词库，且将分词处理优先级均设置为最高，以使所述TF-IDF算法在分词过程优先处理。

5.根据权利要求1~3任一项所述的方法，其特征在于，所述第一企业关键词排序结果包括按重要程度由大到小排列的多组词集，该方法还包括：

删除所述按重要程度由大到小排列的多组词集中重要程度最小的一组词集，得到剩余组词集；

对所述剩余组词集中各组词集内的关键词分别进行排序，得到组内排序后的剩余组词集；

将所述组内排序后的剩余组词集合并得到最终的企业关键词排序结果。

6.根据权利要求5所述的方法，其特征在于，所述对所述剩余组词集中各组词集内的关键词分别进行排序，包括：

针对所述剩余组词集中的每一组词集，基于所述每一组词集中的关键词的词频和与核心词汇的词向量相似度对所述每一组词集中的关键词进行降序排序。

7.根据权利要求1~3任一项所述的方法，其特征在于，所述样本企业关键词和样本企业关键词特征是基于TF-IDF算法对样本企业介绍文本、第一样本关键词和第二样本关键词处理得到的，所述第一样本关键词是将所述样本企业介绍文本输入所述预设命名实体识别模型识别得到的，所述第二样本关键词是将所述样本企业介绍文本与所述指定主题词库进行匹配得到的。

8.一种文本关键词提取处理系统，其特征在于，包括：

获取模块，用于获取企业介绍文本；

第一处理模块，用于将所述企业介绍文本输入预设命名实体识别模型，以得到多个第一关键词；其中，所述预设命名实体识别模型是预先基于样本企业介绍文本对BERT模型训练得到的；

第二处理模块，用于将所述企业介绍文本与指定主题词库进行匹配，以得到多个第二关键词；

第三处理模块，用于基于TF-IDF算法对所述多个第一关键词以及所述多个第二关键词进行关键词提取处理，以生成企业关键词和企业关键词特征；

排序模块，用于将所述企业关键词和所述企业关键词特征输入关键词排序模型，以得到第一企业关键词排序结果；其中，所述关键词排序模型是预先基于训练样本对XGBoost模型训练得到的，所述训练样本包括标注了不同标签的多个样本企业关键词和对应的样本企业关键词特征，所述标签与样本企业关键词对应的样本企业关键词特征相关且表征对应的样本企业关键词的重要程度。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~7任一项所述文本关键词提取处理方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储计算机程序；

其中，所述处理器配置为经由执行所述计算机程序来执行权利要求1~7任一项所述文本关键词提取处理方法。

Images