CN112784033B - 一种时效等级识别模型训练及应用的方法、及电子设备 - Google Patents

Abstract

本申请公开了一种时效等级识别模型训练方法、时效等级识别方法及电子设备，涉及人工智能领域，具体涉及自然语言处理及自然语言处理中的智能推荐等技术领域。方案为：获取第一文档集；利用第一文档集对N个第一初始识别模型进行训练得到N个第一时效等级识别模型；基于N个第一时效等级识别模型确定第一文档集中的噪声文档；去除第一文档集中的噪声文档，得到第二文档集；利用第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，目标时效等级识别模型用于确定文档时效等级标签。需对第一文档集中的噪声文档进行去除，利用的是去除噪声文档后的第二文档集对第二初始识别模型进行训练得到目标时效等级识别模型，可提高模型训练效果。

Description

一种时效等级识别模型训练及应用的方法、及电子设备

技术领域

本申请涉及计算机技术中的人工智能领域，进一步涉及自然语言处理及自然语言处理中的智能推荐等技术领域，尤其涉及一种时效等级识别模型训练方法、时效等级识别方法及电子设备。

背景技术

随着互联网技术不断的发展，网络以及各应用等沉淀的文档越来越多，其中不乏很多优质的对他人成长有帮助的文档，为了让文档能够高效流动起来，因此需要构建知识推荐系统，实现知识主动找人。对于企业内部而言，除了员工所写的经验总结文档外，还有大量以公司新闻、内部活动、限时福利/培训为主的时效性较强的文档等，如果在推荐时不控制文档的时效性，就会出现将已结束的公司活动或者多年前的公司新闻推荐给企业员工的情况，这十分影响企业员工体验。如果对所有文档都设置成一样的时效性，则会导致长时效性的知识被过早的埋没。因此在推荐过程中，文档时效等级识别是非常重要的一环。

目前，可采用时效等级识别模型对文档进行时效等级识别，如此，需要进行时效等级识别模型的训练，目前，常采用的时效等级模型训练的方法中，首先获取训练文档集，利用训练文档集进行模型训练。

发明内容

本申请提供一种时效等级识别模型训练方法、时效等级识别方法及电子设备。

第一方面，本申请一个实施例提供一种时效等级识别模型训练方法，所述方法包括：

获取第一文档集；

利用所述第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，N为大于1的整数；

基于所述N个第一时效等级识别模型，确定所述第一文档集中的噪声文档；

去除所述第一文档集中的噪声文档，得到第二文档集；

利用所述第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，其中，所述目标时效等级识别模型用于确定文档时效等级标签。

在本申请实施例的时效等级识别模型训练方法中，首先是通过第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，然后利用N个第一时效等级识别模型，确定所述第一文档集中的噪声文档，将第一文档集中的噪声文档滤除得到第二文档集，再通过第二文档集进行模型训练得到目标时效等级识别模型即可，完成模型训练。不再是直接利用获取的第一文档集进行训练得到目标时效等级识别模型，而是需要通过第一文档集训练得到的基于所述N个第一时效等级识别模型，确定所述第一文档集中的噪声文档，对第一文档集中的噪声文档进行去除得到第二文档集，提高第二文档集的文档质量，利用去除噪声文档后的第二文档集对第二初始识别模型进行训练，得到目标时效等级识别模型，可提高模型训练效果。

第二方面，本申请一个实施例提供一种时效等级识别方法，所述方法包括：

获取待识别文档；

利用目标时效等级识别模型确定所述待识别文档的时效等级标签。

在本实施例的时效等级识别方法中，是通过标时效等级识别模型来识别待识别文档的时效等级标签，得到待识别文档的时效等级标签，无需人工进行识别，可提高对待识别文档的时效等级识别的效率。

第三方面，本申请一个实施例提供一种时效等级识别模型训练装置，所述装置包括：

第一获取模块，用于获取第一文档集；

第一训练模块，用于利用所述第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，N为大于1的整数；

第一确定模块，用于基于所述N个第一时效等级识别模型，确定所述第一文档集中的噪声文档；

滤除模块，用于去除所述第一文档集中的噪声文档，得到第二文档集；

第二训练模块，用于利用所述第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，其中，所述目标时效等级识别模型用于确定文档时效等级标签。

第四方面，本申请一个实施例提供一种时效等级识别装置，所述装置包括：

第二获取模块，用于获取待识别文档；

识别模块，用于利用目标时效等级识别模型确定所述待识别文档的时效等级标签；

其中，所述目标时效等级识别模型为通过第二文档集对第二初始识别模型进行训练得到的模型，所述第二文档集为对去除第一文档集中的噪声文档后的文档集，所述第一文档集中的噪声文档通过N个第一时效等级识别模型确定，所述N个第一时效等级识别模型通过所述第一文档集对N个第一初始识别模型进行训练得到，N为大于1的整数。

第五方面，本申请一个实施例还提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请各实施例提供的时效等级识别模型训练方法或本申请各实施例提供的时效等级识别方法。

第六方面，本申请一个实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请各实施例提供的时效等级识别模型训练方法或本申请各实施例提供的时效等级识别方法。

第七方面，本申请一个实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请各实施例提供的时效等级识别模型训练方法或本申请各实施例提供的时效等级识别方法。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请提供的一个实施例的时效等级识别模型训练方法的流程示意图之一；

图2是本申请提供的一个实施例的时效等级识别模型训练方法的流程示意图之二；

图3是本申请提供的一个实施例的时效等级识别模型训练方法的流程示意图之三；

图4是本申请提供的一个实施例的对第二初始识别模型训练的原理图；

图5是本申请提供的一个实施例的时效等级识别方法的流程示意图；

图6是本申请提供的一个实施例的时效等级识别模型训练装置的结构图；

图7是本申请提供的一个实施例的时效等级识别装置的结构图；

图8是用来实现本申请实施例的时效等级识别模型训练方法或时效等级识别方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，根据本申请的实施例，本申请提供一种时效等级识别模型训练方法，可应用于电子设备，方法包括：

步骤101：获取第一文档集。

第一文档集中可以包括多个文档。作为一个示例，文档可以为但不限于文章、新闻、培训文档、公告文档、活动文档(例如，关于活动策划的文档)、福利文档(例如，关于福利说明的文档)、经验总结文档(例如，关于工作总结的文档)、生活资讯文档、企业部门风采展示文档等。

步骤102：利用第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，N为大于1的整数；

首先建立N个第一初始识别模型，用于识别文档时效等级标签的模型，N个第一初始识别模型中任意两个第一初始识别模型的模型参数值至少部分不同，基于第一文档集，可分别对N个第一初始识别模型进行训练，可得到N个第一时效等级识别模型。

步骤103：基于N个第一时效等级识别模型，确定第一文档集中的噪声文档。

在第一文档集中，可能存在噪声文档，通过N个第一时效等级识别模型，确定第一文档集中的噪声文档。需要说明的是，噪声文档可以理解为错误文档或标签标注错误的文档，作为一个示例，第一文档集中的噪声文档可以是通过置信学习方式从第一文档集中确定的，置信学习方式中过滤噪声样本的方案有多种，一个示例中，例如，可以过滤第一文档集中实际时效等级标签与基于第一时效等级识别模型输出的时效等级标签概率中最大概率对应的时效等级标签不一致的文档，即噪声文档可以包括第一文档集中实际时效等级标签与基于第一时效等级识别模型输出的时效等级标签概率中最大概率对应的时效等级标签不一致的文档。

作为一个示例，第一文档集可包括N个子文档集，基于一个第一时效等级识别模型，可确定第一文档集的N个子文档集中一个子文档集的噪声文档，不同子文档集的噪声文档基于不同第一时效等级识别模型确定。例如，N为3，基于第一个第一时效等级识别模型确定3个子文档集中第一个子文档集中的噪声文档，基于第二个第一时效等级识别模型确定3个子文档集中第二个子文档集中的噪声文档，基于第三个第一时效等级识别模型确定3个子文档集中第三个子文档集中的噪声文档。如此，通过N个第一时效等级识别模型可确定N子文档集的噪声文档，实现第一文档集中的噪声文档的确定。

步骤104：去除第一文档集中的噪声文档，得到第二文档集。

滤除第一文档集中的噪声文档，使得到的第二文档集更准确。

步骤105：利用第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型。

其中，目标时效等级识别模型用于确定文档时效等级标签，即目标时效等级识别模型可用于识别文档时效等级标签，从而确定文档时效等级标签。

即在确定第二文档集后，可利用利用第二文档集重新进行模型训练，即对第二初始识别模型进行训练，确定目标时效等级识别模型。

在本申请实施例的时效等级识别模型训练方法中，首先是通过第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，然后利用N个第一时效等级识别模型，确定第一文档集中的噪声文档，将第一文档集中的噪声文档滤除得到第二文档集，再通过第二文档集进行模型训练得到用于确定文档时效等级识别的目标时效等级识别模型即可，以完成模型训练。不再是直接利用获取的第一文档集进行训练得到目标时效等级识别模型，而是需要通过第一文档集训练得到的基于N个第一时效等级识别模型，确定第一文档集中的噪声文档，对第一文档集中的噪声文档进行去除得到第二文档集，提高第二文档集中的文档质量，是利用去除噪声文档后的第二文档集对第二初始识别模型进行训练，得到目标时效等级识别模型，可提高模型训练效果。

作为一个示例，确定目标时效等级模型之后，还可以包括：通过目标时效等级识别模型对待识别文档进行时效等级识别，确定待识别文档的时效等级标签。

在该示例中，无需人工标注文档时效等级标签，是通过上述训练得到的目标等级标签识别模型即可实现文档时效等级标签的确定，如此，可提高文档时效等级标签确定的效率。与此同时，需要去除第一文档集中的噪声文档，提高得到去噪后的第二文档集的质量，是通过滤除噪声文档后的第二文档集进行模型训练得到目标时效等级识别模型进行文档时效等级标签确定，可提高文档时效等级识别准确性，而且可减少人工标注的成本等。

在一个实施例中，第二初始识别模型包括M个初始识别子模型，M个初始识别子模型中任意两个初始识别子模型的模型参数值至少部分不同。

如图2所示，在本实施例中，利用第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型的步骤105，包括：

步骤1051：将第二文档集分成第一训练文档集和第一验证文档集；

步骤1052：利用第一训练文档集对M个初始识别子模型进行训练，得到M个第二时效等级识别模型，其中，M为大于1的整数；

步骤1053：通过第一验证文档集，从M个第二时效等级识别模型中确定目标时效等级识别模型。

也即是通过第一训练文档集可训练M个初始识别子模型，得到M个第二时效等级识别模型，然后通过第一验证文档集对M个第二时效等级识别模型进行验证，基于第一验证文档集在M个第二时效等级识别模型的验证结果，从M个第二时效等级识别模型中确定目标时效等级识别模型。作为一个示例，可将第一验证文档集分别输入到M个第二时效等级识别模型，对于第一验证文档集，每个第二时效等级识别模型可确定其中每个文档的预测时效等级标签，且第一验证文档集中每个文档有对应的实际时效等级标签，通过第二时效等级识别模型确定的第一验证文档集的预测时效等级标签以及第一验证文档集的实际时效等级标签，可确定通过该第二时效等级识别模型确定的第一验证文档集的预测时效等级标签的错误率或准确率(即可以理解验证结果可包括错误率或准确率)，其中，若文档的预测时效等级标签与该文档的实际时效等级标签不一致，则认为该文档的预测时效等级标签是错误的，若文档的预测时效等级标签与该文档的实际时效等级标签一致，则认为该文档的预测时效等级标签是准确的，依此可确定第一验证文档集的预测时效等级标签的错误率或准确率。如此，可通过M个第二时效等级识别模型在第一验证集的基础上的错误率或准确率，从M个第二时效等级识别模型中确定目标时效等级识别模型，例如，目标时效等级识别模型可以是M个第二时效等级识别模型中通过第一验证集验证得到的错误率最低或准确率最高的第二时效等级识别模型。

在本实施例中，可先通过第一训练文档集对M个初始识别子模型进行训练，得到M个第二时效等级识别模型，再通过第一验证文档集对M个第二时效等级识别模型进行验证，从M个第二时效等级识别模型中确定目标时效等级识别模型，如此，可提高得到的目标时效等级识别模型准确性。

如图3所示，在一个实施例中，获取第一文档集的步骤101，包括：

步骤1011：获取第一类文档集以及第二类文档集；

第一类文档集可以理解为第一来源的文档集，第二类文档集可以理解为第二来源的文档集，也即是第一类文档集以及第二类文档集中的文档可以是不同来源的文档。作为一个示例，第一类文档集可以包括企业内部知识文档集，例如，在企业的某个应用(例如，聊天应用或论坛等)中产生的文档，可以包括企业内的培训文档、公告文档、活动文档、福利文档、经验总结文档、生活资讯文档、企业部门风采展示文档和企业新闻中的至少一项。第二类文档集可包括企业外部知识文档集，例如，包括外部应用(例如，企业的应用之外的应用等)中产生的文档，例如，外部文章和/或外部新闻等。

步骤1012：根据文档属性信息标注第一类文档集的时效等级标签。

针对不同类的文档集采用不同的标注方式进行时效等级标签的确定，例如，可利用文档属性信息，将第一类文档集标注为文档属性信息对应的时效等级标签，其中，文档属性信息可以包括但不限于文档类型。例如，对于如培训类型、企业公告类型文档，时效等级标签可以为1，企业新闻、企业内部论坛类型的文档的时效等级标签可以为2，生活资讯类、部门风采展示类等文档的时效等级标签可以为3，其他类型随机抽取至少部分文档的时效等级标签可设置为4。

步骤1013：通过预设正则表达式对第二类文档集进行匹配，将第二类文档集标注为匹配的内容对应的时效等级标签。

正则表达式可以理解为一种字符串匹配的模式，可以用来匹配一个串中是否包含某个串，在本实施例中，通过预设正则表达式对第二类文档集中每个文档进行匹配，并将第二类文档集中的文档标注为通过预设正则表达式对该文档匹配到的内容对应的时效等级标签。例如，时效等级标签包括四个等级标签，分别为1、2、3和4等级标签，一个示例中，1级可表示时效性为一周，2级表示时效性为一个月，3级表示时效性为三个月，4级表示时效性为一年文档。文档(例如，文档的标题和/或正文首句)中出现“预告”、“今日”、“明日”等字样，可设置该文档的时效等级标签为1，对于文档(例如，文档的标题和/或正文首句)中出现时间信息且时间信息为1月内，可设置该文档的时效等级标签为2，对于文档(例如，文档的标题和/或正文)中出现时间信息，且时间信息不是1月内，可设置该文档的时效等级标签为3，对于文档(例如，文档的标题和/或正文)中均未出现时间信息，可设置该文档的时效等级标签为4。

步骤1014：基于第一文档集、第一文档集的时效等级标签、第二文档集以及第二文档集的时效等级标签，构建第一文档集。

即第一文档集包括第一类文档集、第一类文档集的时效等级标签、第二类文档集以及第二类文档集的时效等级标签。可以理解，本实施例中的时效等级标签为实际时效等级标签。作为一个示例，对于第一文档集中文档数据量较少的时效等级标签，可采取随机过采样的方式对该时效等级标签的文档进行补充，以确保每个时效等级标签的文档数量可趋近一致。例如，第一文档集中包括四个时效等级的文档，时效等级1的文档数量为X1，时效等级2的文档数量为X2，时效等级3的文档数量为X3，时效等级4的文档数量为X4，X4＜X3＜X2＜X1，X1最大，可在第一文档集的时效等级4的文档中采样X1-X4次，每次采样一个文档，则采样X1-X4个文档，将采样的X1-X4个文档添加到第一文档集中，如此，时效等级4的文档数量更新为X1个，与时效等级1的文档数量相同。类似地，在第一文档集的时效等级3的文档中采样X1-X3次，每次采样一个文档，则采样X1-X3个文档，将采样的X1-X3个文档添加到第一文档集中，如此，时效等级3的文档数量更新为X1个，与时效等级1的文档数量相同。在第一文档集的时效等级2的文档中采样X1-X2次，每次采样一个文档，则采样X1-X2个文档，将采样的X1-X2个文档添加到第一文档集中，如此，时效等级2的文档数量更新为X1个，与时效等级1的文档数量相同。如此，更新后的第一文档集中每个时效等级标签的数量相同，后续训练过程中，采用更新后的第一文档集进行训练。

作为一个示例，第一文档集中每个时效等级标签的文档数量相差较小，即第一文档集中任意两个不同时效等级标签的文档数量之间的数量差小于预设数量，预设数量较小，例如，可以为大于或等于0，且小于或等于p的整数，例如，p可以为小于10的正整数。如此，每个时效等级标签的文档数量可趋近一致。

在本实施例中，可通过不同类型的文档集采用不同的标注方式进行时效等级标签标注，可提高对不同类型的文档集的时效等级标签标注准确性，并将基于第一类文档集、第一类文档集的时效等级标签、第二类文档集以及第二类文档集的时效等级标签构建的第一文档集，作为训练模型的文档集，得到N个第一时效等级识别模型，可提高训练得到的第一时效等级识别模型的时效等级识别准确性，从而提高后续得到的目标时效等级识别模型的时效等级识别准确性。

在一个实施例中，利用第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，包括：将第一文档集进行划分为N个子文档集；对N个子文档集进行N次选择，其中，每次选择N-1个子文档集；采用N次选择的子文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型；其中，任一第一初始识别模型采用一次选择的N-1个子文档集进行训练，且每个第一初始识别模型采用不同次选择的N-1个子文档集进行训练。

在本实施例中，需要训练N个第一初始识别模型，对于每个第一初始识别模型，均是从第一文档集的N个子文档集中选择N-1个子文档集进行训练，任意两个第一初始识别模型之间采用的N-1个子文档集之间可存在部分重叠和部分差异，但在N个子文档集中，任意两个第一初始识别模型中的一个第一初始识别模型采用的N-1个子文档集之外的一个剩余子文档集与另一个第一初始识别模型采用的N-1个子文档集之外的一个剩余子文档集不同，即在N个子文档集中，每个第一初始识别模型采用的一次选择的N-1个子文档集以外的一个剩余子文档集不同。如此，N个第一初始识别模型中每个第一初始识别模型对应的剩余子文档集可构成N个子文档集。

例如，N为10，每个第一初始识别模型采用9个子文档集作为训练数据进行训练，任一第一初始识别模型可采用10个子文档集中除该第一初始识别模型训练采用的9个子文档集以外的1个剩余子文档集进行验证。

例如，10个子文档集为子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10。10个第一初始识别模型为第一初始识别模型B1、第一初始识别模型B2、第一初始识别模型B3、第一初始识别模型B4、第一初始识别模型B5、第一初始识别模型B6、第一初始识别模型B7、第一初始识别模型B8、第一初始识别模型B9和第一初始识别模型B10。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A8和子文档集A9，对第一初始识别模型B1进行训练，则可将子文档集A10作为第一初始识别模型B1的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A8和子文档集A10，对第一初始识别模型B2进行训练，则可将子文档集A9作为第一初始识别模型B2的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A9和子文档集A10，对第一初始识别模型B3进行训练，则可将子文档集A8作为第一初始识别模型B3的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B4进行训练，则可将子文档集A7作为第一初始识别模型B4的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A7、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B5进行训练，则可将子文档集A6作为第一初始识别模型B5的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A4、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B6进行训练，则可将子文档集A5作为第一初始识别模型B6的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A3、子文档集A5、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B7进行训练，则可将子文档集A4作为第一初始识别模型B7的验证数据进行验证。可选择子文档集A1、子文档集A2、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B8进行训练，则可将子文档集A3作为第一初始识别模型B8的验证数据进行验证。可选择子文档集A1、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B9进行训练，则可将子文档集A2作为第一初始识别模型B9的验证数据进行验证。可选择子文档集A2、子文档集A3、子文档集A4、子文档集A5、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10，对第一初始识别模型B10进行训练，则可将子文档集A1作为第一初始识别模型B10的验证数据进行验证。也即是第一初始识别模型B1对应的一个剩余子文档集为A10，第一初始识别模型B2对应的一个剩余子文档集为A9，第一初始识别模型B3对应的一个剩余子文档集为A8，第一初始识别模型B4对应的一个剩余子文档集为A7，第一初始识别模型B5对应的一个剩余子文档集为A6，第一初始识别模型B6对应的一个剩余子文档集为A5，第一初始识别模型B7对应的一个剩余子文档集为A4，第一初始识别模型B8对应的一个剩余子文档集为A3，第一初始识别模型B9对应的一个剩余子文档集为A2，第一初始识别模型B10对应的一个剩余子文档集为A1，如此，10个第一初始识别模型对应的剩余子文档集包括子文档集为A1、子文档集A2、子文档集A3、子文档集A5、子文档集A6、子文档集A7、子文档集A8、子文档集A9和子文档集A10，即构成N个子文档集。

在本实施例中，对于每个第一初始识别模型的训练，分别采用不同次选择的N-1个子文档集进行训练，可训练N个第一初始识别模型，得到N个第一时效等级识别模型，已确保第一时效等级识别模型的多样性，依次可确定噪声文本，并可根据去除噪声文档的第二文档集进行模型训练，确定目标时效等级识别模型，提高目标时效等级识别模型的时效等级识别准确性。

作为一个示例，每次选择的N-1个子文档集中候选时效等级标签的文档比例(在N-1个子文档集中该候选时效等级标签的文档数量与该N-1个子样本集中文档数量的比值)与在第一文档集中该候选时效等级标签的文档比例(在第一文档集中该候选时效等级标签的文档数量与第一文档集中文档数量的比值)相同。候选时效等级标签为N-1个子样本集中文档的时效等级标签中的任一等级标签。

在一个实施例中，基于N个第一时效等级识别模型，确定第一文档集中的噪声文档，包括：基于参考时效等级识别模型确定参考剩余子文档集的等级标签预测标签概率值标签，其中，参考时效等级识别模型为N个第一时效等级识别模型中的任一模型，参考剩余子文档集为N个子文档集中除用于训练得到参考时效等级识别模型的N-1个子文档集以外的一个子文档集，N个第一时效等级识别模型对应的剩余子文档集包括参考剩余子文档集，且每个第一时效等级识别模型对应的剩余子文档集不同；基于参考剩余子文档集的等级标签预测标签概率值以及参考剩余子文档集的时效等级标签，确定参考剩余子文档集中的噪声文档。

在本实施中，通过上述过程可确定N个第一时效等级识别模型中的任一模型的噪声文档，如此，基于每个第一时效等级识别模型执行上述过程，可确定每个第一时效等级识别模型的噪声文档，即可实现第一文档集的噪声文档的确定。可以理解，每个第一时效等级识别模型对应的一个剩余子文档集为N个子文档集中的一个文档集，N个第一时效等级识别模型对应的剩余子文档集即为N个子文档集。需要说明的是，子文档集输入第一时效等级识别模型，通过第一时效等级识别模型可得到子文档集中文档在各时效等级标签下的等级标签预测概率，可根据文档在各时效等级标签下的等级标签预测概率确定该文档的预测时效等级标签，该文档的预测时效等级标签可以为该文档在各时效等级标签下的等级标签预测概率中最大概率值对应的时效等级标签。

在本实施中，首先可基于参考时效等级识别模型确定参考剩余子文档集的等级标签预测标签概率值，参考剩余子文档集为N个子文档集中除用于训练得到参考时效等级识别模型的N-1个子文档集以外的一个子文档集，也即是参考剩余子文档集是N个子文档集中未用来训练参考时效等级识别模型对应的第一初始识别模型，利用其对参考时效等级识别模型进行验证，可得到参考剩余子文档集的等级标签预测标签概率值，可提高对参考时效等级识别模型的验证准确性，再基于参考剩余子文档集的等级标签预测标签概率值标签以及参考剩余子文档集的时效等级标签(可以理解为实际时效等级标签)标签，确定参考剩余子文档集中的噪声文档，提高确定的噪声文档的准确性。

作为一个示例，参考剩余子文档集的等级标签预测标签概率值包括参考剩余子文档集中每个文档的等级标签预测概率值，可通过置信学习方式确定参考剩余子文档集中的噪声文档，置信学习方式是一种用于寻找错误样本的方式，在此不再赘述。作为一个示例，可通过置信学习方式中通过选取基于参考时效等级识别模型确定的等级标签预测标签概率值中最大概率值对应的时效等级标签与实际时效等级标签不一致的文档作为噪声文本的方式来确定参考剩余子文档集中的噪声文档，也即是参考剩余子文档集中的噪声文档可以包括参考剩余子文档集中基于参考时效等级识别模型确定的等级标签预测标签概率值的最大概率值对应的时效等级标签与实际时效等级标签不一致的文档，即可以理解，参考剩余子文档集中的噪声文档，通过参考时效等级识别模型确定的等级标签预测标签概率值中最大概率值对应的时效等级标签与其实际时效等级标签不一致。

在一个实施例中，利用第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，包括：

对第一文档集进行特征提取，得到第一文档集的第一特征；

利用第一文档集的第一特征对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型；

其中，第一特征包括以下至少一项：

标题特征；

正文特征；

来源特征；

发布时间特征；

主题类别特征；

时间语义特征。

在本实施例中，可采用人工统计特征、主题标签特征(即主题类别特征)和文本时间语义特征(即时间语义特征)三种不同来源的特征中至少一种特征。

例如，人工统计特征：可以理解为根据经验人工指定规则，构建手工统计特征，人工统计特征可包括标题特征、正文特征、来源特征和发布时间特征中的至少一项。

标题特征：例如，标题特征可包括标题长度、标题中是否包含时间信息(可通过一个指示信息表征该特征，该指示信息用于指示标题中是否包含时间信息，例如，指示信息为1，表示标题中包含时间信息，指示信息为0，表示标题中不包含时间信息)、标题包含时间信息的个数以及时间信息出现在标题的位置中的至少一项。

正文特征：正文特征可包括正文字符长度、正文中是否包含时间信息(也可通过另一个指示信息表征该特征，该指示信息用于指示正文中是否包含时间信息)、正文中包含时间信息的个数以及时间信息出现在正文的位置中的至少一项。

来源特征：即文档的来源。

发布时间特征：即文档的发布时间。

主题标签特征：即主题类别特征，表示文档所属的主体类别，一个示例中，可利用深度分类模型(例如，深度神经网络等)对文档抽取该特征，在本实施中，可使用企业内容的通用自然语言处理相关接口，抽取出文档所属主题类别。

文本时间语义特征：指将文档的标题中包含的时间特征词组和/或正文中包含的时间特征词组经过切词后可通过人工神经网络获得文本时间语义特征即时间语义特征。

在本实施例中，通过上述第一特征对对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，可提高第一时效等级识别模型识别效果以及可提高模型的泛化性。

在一个实施例中，目标时效等级识别模型包第一全连接层、嵌入层、第一卷积神经网络层、第二卷积神经网络层，第二全连接层以及逻辑回归层；

其中，第二全连接层的输入包括第一全连接层的输出、第一卷积神经网络层的输出以及第二卷积神经网络层的输出，第一卷积神经网络层的输入包括嵌入层基于主题类别特征的第一输出，第二卷积神经网络的输入包括嵌入层基于时间语义特征的第二输出，逻辑回归层的输入包括第二全连接层的输出。

第二初始识别模型可以采用深度神经网络，第二初始识别模型可包括M个初始识别子模型，M个初始识别子模型中任意两个初始识别子模型的模型参数至少部分不同，初始识别子模型均是用于识别文档时效等级标签，初始识别子模型的模型结构如图4所示，需要说明的是，利用第一训练文档集对M个初始识别子模型进行训练，得到M个第二时效等级识别模型，可以是通过第一训练文档集的第一特征对M个初始识别子模型进行训练，得到M个第二时效等级识别模型。可以理解，M个初始识别子模型采用相同的训练数据即第一训练文档集进行训练，由于初始时，初始识别子模型之间的模型参数至少部分不同，如此，可得到不同的M个第二时效等级识别模型。

如图4所示，初始识别子模型包括第一初始全连接层、初始嵌入层(初始embedding层)、第一初始卷积神经网络层、第二初始卷积神经网络层，第二初始全连接层以及初始逻辑回归层；

其中，第二初始全连接层的输入包括第一初始全连接层的输出、第一初始卷积神经网络层的输出以及第二初始卷积神经网络层的输出，第一初始卷积神经网络层的输入包括初始嵌入层基于主题类别特征的输出，第二初始卷积神经网络的输入包括初始嵌入层基于时间语义特征的输出，初始逻辑回归层的输入包括第二初始全连接层的输出。

可将第一训练文档集的第一特征中的标题特征、正文特征、来源特征以及发布时间特征输入第一初始全连接层，第一初始全连接层基于标题特征、正文特征、来源特征以及发布时间特征输出第一特征向量(可以理解为人工特征向量)，可将第一训练文档集的第一特征中的主题标签特征输入到初始嵌入层，初始嵌入层基于主题标签特征的输出(即主题标签特征的第一词向量)传递至第一初始卷积神经网络层，将第一训练文档集的第一特征中的时间语义特征输入到初始嵌入层，第一初始卷积神经网络层根据初始嵌入层基于主题标签特征的输出(即时间语义特征的第二词向量)可输出第二特征向量即主题标签特征向量，初始嵌入层基于时间语义特征的输出传递至第二初始卷积神经网络层，第一初始卷积神经网络层根据初始嵌入层基于时间语义特征的输出可输出第三特征向量即时间特征向量。第一特征向量、第二特征向量和第三特征向量经过第二初始全连接层后，经过初始逻辑回归层(初始softmax层)输出第一训练文档集在各时效等级标签下的等级标签概率值，基于第一训练文档集的等级标签概率值可确定第一训练文档集的时效等级标签(即第一训练文档集中的文档的时效等级标签为该文档在各时效等级标签下的等级标签概率值中最大概率值对应的时效等级标签)。第一训练文档集中的文档有对应的实际时效等级标签，根据初始识别子模型得到的第一训练文档集的时效等级标签以及第一训练文档集的实际时效等级标签，可调整初始识别子模型中的参数，对初始识别子模型的训练过程即使对该模型的模型参数不断调整的过程。对每个初始识别子模型训练完成后，即可得到M个第二时效等级识别模型。后续可通过第一验证文档集，从M个第二时效等级识别模型中确定目标时效等级识别模型。

即目标时效等级识别模型是M个第二时效等级识别模型中的一个模型，如此，目标时效等级识别模型中的第一全连接层即是M个初始识别子模型的一个模型中第一初始全连接层训练后的全连接层，目标时效等级识别模型中的嵌入层即是该模型中初始嵌入层训练后的嵌入层，目标时效等级识别模型中的第一卷积神经网络层即是该模型中第一初始卷积神经网络层训练后的网络层，目标时效等级识别模型中的第二卷积神经网络层即是该模型中第二初始卷积神经网络层训练后的网络层，目标时效等级识别模型中的第二全连接层即是该模型中第二全连接层训练后的全连接层，目标时效等级识别模型中的逻辑回归层即是该模型中初始逻辑回归层训练后的逻辑回归层。目标时效等级识别模型包括上述第一全连接层、嵌入层、第一卷积神经网络层、第二卷积神经网络层，第二全连接层以及逻辑回归层，通过该目标时效等级识别模型，可提高对文档的时效等级标签确定的准确性。

如图5所示，根据本申请的实施例，本申请还提供一种时效等级识别方法，方法包括：

步骤501：获取待识别文档；

步骤502：利用目标时效等级识别模型确定待识别文档的时效等级标签。

其中，目标时效等级识别模型为通过第二文档集对第二初始识别模型进行训练得到的模型，第二文档集为对去除第一文档集中的噪声文档后的文档集，第一文档集中的噪声文档通过N个第一时效等级识别模型确定，N个第一时效等级识别模型通过第一文档集对N个第一初始识别模型进行训练得到，N为大于1的整数。

在本实施例中，是通过目标时效等级识别模型来识别待识别文档的时效等级标签，得到待识别文档的时效等级标签，其中，目标时效等级识别模型是利用去除第一文档集中噪声文档后的第二文档集进行训练确定，且噪声文档是通过N个第一时效等级识别模型确定，N个第一时效等级识别模型通过第一文档集对N个第一初始识别模型进行训练得到，如此，通过上述目标时效等级识别模型对待识别文档进行时效等级识别得到时效等级标签，可提高文档时效等级识别准确性。与此同时，无需人工进行识别，可提高对待识别文档的时效等级识别的效率，而且可减少人工标注的成本等。

需要说明的是，本申请实施例的时效等级识别方法中，利用的目标时效等级识别模型可以是通过上述各实施例的时效等级识别模型方法确定的目标时效等级识别模型，在此不再赘述。

在一个实施例中，利用目标时效等级识别模型确定待识别文档的时效等级标签，可以包括：

在待识别文档的作者不在预设作者白名单列表中的情况下，利用目标时效等级识别模型确定待识别文档的时效等级标签。

其中，预设作者白名单列表中可包括多个目标作者，目标作者为在历史时间段内发送过至少两次时效等级标签高于或等于预设等级标签的文档的作者，即目标作者为常发短时效性的文档的作者。时效等级标签越高，时效越短，例如，时效等级标签1的等级标签高于时效等级标签2，时效等级标签2的等级标签高于时效等级标签3，时效等级标签3的等级标签高于时效等级标签4，即时效等级标签1的文档的时效最短，例如，可以是一周，时效等级标签2的文档的时效可以是一个月，时效等级标签3的文档的时效可以是三个月，时效等级标签4的文档的时效最长，例如，可以是一年等。作为一个示例，预设等级标签可以为时效等级标签1。

在一个实施例中，预设作者白名单列表中的每个作者有对应的时效等级标签；例如，其中的某个作者常发的文档的时效性都是一周，时效性一周对应的时效等级标签为1，则该作者对应的时效等级标签为1。

在本实施例中，该时效等级识别方法还可包括：

在待识别文档的作者在预设作者白名单列表中的情况下，将作者对应的时效等级标签确定为待识别文档的时效等级标签。

如此，可提高对待识别文档的时效等级识别的效率。

在一个实施例中，利用目标时效等级识别模型确定待识别文档的时效等级标签之后，还可以包括：

将待识别文档放入推荐文档库中。推荐文档库可以理解为一个数据库，推荐文档库中的推荐文档是通过文档的时效等级标签从高到低的顺序进行排序。

即是将待识别文档作为一个待推荐文档存放如推荐文档库中，后续在推荐过程中，可从推荐文档库中根据时效等级标签从高到低的顺序选择文档进行推荐，即时效性越短即时效等级标签越高的文档越先被推荐，可确保推荐的时效性。

在一个实施例中，时效等级识别方法还可包括：

接收针对多个第一推荐文档的反馈信息；

对多个第一推荐文档的时效等级标签进行重新标注，得到多个第一推荐文档的新时效等级标签；

基于上述第二文本集、多个第一推荐文档以及多个第一推荐文档的新时效等级标签对目标时效等级识别模型进行重新训练，得到更新的目标时效等级识别模型。

后续在使用过程中，可使用更新的目标时效等级识别模型进行时效等级识别。需要说明的是，在模型训练过程中，输入到模型的内容还包括文档的权重，在重新训练过程中，可先增加多个第一推荐文档的权重，在模型参数调整过程中，需要根据文档的权重进行更新，通过加大多个第一推荐文档的权重，如此，在训练过程中，提高模型对多个第一推荐文档的学习能力，从而提高得到的更新的目标时效等级识别模型的准确性。

也即是在本实施例中，还可对模型进行优化，主要包括反馈的文档再标注和模型自动训练更新两个部分。

反馈数据回流：对于推荐系统，反馈数据主要来自用户交互行为，将被用户在推荐页面上点击反馈时效性差的文档收集起来，即多个第一推荐文档收集起来，在重训模型时，可加大用户反馈的多个第一推荐文档的权重。

模型自动训练更新：当反馈回流文档积累到一定量级，对各个时效等级标签的文档进行随机过采样和欠采样，并构建训练集和验证集，触发目标时效等级识别模型重训，并将新旧模型进行比较，如果重训得到的模型准确率高于旧模型，则自动触发线上模型更新。

本申请实施例的方案，主要解决企业知识领域的内容时效性识别问题，标注的时效等级标签可以应用于企业知识搜索、知识管理、知识推荐等多个方面。目前时效等级识别模型主要应用于企业知识推荐项目中。

本申请实施例的方案，可以对文档进行时效性等级标签识别，指导召回，并可根据时效等级标签进行排序，根据时效等级标签从高到低的顺序依次推荐，进而提升推荐整体的效果。且无需人工标注，并且在模型持续迭代时，也无需人工维护规则，既降低了人工审核成本，也降低了规则维护成本。另外，在模型训练期限，可基于规则与置信学习的方式自动构建并清洗训练数据，大大降低了人工标注成本。以及模型训练过程中，利用的是人工统计特征、主题类别特征、文档标签特征等多种特征，极大地提升了模型的效果与泛化性。本申请实施例可对模型持续自主优化，使得时效等级识别模型随着推荐系统的使用，效果越来越好。

如图6所示，根据本申请的实施例，本申请还提供一种时效等级识别模型训练装置600，装置包括：

第一获取模块601，用于获取第一文档集；

第一训练模块602，用于利用第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，N为大于1的整数；

第一确定模块603，用于基于N个第一时效等级识别模型，确定第一文档集中的噪声文档；

滤除模块604，用于去除第一文档集中的噪声文档，得到第二文档集；

第二训练模块605，用于利用第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，其中，目标时效等级识别模型用于确定文档时效等级标签。

在一个实施例中，第二初始识别模型包括M个初始识别子模型；

第二训练模块，包括：

第一划分模块，用于将第二文档集分成第一训练文档集和第一验证文档集；

第一训练子模块，用于利用第一训练文档集对M个初始识别子模型进行训练，得到M个第二时效等级识别模型，其中，M为大于1的整数；

目标确定模块，用于通过第一验证文档集，从M个第二时效等级识别模型中确定目标时效等级识别模型。

在一个实施例中，第一获取模块，包括：

文档获取模块，用于获取第一类文档集以及第二类文档集；

第一标注模块，用于根据文档属性信息标注第一类文档集的时效等级标签；

第二标注模块，用于通过预设正则表达式对第二类文档集进行匹配，将第二类文档集标注为匹配的内容对应的时效等级标签；

构建模块，用于基于第一类文档集、第一类文档集的时效等级标签、第二类文档集以及第二类文档集的时效等级标签，构建第一文档集。

在一个实施例中，第一训练模块，包括：

第二划分模块，用于将第一文档集进行划分为N个子文档集；

选择模块，用于对N个子文档集进行N次选择，其中，每次选择N-1个子文档集；

第二训练系模块，用于采用N次选择的子文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，其中，任一第一初始识别模型采用一次选择的N-1个子文档集进行训练，且每个第一初始识别模型采用不同次选择的N-1个子文档集进行训练。

在一个实施例中，第一确定模块，包括：

概率确定模块，用于基于参考时效等级识别模型确定参考剩余子文档集的等级标签预测标签概率值，其中，参考时效等级识别模型为N个第一时效等级识别模型中的任一模型，参考剩余子文档集为N个子文档集中除用于训练得到参考时效等级识别模型的N-1个子文档集以外的一个子文档集，N个第一时效等级识别模型对应的剩余子文档集包括参考剩余子文档集，且每个第一时效等级识别模型对应的剩余子文档集不同；

噪声文档确定模块，用于基于参考剩余子文档集的等级标签预测标签概率值标签以及参考剩余子文档集的时效等级标签，确定参考剩余子文档集中的噪声文档。

在一个实施例中，第一训练模块，包括：

特征提取模块，用于对第一文档集进行特征提取，得到第一文档集的第一特征；

第三训练子模块，用于利用第一文档集的第一特征对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型；

其中，第一特征包括以下至少一项：

标题特征；

正文特征；

来源特征；

发布时间特征；

主题类别特征；

时间语义特征。

在一个实施例中，目标时效等级识别模型包第一全连接层、嵌入层、第一卷积神经网络层、第二卷积神经网络层，第二全连接层以及逻辑回归层；

其中，第二全连接层的输入包括第一全连接层的输出、第一卷积神经网络层的输出以及第二卷积神经网络层的输出，第一卷积神经网络层的输入包括嵌入层基于主题类别特征的第一输出，第二卷积神经网络的输入包括嵌入层基于时间语义特征的第二输出，逻辑回归层的输入包括第二全连接层的输出。

上述各实施例的时效等级识别模型训练装置为实现上述各实施例的时效等级识别模型训练方法的装置，技术特征对应，技术效果对应，在此不再赘述。

如图7所示，根据本申请的实施例，本申请还提供一种时效等级识别装置700，装置包括：

第二获取模块701，用于获取待识别文档；

识别模块702，用于利用目标时效等级识别模型确定待识别文档的时效等级标签；

其中，目标时效等级识别模型为通过第二文档集对第二初始识别模型进行训练得到的模型，第二文档集为对去除第一文档集中的噪声文档后的文档集，第一文档集中的噪声文档通过N个第一时效等级识别模型确定，N个第一时效等级识别模型通过第一文档集对N个第一初始识别模型进行训练得到，N为大于1的整数。

在一个实施例中，利用目标时效等级识别模型确定待识别文档的时效等级标签，可以包括：

在待识别文档的作者不在预设作者白名单列表中的情况下，利用目标时效等级识别模型确定待识别文档的时效等级标签。

在一个实施例中，预设作者白名单列表中的每个作者有对应的时效等级标签；例如，其中的某个作者常发的文档的时效性都是一周，时效性一周对应的时效等级标签为1，则该作者对应的时效等级标签为1。

在本实施例中，该时效等级识别装置还可包括：

第二确定模块，用于在待识别文档的作者在预设作者白名单列表中的情况下，将作者对应的时效等级标签确定为待识别文档的时效等级标签。

在一个实施例中，该时效等级识别装置还可包括：

存放模块，用于第二确定模块执行利用目标时效等级识别模型确定待识别文档的时效等级标签之后，将待识别文档放入推荐文档库中。

在一个实施例中，时效等级识别装置还可包括：

接收模块，用于接收针对多个第一推荐文档的反馈信息；

第三标注模块，用于对多个第一推荐文档的时效等级标签进行重新标注，得到多个第一推荐文档的新时效等级标签；

第三训练模块，用于基于上述第二文本集、多个第一推荐文档以及多个第一推荐文档的新时效等级标签对目标时效等级识别模型进行重新训练，得到更新的目标时效等级识别模型。

上述各实施例的时效等级识别模型训练装置为实现上述各实施例的时效等级识别模型训练方法的装置，技术特征对应，技术效果对应，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的时效等级识别模型训练方法或时效等级识别方法。

本申请实施例的计算机程序产品，包括计算机程序，计算机程序用于使计算机执行本申请各实施例提供的时效等级识别模型训练方法或时效等级识别方法。

图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元806加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如时效等级识别模型训练方法或时效等级识别方法。例如，在一些实施例中，时效等级识别模型训练方法或时效等级识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的时效等级识别模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行时效等级识别模型训练方法或时效等级识别方法。本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种时效等级识别模型训练方法，所述方法包括：

获取第一文档集；

利用所述第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，N为大于1的整数；

基于所述N个第一时效等级识别模型，确定所述第一文档集中的噪声文档；

去除所述第一文档集中的噪声文档，得到第二文档集；

利用所述第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，其中，所述目标时效等级识别模型用于确定文档时效等级标签；

其中，所述利用所述第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，包括：

将所述第一文档集进行划分为N个子文档集；

对所述N个子文档集进行N次选择，其中，每次选择N-1个子文档集；

采用N次选择的子文档集对所述N个第一初始识别模型进行训练，得到所述N个第一时效等级识别模型，其中，任一第一初始识别模型采用一次选择的N-1个子文档集进行训练，且每个第一初始识别模型采用不同次选择的N-1个子文档集进行训练；

其中，所述基于所述N个第一时效等级识别模型，确定所述第一文档集中的噪声文档，包括：

基于参考时效等级识别模型确定参考剩余子文档集的等级标签预测标签概率值，其中，所述参考时效等级识别模型为所述N个第一时效等级识别模型中的任一模型，所述参考剩余子文档集为所述N个子文档集中除用于训练得到所述参考时效等级识别模型的N-1个子文档集以外的一个子文档集，所述N个第一时效等级识别模型对应的剩余子文档集包括所述参考剩余子文档集，且每个第一时效等级识别模型对应的剩余子文档集不同；

基于所述参考剩余子文档集的等级标签预测标签概率值标签以及所述参考剩余子文档集的时效等级标签，确定所述参考剩余子文档集中的噪声文档。

2.根据权利要求1所述的方法，其中，所述第二初始识别模型包括M个初始识别子模型；

所述利用所述第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，包括：

将所述第二文档集分成第一训练文档集和第一验证文档集；

利用所述第一训练文档集对所述M个初始识别子模型进行训练，得到M个第二时效等级识别模型，其中，M为大于1的整数；

通过所述第一验证文档集，从所述M个第二时效等级识别模型中确定所述目标时效等级识别模型。

3.根据权利要求1所述的方法，其中，所述获取第一文档集，包括：

获取第一类文档集以及第二类文档集；

根据文档属性信息标注所述第一类文档集的时效等级标签；

通过预设正则表达式对所述第二类文档集进行匹配，将所述第二类文档集标注为匹配的内容对应的时效等级标签；

基于所述第一类文档集、所述第一类文档集的时效等级标签、所述第二类文档集以及所述第二类文档集的时效等级标签，构建所述第一文档集。

4.根据权利要求1所述的方法，其中，所述利用所述第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，包括：

对所述第一文档集进行特征提取，得到所述第一文档集的第一特征；

利用所述第一文档集的第一特征对所述N个第一初始识别模型进行训练，得到N个第一时效等级识别模型；

其中，所述第一特征包括以下至少一项：

标题特征；

正文特征；

来源特征；

发布时间特征；

主题类别特征；

时间语义特征。

5.根据权利要求1所述的方法，其中，所述目标时效等级识别模型包第一全连接层、嵌入层、第一卷积神经网络层、第二卷积神经网络层，第二全连接层以及逻辑回归层；

其中，所述第二全连接层的输入包括所述第一全连接层的输出、所述第一卷积神经网络层的输出以及所述第二卷积神经网络层的输出，所述第一卷积神经网络层的输入包括所述嵌入层基于主题类别特征的第一输出，所述第二卷积神经网络的输入包括所述嵌入层基于时间语义特征的第二输出，所述逻辑回归层的输入包括所述第二全连接层的输出。

6.根据权利要求1-5中任一项所述的方法，所述方法还包括：

获取待识别文档；

利用所述目标时效等级识别模型确定所述待识别文档的时效等级标签。

7.一种时效等级识别模型训练装置，所述装置包括：

第一获取模块，用于获取第一文档集；

第一训练模块，用于利用所述第一文档集对N个第一初始识别模型进行训练，得到N个第一时效等级识别模型，N为大于1的整数；

第一确定模块，用于基于所述N个第一时效等级识别模型，确定所述第一文档集中的噪声文档；

滤除模块，用于去除所述第一文档集中的噪声文档，得到第二文档集；

第二训练模块，用于利用所述第二文档集对第二初始识别模型进行训练，确定目标时效等级识别模型，其中，所述目标时效等级识别模型用于确定文档时效等级标签；

其中，所述第一训练模块，包括：

第二划分模块，用于将所述第一文档集进行划分为N个子文档集；

选择模块，用于对所述N个子文档集进行N次选择，其中，每次选择N-1个子文档集；

第二训练系模块，用于采用N次选择的子文档集对所述N个第一初始识别模型进行训练，得到所述N个第一时效等级识别模型，其中，任一第一初始识别模型采用一次选择的N-1个子文档集进行训练，且每个第一初始识别模型采用不同次选择的N-1个子文档集进行训练；

所述第一确定模块，包括：

概率确定模块，用于基于参考时效等级识别模型确定参考剩余子文档集的等级标签预测标签概率值，其中，所述参考时效等级识别模型为所述N个第一时效等级识别模型中的任一模型，所述参考剩余子文档集为所述N个子文档集中除用于训练得到所述参考时效等级识别模型的N-1个子文档集以外的一个子文档集，所述N个第一时效等级识别模型对应的剩余子文档集包括所述参考剩余子文档集，且每个第一时效等级识别模型对应的剩余子文档集不同；

噪声文档确定模块，用于基于所述参考剩余子文档集的等级标签预测标签概率值标签以及所述参考剩余子文档集的时效等级标签，确定所述参考剩余子文档集中的噪声文档。

8.根据权利要求7所述的装置，其中，所述第二初始识别模型包括M个初始识别子模型；

所述第二训练模块，包括：

第一划分模块，用于将所述第二文档集分成第一训练文档集和第一验证文档集；

第一训练子模块，用于利用所述第一训练文档集对所述M个初始识别子模型进行训练，得到M个第二时效等级识别模型，其中，M为大于1的整数；

目标确定模块，用于通过所述第一验证文档集，从所述M个第二时效等级识别模型中确定所述目标时效等级识别模型。

9.根据权利要求7所述的装置，其中，所述第一获取模块，包括：

文档获取模块，用于获取第一类文档集以及第二类文档集；

第一标注模块，用于根据文档属性信息标注所述第一类文档集的时效等级标签；

第二标注模块，用于通过预设正则表达式对所述第二类文档集进行匹配，将所述第二类文档集标注为匹配的内容对应的时效等级标签；

构建模块，用于基于所述第一类文档集、所述第一类文档集的时效等级标签、所述第二类文档集以及所述第二类文档集的时效等级标签，构建所述第一文档集。

10.根据权利要求7所述的装置，其中，所述第一训练模块，包括：

特征提取模块，用于对所述第一文档集进行特征提取，得到所述第一文档集的第一特征；

第三训练子模块，用于利用所述第一文档集的第一特征对所述N个第一初始识别模型进行训练，得到N个第一时效等级识别模型；

其中，所述第一特征包括以下至少一项：

标题特征；

正文特征；

来源特征；

发布时间特征；

主题类别特征；

时间语义特征。

11.根据权利要求7所述的装置，其中，所述目标时效等级识别模型包第一全连接层、嵌入层、第一卷积神经网络层、第二卷积神经网络层，第二全连接层以及逻辑回归层；

其中，所述第二全连接层的输入包括所述第一全连接层的输出、所述第一卷积神经网络层的输出以及所述第二卷积神经网络层的输出，所述第一卷积神经网络层的输入包括所述嵌入层基于主题类别特征的第一输出，所述第二卷积神经网络的输入包括所述嵌入层基于时间语义特征的第二输出，所述逻辑回归层的输入包括所述第二全连接层的输出。

12.根据权利要求7-11中任一项所述的装置，所述装置还包括：

第二获取模块，用于获取待识别文档；

识别模块，用于利用所述目标时效等级识别模型确定所述待识别文档的时效等级标签。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6任一所述的时效等级识别模型训练方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6任一所述的时效等级识别模型训练方法。