CN112395528B - 文本标签判别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例公开了一种文本标签判别方法、装置、电子设备及存储介质，所述方法包括：获取目标文本数据以及标注标签；根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；将所述目标文本数据、所述多个预测结果以及所述标注标签输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中识别出待识别文本的用户标签。通过本公开，文本标签判别模型可以学习到当前用户的真实意图，因此只需要用户提供少量的目标文本数据以及标注标签即可完成对文本标签判别模型的训练，降低了训练过程中的人工成本。

Description

文本标签判别方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体涉及一种文本标签判别方法、装置、电子设备及存储介质。

背景技术

文本打标是一个很普遍的需求，一般会分为实体标签打标、关键短语打标。其中，领域自适应打标是一件很难但是有强烈需求的任务。比如，“人工智能”这个词，在人工智能领域中是一个普遍的词，并不能算关键短语，但是在新闻领域或者其他领域，是一个非常显著的关键短语。再比如，“小米”这个词，在数码领域很可能是品牌标签，但是在通用领域就是一个普通词。

对于用户来说，提供几十条标注有标签的样本数据是有可能的，但是算法需要大量的样本数据，特别是深度学习算法，需要的样本数据都是以万记，用户很难给出。

发明内容

本公开实施例提供一种文本标签判别方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种文本标签判别方法。

具体的，所述文本标签判别方法，包括：

获取目标文本数据以及标注标签；

根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；

将所述目标文本数据、所述多个预测结果以及所述标注标签输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中识别出待识别文本的用户标签。

进一步地，所述方法还包括：

利用所述目标文本数据以及标注标签训练多个所述预测模型中的至少一个。

进一步地，所述方法还包括：

获取候选文本数据；

利用多个所述预测模型中的至少一个对所述候选文本数据进行预测，并在预测准确率低于预设阈值时，将所述候选文本数据确定为所述目标文本数据；

获取所述目标文本数据的所述标注标签。

进一步地，多个所述预测模型中的至少之一利用百科数据库中的文本数据训练得到。

第二方面，本公开实施例中提供了一种文本标签判别方法。

具体的，所述文本标签的判别方法，包括：

获取待识别文本数据；

根据所述待识别文本数据获得所述待识别文本数据对应的多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到；

将所述待识别文本数据以及所述多个预测结果输入至文本标签判别模型，获得所述待识别文本数据的判别标签；其中，所述文本标签判别模型利用第一方面所述的文本标签判别方法确定。

第三方面，本公开实施例中提供了一种对象推送方法。

具体的，所述对象推送方法，包括：

获取候选对象的文本数据；

根据所述候选对象的文本数据确定所述候选对象对应的判别标签；其中，所述候选对象对应的判别标签利用第二方面所述的文本标签判别方法确定；

根据所述候选对象对应的判别标签将所述候选对象推送给目标用户。

进一步地，根据所述候选对象对应的判别标签将所述候选对象推送给目标用户，包括：

在根据所述候选对象对应的判别标签确定所述候选对象与所述目标用户相匹配时，将所述候选对象显示在所述目标用户的浏览页面上。

第四方面，本发明实施例中提供了一种文本标签判别装置。

具体的，所述文本标签判别装置，包括：

第一获取模块，被配置为获取目标文本数据以及标注标签；

第二获取模块，被配置为根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；

第一学习模块，被配置为将所述目标文本数据、所述多个预测结果以及所述标注标签输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中识别出待识别文本的用户标签。

进一步地，所述装置还包括：

训练模块，被配置为利用所述目标文本数据以及标注标签训练多个所述预测模型中的至少一个。

进一步地，所述第一获取模块之前，所述装置还包括：

第三获取模块，被配置为获取候选文本数据；

预测模块，被配置为利用多个所述预测模型中的至少一个对所述候选文本数据进行预测，并在预测准确率低于预设阈值时，将所述候选文本数据确定为所述目标文本数据；

第四获取模块，被配置为获取所述目标文本数据的所述标注标签。

进一步地，多个所述预测模型中的至少之一利用百科数据库中的文本数据训练得到。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，文本标签判别装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持文本标签判别装置执行上述文本标签判别方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述文本标签判别装置还可以包括通信接口，用于文本标签判别装置与其他设备或通信网络通信。

第五方面，本发明实施例中提供了一种文本标签判别装置。

具体的，所述文本标签判别装置，包括：

第五获取模块，被配置为获取待识别文本数据；

第六获取模块，被配置为根据所述待识别文本数据获得所述待识别文本数据对应的多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到；

第七获取模块，被配置为将所述待识别文本数据以及所述多个预测结果输入至文本标签判别模型，获得所述待识别文本数据的判别标签；其中，所述文本标签判别模型利用第四方面所述的文本标签判别装置确定。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，文本标签的判别装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持文本标签的判别装置执行上述文本标签的判别方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述文本标签的判别装置还可以包括通信接口，用于文本标签的判别装置与其他设备或通信网络通信。

第六方面，本发明实施例中提供了一种对象推送装置。

具体的，所述对象推送装置，包括：

第八获取模块，被配置为获取候选对象的文本数据；

确定模块，被配置为根据所述候选对象的文本数据确定所述候选对象对应的判别标签；其中，所述候选对象对应的判别标签利用第五方面所述的文本标签判别装置确定；

推送模块，被配置为根据所述候选对象对应的判别标签将所述候选对象推送给目标用户。

进一步地，所述推送模块，包括：

推送子模块，被配置为在根据所述候选对象对应的判别标签确定所述候选对象与所述目标用户相匹配时，将所述候选对象显示在所述目标用户的浏览页面上。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，对象推送装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持对象推送装置执行上述对象推送方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述对象推送装置还可以包括通信接口，用于对象推送装置与其他设备或通信网络通信。

第七方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现第一方面、第二方面和/或第三方面所述的方法。

第八方面，本公开实施例提供了一种计算机可读存储介质，用于存储企业账户的安全认证装置所用的计算机指令，其包含用于执行上述第一方面、第二方面和/或第三方面所述的方法所涉及的计算机指令。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例在获得目标文本数据以及用户对该目标文本数据的标注标签后，利用多个预先训练好的不同预测模型对该目标文本数据进行预测，得到多个预测结果后，利用该目标文本数据、多个预测结果以及用户对该目标文本数据的标注标签训练文本标签的判别模型。通过本公开实施例的这种方式，文本标签判别模型在训练过程中，通过多个已有的预测模型对目标文本数据的预测结果以及用户对目标文本数据的标注标签，可以学习到当前用户的真实意图，因此只需要用户提供少量的目标文本数据以及标注标签即可完成对文本标签判别模型的训练，降低了训练过程中的人工成本，并且训练得到的文本标签判别模式能够识别出当前所面向的用户的真实意图。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的文本标签判别方法的流程图；

图2示出根据图1所示实施方式中目标文本数据及标注标签的获取部分的流程图；

图3示出根据本公开一实施方式的文本标签判别方法的流程图；

图4示出根据本公开一实施方式的对象推送方法的流程图；

图5示出根据本公开一实施方式的文本标签判别装置的结构框图；

图6示出根据图5所示实施方式中目标文本数据及标注标签的获取部分的结构框图；

图7示出根据本公开一实施方式的文本标签的判别装置的结构框图；

图8示出根据本公开一实施方式的对象推送装置的结构框图；

图9是适于用来实现根据本公开一实施方式的文本标签判别方法的电子设备的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出根据本公开一实施方式的文本标签判别方法的流程图。如图1所示，所述文本标签判别方法包括以下步骤S101-S103：

在步骤S101中，获取目标文本数据以及标注标签；

在步骤S102中，根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；

在步骤S103中，将所述目标文本数据、所述多个预测结果以及所述标注标签输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中识别出待识别文本的用户标签。

如上文所述，针对同一文本数据，不同领域的预测模型可能会对该文本数据预测出不同的预测结果，例如“小米”这一文本数据，可能会被通用领域中的预测模型预测为粮食中的小米，而对于电商领域的用户而言，其实际上需要将“小米”这一文本数据被预测为“小米”这一手机品牌。

基于上述问题，本公开实施例提出了上述文本标签判别方法。在文本标签判别模型的训练过程中，可以基于多个已有的不同领域中的预测模型对文本数据的预测结果、以及用户提供的少量的目标文本数据以及标注标签(即少量的样本数据)，并从中学习得到符合当前用户意图的信息，进而能够在训练完成后针对待识别文本数据，判别出最符合当前用户意图的判别标签，能够达到的技术效果是当前用户无需手动标注大量的训练样本，而是利用已有的一些不同预测模型以及用户少量标注的训练样本，即可得到符合用户意图的文本标签判别模型，大大降低了人工成本，并提高了模型训练的效率。

本实施例中，目标文本数据可以是由字符、字、词等组成的单词、短语、词语、句子等。标注标签可以是目标文本数据对应内容的标签，标注标签所面向的用户不同，其标签可能不同；例如“小米”的标签可能是粮食，也可能是手机品牌。类似于图像数据的标签，比如图像中包括什么对象、对象类别等，文本数据的标签也可以用于标识该文本数据所包含的内容是否表示某一对象、内容表示的对象(例如“小米”表示的对象可能是粮食或者手机品牌这一对象)的属性信息如类别等。

本实施例中，目标文本数据对应的标注标签可以由用户提供，例如针对多个目标文本数据，由用户根据实际需求进行打标得到标注标签，此处的用户可以是当前文本标签判别模型训练完成后所要面向的同类用户，也即对目标文本数据进行打标的用户与文本标签判别模型被训练好后所要服务的用户可以为同一类用户，例如都属于电商领域的用户。

预测模型可以是预先训练好的，例如可以是已有的能够预测文本数据标签的模型，多个不同的预测模型可以包括但不限于不同模型结构和/或不同训练样本训练得到的模型；训练样本不同可以理解为训练样本的数据不同，或者对训练样本进行打标的用户属于不同技术领域，因此即使同样的文本数据，用来训练不同预测模型时该文本数据对应的标签也可能不同，例如用于训练通用领域的预测模型的其中一个文本数据为“小米”，而标签为“粮食”，而用于训练另一个电商领域的预测模型的其中一个文本数据也为“小米”，但是其对应的标签为“手机品牌”。

目标文本数据分别输入至多个预测模型后，可以分别得到对应的多个预测结果。该多个预测结果可能相同也可能不同，具体根据预测模型而定。用户针对该文本数据标注的标注标签与该多个预测结果中的至少之一相同，文本标签判别模型实际上是学习多个预测模型的多个预测结果与用户对文本数据的标注标签之间的关系，进而在训练完成之后，可以从多个预测模型的多个输出结果中判别出最符合用户意图的一个结果，并作为最终的输出结果。

文本标签判别模型可以用来判别多个已知的预测模型输出的预测结果是否正确，而此处的正确是相对于当前所面向的用户而言。例如农业和电商域两个不同领域的用户，对于同一文本数据所理解的标签可能不同，如“小米”，对于农业领域用户而言其标签是粮食，而对于电商领域而言，其标签是手机品牌。

因此，文本标签判别模型的训练过程实际上是对目标文本数据本身、多个预测模型对于目标文本数据的预测结果以及用户对目标文本数据标注的标注标签的学习过程，文本标签判别模型可以从中学习多个预测模型对于目标文本数据进行预测后得到的预测结果与用户对目标文本数据标注的标签之间的关联和区别等有用信息，最终根据所学习到的有用信息，能够从多个预测模型的输出结果判别出待识别文本数据的判别标签，并且该判别标签为多个预测模型的输出结果中的其中之一，且是最符合当前所面向用户的真实意图的结果。

文本标签判别模型可以采用判别式分类器，例如神经网络等。文本标签判别模型的训练过程与所选用的判别式分类器的模型结构相关，例如采用神经网络时，可以将目标文本数据、多个预测结果作为神经网络的输入，而通过将神经网络的输出与该目标文本数据对应的标注标签进行对比来调整神经网络的模型参数，使得下一次神经网络的输出与标注标签更加接近，经过多个目标文本数据的训练，最终得到参数收敛的文本标签判别模型。

本公开实施例在获得目标文本数据以及用户对该目标文本数据的标注标签后，利用多个预先训练好的不同预测模型对该目标文本数据进行预测，得到多个预测结果后，利用该目标文本数据、多个预测结果以及用户对该目标文本数据的标注标签训练文本标签的判别模型。通过本公开实施例的这种方式，文本标签判别模型在训练过程中，通过多个已有的预测模型对目标文本数据的预测结果以及用户对目标文本数据的标注标签，可以学习到当前用户的真实意图，因此只需要用户提供少量的目标文本数据以及标注标签即可完成对文本标签判别模型的训练，降低了训练过程中的人工成本，并且训练得到的文本标签判别模式能够识别出当前所面向的用户的真实意图。

在本实施例的一个可选实现方式中，所述方法进一步还包括以下步骤：

利用所述目标文本数据以及标注标签训练多个所述预测模型中的至少一个。

该可选的实现方式中，目标文本数据的标注标签是由用户标注的，这样的目标文本数据及标注标签是最符合用户意图的。因此，为了使得多个预测模型的预测结果能够更加接近当前面向用户的需求，还可以利用这些用户提供的目标文本数据及标注标签对多个预测模型进行进一步的训练，训练过程与预测模型所采用的模型结构相关，在此不做限制。经过用户标注的目标文本数据对预测模型做进一步训练，能够提高预测模型的预测准确率。

在本实施例的一个可选实现方式中，如图2所示，所述方法进一步还包括以下步骤：

在步骤S201中，获取候选文本数据；

在步骤S202中，利用多个所述预测模型中的至少一个对所述候选文本数据进行预测，并在预测准确率低于预设阈值时，将所述候选文本数据确定为所述目标文本数据；

在步骤S203中，获取所述目标文本数据的所述标注标签。

该可选的实现方式，候选文本数据可以是待识别文本，没有对应的标注标签。在利用多个预测模型中的一个或多个对候选文本数据进行标签预测时，对于预测准确率较低的一些候选文本数据，可以将其作为目标文本数据，并提供给用户以得到用户对这些候选文本数据标注的标签。

预测模型在使用过程中，可以针对所输入的候选文本数据输出对应的预测结果，以及该预测结果的准确率。在准确率低于预设阈值时，可以认为该预测模型对该候选文本数据的预测结果不准确，这种情况下这个候选文本数据可以作为目标文本数据提供给相关人员进行打标，也即人工标注标签，得到该目标文本数据的标注标签。通过这种方式获得的目标文本数据既是已有的预测模型无法准确预测的数据，且其标注标签又最符合用户意图。因此利用这样得到的目标文本数据以及标注标签所训练得到的文本标签判别模型的准确率更高。此外，这些目标文本数据以及标注标签还可以用来对预测模型进行进一步训练，以便进一步提高预测模型的预测准确率。

在本实施例的一个可选实现方式中，多个所述预测模型中的至少之一利用百科数据库中的文本数据训练得到。

该可选的实现方式中，如上文所提及，用于识别文本数据的标签的预测模型需要大量的训练样本提前训练得到，而较难收集的是训练样本中文本数据所对应的标签，如果数以万计的训练样本都由人工标注标签，则势必要花费大量的人力物力。因此，本公开发明人发现，百科数据库中记录大量的文本数据，并且还记载有这些文本数据的标签，因此可以利用百科数据库中的文本数据以及相应的标签训练得到一个或多个预测模型。

百科数据库例如可以使用维基百科，其中可以选取带有“domain”信息的文本数据作为训练样本，并将“domain”信息作为训练样本中文本数据的标签。维基数据是一个丰富且覆盖各个领域的通用数据集，因此可以充分利用维基数据而训练得到一个或多个预测模型，可以理解的是，利用不同领域中的维基数据可以训练得到多个不同的预测模型。在得到了预测模型之后，本公开实施例还可以使用用户少量标注的目标文本数据以及该一个或多个预测模型的预测结果训练得到领域自适应的文本标签判别模型。

图3示出根据本公开一实施方式的文本标签判别方法的流程图。如图3所示，所述文本标签判别方法包括以下步骤：

在步骤S301中，获取待识别文本数据；

在步骤S302中，根据所述待识别文本数据获得所述待识别文本数据对应的多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到；

在步骤S303中，将所述待识别文本数据以及所述多个预测结果输入至文本标签判别模型，获得所述待识别文本数据的判别标签；其中，所述文本标签判别模型利用上述文本标签判别方法预先训练得到。

本实施例中，利用上述文本标签判别方法训练好文本标签判别模型后，针对新出现的待识别文本数据，可以直接利用多个预测模型和文本标签判别模型得到该待识别文本数据的判别标签。

文本标签判别模型相关的细节可参见上述图1所示实施例及相关实施例中对文本标签判别方法的描述，在此不再赘述。

图4示出根据本公开一实施方式的对象推送方法的流程图。如图4所示，所述对象推送方法包括以下步骤：

在步骤S401中，获取候选对象的文本数据；

在步骤S402中，根据所述候选对象的文本数据确定所述候选对象对应的判别标签；其中，所述候选对象对应的判别标签利用上述文本标签判别方法确定；

在步骤S403中，根据所述候选对象对应的判别标签将所述候选对象推送给目标用户。

本实施例中，候选对象可以是线上平台中为用户提供服务的系统对象，例如内容、内容提供者、商户、产品等。线上平台包括但不限于内容分发平台、电子商务平台等。对于内容分发平台而言，系统对象可以是一篇文章、一段分享文字、一段视频、一个内容发布者等，而对于电子商务平台而言，系统对象可以是一个商户、一个产品等。本实施例涉及的系统对象主要与提供数据、内容、产品等相关，且分享在线上平台供用户浏览、使用、购买等。

候选对象的文本数据可以是在线上平台发布候选对象时的标题、内容描述等。例如候选对象的文本数据可以是购物平台上发布的商品的名称等。

获取了候选对象的文本数据之后，可以将该文本数据输入至多个预测模型，并得到相应的多个预测结果，之后再将该预测结果输入至文本标签判别模型中，最终得到该候选对象对应的判别标签。

确定了候选对象对应的判别标签后，可以根据该候选对象对应的判别标签确定是否将该候选对象推送给目标用户，例如根据目标用户的画像数据可以确定该目标用户对具有该类标签的对象较为感兴趣，则可以将该候选对象推送给目标用户。

候选对象对应的判别标签相关的细节可参见上述图3所示实施例及相关实施例中对文本标签判别方法的描述，在此不再赘述。

在本实施例的一个可选实现方式中，所述步骤S403，即根据所述候选对象对应的判别标签将所述候选对象推送给目标用户的步骤，进一步包括以：

在根据所述候选对象对应的判别标签确定所述候选对象与所述目标用户相匹配时，将所述候选对象显示在所述目标用户的浏览页面上。

该可选的实现方式中，可以根据目标用户在线上平台的浏览行为等确定目标用户的画像数据，例如目标用户喜欢浏览哪类商品，或者喜欢阅读哪个栏目下的文章等。此外，还可以预先在所有可能的判别标签与可能的画像数据之间建立对应关系，针对某一目标用户，在确定了候选对象的判别标签后，可以根据该判别标签、目标用户的画像数据以及上述对应关系确定该候选对象与目标用户是否匹配，例如该判别标签与目标用户的画像数据之间具有对应关系，则可以认为候选对象与目标用户相匹配，之后可以将该候选对象显示在目标用户的浏览页面上，以便目标用户能够在线上平台根据推送的一个或多个候选对象快速定位所感兴趣的目标对象。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图5示出根据本公开一实施方式的文本标签判别装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，所述文本标签判别装置包括：

第一获取模块501，被配置为获取目标文本数据以及标注标签；

第二获取模块502，被配置为根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；

学习模块503，被配置为将所述目标文本数据、所述多个预测结果以及所述标注标签输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中识别出待识别文本的用户标签。

如上文所述，针对同一文本数据，不同领域的预测模型可能会对该文本数据预测出不同的预测结果，例如“小米”这一文本数据，可能会被通用领域中的预测模型预测为粮食中的小米，而对于电商领域的用户而言，其实际上需要将“小米”这一文本数据被预测为“小米”这一手机品牌。

基于上述问题，本公开实施例提出了上述文本标签判别装置。在文本标签判别模型的训练过程中，可以基于多个已有的不同领域中的预测模型对文本数据的预测结果、以及用户提供的少量的目标文本数据以及标注标签(即少量的样本数据)，并从中学习得到符合当前用户意图的信息，进而能够在训练完成后针对待识别文本数据，判别出最符合当前用户意图的判别标签，能够达到的技术效果是当前用户无需手动标注大量的训练样本，而是利用已有的一些不同预测模型以及用户少量标注的训练样本，即可得到符合用户意图的文本标签判别模型，大大降低了人工成本，并提高了模型训练的效率。

本实施例中，目标文本数据可以是由字符、字、词等组成的单词、短语、词语、句子等。标注标签可以是目标文本数据对应内容的标签，标注标签所面向的用户不同，其标签可能不同；例如“小米”的标签可能是粮食，也可能是手机品牌。类似于图像数据的标签，比如图像中包括什么对象、对象类别等，文本数据的标签也可以用于标识该文本数据所包含的内容是否表示某一对象、内容表示的对象(例如“小米”表示的对象可能是粮食或者手机品牌这一对象)的属性信息如类别等。

本实施例中，目标文本数据对应的标注标签可以由用户提供，例如针对多个目标文本数据，由用户根据实际需求进行打标得到标注标签，此处的用户可以是当前文本标签判别模型训练完成后所要面向的同类用户，也即对目标文本数据进行打标的用户与文本标签判别模型被训练好后所要服务的用户可以为同一类用户，例如都属于电商领域的用户。

预测模型可以是预先训练好的，例如可以是已有的能够预测文本数据标签的模型，多个不同的预测模型可以包括但不限于不同模型结构和/或不同训练样本训练得到的模型；训练样本不同可以理解为训练样本的数据不同，或者对训练样本进行打标的用户属于不同技术领域，因此即使同样的文本数据，用来训练不同预测模型时该文本数据对应的标签也可能不同，例如用于训练通用领域的预测模型的其中一个文本数据为“小米”，而标签为“粮食”，而用于训练另一个电商领域的预测模型的其中一个文本数据也为“小米”，但是其对应的标签为“手机品牌”。

目标文本数据分别输入至多个预测模型后，可以分别得到对应的多个预测结果。该多个预测结果可能相同也可能不同，具体根据预测模型而定。用户针对该文本数据标注的标注标签与该多个预测结果中的至少之一相同，文本标签判别模型实际上是学习多个预测模型的多个预测结果与用户对文本数据的标注标签之间的关系，进而在训练完成之后，可以从多个预测模型的多个输出结果中判别出最符合用户意图的一个结果，并作为最终的输出结果。

文本标签判别模型可以用来判别多个已知的预测模型输出的预测结果是否正确，而此处的正确是相对于当前所面向的用户而言。例如农业和电商域两个不同领域的用户，对于同一文本数据所理解的标签可能不同，如“小米”，对于农业领域用户而言其标签是粮食，而对于电商领域而言，其标签是手机品牌。

因此，文本标签判别模型的训练过程实际上是对目标文本数据本身、多个预测模型对于目标文本数据的预测结果以及用户对目标文本数据标注的标注标签的学习过程，文本标签判别模型可以从中学习多个预测模型对于目标文本数据进行预测后得到的预测结果与用户对目标文本数据标注的标签之间的关联和区别等有用信息，最终根据所学习到的有用信息，能够从多个预测模型的输出结果判别出待识别文本数据的判别标签，并且该判别标签为多个预测模型的输出结果中的其中之一，且是最符合当前所面向用户的真实意图的结果。

文本标签判别模型可以采用判别式分类器，例如神经网络等。文本标签判别模型的训练过程与所选用的判别式分类器的模型结构相关，例如采用神经网络时，可以将目标文本数据、多个预测结果作为神经网络的输入，而通过将神经网络的输出与该目标文本数据对应的标注标签进行对比来调整神经网络的模型参数，使得下一次神经网络的输出与标注标签更加接近，经过多个目标文本数据的训练，最终得到参数收敛的文本标签判别模型。

本公开实施例在获得目标文本数据以及用户对该目标文本数据的标注标签后，利用多个预先训练好的不同预测模型对该目标文本数据进行预测，得到多个预测结果后，利用该目标文本数据、多个预测结果以及用户对该目标文本数据的标注标签训练文本标签的判别模型。通过本公开实施例的这种方式，文本标签判别模型在训练过程中，通过多个已有的预测模型对目标文本数据的预测结果以及用户对目标文本数据的标注标签，可以学习到当前用户的真实意图，因此只需要用户提供少量的目标文本数据以及标注标签即可完成对文本标签判别模型的训练，降低了训练过程中的人工成本，并且训练得到的文本标签判别模式能够识别出当前所面向的用户的真实意图。

在本实施例的一个可选实现方式中，所述装置还包括：

训练模块，被配置为利用所述目标文本数据以及标注标签训练多个所述预测模型中的至少一个。

该可选的实现方式中，目标文本数据的标注标签是由用户标注的，这样的目标文本数据及标注标签是最符合用户意图的。因此，为了使得多个预测模型的预测结果能够更加接近当前面向用户的需求，还可以利用这些用户提供的目标文本数据及标注标签对多个预测模型进行进一步的训练，训练过程与预测模型所采用的模型结构相关，在此不做限制。经过用户标注的目标文本数据对预测模型做进一步训练，能够提高预测模型的预测准确率。

在本实施例的一个可选实现方式中，如图6所示，所述第一获取模块501之前，所述装置还包括：

第三获取模块601，被配置为获取候选文本数据；

预测模块602，被配置为利用多个所述预测模型中的至少一个对所述候选文本数据进行预测，并在预测准确率低于预设阈值时，将所述候选文本数据确定为所述目标文本数据；

第四获取模块603，被配置为获取所述目标文本数据的所述标注标签。

该可选的实现方式，候选文本数据可以是待识别文本，没有对应的标注标签。在利用多个预测模型中的一个或多个对候选文本数据进行标签预测时，对于预测准确率较低的一些候选文本数据，可以将其作为目标文本数据，并提供给用户以得到用户对这些候选文本数据标注的标签。

预测模型在使用过程中，可以针对所输入的候选文本数据输出对应的预测结果，以及该预测结果的准确率。在准确率低于预设阈值时，可以认为该预测模型对该候选文本数据的预测结果不准确，这种情况下这个候选文本数据可以作为目标文本数据提供给相关人员进行打标，也即进行人工标注标签，得到该目标文本数据的标注标签。通过这种方式获得的目标文本数据既是已有的预测模型无法准确预测的数据，且其标注标签又最符合用户意图。因此利用这样得到的目标文本数据以及标注标签所训练得到的文本标签判别模型的准确率更高。此外，这些目标文本数据以及标注标签还可以用来对预测模型进行进一步训练，以便进一步提高预测模型的预测准确率。

在本实施例的一个可选实现方式中，多个所述预测模型中的至少之一利用百科数据库中的文本数据训练得到。

该可选的实现方式中，如上文所提及，用于识别文本数据的标签的预测模型需要大量的训练样本提前训练得到，而较难收集的是训练样本中文本数据所对应的标签，如果数以万计的训练样本都由人工标注标签，则势必要花费大量的人力物力。因此，本公开发明人发现，百科数据库中记录大量的文本数据，并且还记载有这些文本数据的标签，因此可以利用百科数据库中的文本数据以及相应的标签训练得到一个或多个预测模型。

百科数据库例如可以使用维基百科，其中可以选取带有“domain”信息的文本数据作为训练样本，并将“domain”信息作为训练样本中文本数据的标签。维基数据是一个丰富且覆盖各个领域的通用数据集，因此可以充分利用维基数据而训练得到一个或多个预测模型，可以理解的是，利用不同领域中的维基数据可以训练得到多个不同的预测模型。在得到了预测模型之后，本公开实施例还可以使用用户少量标注的目标文本数据以及该一个或多个预测模型的预测结果训练得到领域自适应的文本标签判别模型。

图7示出根据本公开一实施方式的文本标签判别装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，所述文本标签判别装置包括：

第五获取模块701，被配置为获取待识别文本数据；

第六获取模块702，被配置为根据所述待识别文本数据获得所述待识别文本数据对应的多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到；

第七获取模块703，被配置为将所述待识别文本数据以及所述多个预测结果输入至文本标签判别模型，获得所述待识别文本数据的判别标签；其中，所述文本标签判别模型利用如上所述的文本标签判别装置确定。

本实施例中，利用上述文本标签判别装置训练好文本标签判别模型后，针对新出现的待识别文本数据，可以直接利用多个预测模型和文本标签判别模型得到该待识别文本数据的判别标签。

文本标签判别模型相关的细节可参见上述图5所示实施例及相关实施例中对文本标签判别装置的描述，在此不再赘述。

图8示出根据本公开一实施方式的对象推送装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图8所示，所述对象推送装置包括：

第八获取模块801，被配置为获取候选对象的文本数据；

确定模块802，被配置为根据所述候选对象的文本数据确定所述候选对象对应的判别标签；其中，所述候选对象对应的判别标签利用上述文本标签判别装置确定；

推送模块803，被配置为根据所述候选对象对应的判别标签将所述候选对象推送给目标用户。

本实施例中，候选对象可以是线上平台中为用户提供服务的系统对象，例如内容、内容提供者、商户、产品等。线上平台包括但不限于内容分发平台、电子商务平台等。对于内容分发平台而言，系统对象可以是一篇文章、一段分享文字、一段视频、一个内容发布者等，而对于电子商务平台而言，系统对象可以是一个商户、一个产品等。本实施例涉及的系统对象主要与提供数据、内容、产品等相关，且分享在线上平台供用户浏览、使用、购买等。

候选对象的文本数据可以是在线上平台发布候选对象时的标题、内容描述等。例如候选对象的文本数据可以是购物平台上发布的商品的名称等。

获取了候选对象的文本数据之后，可以将该文本数据输入至多个预测模型，并得到相应的多个预测结果，之后再将该预测结果输入至文本标签判别模型中，最终得到该候选对象对应的判别标签。

确定了候选对象对应的判别标签后，可以根据该候选对象对应的判别标签确定是否将该候选对象推送给目标用户，例如根据目标用户的画像数据可以确定该目标用户对具有该类标签的对象较为感兴趣，则可以将该候选对象推送给目标用户。

候选对象对应的判别标签相关的细节可参见上述图7所示实施例及相关实施例中对文本标签判别装置的描述，在此不再赘述。

在本实施例的一个可选实现方式中，所述推送模块803，包括：

推送子模块，被配置为在根据所述候选对象对应的判别标签确定所述候选对象与所述目标用户相匹配时，将所述候选对象显示在所述目标用户的浏览页面上。

该可选的实现方式中，可以根据目标用户在线上平台的浏览行为等确定目标用户的画像数据，例如目标用户喜欢浏览哪类商品，或者喜欢阅读哪个栏目下的文章等。此外，还可以预先在所有可能的判别标签与可能的画像数据之间建立对应关系，针对某一目标用户，在确定了候选对象的判别标签后，可以根据该判别标签、目标用户的画像数据以及上述对应关系确定该候选对象与目标用户是否匹配，例如该判别标签与目标用户的画像数据之间具有对应关系，则可以认为候选对象与目标用户相匹配，则可以将该候选对象显示在目标用户的浏览页面上，以便目标用户能够在线上平台根据推送的一个或多个候选对象快速定位所感兴趣的目标对象。

图9是适于用来实现根据本公开实施方式的文本标签判别方法的电子设备的结构示意图。

如图9所示，电子设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行本公开上述方法的实施方式中的各种处理。在RAM903中，还存储有电子设备900操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本公开的实施方式，上文参考本公开实施方式中的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。

图9所示的电子设备同样适于用来实现根据本公开实施方式的文本标签的判别方法和/或对象推送方法。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种文本标签判别方法，其特征在于，包括：

获取目标文本数据以及对应的标注标签；

根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；多个预测模型为已训练好的模型，并且为不同技术领域的模型；

将所述目标文本数据以及对应的标注标签、所述多个预测结果输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中选择其中一个作为待识别文本的用户标签；基于多个已训练好的不同技术领域中的所述预测模型对文本数据的预测结果、以及用户提供的所述目标文本数据以及对应的标注标签，所述文本标签识别模能够学习得到符合用户意图的信息，并能够在训练完成后针对待识别文本数据，判别出符合用户意图的判别标签。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用所述目标文本数据以及标注标签训练多个所述预测模型中的至少一个。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取候选文本数据；

利用多个所述预测模型中的至少一个对所述候选文本数据进行预测，并在预测准确率低于预设阈值时，将所述候选文本数据确定为所述目标文本数据；

获取所述目标文本数据的所述标注标签。

4.根据权利要求1或2所述的方法，其特征在于，多个所述预测模型中的至少之一利用百科数据库中的文本数据训练得到。

5.一种文本标签判别方法，其特征在于，包括：

获取待识别文本数据；

根据所述待识别文本数据获得所述待识别文本数据对应的多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到；

将所述待识别文本数据以及所述多个预测结果输入至文本标签判别模型，获得所述待识别文本数据的判别标签；其中，所述文本标签判别模型利用权利要求1-4任一项所述的方法确定。

6.一种对象推送方法，其特征在于，包括：

获取候选对象的文本数据；

根据所述候选对象的文本数据确定所述候选对象对应的判别标签；其中，所述候选对象对应的判别标签利用权利要求5所述的方法确定；

根据所述候选对象对应的判别标签将所述候选对象推送给目标用户。

7.根据权利要求6所述的方法，其特征在于，根据所述候选对象对应的判别标签将所述候选对象推送给目标用户，包括：

在根据所述候选对象对应的判别标签确定所述候选对象与所述目标用户相匹配时，将所述候选对象显示在所述目标用户的浏览页面上。

8.一种文本标签判别装置，其特征在于，包括：

第一获取模块，被配置为获取目标文本数据以及对应的标注标签；

第二获取模块，被配置为根据所述目标文本数据获得多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到，且所述标注标签与所述多个预测结果中的至少之一相一致；多个预测模型为已训练好的模型，并且为不同技术领域的模型；

学习模块，被配置为将所述目标文本数据以及对应的标注标签、所述多个预测结果输入至文本标签判别模型进行学习，以便所述文本标签识别模型能够从所述多个预测模型的输出结果中选择其中一个作为待识别文本的用户标签；基于多个已训练好的不同技术领域中的所述预测模型对文本数据的预测结果、以及用户提供的所述目标文本数据以及对应的标注标签，所述文本标签识别模能够学习得到符合用户意图的信息，并能够在训练完成后针对待识别文本数据，判别出符合用户意图的判别标签。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

训练模块，被配置为利用所述目标文本数据以及标注标签训练多个所述预测模型中的至少一个。

10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：

第三获取模块，被配置为获取候选文本数据；

预测模块，被配置为利用多个所述预测模型中的至少一个对所述候选文本数据进行预测，并在预测准确率低于预设阈值时，将所述候选文本数据确定为所述目标文本数据；

第四获取模块，被配置为获取所述目标文本数据的所述标注标签。

11.根据权利要求8或9所述的装置，其特征在于，多个所述预测模型中的至少之一利用百科数据库中的文本数据训练得到。

12.一种文本标签判别装置，其特征在于，包括：

第五获取模块，被配置为获取待识别文本数据；

第六获取模块，被配置为根据所述待识别文本数据获得所述待识别文本数据对应的多个预测结果；其中，所述多个预测结果分别通过多个不同的预测模型得到；

第七获取模块，被配置为将所述待识别文本数据以及所述多个预测结果输入至文本标签判别模型，获得所述待识别文本数据的判别标签；其中，所述文本标签判别模型利用权利要求8-11任一项所述的装置确定。

13.一种对象推送装置，其特征在于，包括：

第八获取模块，被配置为获取候选对象的文本数据；

确定模块，被配置为根据所述候选对象的文本数据确定所述候选对象对应的判别标签；其中，所述候选对象对应的判别标签利用权利要求12所述的装置确定；

推送模块，被配置为根据所述候选对象对应的判别标签将所述候选对象推送给目标用户。

14.根据权利要求13所述的装置，其特征在于，所述推送模块，包括：

推送子模块，被配置为在根据所述候选对象对应的判别标签确定所述候选对象与所述目标用户相匹配时，将所述候选对象显示在所述目标用户的浏览页面上。

15.一种电子设备，其特征在于，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-7任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-7任一项所述的方法。

Images