CN109614625B - 标题正文相关度的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种标题正文相关度的确定方法、装置、设备及存储介质。所述方法包括：获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；将标题分词结果、正文分词结果以及文本特征数据输入标题正文相关度确定模型，得到待处理文本的标题正文相关度。本发明实施例的技术方案解决了现有技术中标题正文相关度难以体现文本的标题与正文之间的逻辑衔接关系的技术缺陷，通过挖掘标题与正文的逻辑关系，使得标题正文相关度可以更加准确地体现文章的标题与正文之间的语义相关性，提高了标题质量判定的准确度，另外，还可以准确地确定正文的主题内容不明确的文本的标题正文相关度。

Description

标题正文相关度的确定方法、装置、设备及存储介质

技术领域

本发明实施例涉及模型训练技术领域，尤其涉及一种标题正文相关度的确定方法、装置、设备及存储介质。

背景技术

在目前的自媒体时代，有些作者为了吸引点击量，往往对新闻事实、娱乐八卦、时事评论、生活百科等文章断章取义，取一个吸引眼球却不符合事实的标题，或是为了发文量随意拼凑抄袭已有正文，再从正文中随意抽取一句话作为标题。由于标题的优劣是评判文章质量的一个要素，因此在尽量节省审核人员成本的前提下，一般会通过已有模型对标题质量进行自动判定。

现有技术中，标题质量判定方法具体是以文章正文中的每一个句子作为节点并以句子间的相似度作为权重，建立无向有权图，句子间的相似度可以通过word2vec或cosine等方法计算得到；对上述无向有权图实施TextRank关键句抽取算法，迭代传播各节点的权重，直至收敛；按照节点权重的倒序顺序，对各个句子进行排序，选取排序结果中前T个句子作为候选句，其中T为正整数；根据各个候选句与文章的标题之间的语义相似度，判定标题与正文的相关度，以此确定标题质量。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：将标题与正文作为两个独立的个体去计算他们之间的相关性，没有考虑到标题与正文之间的逻辑衔接关系，可能会导致标题质量判定错误。另外，只有当文章的正文内容主题明确时，才可以通过TextRank关键句抽取算法获取有效的候选句(即正文中与标题具有较高的语义相似度的句子)，进而准确确定标题质量。

发明内容

有鉴于此，本发明实施例提供了一种标题正文相关度的确定方法、装置、设备及存储介质，以优化现有的标题正文相关度的确定方法，通过挖掘标题与正文的逻辑关系，使得标题正文相关度可以更加准确地体现文章的标题与正文之间的语义相关性。

在第一方面，本发明实施例提供了一种标题正文相关度的确定方法，包括：

获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；

将所述标题分词结果、所述正文分词结果以及所述文本特征数据输入标题正文相关度确定模型，得到所述待处理文本的标题正文相关度。

在第二方面，本发明实施例提供了一种标题正文相关度的确定装置，包括：

分词结果获取模块，用于获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；

相关度获取模块，用于将所述标题分词结果、所述正文分词结果以及所述文本特征数据输入标题正文相关度确定模型，得到所述待处理文本对应的标题正文相关度。

在第三方面，本发明实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的标题正文相关度的确定方法。

在第四方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的标题正文相关度的确定方法。

本发明实施例提供了一种标题正文相关度的确定方法、装置、设备及存储介质，通过同时根据文本的标题内容、正文内容以及文本特征，来确定文本的标题正文相关度，解决了现有技术中标题正文相关度难以体现文本的标题与正文之间的逻辑衔接关系的技术缺陷，通过挖掘标题与正文的逻辑关系，使得标题正文相关度可以更加准确地体现文章的标题与正文之间的语义相关性，提高了标题质量判定的准确度，另外，还可以准确地确定正文的主题内容不明确的文本的标题正文相关度。

附图说明

图1是本发明实施例一提供的一种标题正文相关度的确定方法的流程图；

图2是本发明实施例二提供的一种标题正文相关度的确定方法的流程图；

图3是本发明实施例三提供的一种标题正文相关度的确定装置的结构图；

图4是本发明实施例四提供的一种设备的结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种标题正文相关度的确定方法的流程图，本实施例的方法可以由标题正文相关度的确定装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于计算机设备中，例如服务器等。本实施例的方法具体包括：

S101、获取待处理文本的标题分词结果、正文分词结果以及文本特征数据。

在本实施例中，待处理文本具体可以是同时具有标题和正文的任何类别的文本。类别具体可以是新闻类、娱乐类或历史类等等。

在本实施例中，标题分词结果具体是指对待处理文本的标题进行分词处理之后得到的各个标题词语。正文分词结果具体是指对待处理文本的正文进行分词处理之后得到的各个正文词语。标题对应的分词处理方式与正文对应的分词处理方式既可以相同，也可以不同，本实施例对此不进行限制。进一步地，对于不同类别的待处理文本，标题对应的分词处理方式既可以相同，也可以不同，同样地，正文对应的分词处理方式既可以相同，也可以不同。

在本实施例中，文本特征数据具体是指可以体现待处理文本自身属性的数据，具体可以是待处理文本的总段落数、总字数、句子的平均长度以及命中停用词总次数等数据。

S102、将标题分词结果、正文分词结果以及文本特征数据输入标题正文相关度确定模型，得到待处理文本的标题正文相关度。

在本实施例中，标题正文相关度具体是指可以体现文本的标题与正文之间的语义相关程度的数据。

在本实施例中，标题正文相关度确定模型具体是指以文本的标题分词结果、正文分词结果以及文本特征数据作为输入，输出结果为文本的标题正文相关度的神经网络。

进一步地，本实施例中的标题正文相关度确定模型的工作方式具体可以是：

首先，对于输入的三类数据，即标题分词结果、正文分词结果以及文本特征数据分别进行处理。具体来说可以是，根据标题分词结果获取其对应的标题词语向量，根据正文分词结果获取其对应的正文分词向量，以及根据文本特征数据获取其对应的文本特征向量。

然后，根据输入的三类数据各自对应的处理结果，得到待处理文本对应的一个总特征向量。

最后，对上述总特征向量进行处理，得到待处理文本的标题正文相关度。具体来说，为了使标题正文相关度确定模型的输出结果更加准确，可以通过对上述总特征向量进行具有一定深度的多层次的处理，最终得到待处理文本的标题正文相关度。

本发明实施例提供了一种标题正文相关度的确定方法，通过同时根据文本的标题内容、正文内容以及文本特征，来确定文本的标题正文相关度，解决了现有技术中标题正文相关度难以体现文本的标题与正文之间的逻辑衔接关系的技术缺陷，通过挖掘标题与正文的逻辑关系，使得标题正文相关度可以更加准确地体现文章的标题与正文之间的语义相关性，提高了标题质量判定的准确度，另外，还可以准确地确定正文的主题内容不明确的文本的标题正文相关度。

实施例二

图2是本发明实施例二提供的一种标题正文相关度的确定方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，给出了一种增加样本文本获取步骤，具体化文本特征数据，以及具体化标题正文相关度确定模型的具体实施方式。

相应的，本实施例的方法具体包括：

S201、获取第一样本文本，以及与第一样本文本的类别相同的同类别文本。

在本实施例中，通过步骤201至步骤206获取了三类具有不同标题正文相关度的样本文本，并会使用这三类样本文本通过步骤207和步骤208共同对原始模型进行训练，得到标题正文相关度确定模型，以进一步提高标题正文相关度确定模型的输出结果的准确度。

首先，通过步骤201和步骤202获取第一类样本文本，即标题替换样本文本。

在本实施例中，第一样本文本具体可以是具有标题和正文的任何类别的文本。第一样本文本的类别具体可以是新闻类、历史类以及娱乐类等等。与第一样本文本的类别相同的同类别文本具体是指与第一样本文本的类别相同的，且具有标题和正文的文本。

S202、使用同类别文本的标题替换第一样本文本的标题，得到标题替换样本文本，同时将标题替换样本文本的标题正文相关度设置为第一数值。

在本实施例中，在获取同类别文本之后，会通过使用该同类别文本的标题替换第一样本文本的标题，得到标题为同类别文本的标题，正文为第一样本文本的正文的标题替换样本文本。

进一步地，在获取标题替换样本文本之后，会将所有的标题替换样本文本的标题正文相关度统一设置为同一数值，即第一数值。其中，第一数值的类型应该与标题正文相关度确定模型的输出结果的类型相同。第一数值典型的可以是0-1之间的小数，也可以是0-10之间的正整数等。

S203、获取第二样本文本，并通过TextRank算法计算第二样本文本中各个句子对应的权重。

在本实施例中，通过步骤203至步骤205获取第二类样本文本，即正文替换样本文本。

在本实施例中，第二样本文本具体可以是具有标题和正文的任何类别的文本。第二样本文本既可以与第一样本文本相同，也可以不同，本实施例对此不进行限制。

进一步地，TextRank算法为现有技术，在此不再进行详细阐述。

S204、按照权重的降序，对第二样本文本中的各个句子进行排序。

在本实施例中，在获取第二样本文本中各个句子对应的权重之后，会按照权重的降序对第二样本文本中的各个句子进行排序，排序结果中越靠前的句子的权重越大。

S205、使用排序结果中第N个句子替换第二样本文本的标题，得到正文替换样本文本，同时将正文替换标题样本文本的标题正文相关度设置为第二数值，其中，N为正整数，M＞N＞M/2，M为第二样本文本包括的句子的总数量。

可以理解的是，通过TextRank算法所确定的第二样本文本中各个句子对应的权重的大小，体现了句子与第二样本文本的主题的相关度，权重越大的句子与第二样本文本的主题的相关度越高。

在本实施例中，会依据步骤204的排序结果，选取一个与第二样本文本的主题的相关度较为恰当的句子作为标题，来替换第二样本文本的原有标题，得到标题为所选取的句子，正文为第二样本文本的正文的正文替换样本文本。当然所选取的句子对应的权重越大，得到的正文替换样本文本的标题正文相关度会越高。

在本实施例中，具体是从排序结果前一半的句子中进行选取，以使得正文替换样本文本的标题正文相关度不会过低。当然，根据实际需要，也可以从排序结果后一半的句子中进行选取，进而获取更多的标题正文相关度较低的样本文本。

进一步地，在本实施例中，所有的正文替换样本文本都是通过使用排序结果中同一位置(即第N个句子)的句子替换第二样本文本的标题得到的。因此，在获取正文替换样本文本之后，会将所有的正文替换样本文本的标题正文相关度统一设置为同一数值，即第二数值。具体来说，第二数值可以根据N的大小来确定，N越大第二数值越小，N越小第二数值越大。其中，第二数值的类型与第一数值的类型相同，且第二数值大于第一数值。

进一步地，虽然在本实施例中，所有的正文替换样本文本都是通过使用排序结果中同一位置(即第N个句子)的句子替换第二样本文本的标题得到的，但是在实际操作中，也可以选取排序结果中不同位置的句子来替换第二样本文本的标题，以使得得到的不同的正文替换样本文本的标题正文相关度具有梯度差，以更好地对原始模型进行训练。

如果正文替换样本文本是通过选取排序结果中不同位置的句子替换第二样本文本的标题得到的，那么不同的正文替换样本文本应对应不同的第二数值。具体来说，既可以按照N越大第二数值越小，N越小第二数值越大的方式来确定第二数值，也可以综合考虑N的大小以及所选取句子的权重来确定第二数值。

S206、获取原始样本文本，原始样本文本的标题正文相关度为第三数值。

在本实施例中，第三类样本文本，即原始样本文本就是指直接获取的文本。

在本实施例中，在获取原始样本文本之后，会将所有的原始样本文本的标题正文相关度统一设置为同一数值，即第三数值。其中，第三数值的类型与第二数值以及第一数值的类型相同，且第三数值大于第二数值。

基于步骤201至步骤206的内容可知，三类样本文本，即标题替换样本文本、正文替换标题样本文本以及原始样本文本的标题正文相关度依次递增。

S207、将标题替换样本文本、正文替换标题样本文本以及原始样本文本作为样本文本，并获取样本文本的样本标题分词结果、样本正文分词结果以及样本文本特征数据。

在本实施例中，用于对原始模型进行训练的样本文本同时包括下述三类样本文本，即标题替换样本文本、正文替换标题样本文本以及原始模型。

在本实施例中，通过步骤207和步骤208对原始模型进行训练，以得到所需的标题正文相关度确定模型。首先，通过步骤207获取训练样本，即样本文本的样本标题分词结果、样本正文分词结果以及样本文本特征数据。

在本实施例中，样本标题分词结果、样本正文分词结果以及样本文本特征数据的含义与标题分词结果、正文分词结果以及文本特征数据的含义相同，在此不再进行详细阐述。

S208、将样本标题分词结果、样本正文分词结果以及样本文本特征数据同时作为输入，将样本文本的标题正文相关度作为输出，对原始模型进行训练，以形成标题正文相关度确定模型。

在本实施例中，标题正文相关度确定模型具体可以包括四个模块，即标题分词结果处理模块、正文分词结果处理模块、文本特征数据处理模块以及总特征处理模块。

其中，标题分词处理模块可以用于将标题分词结果或样本标题分词结果中的各个标题词语转化为各自分别对应的标题词语向量，并根据标题词语向量获取标题特征向量。具体来说，标题分词处理模块可以由顺序连接的一个embedding layer层以及一个LSTM神经网络组成。

其中，正文分词处理模块可以用于将正文分词结果或样本正文分词结果中的各个正文词语转化为各自分别对应的正文词语向量，并根据正文词语向量获取正文特征向量。具体来说，正文分词处理模块也可以由顺序连接的一个embedding layer层以及一个LSTM神经网络组成。

其中，文本特征数据处理模块用于对文本特征数据或样本文本特征数据进行至少两个子层的处理，得到文本特征向量。其中，任一个子层具体可以包括顺序连接的一个全连接层、一个PReLU函数激活层、一个Dropout层以及一个Batch Normalization层。

进一步地，在本实施例中，无论标题分词结果处理模块以及正文分词结果处理模块的内部结构是否相同，它们应该是两个相互独立的模块，以使得它们可以分别对不同的输入数据进行处理。当然，标题分词结果处理模块、正文分词结果处理模块以及文本特征数据处理模块，这三个模块也是两两相互独立的。

其中，总特征处理模块用于对标题特征向量、正文特征向量以及文本特征向量对应的总特征向量，进行至少两个子层以及一个函数激活子层的处理，得到标题正文相关度确定模型的输出结果。优选的，总特征处理模块中的子层可以与文本特征数据处理模块中的子层相同。其中，函数激活子层具体可以包括顺序连接的一个全连接层以及一个softmax函数激活层。

进一步地，总特征向量具体可以是由标题特征向量、正文特征向量以及文本特征向量进行拼接得到的。

S209、获取待处理文本的标题分词结果、正文分词结果以及文本特征数据。

S210、将标题分词结果、正文分词结果以及文本特征数据输入标题正文相关度确定模型，得到待处理文本的标题正文相关度。

在本实施例中，文本特征数据具体可以包括待处理文本的总字数、段落总数、短段落总数、句子总数、短句子总数、句子的平均长度、命中停用词总次数以及待处理文本的标题在待处理文本的正文中重复出现的次数中的至少一项。

其中，短段落具体可以是所包括的句子的总数量小于3的段落。短句子具体可以是所包括的字数小于10的句子。

本发明实施例提供了一种标题正文相关度的确定方法，该方法增加了样本文本获取步骤，使得样本文本具有不同的标题正文相关度，进而可以更好地对原始模型进行训练，以使得训练得到的标题正文相关度确定模型的输出结果更加准确，具体化了文本特征数据，通过综合考虑文本在段落、句子等方面的属性，使得标题正文相关度确定模型的输出结果更加准确，还具体化了标题正文相关度确定模型，实现了深层次挖掘文本的标题与正文之间的逻辑关系，进而使得标题正文相关度确定模型可以更加准确的确定文本的标题正文相关度。

实施例三

图3是本发明实施例三提供的一种标题正文相关度的确定装置的结构图。如图3所示，所述装置包括：分词结果获取模块301和相关度获取模块302，其中：

分词结果获取模块301，用于获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；

相关度获取模块302，用于将标题分词结果、正文分词结果以及文本特征数据输入标题正文相关度确定模型，得到待处理文本对应的标题正文相关度。

本发明实施例提供了一种标题正文相关度的确定装置，该装置首先通过分词结果获取模块301获取待处理文本的标题分词结果、正文分词结果以及文本特征数据，然后通过相关度获取模块302，用于将标题分词结果、正文分词结果以及文本特征数据输入标题正文相关度确定模型，得到待处理文本对应的标题正文相关度。

该装置解决了现有技术中标题正文相关度难以体现文本的标题与正文之间的逻辑衔接关系的技术缺陷，通过挖掘标题与正文的逻辑关系，使得标题正文相关度可以更加准确地体现文章的标题与正文之间的语义相关性，提高了标题质量判定的准确度，另外，还可以准确地确定正文的主题内容不明确的文本的标题正文相关度。

在上述各实施例的基础上，还可以包括：

样本分词结果获取模块，用于获取样本文本的样本标题分词结果、样本正文分词结果以及样本文本特征数据；

模型训练模块，用于将样本标题分词结果、样本正文分词结果以及样本文本特征数据同时作为输入，将样本文本的标题正文相关度作为输出，对原始模型进行训练，以形成标题正文相关度确定模型。

在上述各实施例的基础上，还可以包括：

样本文本获取模块，用于在获取样本文本的样本标题分词结果、样本正文分词结果以及样本文本特征数据之前，获取下述三类样本文本：

标题替换样本文本、正文替换标题样本文本以及原始样本文本，其中，标题替换样本文本为标题采用同类标题进行替换的样本文本，正文替换标题样本文本为采用正文内容替换标题的样本文本，上述三类样本文本的标题正文相关度顺序递增。

在上述各实施例的基础上，样本文本获取模块可以包括：

第一样本文本获取单元，用于获取第一样本文本，以及与第一样本文本的类别相同的同类别文本；

标题替换样本文本获取单元，用于使用同类别文本的标题替换第一样本文本的标题，得到标题替换样本文本，同时将标题替换样本文本的标题正文相关度设置为第一数值。

在上述各实施例的基础上，样本文本获取模块还可以包括：

第二样本文本获取单元，用于获取第二样本文本，并通过TextRank算法计算第二样本文本中各个句子对应的权重；

句子排序单元，用于按照权重的降序，对第二样本文本中的各个句子进行排序；

正文替换样本文本获取单元，用于使用排序结果中第N个句子替换第二样本文本的标题，得到正文替换样本文本，同时将正文替换标题样本文本的标题正文相关度设置为第二数值；

其中，N为正整数，M＞N＞M/2，M为第二样本文本包括的句子的总数量。

在上述各实施例的基础上，原始样本文本的标题正文相关度可以为第三数值。

在上述各实施例的基础上，文本特征数据可以包括下述至少一项：

待处理文本的总字数、段落总数、短段落总数、句子总数、短句子总数、句子的平均长度、命中停用词总次数以及待处理文本的标题在待处理文本的正文中重复出现的次数。

在上述各实施例的基础上，标题正文相关度确定模型可以包括：

标题分词结果处理模块、正文分词结果处理模块、文本特征数据处理模块以及总特征处理模块；

其中，标题分词处理模块用于将标题分词结果中的各个标题词语转化为各自分别对应的标题词语向量，并根据标题词语向量获取标题特征向量；

其中，正文分词处理模块用于将正文分词结果中的各个正文词语转化为各自分别对应的正文词语向量，并根据正文词语向量获取正文特征向量；

其中，文本特征数据处理模块用于对文本特征数据进行至少两个子层的处理，得到文本特征向量；

其中，总特征处理模块用于对标题特征向量、正文特征向量以及文本特征向量对应的总特征向量，进行至少两个子层以及一个函数激活子层的处理，得到标题正文相关度确定模型的输出结果。

在上述各实施例的基础上，子层具体可以包括顺序连接的一个全连接层、一个PReLU函数激活层、一个Dropout层以及一个Batch Normalization层；

函数激活子层具体可以包括顺序连接的一个全连接层以及一个softmax函数激活层。

在上述各实施例的基础上，标题分词处理模块具体可以用于：

通过LSTM神经网络，根据标题词语向量获取标题特征向量；

正文分词结果处理模块具体可以用于：

通过LSTM神经网络，根据正文词语向量获取正文特征向量。

本发明实施例所提供的标题正文相关度的确定装置可用于执行本发明任意实施例提供的标题正文相关度的确定方法，具备相应的功能模块，实现相同的有益效果。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备12的框图。图4显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的标题正文相关度的确定方法。也即：获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；将所述标题分词结果、所述正文分词结果以及所述文本特征数据输入标题正文相关度确定模型，得到所述待处理文本的标题正文相关度。

实施例五

本发明实施例五还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的标题正文相关度的确定方法。也即：获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；将所述标题分词结果、所述正文分词结果以及所述文本特征数据输入标题正文相关度确定模型，得到所述待处理文本的标题正文相关度。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种标题正文相关度的确定方法，其特征在于，包括：

获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；

将所述标题分词结果、所述正文分词结果以及所述文本特征数据输入标题正文相关度确定模型，得到所述待处理文本的标题正文相关度；

其中，所述方法还包括：获取下述三类样本文本：标题替换样本文本、正文替换标题样本文本以及原始样本文本，其中，所述标题替换样本文本为标题采用同类标题进行替换的样本文本，所述正文替换标题样本文本为采用正文内容替换标题的样本文本，上述三类样本文本的标题正文相关度顺序递增；

获取所述样本文本的样本标题分词结果、样本正文分词结果以及样本文本特征数据；

将所述样本标题分词结果、所述样本正文分词结果以及所述样本文本特征数据同时作为输入，将所述样本文本的标题正文相关度作为输出，对原始模型进行训练，以形成所述标题正文相关度确定模型。

2.根据权利要求1所述的方法，其特征在于，所述获取所述标题替换样本文本，包括：

获取第一样本文本，以及与所述第一样本文本的类别相同的同类别文本；

使用所述同类别文本的标题替换所述第一样本文本的标题，得到所述标题替换样本文本，同时将所述标题替换样本文本的标题正文相关度设置为第一数值。

3.根据权利要求1所述的方法，其特征在于，所述获取所述正文替换标题样本文本，包括：

获取第二样本文本，并通过TextRank算法计算所述第二样本文本中各个句子对应的权重；

按照所述权重的降序，对所述第二样本文本中的各个句子进行排序；

使用排序结果中第N个句子替换所述第二样本文本的标题，得到所述正文替换样本文本，同时将所述正文替换标题样本文本的标题正文相关度设置为第二数值；

其中，N为正整数，M＞N＞M/2，M为所述第二样本文本包括的句子的总数量。

4.根据权利要求1所述的方法，其特征在于，所述原始样本文本的标题正文相关度为第三数值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述文本特征数据包括下述至少一项：

所述待处理文本的总字数、段落总数、短段落总数、句子总数、短句子总数、句子的平均长度、命中停用词总次数以及所述待处理文本的标题在所述待处理文本的正文中重复出现的次数。

6.根据权利要求1所述的方法，其特征在于，所述标题正文相关度确定模型，包括：

标题分词结果处理模块、正文分词结果处理模块、文本特征数据处理模块以及总特征处理模块；

其中，所述标题分词处理模块用于将所述标题分词结果中的各个标题词语转化为各自分别对应的标题词语向量，并根据所述标题词语向量获取标题特征向量；

其中，所述正文分词处理模块用于将所述正文分词结果中的各个正文词语转化为各自分别对应的正文词语向量，并根据所述正文词语向量获取正文特征向量；

其中，所述文本特征数据处理模块用于对所述文本特征数据进行至少两个子层的处理，得到文本特征向量；

其中，所述总特征处理模块用于对所述标题特征向量、所述正文特征向量以及所述文本特征向量对应的总特征向量，进行至少两个所述子层以及一个函数激活子层的处理，得到所述标题正文相关度确定模型的输出结果。

7.根据权利要求6所述的方法，其特征在于，所述子层包括顺序连接的一个全连接层、一个PReLU函数激活层、一个Dropout层以及一个Batch Normalization层；

所述函数激活子层包括顺序连接的一个所述全连接层以及一个softmax函数激活层。

8.根据权利要求6所述的方法，其特征在于，所述根据所述标题词语向量获取标题特征向量，具体包括：

通过LSTM神经网络，根据所述标题词语向量获取标题特征向量；

所述根据所述正文词语向量获取正文特征向量，具体包括：

通过LSTM神经网络，根据所述正文词语向量获取正文特征向量。

9.一种标题正文相关度的确定装置，其特征在于，包括：

分词结果获取模块，用于获取待处理文本的标题分词结果、正文分词结果以及文本特征数据；

相关度获取模块，用于将所述标题分词结果、所述正文分词结果以及所述文本特征数据输入标题正文相关度确定模型，得到所述待处理文本对应的标题正文相关度；

其中，所述装置还包括：

样本文本获取模块，用于获取下述三类样本文本：标题替换样本文本、正文替换标题样本文本以及原始样本文本，其中，所述标题替换样本文本为标题采用同类标题进行替换的样本文本，所述正文替换标题样本文本为采用正文内容替换标题的样本文本，上述三类样本文本的标题正文相关度顺序递增；样本分词结果获取模块，用于获取所述样本文本的样本标题分词结果、样本正文分词结果以及样本文本特征数据；

模型训练模块，用于将所述样本标题分词结果、所述样本正文分词结果以及所述样本文本特征数据同时作为输入，将所述样本文本的标题正文相关度作为输出，对原始模型进行训练，以形成所述标题正文相关度确定模型。

10.一种标题正文相关度的确定设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的标题正文相关度的确定方法。

11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一项所述的标题正文相关度的确定方法。

Images