CN114357132A - 排序模型的生成方法、排序方法、装置、设备和存储介质 - Google Patents

Abstract

本公开提供了一种排序模型的生成方法、排序方法、装置、设备和存储介质，涉及数据处理技术领域，尤其涉及大数据、知识图谱、人工智能技术领域。具体实现方案为：将M个样本对的特征向量输入需要训练的排序模型，M为正整数；根据该M个样本对的特征向量构成的目标函数，调整该需要训练的排序模型的参数，得到训练后的排序模型；其中，所述样本对包括针对同一问题的第一问答对和第二问答对，所述样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，所述训练后的排序模型用于对需要排序的多个问答对进行排序。本公开实施例能够训练得到准确的训练后的排序模型，从而能够对多个需要排序的问答对进行合理地排序。

Description

排序模型的生成方法、排序方法、装置、设备和存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及大数据、知识图谱、人工智能技术领域。

背景技术

问答类场景例如知识问答社区是为大众提供知识需求和知识供给的一个互动式、开放式社区。这类社区形态大多是以用户间的“提问—回答”形式存在。由于社区的开放性，导致各类用户贡献的提问和回答的质量差异非常大。从问答社区角度来看，希望将一个问题下最优质的内容呈现在首位或者更靠前的位置，供浏览者快速获取自己想要的答案。

发明内容

本公开提供了一种排序模型的生成方法、排序方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种排序模型的生成方法，包括：

将M个样本对的特征向量输入需要训练的排序模型，M为正整数；

根据该M个样本对的特征向量构成的目标函数，调整该需要训练的排序模型的参数，得到训练后的排序模型；

其中，该样本对包括针对同一问题的第一问答对和第二问答对，该样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，该训练后的排序模型用于对需要排序的多个问答对进行排序。

根据本公开的另一方面，提供了一种排序方法，包括：

将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果；

其中，该训练后的排序模型包括采用本公开实施例的排序模型的生成方法得到的训练后的排序模型。

根据本公开的另一方面，提供了一种排序模型的生成装置，包括：

输入模块，用于将M个样本对的特征向量输入需要训练的排序模型，M为正整数；

参数调整模块，用于根据该M个样本对的特征向量构成的目标函数，调整该需要训练的排序模型的参数，得到训练后的排序模型；

其中，该样本对包括针对同一问题的第一问答对和第二问答对，该样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，该训练后的排序模型用于对需要排序的多个问答对进行排序。

根据本公开的另一方面，提供了一种排序装置，包括：

排序模块，用于将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果；

其中，该训练后的排序模型包括采用本公开实施例的排序模型的生成方法得到的训练后的排序模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例该的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开任一实施例的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开任一实施例的方法。

本公开实施例能够训练得到准确的训练后的排序模型，从而能够对多个需要排序的问答对进行合理地排序。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的排序模型的生成方法的流程示意图；

图2是根据本公开一实施例的排序方法的流程示意图；

图3是根据本公开另一实施例的排序方法的流程示意图；

图4是根据本公开一实施例的排序模型的生成装置的结构示意图；

图5是根据本公开一实施例的排序装置的结构示意图；

图6是根据本公开另一实施例的排序装置的结构示意图；

图7是根据本公开实施例的排序流程的示意图；

图8是根据本公开实施例的文本质量模型的示意图；

图9是根据本公开实施例的用户质量模型的示意图；

图10是根据本公开实施例的满意度模型的示意图；

图11是根据本公开实施例的成对(pairwise)排序模型的示意图；

图12是根据本公开实施例的模型融合的示意图；

图13是用来实现本公开实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开一实施例的排序模型的生成方法的流程示意图。该方法可以包括：

S101、将M个样本对的特征向量输入需要训练的排序模型，M为正整数；

S102、根据该M个样本对的特征向量构成的目标函数，调整该需要训练的排序模型的参数，得到训练后的排序模型。

其中，该样本对包括针对同一问题的第一问答对和第二问答对，该样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，该训练后的排序模型用于对需要排序的多个问答对进行排序。

在本公开实施例中，样本对可以包括一对关联的样本，例如同一问题下可能包括多个不同的回答。回答也可以称为答复、答案等。一个问题和该问题的一个回答可以构成一个问答对，同一问题下的多个问答对构成关联的样本。两个关联的样本可以构成样本对。如果样本对包括两个问答对，每个问答对可以具有对应的特征向量。如果需要对排序模型进行训练，可以利用M个样本对的中的问答对的特征向量构成目标函数。然后，利用该目标函数调整需要训练的排序模型的参数，直到目标函数达到优化的要求为止，得到的排序模型即为训练后的排序模型。目标函数也可以称为优化目标函数或优化函数等。

在本公开实施例中，根据样本对的特征向量构成的目标函数，调整需要训练的排序模型的参数，有利于能够训练得到准确的训练后的排序模型，从而能够对多个需要排序的问答对进行合理地排序。进一步地，利用训练后的排序模型能够得到同一问题下的多个回答的合理地排序结果，从而将更好的回答排列在更靠前的位置。

本公开另一实施例提供了一种排序模型的生成方法，该方法包括上述排序模型的生成方法实施例的一个或多个特征。在一种可能的实施方式中，该第一问答对包括针对同一问题的正样本，该第二问答对包括针对同一问题的负样本；

该第一问答对包括第一问题和针对该第一问题的第一回答；

该第二问答对包括该第一问题和针对该第一问题的第二回答；

其中，该第一回答与该第二回答不同。

例如，可以通过标注的方式确定针对同一问题的正样本和负样本。具体例如，针对同一问题A可能有多个不同的回答B1、B2、B3和B4。其中，回答B1最符合问题的需求，回答B4和问题A的需求相差很远。<A,B1>、<A,B2>、<A,B3>、<A,B4>都是问答对。可以将第一问答对<A,B1>标注为正样本，第二问答对<A,B4>标注为负样本。第一问答对<A,B1>和第二问答对<A,B4>构成一个针对问题A的样本对。

在本公开实施例中，样本对包括正样本和负样本，能够利用正样本和负样本的特征向量的差异构成目标函数，调整需要训练的排序模型的参数，有利于提高模型训练的速度和准确性。

在一种可能的实施方式中，该目标函数包括从第i个样本对到第M个样本对的损失函数的连加结果，i的取值范围为从1到M。

例如，目标函数J的公式可以为：

其中，J表示优化的目标函数，表示使得排序模型学习到正样本比负样本好的目标。该目标函数J等于从第i个样本对到第M个样本对的损失函数LOSS的连加结果。scoreⁱ+和scoreⁱ-可以表示每个问答对的特征向量；scoreⁱ+可以表示正样本的特征向量，scoreⁱ-可以表示负样本的特征向量。M可以表示样本对(pairwise)的数量；i可以表示M个样本对中的第i个样本对。如果一个问题对应两个样本(正样本和负样本)，M个样本对包括M个正样本和M个负样本。第i个样本对包括第i个正样本和第i个负样本。

在本公开实施例中，利用从第i个样本对到第M个样本对的损失函数的连加结果构建目标函数，可以使得排序模型达到学习到正样本比负样本好的目标。

在一种可能的实施方式中，该样本对的损失函数用于使得该样本对中正样本的特征向量和负样本的特征向量的距离小于边界值。

在一种可能的实施方式中，可以利用样本对中正样本的特征向量、负样本的特征向量、以及设定的边界值来构建给样本对损失函数。

例如，一种样本对的损失函数LOSS的公式可以为：

LOSS(scoreⁱ+，scoreⁱ-)＝max((scoreⁱ+)-(scoreⁱ-)+margin，0)

与上一公式的参数含义类似，scoreⁱ+和scoreⁱ-可以表示每个问答对的特征向量的分值。scoreⁱ+可以表示正样本的特征向量的分值，scoreⁱ-可以表示负样本的特征向量的分值，scoreⁱ+减去scoreⁱ-可以得到第i个样本对中的正负样本的特征向量的距离。M可以表示样本对(pairwise)的数量；i可以表示M个样本对中的第i个样本对。如果一个问题对应两个样本(正样本和负样本)，M个样本对包括M个正样本和M个负样本。第i个样本对包括第i个正样本和第i个负样本。

margin可以表示边界值，max()取最大值，该LOSS表示需要保证正样本的特征向量的分值scoreⁱ+减去负样本的特征向量的分值scoreⁱ-得到的第i个样本对中的正负样本的特征向量的距离(差值)小于边界值margin。

在训练过程中，可以寻找输入排序模型的样本对中的正样本和负样本的最优分割点(例如梯度)，计算正样本和负样本的特征向量的损失(loss)的差值，直到满足设置的边界值(margin)，不再更新梯度。

在本公开实施例中，利用正样本和负样本的特征向量的差值构建损失函数，可以利用正负样本的最优分割点调整排序模型，从而达到学习到正样本比负样本好的目标。

在一种可能的实施方式中，该需要训练的排序模型和训练后的排序模型包括成对(pairwise)排序模型，该成对排序模型中需要调整的参数包括以下至少之一：

学习器类型、学习率、评估函数、每一轮迭代次数、叶子数量、每个叶子上包含的最少样本数量。

示例性地，学习器类型可以包括渐进梯度回归树(Gradient Boost RegressionTree，GBRT)等。学习率、评估函数、每一轮迭代次数、叶子数量、每个叶子上包含的最少样本数量可以根据实际排序模型的需求进行选择。

在本公开实施例中，利用正样本和负样本的特征向量的差值构建损失函数，寻找正负样本的最优分割点并调整排序模型的参数，从而达到学习到正样本比负样本好的目标，进而训练出用于对更有的问答对的排序更靠前的成对排序模型。进一步地，成对排序模型对输入的需要排队的多个问答对进行排队处理后，可以得到每个问答对的分值(或称为打分、评价值等)。在一种示例中，分值越高，可以表示该问答对的质量越高。成对排序模型可以对该多个问答对按照分值从高到底倒序排列，从而使得质量越高的问答对排序更靠前。

在一种可能的实施方式中，该样本对中正样本的特征向量包括该正样本的文本特征向量，该正样本的文本特征向量是由文本质量模型从该正样本中提取的文本特征；该样本对中负样本的特征向量包括该负样本的文本特征向量，该负样本的文本特征向量是由文本质量模型从该负样本中提取的文本特征。

在本公开实施例中，文本质量模型可以对输入的文本内容进行特征提取。例如，文本质量模型可以根据作弊内容识别、垃圾内容识别、优质内容识别、文本通顺度识别、情感倾向识别、文本通顺度识别，页面维度涉及页面丰富度、页面布局识别、原创度等多个维度，从问答对中提取文本特征，得到该问答对的文本特征向量。问答对的文本特征向量中可以包括从问题的文本内容中提取的一部分维度的特征和从回答的文本内容中提取的一部分维度的特征。一般来说，从回答的文本内容中提取的特征的维度多于从问题的文本内容中提取的特征的维度。例如，问答对的文本特征向量可以包括对于每个维度的文本内容的打分值。

在本公开实施例中，样本对的特征向量可以包括样本对的文本特征向量。例如，将正样本包括的问答对<A，B1>的文本内容输入文本质量模型，该文本质量模型可以输出<A，B1>的文本特征向量。将负样本包括的问答对<A，B4>的文本内容输入文本质量模型，该文本质量模型可以输出<A，B4>的文本特征向量。然后，可以将<A，B1>的文本特征向量T_AB1和<A，B4>的文本特征向量T_AB4输入需要训练的排序模型进行训练。

在本公开实施例中，利用样本对的文本特征向量能够从文本质量的维度对需要训练的排序模型进行训练，训练后的排序模型能够从文本质量的维度对问答对进行合理地排序。进一步地，有利于使得同一问题下的文本质量更高的回答的排序更加靠前。

在一种可能的实施方式中，该样本对中正样本的特征向量还包括该正样本的用户特征向量，该正样本的用户特征向量是由用户质量模型对该正样本中的回答者信息进行用户识别得到的；该负样本的特征向量还包括该负样本的用户特征向量，该样本对中负样本的用户特征向量是由用户质量模型对该负样本中的回答者信息进行用户识别得到的。

在本公开实施例中，用户质量模型可以对每个问答对中回答问题的用户(即回答者)信息进行用户识别。例如，用户质量模型可以根据用户历史行为、活跃度、垂直度、专业度、写作风格、基础属性等多个维度对问答对中的回答者信息进行用户识别，得到该问答对的用户特征向量。例如，问答对的用户特征向量可以包括对于每个维度的用户质量的打分值。

在本公开实施例中，样本对的特征向量可以包括样本对的用户特征向量。例如，将正样本包括的问答对<A，B1>的文本内容输入用户质量模型，该用户质量模型可以输出<A，B1>的用户特征向量。将负样本包括的问答对<A，B4>的文本内容输入用户质量模型，该用户质量模型可以输出<A，B4>的用户特征向量。然后，可以将<A，B1>的用户特征向量U_AB1和<A，B4>的用户特征向量输入U_AB4需要训练的排序模型进行训练。

在本公开实施例中，也可以将样本对的文本特征向量与用户特征向量组合为新的特征向量，再输入需要训练的排序模型。例如，正样本的文本特征向量T_AB1和用户特征向量U_AB1组合为新的特征向量TU_AB1，如果文本特征向量T_AB1包括10个特征，用户特征向量U_AB1包括8个特征，新的特征向量TU_AB1包括T_AB1和U_AB1的共18个特征。再如，负样本的文本特征向量T_AB4和用户特征向量U_AB4组合为新的特征向量TU_AB4，如果文本特征向量T_AB4包括10个特征，用户特征向量U_AB4包括8个特征，新的特征向量看TU_AB4包括T_AB4和U_AB4的共18个特征。

在本公开实施例中，利用样本对的用户特征向量能够从回答者的维度对需要训练的排序模型进行训练，训练后的排序模型能够从回答者的维度对问答对进行合理地排序。进一步地，有利于使得同一问题下的回答者质量更高的回答的排序更加靠前。

在本公开实施例中，利用样本对的文本特征向量和用户特征向量，能够从文本质量和回答者的维度对需要训练的排序模型进行训练，训练后的排序模型能够从文本质量和回答者的维度对问答综合对进行合理地排序。进一步地，有利于使得同一问题下的文本质量和回答者质量综合更优的回答的排序更加靠前。

在一种可能的实施方式中，该样本对中正样本的特征向量还包括该正样本的后验信息特征向量，该样本对中正样本的后验信息特征向量是由后验信息模型对该正样本中对于回答的后验信息进行统计得到的；该负样本的特征向量还包括该负样本的后验信息特征向量，该负样本的后验信息特征向量是由后验信息模型对该负样本中对于回答的后验信息进行统计得到的。

在本公开实施例中，后验信息模型可以对每个问答对中关于回答的后验信息进行统计。后验信息包括但不限于赞、踩、转发、评论、收藏、打赏等用户评价信息。可以从多个维度进行统计，得到问答对的后验信息特征向量。后验信息可以在一定程度上反应查看问题的用户(即浏览者)对该回答的满意度。后验信息模型可以包括满意度模型。后验信息特征向量可以包括满意度特征向量。例如，问答对的后验信息特征向量可以包括对于每个维度的后验信息的打分值。

在本公开实施例中，样本对的特征向量可以包括样本对的后验信息特征向量。例如，将正样本包括的问答对<A，B1>的文本内容输入后验信息模型，该后验信息模型可以输出<A，B1>的后验信息特征向量。将负样本包括的问答对<A，B4>的文本内容输入后验信息模型，该后验信息模型可以输出<A，B4>的后验信息特征向量。然后，可以将<A，B1>的后验信息特征向量M_AB1和<A，B4>的后验信息特征向量输入M_AB4需要训练的排序模型进行训练。

在本公开实施例中，也可以将样本对的文本特征向量与后验信息特征向量组合为新的特征向量，再输入需要训练的排序模型。例如，正样本的文本特征向量T_AB1和后验信息特征向量M_AB1组合为新的特征向量TM_AB1，如果文本特征向量T_AB1包括10个特征，后验信息特征向量M_AB1包括6个特征，新的特征向量TM_AB1包括T_AB1和M_AB1的共16个特征。再如，负样本的文本特征向量T_AB4和后验信息特征向量M_AB4组合为新的特征向量TM_AB4，如果文本特征向量T_AB4包括10个特征，后验信息特征向量M_AB4包括6个特征，新的特征向量看TM_AB4包括T_AB4和M_AB4的共16个特征。

在本公开实施例中，也可以将样本对的用户特征向量与后验信息特征向量组合为新的特征向量，再输入需要训练的排序模型。例如，正样本的用户特征向量U_AB1和后验信息特征向量M_AB1组合为新的特征向量UM_AB1，如果用户特征向量U_AB1包括8个特征，后验信息特征向量M_AB1包括6个特征，新的特征向量UM_AB1包括U_AB1和M_AB1的共14个特征。再如，负样本的用户特征向量U_AB4和后验信息特征向量M_AB4组合为新的特征向量UM_AB4，如果用户特征向量U_AB4包括8个特征，后验信息特征向量M_AB4包括6个特征，新的特征向量看UM_AB4包括U_AB4和M_AB4的共14个特征。

在本公开实施例中，也可以将样本对的文本特征向量、用户特征向量与后验信息特征向量组合为新的特征向量，再输入需要训练的排序模型。例如，正样本的文本特征向量T_AB1、用户特征向量U_AB1和后验信息特征向量M_AB1组合为新的特征向量TUM_AB1，如果文本特征向量T_AB1包括10个特征，用户特征向量U_AB1包括8个特征，后验信息特征向量M_AB1包括6个特征，新的特征向量UM_AB1包括T_AB1、U_AB1和M_AB1的共24个特征。再如，负样本的文本特征向量T_AB4、用户特征向量U_AB4和后验信息特征向量M_AB4组合为新的特征向量TUM_AB4，如果文本特征向量T_AB4包括10个特征，用户特征向量U_AB4包括8个特征，后验信息特征向量M_AB4包括6个特征，新的特征向量看TUM_AB4包括T_AB4和M_AB4的共24个特征。

在本公开实施例中，利用样本对的后验信息特征向量能够从浏览者的维度对需要训练的排序模型进行训练，训练后的排序模型能够从浏览者的维度对问答对进行合理地排序。进一步地，有利于使得同一问题下的浏览者评价更好的回答的排序更加靠前。

在本公开实施例中，利用样本对的文本特征向量和后验信息特征向量的至少两者综合，能够从文本质量和浏览者的维度对需要训练的排序模型进行训练，训练后的排序模型能够从文本质量和浏览者的维度综合对问答对进行合理地排序。进一步地，有利于使得同一问题下的文本质量和浏览者评价综合更优的回答的排序更加靠前。

在本公开实施例中，利用样本对的后验信息特征向量和用户特征向量，能够从浏览者和回答者的维度对需要训练的排序模型进行训练，训练后的排序模型能够从浏览者和回答者的维度综合对问答对进行合理地排序。进一步地，有利于使得同一问题下的浏览者评价和回答者质量综合更优的回答的排序更加靠前。

在本公开实施例中，利用样本对的文本特征向量、后验信息特征向量和用户特征向量，能够从文本质量、浏览者和回答者的维度对需要训练的排序模型进行训练，训练后的排序模型能够从文本质量、浏览者和回答者的维度综合对问答对进行合理地排序。进一步地，有利于使得同一问题下的文本质量、浏览者评价和回答者质量综合更优的回答的排序更加靠前。

图2是根据本公开一实施例的排序方法的流程示意图。该方法可以包括：

S201、将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果；

其中，该训练后的排序模型包括采用上述任一实施例的排序模型的生成方法得到的训练后的排序模型。训练过程可以参见上述任一实施例的排序模型的生成方法的相关描述，在此不赘述。

在本公开实施例中，根据样本对的特征向量构成的目标函数，调整需要训练的排序模型的参数，有利于能够训练得到准确的训练后的排序模型，从而能够用于对多个需要排序的问答对进行自动排序。进一步地，利用训练后的排序模型能够得到同一问题下的多个回答的合理地排序结果，从而将更好的回答排列在更靠前的位置。

图3是根据本公开另一实施例的排序方法的流程示意图。该实施例的方法包括上述排序方法实施例的一个或多个特征。在一种可能的实施方式中，该排序方法还包括：

S301、将需要排序的多个问答对输入文本质量模型、用户质量模型和后验信息模型的至少之一，得到的每个该问答对的特征向量包括以下之一或其组合：

该文本质量模型输出的文本特征向量；

该用户质量模型输出的用户特征向量；

该后验信息模型输出的后验信息特征向量。

在本实施例中，需要排序的问答对输入文本质量模型、用户质量模型、后验信息模型后，得到这些模型各自输出的特征向量的过程，与样本对中正样本或负样本的特征向量的生成过程类似。具体可以参见上述任一实施例的排序模型的生成方法的相关描述，在此不赘述。文本质量模型、用户质量模型、后验信息模型各自输出的特征向量，可以单独输入排序模型，也可以多个特征向量组合为新的特征向量后输入排序模型。具体与训练过程中的模型结构有关。

在本公开实施例中，利用训练后的排序模型能够从文本质量、浏览者和回答者中一种或多种的维度需要排序的多个对问答对进行合理地排序。进一步地，有利于使得同一问题下的文本质量、浏览者评价和回答者质量中一种或多种更优的回答的排序更加靠前。

在一种可能的实施方式中，该训练后的模型为成对排序模型，S201将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果，包括：

S302、将多个该问答对的文本特征向量、用户特征向量和后验信息特征向量的之一或其组合构成的该问答对的特征向量，输入成对排序模型，得到该成对排序模型输出的排序结果。

在本公开实施例中，在训练过程中，成对排序模型可以包括正样本对应的结构和负样本对应的结构。在排序过程中，可以仅使用成对排序模型的部分结构，例如正样本对应的结构进行排序。在排序过程中，输入模型的可以包括同一问题下的多个问答对。

成对排序模型对输入的需要排队的多个问答对进行排队处理后，得到的排序结果可以包括每个问答对的分值，也可以包括排列顺序。在一种示例中，分值越高，可以表示该问答对的质量越高。成对排序模型可以对该多个问答对按照分值从高到底倒序排列，从而使得质量越高的问答对排序更靠前。通过成对排序模型可以对输入的问答对的特征向量进行排序处理，得到更合理的排序结果。

图4是根据本公开一实施例的排序模型的生成装置的结构示意图。该装置可以包括：

输入模块401，用于将M个样本对的特征向量输入需要训练的排序模型，M为正整数；

参数调整模块402，用于根据该M个样本对的特征向量构成的目标函数，调整该需要训练的排序模型的参数，得到训练后的排序模型。

其中，该样本对包括针对同一问题的第一问答对和第二问答对，该样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，该训练后的排序模型用于对需要排序的多个问答对进行排序。

本公开另一实施例提供了一种排序模型的生成装置，该装置包括上述排序模型的生成装置实施例的一个或多个特征。在一种可能的实施方式中，该第一问答对包括针对同一问题的正样本，该第二问答对包括针对同一问题的负样本；

该第一问答对包括第一问题和针对该第一问题的第一回答；

该第二问答对包括该第一问题和针对该第一问题的第二回答；

其中，该第一回答与该第二回答不同。

在一种可能的实施方式中，该目标函数包括从第i个样本对到第M个样本对的损失函数的连加结果，i的取值范围为从1到M。

在一种可能的实施方式中，该样本对的损失函数用于使得该样本对中正样本的特征向量和负样本的特征向量的距离小于边界值。

在一种可能的实施方式中，该样本对中正样本的特征向量包括该正样本的文本特征向量，该正样本的文本特征向量是由文本质量模型从该正样本中提取的文本特征；

该样本对中负样本的特征向量包括该负样本的文本特征向量，该负样本的文本特征向量是由文本质量模型从该负样本中提取的文本特征。

在一种可能的实施方式中，该样本对中正样本的特征向量还包括该正样本的用户特征向量，该正样本的用户特征向量是由用户质量模型对该正样本中的回答者信息进行用户识别得到的；

该样本对中负样本的特征向量还包括该负样本的用户特征向量，该负样本的用户特征向量是由用户质量模型对该负样本中的回答者信息进行用户识别得到的。

在一种可能的实施方式中，该样本对中正样本的特征向量还包括该正样本的后验信息特征向量，该正样本的后验信息特征向量是由后验信息模型对该正样本中对于回答的后验信息进行统计得到的；

该样本对中负样本的特征向量还包括该负样本的后验信息特征向量，该负样本的后验信息特征向量是由后验信息模型对该负样本中对于回答的后验信息进行统计得到的。

在一种可能的实施方式中，该需要训练的排序模型和训练后的排序模型包括成对排序模型，该成对排序模型中需要调整的参数包括以下至少之一：

学习器类型、学习率、评估函数、每一轮迭代次数、叶子数量、每个叶子上包含的最少样本数量。

本公开实施例的排序模型的生成装置的各模块的具体功能和示例的描述，可以参见上述排序模型的生成方法实施例中对应步骤的相关描述，在此不再赘述。

图5是根据本公开一实施例的排序装置的结构示意图。该装置可以包括：

排序模块501，用于将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果；

其中，该训练后的排序模型包括采用上述任一实施例的排序模型的生成方法得到的训练后的排序模型。

在一种可能的实施方式中，该装置还包括：上述任一实施例的排序模型的生成装置。

图6是根据本公开另一实施例的排序装置的结构示意图。该实施例的装置包括上述排序装置实施例的一个或多个特征。在一种可能的实施方式中，该装置还包括：

特征向量模块601，用于将需要排序的多个问答对输入文本质量模型、用户质量模型和后验信息模型的至少之一，得到的每个该问答对的特征向量包括以下之一或其组合：

该文本质量模型输出的文本特征向量；

该用户质量模型输出的用户特征向量；

该后验信息模型输出的后验信息特征向量。

在一种可能的实施方式中，该训练后的模型为成对排序模型，该排序模块501具体用于将多个该问答对的文本特征向量、用户特征向量和后验信息特征向量的之一或其组合构成的该问答对的特征向量，输入成对排序模型，得到该成对排序模型输出的排序结果。

本公开实施例的排序装置的各模块的具体功能和示例的描述，可以参见上述排序方法实施例中对应步骤的相关描述，在此不再赘述。

本公开实施例提出了一种为问题的回答进行合理排序的方法。

具体地，本公开实施例提供了一种结合用户和文本特征的成对(pairwise)排序方法。该方法在传统文本排序方法的基础上利用pairwise的思想设计和实现的，是对传统文本排序方法的补充。例如，该方法可以应用于在线问答的排序上，通过通用文本质量模型对当前用户提交的问答内容进行相关性打分，并通过通用用户质量模型对当前提交用户进行打分，以及通过满意度模型从浏览者维度对当前用户提交的内容进行客观打分评价，将这些打分汇聚成特征向量输入给融合pairwise排序模型进行再次打分，最后通过分值对问题下的所有回答进行倒序排列，即为当前问题下最终排序结果，因此在设计中分为以下几个主要部分，具体流程可以参见图7：

1.文本质量模型

文本质量模型主要是对用户输入的问答对从文本维度判定是否为优质问答，涉及问题维度、问答维度、页面维度等。参见图8，问题维度主要涉及文本疑问度识别(例如问题疑问度识别)、文本类别识别(例如问题分类识别(即领域))。问答维度主要涉及作弊内容识别、垃圾内容识别、优质内容识别、文本通顺度识别、情感倾向识别(例如正向、负向等)、文本通顺度识别。页面维度涉及页面丰富度识别(例如，图、视频、标点符号等)、页面布局识别(例如，段落、缩进、标号、html(超文本标记语言)样式等)、原创度识别等。该文本质量模型从文本维度衡量用户当前输入是否为优质类内容，并产出相关文本特征向量t_fi＝{t_f1,t_f2,t_f3,…}。其中，i＝1,2…n。n为文本特征向量中的文本特征的数量。

2.用户质量模型

用户质量模型主要是对当前用户进行优质用户识别。参见图9，用户质量模型可以从用户历史行为、活跃度、垂直度、专业度、写作风格、用户基础属性等维度进行识别。该用户质量模型从用户维度衡量当前用户是否为优质用户，并产出相关用户特征向量u_fi＝{u_f1,u_f2,u_f3,…}。其中，i＝1,2…n。n为用户特征向量中的用户特征的数量。用户特征的数量和文本特征的数量可以相同，也可以不同。

例如，用户历史行为可以根据回答者在一段时间内提交的回答文本、回答的文本质量等确定。活跃度可以根据回答者在一段时间内回答问题的频次确定。垂直度可以根据回答者在一段时间内提交的回答涉及的领域数来确定。其中，涉及的领域数越少，回答问题的垂直度越高；反之，涉及的领域数越多，回答问题的垂直度越低。用户专业度可以根据回答者的相关认证、者专业等级评定等确定。写作风格可以包括答主提交的回答文本是否内容丰富、布局合理、是否是原创内容等。基础属性可以包括年龄、性别、职业等。

3.满意度模型

满意度模型可以从浏览者角度对当前问答进行客观评价。参见图10，满意度模型主要涉及其在页面停留时长、对当前页面的动作统计(例如：赞、踩、转发、评论、收藏等统计)、浏览者星级打分(例如浏览者给当前页面的打分为例如：1-5星)、是否结尾点击、行为轨迹(例如：是否跳转相关问题)统计、情感倾向统计等维度。该满意度模型从浏览者维度衡量当前问答是否为优质问答，并产出相关满意度特征向量m_fi＝{m_f1,m_f2,m_f3,…}，其中，i＝1,2…n。n为满意度特征向量中的满意度特征的数量。满意度特征的数量、用户特征的数量和用户特征的数量可以相同，也可以不同。

4.融合用户和文本特征的成对(pairwise)排序模型

参见图11，pairwise排序模型可以基于输入正样本特征向量和负样本向量特征进行训练，寻找输入排序模型的样本对中的正样本和负样本的最优分割点(例如梯度)，计算正样本和负样本的特征向量的损失(loss)的差值，直到满足设置的边界值(margin)，不再更新梯度。其中，score+表示正样本特征向量的分值，score-表示正样本特征向量的分值。具体采用目标函数和损失函数的示例，可以参见上述的排序模型的生成方法中的相关公式。

pairwise排序模型融合了文本质量模型、用户质量模型以及满意度模型。融合了用户和文本特征的pairwise排序模型的正样本的部分qr_rank_sore(图11中虚线部分)，可以用于对问题下所有回答进行排序判定，并产出对该问题下所有回答的打分(score)。然后排序模型可以根据打分倒序排列得到排序结果例如q_r＝(r1,r2,r3…)。

参见图12，文本质量模型输出的文本特征向量、用户质量模型输出的用户特征向量以及满意度模型输出的满意特征向量，可以得到融合的特征向量。正样本的特征向量和负样本的特征向量可以包括经过文本质量模型、用户质量模型以及满意度模型对正样本和负样本进行处理后的融合的特征向量。该pairwise排序模型可对离线在线问答场景进行合理排序，更有针对性，而且排序更加准确。

本示例的方案中，通过文本质量模型、用户质量模型、满意度模型、融合用户和文本特征的pairwise排序模型来衡量一个问题下所有回答的排序。通过该方案可以满足离线、在线问答排序场景，以及能够支持生产、分发场景等。

本公开实施例的排序方法是一种融合用户和文本特征的pairwise排序模型来衡量问答场景的排序。可以在问答场景中的优质内容里找到更优质内容。本示例的方案够能有效对问答类场景例如知道问答的内容进行排序，从而提升问答社区用户质量和问答文本质量，进而提升用户体验。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如排序模型的生成方法或排序方法。例如，在一些实施例中，排序模型的生成方法或排序方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的排序模型的生成方法或排序方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行排序模型的生成方法或排序方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种排序模型的生成方法，包括：

将M个样本对的特征向量输入需要训练的排序模型，M为正整数；

根据所述M个样本对的特征向量构成的目标函数，调整所述需要训练的排序模型的参数，得到训练后的排序模型；

其中，所述样本对包括针对同一问题的第一问答对和第二问答对，所述样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，所述训练后的排序模型用于对需要排序的多个问答对进行排序。

2.根据权利要求1所述的方法，其中，所述第一问答对包括针对同一问题的正样本，所述第二问答对包括针对同一问题的负样本；

所述第一问答对包括第一问题和针对所述第一问题的第一回答；

所述第二问答对包括所述第一问题和针对所述第一问题的第二回答；

其中，所述第一回答与所述第二回答不同。

3.根据权利要求1或2所述的方法，其中，所述目标函数包括从第i个样本对到第M个样本对的损失函数的连加结果，i的取值范围为从1到M。

4.根据权利要求3所述的方法，其中，所述样本对的损失函数用于使得所述样本对中正样本的特征向量和负样本的特征向量的距离小于边界值。

5.根据权利要求1至4中任一项所述的方法，其中，所述样本对中正样本的特征向量包括所述正样本的文本特征向量，所述正样本的文本特征向量是由文本质量模型从所述正样本中提取的文本特征；

所述样本对中负样本的特征向量包括所述负样本的文本特征向量，所述负样本的文本特征向量是由文本质量模型从所述负样本中提取的文本特征。

6.根据权利要求1至5中任一项所述的方法，其中，所述样本对中正样本的特征向量还包括所述正样本的用户特征向量，所述正样本的用户特征向量是由用户质量模型对所述正样本中的回答者信息进行用户识别得到的；

所述样本对中负样本的特征向量还包括所述负样本的用户特征向量，所述负样本的用户特征向量是由用户质量模型对所述负样本中的回答者信息进行用户识别得到的。

7.根据权利要求1至6中任一项所述的方法，其中，所述样本对中正样本的特征向量还包括所述正样本的后验信息特征向量，所述正样本的后验信息特征向量是由后验信息模型对所述正样本中对于回答的后验信息进行统计得到的；

所述样本对中负样本的特征向量还包括所述负样本的后验信息特征向量，所述负样本的后验信息特征向量是由后验信息模型对所述负样本中对于回答的后验信息进行统计得到的。

8.根据权利要求1至7中任一项所述的方法，其中，所述需要训练的排序模型和训练后的排序模型包括成对排序模型，所述成对排序模型中需要调整的参数包括以下至少之一：

学习器类型、学习率、评估函数、每一轮迭代次数、叶子数量、每个叶子上包含的最少样本数量。

9.一种排序方法，包括：

将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果；

其中，所述训练后的排序模型包括采用权利要求1至8中任一项的方法得到的训练后的排序模型。

10.根据权利要求9所述的方法，还包括：

将需要排序的多个问答对输入文本质量模型、用户质量模型和后验信息模型的至少之一，得到的每个所述问答对的特征向量包括以下之一或其组合：

所述文本质量模型输出的文本特征向量；

所述用户质量模型输出的用户特征向量；

所述后验信息模型输出的后验信息特征向量。

11.根据权利要求10所述的方法，其中，所述训练后的模型为成对排序模型，将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果，包括：

将多个所述问答对的文本特征向量、用户特征向量和后验信息特征向量的之一或其组合构成的所述问答对的特征向量，输入成对排序模型，得到所述成对排序模型输出的排序结果。

12.一种排序模型的生成装置，包括：

输入模块，用于将M个样本对的特征向量输入需要训练的排序模型，M为正整数；

参数调整模块，用于根据所述M个样本对的特征向量构成的目标函数，调整所述需要训练的排序模型的参数，得到训练后的排序模型；

其中，所述样本对包括针对同一问题的第一问答对和第二问答对，所述样本对的特征向量包括第一问答对的特征向量和第二问答对的特征向量，所述训练后的排序模型用于对需要排序的多个问答对进行排序。

13.根据权利要求12所述的装置，其中，所述第一问答对包括针对同一问题的正样本，所述第二问答对包括针对同一问题的负样本；

所述第一问答对包括第一问题和针对所述第一问题的第一回答；

所述第二问答对包括所述第一问题和针对所述第一问题的第二回答；

其中，所述第一回答与所述第二回答不同。

14.根据权利要求12或13所述的装置，其中，所述目标函数包括从第i个样本对到第M个样本对的损失函数的连加结果，i的取值范围为从1到M。

15.根据权利要求14所述的装置，其中，所述样本对的损失函数用于使得所述样本对中正样本的特征向量和负样本的特征向量的距离小于边界值。

16.根据权利要求12至15中任一项所述的装置，其中，所述样本对中正样本的特征向量包括所述正样本的文本特征向量，所述正样本的文本特征向量是由文本质量模型从所述正样本中提取的文本特征；

所述样本对中负样本的特征向量包括所述负样本的文本特征向量，所述负样本的文本特征向量是由文本质量模型从所述负样本中提取的文本特征。

17.根据权利要求12至16中任一项所述的装置，其中，所述样本对中正样本的特征向量还包括所述正样本的用户特征向量，所述正样本的用户特征向量是由用户质量模型对所述正样本中的回答者信息进行用户识别得到的；

所述样本对中负样本的特征向量还包括所述负样本的用户特征向量，所述负样本的用户特征向量是由用户质量模型对所述负样本中的回答者信息进行用户识别得到的。

18.根据权利要求12至17中任一项所述的装置，其中，所述样本对中正样本的特征向量还包括所述正样本的后验信息特征向量，所述正样本的后验信息特征向量是由后验信息模型对所述正样本中对于回答的后验信息进行统计得到的；

所述样本对中负样本的特征向量还包括所述负样本的后验信息特征向量，所述负样本的后验信息特征向量是由后验信息模型对所述负样本中对于回答的后验信息进行统计得到的。

19.根据权利要求12至18中任一项所述的装置，其中，所述需要训练的排序模型和训练后的排序模型包括成对排序模型，所述成对排序模型中需要调整的参数包括以下至少之一：

学习器类型、学习率、评估函数、每一轮迭代次数、叶子数量、每个叶子上包含的最少样本数量。

20.一种排序装置，包括：

排序模块，用于将需要排序的多个问答对的特征向量输入训练后的排序模型进行排序，得到排序结果；

其中，所述训练后的排序模型包括采用权利要求1至8中任一项的方法得到的训练后的排序模型。

21.根据权利要求20所述的装置，还包括：

特征向量模块，用于将需要排序的多个问答对输入文本质量模型、用户质量模型和后验信息模型的至少之一，得到的每个所述问答对的特征向量包括以下之一或其组合：

所述文本质量模型输出的文本特征向量；

所述用户质量模型输出的用户特征向量；

所述后验信息模型输出的后验信息特征向量。

22.根据权利要求21所述的装置，其中，所述训练后的模型为成对排序模型，所述排序模块具体用于将多个所述问答对的文本特征向量、用户特征向量和后验信息特征向量的之一或其组合构成的所述问答对的特征向量，输入成对排序模型，得到所述成对排序模型输出的排序结果。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

Images