CN111651643A

CN111651643A - 候选内容的处理方法及相关设备

Info

Publication number: CN111651643A
Application number: CN202010416919.4A
Authority: CN
Inventors: 彭江军
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Shenzhen Yayue Technology Co ltd
Priority date: 2020-05-15
Filing date: 2020-05-15
Publication date: 2020-09-11

Abstract

本申请的实施例提供了一种候选内容的处理方法，包括：获取候选内容；根据所述候选内容对应的特征向量，预测所述候选内容对应于分类集合中各个操作反馈类型的概率；根据所述候选内容对应于所述各个操作反馈类型的概率，计算所述候选内容对应的融合权重值；根据所述候选内容对应的融合权重值对所述候选内容进行处理。本申请实施例的技术方案根据与多个概率相关的融合权重值来对候选内容进行处理，保证了处理结果的可靠性。

Description

候选内容的处理方法及相关设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种候选内容处理方法及相关设备。

背景技术

在内容(如视频)推荐或者内容搜索中，通常是先对内容进行评估，以确定内容的优先级，然后依据该优先级来对内容进行处理，例如对内容进行筛选，以确定向用户呈现的内容。相关技术中在对内容进行评估时，存在结果可靠性低的问题，进而难以真实客观地反映出内容的重要性程度。

发明内容

本申请的实施例提供了一种候选内容的处理方法及相关设备，进而至少在一定程度上可以解决相关技术中所存在的结果可靠性低的问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种候选内容的处理方法，包括：

获取候选内容；

根据所述候选内容对应的特征向量，预测所述候选内容对应于分类集合中各个操作反馈类型的概率；

根据所述候选内容对应于所述各个操作反馈类型的概率，计算所述候选内容对应的融合权重值；

根据所述候选内容对应的融合权重值对所述候选内容进行处理。

根据本申请实施例的一个方面，提供了一种候选内容的处理装置，所述装置包括：

获取模块，用于获取候选内容；

预测模块，用于根据所述候选内容对应的特征向量，预测所述候选内容对应于分类集合中各个操作反馈类型的概率；

计算模块，用于根据所述候选内容对应于所述各个操作反馈类型的概率，计算所述候选内容对应的融合权重值；

处理模块，用于根据所述候选内容对应的融合权重值对所述候选内容进行处理。

在本申请的一些实施例中，基于前述方案，所述预测模块包括：

第一输入单元，用于将所述候选内容对应的特征向量输入至第一模型中，所述第一模型是通过若干第一样本内容和所述第一样本内容对应的第一操作反馈数据进行训练得到的；

第一输出单元，用于获取所述第一模型输出的所述候选内容对应于所述各个操作反馈类型的概率。

在本申请的一些实施例中，基于前述方案，所述装置还包括：

第一训练数据获取模块，用于获取第一训练数据，所述第一训练数据包括若干第一样本内容和所述第一样本内容对应的第一操作反馈数据，所述第一操作反馈数据指示了对象对所述第一样本内容的操作反馈；

第一比例确定模块，用于根据操作反馈类型与操作反馈的第一映射关系，确定所述第一操作反馈数据中所述第一样本内容对应于每一操作反馈类型的第一比例；

第一训练模块，用于根据所述第一样本内容对应的特征向量和所述第一样本内容对应于每一反馈类型的第一比例进行模型训练，得到所述第一模型。

在本申请的一些实施例中，基于前述方案，计算模块，包括：

第二输入单元，用于将所述候选内容对应于所述各个操作反馈类型的概率输入回归模型中，所述回归模型是通过若干第二样本内容和所述第二样本内容对应的第二操作反馈数据进行训练得到的；

第二输出单元，用于获取所述回归模型输出的所述候选内容对应的融合权重值。

第二训练数据获取模块，用于获取第二训练数据，所述第二训练数据包括若干第二样本内容和所述第二样本内容对应的第二操作反馈数据，所述第二操作反馈数据指示了对象对所述第二样本内容的操作反馈；

第二比例确定模块，用于根据操作反馈类型与操作反馈的第一映射关系，确定所述第二操作反馈数据中所述第二样本内容对应于每一操作反馈类型的第二比例；

第一标签确定模块，用于基于所述第一映射关系，以及操作反馈类型与类型标签的对应关系，根据所述第二操作反馈数据确定所述第二样本内容对应于所述第一映射关系的类型标签；

第二训练模块，用于根据所述第二样本内容对应于所述第一映射关系的类型标签，以及所述第二比例进行模型训练，得到所述回归模型。

在本申请的另一些实施例中，基于前述方案，所述装置还包括：

第二标签确定模块，用于基于操作反馈类型与操作反馈的第二映射关系，以及操作反馈类型与类型标签的对应关系，根据所述第二操作反馈数据确定所述第二样本内容对应于所述第二映射关系的类型标签，所述第二映射关系区别于所述第一映射关系；

第三比例确定模块，用于根据所述第二映射关系，确定所述第二操作反馈数据中所述第二样本内容对应于每一操作反馈类型的第三比例；

第三训练模块，用于根据所述第二样本内容对应于第二映射关系的类型标签，以及所述第三比例进行模型训练，得到所述回归模型。

操作反馈指标获取模块，用于获取至少两个操作反馈指标；

分类集合确定模块，用于根据所述至少两个操作反馈指标对针对内容的操作反馈进行类型划分，得到所述分类集合。

在本申请的一些实施例中，处理模块还被配置为：根据所述候选内容集合中各候选内容对应的融合权重值，对所述候选内容集合中所包含的候选内容排序。

在本申请的一些实施例中，基于前述方案，处理模块还被配置为：根据所述候选内容集合中各候选内容对应的融合权重值，从所述候选内容集合中选择预定数量的候选内容。

检索词获取模块，用于获取用于进行内容检索的检索词；

内容匹配模块，用于根据所述检索词进行内容匹配，确定所述候选内容集合。

内容属性特征获取模块，用于获取所述候选内容的内容属性特征；

参数计算模块，用于根据所述内容属性特征和所述检索词，计算所述候选内容与所述检索词之间的检索词匹配参数和语义相关性参数；

特征向量生成模块，用于根据所述内容属性特征、所述检索词匹配参数和所述语义相关性参数生成所述候选内容对应的特征向量。

用户属性特征获取模块，用于获取目标用户的用户属性特征；

内容筛选模块，用于根据所述用户属性特征进行内容筛选，确定对应于所述目标用户的所述候选内容。

根据本申请实施例的一个方面，提供了一种电子设备，包括：

处理器；及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述的方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述的方法。

在本实施例的技术方案中，先根据候选内容对应的特征向量预测候选内容对应于每一操作反馈类型的概率，融合候选内容对应于每一操作反馈类型的概率，得到候选内容的融合权重值，最后根据候选内容的融合权重值对候选内容进行处理。由于融合权重值与候选内容对应于每一操作反馈类型的概率均相关，因此，融合权重值实际上表达了多维度的信息。以该融合权重值作为对候选内容进行处理的依据，使得候选内容的处理过程受到融合权重值所相关多个概率的约束，以此保证了候选内容处理结果的可靠性与准确性，进而能够客观真实地反映出候选内容的重要性程度，有效解决了相关技术中所存在结果可靠性低的问题。

而且，相较于按照多维度信息中每一维度信息下的参数分别来对候选内容进行处理的方案，本申请实施例中按照融合权重值这一包含了多维度信息的单一参数来对候选内容进行处理的方案降低了进行处理的难度和复杂度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2是根据一实施例示出候选内容的处理方法的流程图；

图3是图2对应实施例中步骤230在一实施例中的流程图；

图4是根据一实施例示出的第一模型训练过程的流程图；

图5是图2对应实施例的步骤250在一实施例中的流程图；

图6是根据一实施例示出的回归模型训练过程的流程图；

图7是根据另一实施例示出的回归模型训练过程的流程图；

图8是根据一实施例示出的步骤230之前步骤的流程图；

图9是根据一实施例示出的步骤210之前步骤的流程图；

图10是根据另一实施例示出的步骤230之前步骤的流程图；

图11是根据另一实施例示出的步骤210之前步骤的流程图；

图12是根据一具体实施例示出的对视频进行排序的流程图；

图13示出了相关技术中对视频进行排序的流程图；

图14示出了图12所示实施例中所涉及模型训练的流程图；

图15示出了试验时间段内试验组和对照组的KPI_LCVR的对比图；

图16示出了试验时间段内试验组和对照组的WLCVR的对比图；

图17示出了试验时间段内试验组和对照组的CVR的对比图；

图18示出了试验时间段内试验组和对照组的CTR的对比图；

图19是根据一实施例示出的候选内容的处理装置的框图；

图20示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

在本申请的一个实施例中，服务器105可以获取由终端设备上传的候选内容或者存储与数据库中的候选内容，并构建该候选内容的特征向量，进而按照本申请的方法对候选内容进行处理。对候选内容所进行的处理可以是对候选内容进行排序、筛选、标记等。候选内容的形式不限，可以是视频、文章、新闻、图片等。

在本申请的一个实施例中，终端设备可以通过网络104向服务器105发起检索请求，服务器105根据该检索请求先确定候选内容，并按照本申请的方法对候选内容进行排序，然后按照排序将候选内容发送至终端设备，以便终端设备按照排序将候选内容呈现给用户。

在本申请的一个实施例中，服务器105可以主动向终端设备推送候选内容，服务器105在按照本申请的方法对候选内容进行处理后，通过网络104将候选内容推送至终端设备，以便终端设备将候选内容呈现给用户。

需要说明的是，本申请实施例所提供候选内容的处理方法一般由服务器105执行，相应地，候选内容的处理装置一般设置于服务器105中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请中候选内容的处理方法。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2是根据一实施例示出的候选内容的处理方法的流程图。该方法可以由具备计算能力计算机设备执行，例如服务器、终端设备等，在此不进行具体限定。参照图2所示，该方法至少包括步骤210至步骤270，详细介绍如下：

步骤210，获取候选内容。

候选内容是指待进行处理的内容。候选内容的形式不限，可以是视频、文章、新闻、商品页面等。

步骤230，根据候选内容对应的特征向量，预测候选内容对应于分类集合中各个操作反馈类型的概率。

候选内容对应的特征向量用于指示与候选内容相关的特征，也可以说，候选内容对应的特征向量是与候选内容相关的特征的数字化表达。

其中，与候选内容相关的特征至少包括候选内容自身的内容属性特征，例如候选内容中的关键词、候选内容的文件大小、文章字数、视频时长、发布时间、被浏览/观看次数、历史点击率、候选内容的标签等，在此不进行具体限定。

由于候选内容最终是面向于用户的，为了保证所面向用户的候选内容更加贴合用户的实际需要，避免用户花费较多的时间进行筛选，与候选内容相关的特征还可以包括表征用户需求的特征、表征用户需求与候选内容之间关联性的特征等。

在向用户主动推送内容的应用场景中，可以通过用户的兴趣标签、用户的年龄、职业、用户历史点击内容来挖掘用户的潜在需要，因此，可以将用户的兴趣标签、用户年龄、职业、所在位置、历史点击内容作为特征，来表征用户需求。

在基于用户发起的检索而向用户返回候选内容的应用场景中，由于用户基于检索目的来进行内容搜索，用户所输入的检索词对应反应的用户的需求，因此，与候选内容相关的特征还可以是检索词、候选内容中与检索词相匹配的数量、检索词与候选内容之间语义相关性等中的至少一种。

操作反馈类型用于指示用户对于内容的操作反馈。用户对于内容的操作反馈可以是点击、未点击、长点击、分享、点赞、评论、阅读/播放时长、阅读(播放时长)与内容总时长的比例等。

分类集合中所包括的操作反馈类型是按照一定的分类原则对操作反馈进行分类得到的。该分类集合中至少包括两种操作反馈类型。

在以用户为中心进行的候选内容处理中，一般通过衡量用户体验的操作反馈指标来评价所面向用户的内容的效果，该操作反馈指标是根据用户对内容的操作反馈来计算得到。操作反馈指标可以是点击率、长点击率、转化率等。

因此，为了使得分类集合中的操作反馈类型直接与操作反馈指标相关，在具体实施例中，按照操作反馈指标来对操作反馈进行分类，确定分类集合中的操作反馈类型。

例如，以点击率作为操作反馈指标来对操作反馈进行类型划分，可以分为点击和未点击两种操作反馈类型。

又例如，以长点击率作为操作反馈指标来对操作反馈类型进行类型划分，则可以分为非长点击和长点击这两种操作反馈类型。

又例如，以观看时长(或阅读时长)作为操作反馈指标进行类型划分，则可以先进行时间段划分，所划分的每一时间段作为一种操作反馈类型。

以上举例中的类型划分是按照单一的操作反馈指标来对操作反馈进行分类，在其他实施例中，还可以按照两个及以上的操作反馈指标来对操作反馈进行类型划分。

例如，以点击率和长点击率作为操作反馈指标来对操作反馈进行类型划分，可以将操作反馈划分为未点击、短点击、中点击和长点击四类，其中短点击、中点击和长点击的区别在于用户点击进入内容后所播放/观看内容的时长与内容总时长的比例不同。

又例如，以点击率和播放时长作为操作反馈指标来对操作反馈进行类型划分，假设按照观看时长将操作反馈分为四种类型，分别为未观看、A时间段、B时间段、C时间段，则同时将点击率和观看时长作为操作反馈指标来对操作反馈类型进行类型划分得到的操作类型可以包括：(未点击，未观看)、(点击，A时间段)、(点击，B时间段)、(点击，C时间段)。

以上按照两种操作反馈指标来进行分类的举例中，两种操作反馈指标实质上是存在关联性的，当然，在具体实施例中，所选来用于对操作反馈进行类型划分的操作反馈指标还可以是不存在关联性的两个及以上的操作反馈指标。

例如，以分享率和评论率为操作反馈指标来进行类型划分，则可以划分为：(未分享，未评论)、(未分享，评论)、(分享，未评论)、(分享，评论)四类。

以上针对操作反馈进行类型划分的举例仅仅是示例性举例，不能认为是对本申请使用范围的限制，在实际中，还可以结合实际需要对操作反馈进行其他的类型划分。

由于候选内容本身内容上的差异，用户针对不同候选内容所触发的操作反馈存在差异。因此，为了了解到用户可能对候选内容触发的操作反馈的情况，先根据候选内容对应的特征向量来预测候选内容对应于每一操作反馈类型的概率。

可以理解的是，候选内容被触发哪一种操作反馈与候选内容自身的内容相关，而候选内容对应的特征向量至少反映了候选内容自身的特征，因此，按照该候选内容对应的特征向量对应进行概率预测，分别得到该候选内容对应于每一操作反馈类型的概率。该概率反映了用户对该内容触发对应操作反馈类型下的操作反馈的可能性。

步骤250，根据候选内容对应于各个操作反馈类型的概率，计算候选内容对应的融合权重值。

该融合权重值是根据该候选内容对应于各个操作反馈类型的概率来综合确定的，换言之，该融合权重值与该候选内容对应于每一个操作类型的概率均相关，从而，使得该融合权重值可以综合反映该候选内容被进行各操作反馈类型所包含操作反馈的情况。

步骤270，根据候选内容对应的融合权重值对候选内容进行处理。

按照融合权重值对候选内容进行的处理可以是对若干候选内容进行排序以按照所得到的排序向用户返回，还可以是从若干候选内容中进行内容筛选、按照融合权重值标注候选内容的推荐优先级或者重要性等。

在本实施例的方案中，通过预测候选内容对应于每一操作反馈类型的概率，可以全面反映候选内容可能被触发各操作反馈类型所包括操作反馈的情况；由于融合权重值是融合候选内容对应于每一操作反馈类型的概率得到，该融合权重值与候选内容对应于每一操作反馈类型的概率均相关，因此，融合权重值实际上表达了多维度的信息。以该融合权重值作为对候选内容进行处理的依据，使得候选内容的处理过程受到融合权重值所相关的多个概率的约束，以此保证了处理结果的可靠性与准确性，进而能够客观真实地反映出候选内容的重要性程度，有效解决了相关技术中所存在结果可靠性低的问题。

在本申请的一个实施例中，如图3所示，步骤230包括：

步骤310，将候选内容对应的特征向量输入至第一模型中，第一模型是通过若干第一样本内容和第一样本内容对应的第一操作反馈数据进行训练得到的。

步骤330，获取第一模型输出的候选内容对应于各个操作反馈类型的概率。

该第一模型可以是深度神经网络模型、集成模型。其中深度神经网络模型是通过一种或者多种神经网络来构建的，神经网络例如：循环神经网络(Recurrent NeuralNetwork，RNN)、卷积神经网络(Convolutional Neural Networks，CNN)等。

集成模型例如基于Bagging算法的模型(例如随机森林模型)、基于Boosting算法的模型和基于Stacking算法的模型等。

由于深度神经网络模型和集成模型的可解释性强，可以有效进行特征的组合，因此，相较于可解释性不强的模型(如回归模型)，通过深度神经网络模型或者集成模型来进行概率预测，提高了所预测概率的准确性。

第一样本内容是指为训练得到第一模型而使用的样本内容。第一操作反馈数据是指反映用户针对第一样本内容所进行操作反馈的数据。

样本内容是已经发布和公开的内容，因此，海量的用户对该样本内容可能有不同的操作反馈，例如点击进入该内容、观看/浏览该内容、完整观看/阅读该内容、评论该内容、分享该内容、点赞该内容等。因此，第一操作反馈数据指示了若干用户针对该第一样本内容所进行的操作反馈。

该第一操作反馈数据可以通过进行日志采集得到。具体来说，针对每一第一样本内容，在第一样本内容在一个或者多个平台上发布后，采集根据用户对该第一样本内容进行的操作反馈而生成的日志，然后对所采集的众多日志进行综合分析，对应得到第一样本内容所对应的第一操作反馈数据。

通过若干第一样本内容和第一样本内容对应的第一操作反馈数据来训练得到第一模型后，通过来第一模型对应根据候选内容对应的特征向量准确地进行概率预测，得到候选内容对应于每一操作反馈类型的概率。

针对第一模型的训练过程可以如图4所示，具体包括：

步骤410，获取第一训练数据，第一训练数据包括若干第一样本内容和第一样本内容对应的第一操作反馈数据，第一操作反馈数据指示了对象对第一样本内容的操作反馈。

第一映射关系用于反映操作反馈类型与操作反馈之间的对应关系，换言之，该第一映射关系用于指示了每一操作反馈所归属的操作反馈类型。

步骤430，根据操作反馈类型与操作反馈的第一映射关系，确定第一操作反馈数据中第一样本内容对应于每一操作反馈类型的第一比例。

第一比例是指按照第一映射关系，第一操作反馈数据中归属于每一操作反馈类型的操作反馈与第一操作反馈数据中操作反馈总量的比例。

可以理解的是，由于用户的兴趣内容喜好差异、内容需求差异、获得内容的时间差异等，不同用户对同一样本内容所作的操作反馈存在差异，因此，在指示了多个用户对第一样本内容所进行操作反馈的第一操作反馈数据中，分别统计归属于每一操作反馈类型的操作反馈的数量，然后根据所统计得到归属于每一操作反馈类型的操作反馈的数量和第一操作反馈数据总的操作反馈总量来对应计算该第一样本内容对应于每一操作反馈类型的比例。

步骤450，根据第一样本内容对应的特征向量和第一样本内容对应于每一反馈类型的第一比例进行模型训练，得到第一模型。

所确定第一样本内容对应于一操作反馈类型的第一比例反映了该第一样本内容被用户触发归属于该操作反馈类型的操作反馈的真实概率，因此，以第一样本内容对应于每一操作反馈类型的第一比例为参照，来进行模型的训练。

具体来说，将第一样本内容对应的特征向量输入至构建的初始模型中，通过该初始模型来预测针对第一样本内容对应的特征向量来分别预测该第一样本内容对应于每一反馈类型的概率，如果所预测得到的概率与该第一样本内容对应于对应的操作反馈类型的真实概率之间的差异不满足设定的要求，则调整初始模型的参数；然后通过调整参数后的初始模型再次进行概率预测，直至所预测得到的概率与真实概率之间的差异满足设定的要求。针对每一第一样本内容重复上述过程，直至达到模型的训练结束条件，在达到训练结束条件时，将调整参数后的初始模型作为第一模型。

其中模型的训练结束条件可以是设定的最大迭代次数，也可以是为模型设定的损失函数收敛，在此不进行具体限定。

值得一提的是，第一模型的概率预测的准确性与第一样本内容的数量，以及第一样本内容所对应第一操作反馈数据中所包含的操作反馈总量相关。因此，为了保证第一模型进行概率预测的准确性，需要保证第一样本内容的数量和针对每一第一样本内容所对应第一操作反馈数据中所包含操作反馈的总量，以实现在样本量足够的基础上来训练得到第一模型。

在本申请的一个实施例中，如图5所示，步骤250包括：

步骤510，将候选内容对应于各个操作反馈类型的概率输入回归模型中，回归模型是通过若干第二样本内容和第二样本内容对应的第二操作反馈数据进行训练得到的。

步骤530，获取回归模型输出的候选内容对应的融合权重值。

在本实施例中，通过回归模型来对该候选内容对应于各个操作反馈类型的概率进行融合加权，将融合加权所得到的结果作为该候选内容对应的融合权重值，以此实现候选内容对应于各个操作反馈类型的概率的融合。

其中，回归模型中针对每一操作反馈类型的组合权重(又可以称为加权系数)是通过训练来确定的。

第二样本内容是为训练得到回归模型所使用的样本内容，同理，第二操作反馈数据是指反映用户针对第二样本内容所进行操作反馈的数据。

该回归模型的训练是指通过第二样本内容和第二样本内容对应的第二操作反馈数据来确定回归模型中针对每一操作反馈类型的组合权重。因此，在训练得到回归模型后，由于回归模型中针对每一操作反馈类型的组合权重确定，将候选内容针对每一操作反馈类型的概率输入至回归模型后，回归模型按照所确定的组合权重进行对应于各操作反馈类型的概率的加权，输出候选内容对应的融合权重值。

通过如上过程，实现了基于所训练得到的回归模型来对候选内容对应于每一操作反馈类型的概率的加权融合，得到候选内容的融合权重值。

在本申请的一个实施例中，回归模型的训练过程可以如图6所示，包括：

步骤610，获取第二训练数据，第二训练数据包括若干第二样本内容和第二样本内容对应的第二操作反馈数据，第二操作反馈数据指示了对象对第二样本内容的操作反馈。

步骤630，根据操作反馈类型与操作反馈的第一映射关系，确定第二操作反馈数据中第二样本内容对应于每一操作反馈类型的第二比例。

第二比例是指按照第一映射关系，第二操作反馈数据中归属于每一操作反馈类型的操作反馈与第二操作反馈数据中操作反馈总量的比例。

在步骤630中，针对每一第二样本内容，基于第一映射关系，根据第二样本内容对应的第二操作反馈数据进行数据统计，分别得到第一样本内容对应于每一操作反馈类型的第二比例。

步骤650，基于第一映射关系，以及操作反馈类型与类型标签的对应关系，根据第二操作反馈数据确定第二样本内容对应于第一映射关系的类型标签。

类型标签是指对操作反馈类型的数字化表达。例如针对上述举例中划分的四种操作反馈类型：未点击、短点击、中点击和长点击，则可以设定“未点击”对应的类型标签为0，“点击”对应的类型标签为1，“中点击”对应的类型标签为2，“长点击”对应的类型标签为3。

如上所描述，在第二样本内容所对应的第二操作反馈数据中可能包括多种操作反馈，而该多种操作反馈可能归属于不同的操作反馈类型，从而，第二样本内容可能包括多个类型标签。举例来说，若第二操作反馈数据中包括归属“未点击”、“点击”、“中点击”、“长点击”四种操作反馈类型的操作反馈，则该第二样本内容对应的类型标签包括0、1、2和3。

因此，第一映射关系和操作反馈类型与类型标签的对应关系表明了由操作反馈→操作反馈类型→类型标签的链式对应关系，因此按照该链式对应关系确定第二样本内容的类型标签。

具体来说，先根据第一映射关系，统计第二操作反馈数据中所包括操作反馈所归属的操作反馈类型，然后按照操作反馈类型与类型标签的对应关系，确定第二操作反馈数据中所确定的操作反馈类型对应的类型标签，所确定的类型标签即为第二样本内容对应于第一映射关系的类型标签。

步骤670，根据第二样本内容对应于第一映射关系的类型标签，以及第二比例进行模型训练，得到回归模型。

在确定每一第二样本内容的类型标签后，针对第二样本内容对应于每一操作反馈类型的第二比例构建数据矩阵，假设为P，

(n为第二样本的数量，k为操作反馈类型的数量)；针对第二样本类型的类型标签构建标签矩阵，假设为y，所需要确定的针对每一反馈类型的组合权重记为

将上述的数据矩阵、标签矩阵输入至初始回归模型中，其中，模型的训练目标是使损失函数的值最小，即使(Pw-y)的值最小，换言之，模型的训练目标是：

为了使损失函数的值最小，对上述式子求导，令P^T(Pw-y)＝0，可得：w＝inv(P^TP)P^Ty。

由此，通过第二训练数据进行训练，对应确定针对每一操作反馈类型的组合权重。

可以理解的是，为训练第一模型所使用的第一样本内容与为训练回归模型所使用的样本内容可以相同，也可以不同。若二者相同，则第一样本内容与第二样本内容相同，第一操作反馈数据与第二操作反馈数据相同。

在具体实施例中，为了减少采集样本的工作量，直接采用所采集的第一样本内容和每一第一样本内容对应的第一操作反馈数据来训练得到回归模型。而且基于相同的训练数据来进行两个模型的训练，可以实现自适应地确定针对每一操作反馈类型的组合权重，避免了人工调整参数。

在实际中，由于业务目标的不同，可能需要加重或减少在概率融合过程中某些操作反馈类型所对应的组合权重，为便于区分，将需要调整组合权重的操作反馈类型称为目标操作反馈类型。为了实现这一目标，需要在针对回归模型的训练中加入强干扰，进而使所训练得到的回归模型中，目标操作反馈类型的组合权重与业务需要相适应。

针对回归模型加入强干扰的训练过程可以如图7所示，包括：

步骤710，获取第二训练数据，第二训练数据包括若干第二样本内容和第二样本内容对应的第二操作反馈数据，第二操作反馈数据指示了对象对第二样本内容的操作反馈。

步骤730，基于操作反馈类型与操作反馈的第二映射关系，以及操作反馈类型与类型标签的对应关系，根据第二操作反馈数据确定第二样本内容对应于第二映射关系的类型标签，第二映射关系区别于第一映射关系。

所加入的强干扰是相对于第一模型而言的，如上所描述，在第一模型的训练过程中，基于操作反馈类型与操作反馈的第一映射关系来训练得到第一模型，如果仍旧基于该第一映射关系来训练回归模型，则对于第一模型和回归模型而言，两模型所学习到操作反馈类型与操作反馈的映射关系是相同的。

为了加入强干扰，由于两模型中均涉及到操作反馈类型，不能随意更改分类集合中的操作反馈类型，则需要通过更改操作反馈类型与操作反馈的映射关系来保证干扰的加入。通过在训练过程中加入强干扰，使得所训练得到的回归模型相较于未加入强干扰所训练得到的回归模型，在加权融合中可以增大或者减少某一操作反馈类型对应的组合权重，以满足实际的业务需要。

举例来说，继续上述将操作反馈类型分为：未点击、短点击、中点击和长点击四种操作反馈类型的举例，若需要提高融合过程中针对“长点击”的组合权重，则可以针对回归模型的训练中所需利用操作反馈类型与操作反馈的映射关系进行重新设定，即重新设定为第二映射关系，以此实现强干扰的加入。

在操作反馈→操作反馈类型→类型标签这一链式对应关系中，当操作反馈与操作反馈类型的对应关系发生变化而操作反馈类型与类型标签之间的对应关系不变时，则需要基于变化后的映射关系，即第二映射来重新确定第二样本内容对应的类型标签，所确定的类型标签既是第二样本内容对应于第二映射关系的类型标签。

步骤750，根据第二映射关系，确定第二操作反馈数据中第二样本内容对应于每一操作反馈类型的第三比例。

第三比例是指按照第二映射关系，第二操作反馈数据中归属于每一操作反馈类型的操作反馈与第二操作反馈数据中操作反馈总量的比例。

步骤770，根据第二样本内容对应于第二映射关系的类型标签，以及第三比例进行模型训练，得到回归模型。

在确定第二样本内容对应于第二映射关系的类型标签和第二样本内容对应于每一操作反馈类型的第三比例后，按照上述图5对应实施例的训练过程对初始回归模型进行训练，对应得到加入强干扰的回归模型，也就是说，按照上述步骤710-770所训练得到的回归模型和按照上述步骤510-570所训练得到的回归模型中针对某些操作反馈类型的组合权重存在差异，实现了回归模型中针对操作反馈类型的组合权重的调整。

在本申请的一个实施例中，如图8所示，步骤330之前，该方法还包括：

步骤810，获取至少两个操作反馈指标。

步骤830，根据至少两个操作反馈指标对针对内容的操作反馈进行类型划分，得到分类集合。

在本实施例分类集合中的操作反馈类型是按照至少两个操作反馈指标来对操作反馈进行类型划分得到的。在实际中，针对每一操作反馈指标进行的分类被认定为一任务，而按照至少两个操作指标来对操作反馈进行分类，相当于是要实现至少两个任务。

因此，按照至少两个操作指标来进行操作反馈的分类，确定分类集合，相当于将多任务转化成多分类。相关技术中，若需要实现多任务，需要针对每一任务来分别训练一个模型来实现，举例来说，若两个操作反馈指标为点击率和长点击率，则需要训练一个针对点击率预测的模型，和训练一个针对长点击率的模型，然后人为调整该两个模型之间的混合比例，而该种方法中，模型之间的混合比例的调整非常复杂，而且没有确定的标准来确定混合比例在何时会使混合比例达到最好，比较耗时，需要耗费大量的人力来调整参数，效率低。

而采用本实施例的将多任务转换成多分类的方法，由同一个模型基于相同的输入特征来实现在至少两个操作反馈指标下的每一操作反馈类型的概率预测，可以不需要进行人工调整参数。而且，通过同一模型进行实现至少两个任务，可以保证多个任务相互促进，而且在训练过程中也可以避免某个任务学偏。

在步骤830之前，预先收集大量反映若干用户针对内容的操作反馈的数据，然后在步骤830中，根据所获取的至少两个操作反馈指标和所收集的反映用户针对内容的操作反馈的数据，针对操作反馈进行聚类分析，进而确定分类集合中的各个操作反馈类型。

在本申请的另一个实施例中，还可以预先由人工按照至少两个操作反馈指标进行分类确定分类集合中的各个操作反馈类型，并存储于计算机设备中，在步骤230中，直接从计算机设备中获取所存储的分类集合，对应确定分类集合中所包括的操作反馈类型。

在本申请的一个实施例中，步骤270包括：

根据候选内容集合中各候选内容对应的融合权重值，对候选内容集合中所包含的候选内容排序。

在本实施例中，按照候选内容对应的融合权重值的大小来进行确定候选内容集合中各候选内容的内容排序，以按照所确定的内容排序将候选内容返回给用户，进而，用户在接收到所返回的候选内容后，最先接触得到的候选内容是排序最靠前的候选内容，如融合权重值最大的候选内容。

在本申请的另一个实施例中，步骤270包括：

根据候选内容集合中各候选内容对应的融合权重值，从候选内容集合中选择预定数量的候选内容。

在候选内容集合中的候选内容较多，而一次返回给用户的候选内容的数量限定的情况下，可以按照本实施例中，按照候选内容的融合权重值来进一步进行候选内容筛选，以选择预定数量的候选内容返回给用户。当然，该设定数量的候选内容是融合权重值较大的候选内容。

在本申请的一个实施例中，为了筛选出预定数量的候选内容，先按照融合权重值对候选内容进行排序，然后在排序中提取排序在前预定数量的候选内容，实现候选内容的筛选。

在本申请的另一个实施例中，还可以按照设定的融合权重值范围来进行候选内容的筛选，即从候选内容集合中筛选出融合权重值位于设定的融合权重值范围内的候选内容。

在本申请的一个实施例中，如图9所示，步骤210之前，该方法还包括：

步骤910，获取用于进行内容检索的检索词。

步骤930，根据检索词进行内容匹配，确定候选内容集合。

如上所描述，本申请的方法可以应用于用户进行内容检索的场景中，由于数据库中存在的内容较多，因此，为了提高处理效率，先根据用户所输入的检索词来进行内容匹配，将与该检索词匹配的内容确定为候选内容，进而确定候选内容集合，实现了按照检索词对数据库中的内容进行了初步筛选，避免在后续针对无关的内容进行概率预测和融合权重值的计算。

在本申请的一个实施例中，如图10所示，步骤230之前，该方法还包括：

步骤1010，获取候选内容的内容属性特征。

其中候选内容的内容属性特征可以是候选内容中的关键词、候选内容的文件大小、文章字数或视频时长、发布时间、被浏览/观看次数、历史点击率、标签、候选内容的作者、发布者等，在此不进行具体限定。

步骤1030，根据内容属性特征和检索词，计算候选内容与检索词之间的检索词匹配参数和语义相关性参数。

检索词匹配参数可以是候选内容中所匹配到检索词的次数、所匹配到与检索词的同义词的次数、指示候选内容的关键词中是否存在与检索词匹配的参数。

候选内容与检索词之间的语义相关性可以通过检索词与候选内容的标题或者关键词之间的语义相关性来体现，因此，候选内容与检索词之间的语义相关性可以是检索词与候选内容的标题之间的相关性参数、检索词语候选内容的关键词之间的语义相关性参数。

该语义相关性参数是根据检索词的语义向量和候选内容的标题所对应语义向量(或者候选内容的关键词所对应的语义向量)来进行相关性计算得到的。

步骤1050，根据内容属性特征、检索词匹配参数和语义相关性参数生成候选内容对应的特征向量。

在得到内容属性特征、检索词匹配参数和语义相关性参数的基础上，对应生成候选内容对应的特征向量。

在本申请的另一个实施例中，如图11所示，步骤210之前，该方法还包括：

步骤1110，获取目标用户的用户属性特征。

步骤1130，根据用户属性特征进行内容筛选，确定对应于目标用户的候选内容。

如上所描述，本申请的方法还可以应用于向用户主动推送内容的场景中，将所需推送至的用户称为目标用户。为了提高候选内容的处理效率，在步骤210之前，先根据目标用户的用户属性特征来确定可能是目标用户感兴趣的候选内容。

目标用户的用户属性特征可以是兴趣标签、目标用户的年龄、职业、地点、历史点击内容等，在此不进行具体限定。

由此，结合目标用户的用户属性特征来先确定目标用户可能感兴趣的若干候选内容，然后在按照上述的处理过程对候选内容进行进一步处理，避免在后续的过程中，针对用户不感兴趣的候选内容进行概率预测和概率融合，使得针对目标用户的处理过程更具有针对性，提高处理效率。

下面结合在视频搜索排序的应用场景中来对本申请的方法进行说明。

在视频搜索排序中，通常对排序效果的指标不仅仅是单一的操作反馈指标，例如点击率、长点击率，还可以同时结合两个及以上的操作反馈指标进行评价，例如同时结合点击率和长点击率这两个操作反馈指标。

在需要结合点击率和长点击率来评价排序效果时，按照点击率和长点击率这两个操作反馈指标先将用户可能对视频的操作反馈进行分类，得到四种操作反馈类型，其中，操作反馈类型与操作反馈的对应关系为第一映射关系，其中，第一映射关系下操作反馈类型与操作反馈的对应关系如下表1所示，在表一中，A表示播放视频的时长与视频总时长的比例。

表1

值得一提的是，上述表1中所体现操作反馈与操作反馈的第一映射关系仅仅是示例性举例，在其他实施例中，可以根据实际需要调整对应于各操作反馈类型下的A的范围。

在确定分类集合中的操作反馈类型的基础上，按照图12所示的过程实现视频的排序，具体包括：步骤1210，特征输入：将与候选视频相关的特征：feature1、feature2、feature3……feature N输入至第一模型中，由第一模型根据所输入的特征构建候选视频对应的特征向量。步骤1230，概率预测：由第一模型根据候选视频对应的特征向量分别预测该候选视频对应的未点击概率、短点击概率、中点击概率和长点击概率。步骤1250，加权融合：由回归模型根据候选视频对应的未点击概率、短点击概率、中点击概率和长点击概率进行加权融合，得到候选视频的融合权重值。

重复上述步骤1210-1250，即可对应确定候选内容集合中各候选视频的融合权重值。

步骤1270，按照融合权重值排序：在得到各个候选视频的融合权重值后，根据融合权重值对候选视频进行排序例如，按照融合权重值由高到低的顺序将候选内容集合中的候选视频进行排序。

在本实施例中，通过第一模型来实现了以点击率和长点击率这两个操作反馈指标为目标下的各个操作反馈类型所对应概率的预测，相当于由该第一模型来实现了以点击率为目标的任务和以长点击率为目标这两个任务下的概率预测。

相关技术中，针对两个及以上任务下的概率预测，分别为每一任务训练一个模型，以此，由对应的模型来预测所对应任务下的概率。如图13所示，针对以点击率为目标的任务，通过模型I来预测点击概率；针对以长点击率为目标的任务，通过模型II来预测长点击概率。对应的，在训练过程中，模型I和模型II的训练是独立进行的。在模型I和模型II独立训练过程中，可能出现某一个模型学偏的情况，进而导致通过该模型所预测的概率不准确。

而通过本实施例的方案，将两个任务(以点击率为目标的任务和以长点击率为目标的任务)均由第一模型来完成，那么在第一模型的训练过程中，两个任务相互促进，可以有效避免某个任务学偏，有效保证了概率预测的准确性。

在本实施例中，在借助于第一模型和回归模型实现视频排序之前，通过图14所示的过程来进行模型的训练，其中涉及到第一模型和回归模型的训练，包括：

步骤1410，日志收集。其中，所收集的日志是根据用户针对检索返回的视频而触发操作生成的日志，可以理解的是，该日志指示了用户对视频进行的操作反馈。

步骤1420，构造训练数据。在本实施例中，采用相同的训练数据来训练第一模型和回归模型。

由于所收集的日志中可能存在无关的数据，例如日志中的格式数据，因此，对所收集的日志进行处理，从日志中提取有效数据，例如日志所对应视频的视频标识，以及指示用户对视频所触发的操作反馈的信息，以此来得到针对每一视频的操作反馈数据。重复此过程，从大量的日志中提取得到若干针对已推送视频(或者检索返回的视频)的操作反馈数据。

步骤1430，训练第一模型。其中，第一模型的训练过程参见上述图4所示实施例中的训练过程，在此不再赘述。

步骤1410，为训练回归模型确定类型标签。所确定的类型标签作为回归模型训练中的输入之一。该类型标签用于对视频被触发操作反馈所属的操作反馈类型进行数字化表达。

步骤1450，训练回归模型。回归模型的训练过程参见上述图6所示实施例中的训练过程或者图7所示实施例中的训练过程，在此不再赘述。步骤1460，视频排序并按排序返回给用户。

通过如上步骤1410-1450实现了第一模型和回归模型的初始训练。而在实际应用中为了提高第一模型和回归模型与实际应用场景的适应性，在完成第一模型和回归模型的初始训练后，还进一步对第一模型和回归模型进行更新训练。

为进行更新训练，在完成第一模型和回归模型的初始训练后，通过该第一模型和回归模型按照上述的方法进行概率预测、加权融合并按照加权融合值对视频进行排序，并按照得到的视频排序将视频返回给用户。然后再收集根据用户对所返回视频进行的触发操作所生成的日志，通过所新收集的日志再次进行第一模型和回归模型的训练，即重复上述步骤1410-1450的过程。在第一模型对应的训练中，按照上述表1中的第一映射关系对第一训练数据进行处理，并对应训练得到第一模型。

在具体实施例中，为了反映加入强干扰对回归模型的影响，针对回归模型训练加入强干扰和未加入强干扰对模型的效果进行了测试。其中，通过测试四个模型的效果来体现加入强干扰和未加入强干扰对模型评价指标的影响。

该四个模型分别为混合模型、线上模型、点击模型和长点击模型。其中，该四个模型(点击模型、长点击模型、混合模型和线上模型)均包括用于进行概率预测的第一模型和用于进行融合加权的回归模型，各模型的第一模型均是按照操作反馈类型与操作反馈的第一映射关系来训练的。

线上模型是指混合模型在线上的应用。因此线上模型和混合模型实际上是相同的模型，仅仅是使用场景不同，即混合模型是在线下使用，线上模型是在线上使用。

混合模型所包括的回归模型的训练过程未加入强干扰，是按照第一模型的训练中所使用的第一映射关系来进行回归模型的训练的。

点击模型和长点击模型所包括的回归模型的训练中分别加入了不同的强干扰。

点击模型中的回归模型的训练是以点击率作为训练目标。点击模型中的回归模型的训练中所使用的第二映射关系可以如下表2所示：

操作反馈类型	未点击	短点击
			操作反馈	未点击视频	点击视频且A≤30％

表2

如表2所示，点击模型所依据的第二映射关系中将按照第一映射关系归属于“短点击”、“中点击”和“长点击”的操作反馈全部归属于“短点击”这一操作反馈类型，则按照该第二映射关系所训练得到的回归模型中针对“短点击”的组合权重增强，相对应的，“中点击”和“长点击”所分别对应的组合权重被减弱。

长点击模型中所包括回归模型的训练是以长点击率作为目标的，长点击模型所包括回归模型的训练中所使用第二映射关系可以如下表3所示：

表3

如表3所示，长点击模型所依据的第二映射关系中，将按照第一映射关系归属于“中点击”和“长点击”的操作反馈全部归属于“长点击”这一操作反馈类型，则按照该第二映射关系所训练得到的回归模型中针对“短点击”的组合权重增强，相对应的，“中点击”和“长点击”所分别对应的组合权重被减弱。

在按照对应加入强干扰和未加入强干扰对各模型中的回归模型进行训练后，测试中，各模型的AUC和GAUC指标如下表4所示。

表4

其中，AUC(Area Under Curve)被定义为ROC曲线下与坐标轴围成的面积。具体在视频排序的应用场景中，AUC体现的是在正负样本对的组合中，正样本的排序位于样本前面的组合所占的比例。举例来说，若正样本数量为M，负样本的数量为N，则正负样本对的组合数量为MN，假设该针对样本对中正样本的排序位于负样本前面的组合的数量为T，则

上述GAUC表示的是Group AUC。这里的Group选用会话(session)维度，即在一次会话下分别计算一个AUC，然后对所有的AUC求平均。其中一个会话表示在一次搜索事件下，用户从开始输入到关闭搜索页(可以是退出应用程序或者进入观看界面等)的过程。

上述AUC和GAUC的大小直接反映了在回归模型中对应操作反馈类型的组合权重的大小。如表四所示，针对长点击率这一操作反馈指标，长点击模型所对应的AUC(或GAUC)明显高于混合模型、线上模型和点击模型，则表明长点击模型中回归模型针对“长点击”这一操作反馈类型的组合权重被加强。

进一步的，在实际上线的视频搜索排序中，对通过按照本申请的方法对视频进行排序的效果进行对照测试，测试结果如下表5所示：

分桶编号	KPI_LCVR	WLCVR	CVR	CTR
					35\|45\|55	1.0629	0.5588	0.7929	0.5494
65\|75\|85\|95	1.0653	0.5529	0.7848	0.5441

表5

其中，分桶编号为35|45|55这一组为试验组，针对试验组，其按照本申请的方法对视频进行排序并按照排序向用户返回后计算各项评价指标。

分桶编号为65|75|85|95这一组为对照组，针对对照组，其采用相关技术中的方法向用户返回所搜索到的视频后计算各项评价指标。

表5中，CVR(Conversion Rate)是指转化率，CVR＝分桶转化次数/分桶搜索次数；CTR(Click-Through-Rate)是指点击率，CTR＝分桶点击次数/分桶搜索次数；KPI_LCVR是指KPI口径下的长转化率，KPI_LCVR＝(分桶长转化次数*2+分桶中转化次数)/分桶搜索次数；WLCVR是指分桶长转化率，WLCVR＝分桶长转化次数/分桶搜索次数。上述CVR、CTR、KPI_LCVR和WLCVR作为衡量用户体验的后验性指标，其数值越大，则表明返回至用户的视频更贴合用户的实际需要。

上述表5中的各评价指标(KPI_LCVR、WLCVR、CVR、CTR)是在2019年11月1日-2019年11月17日这一试验时间段中评价指标的平均值。

在2019年11月1日-2019年11月17日这一试验时间段中，试验组和对照组所对应各评价指标的曲线图如图15-18所示，图15示出了该试验时间段内试验组和对照组的KPI_LCVR的对比图，图16示出了该试验时间段内试验组和对照组的WLCVR的对比图；图17示出了该试验时间段内试验组和对照组的CVR的对比图；图18示出了该试验时间段内试验组和对照组的CTR的对比图。

综合表5和图15-18，采用本申请的方法(即试验组)对所搜索到的视频进行排序并按照排序返回给用户后，虽然对于KPI_LCVR指标的贡献不大，但是WLCVR、CVR、CTR这三个评价指标的值明显高于对照组。因此，可以表明，采用本申请的方法进行视频排序并按照排序将视频返回给用户，可以有效保证所返回给用户视频贴合用户实际需要，提高了用户体验。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的方法实施例。

本申请提供了一种候选内容的处理装置1900，该候选内容的处理装置1900可以配置于图1所示的服务器105中，还可以配置于其他具备计算处理能力的终端设备中，如图19所示，该装置包括：

获取模块1910，用于获取候选内容。

预测模块1930，用于根据候选内容对应的特征向量，预测候选内容对应于分类集合中各个操作反馈类型的概率。

计算模块1950，用于根据候选内容对应于各个操作反馈类型的概率，计算候选内容对应的融合权重值。

处理模块1970，用于根据候选内容对应的融合权重值对候选内容进行处理。

在本申请的一个实施例中，预测模块1930，包括：

第一输入单元，用于将候选内容对应的特征向量输入至第一模型中，第一模型是通过若干第一样本内容和第一样本内容对应的第一操作反馈数据进行训练得到的。

第一输出单元，用于获取第一模型输出的候选内容对应于各个操作反馈类型的概率。

在本申请的一个实施例中，该装置还包括：

第一训练数据获取模块，用于获取第一训练数据，第一训练数据包括若干第一样本内容和第一样本内容对应的第一操作反馈数据，第一操作反馈数据指示了对象对第一样本内容的操作反馈。

第一比例确定模块，用于根据操作反馈类型与操作反馈的第一映射关系，确定第一操作反馈数据中第一样本内容对应于每一操作反馈类型的第一比例。

第一训练模块，用于根据第一样本内容对应的特征向量和第一样本内容对应于每一反馈类型的第一比例进行模型训练，得到第一模型。

在本申请的一个实施例中，计算模块1950，包括：

第二输入单元，用于将候选内容对应于各个操作反馈类型的概率输入回归模型中，回归模型是通过若干第二样本内容和第二样本内容对应的第二操作反馈数据进行训练得到的。

第二输出单元，用于获取回归模型输出的候选内容对应的融合权重值。

在本申请的一个实施例中，该装置还包括：

第二训练数据获取模块，用于获取第二训练数据，第二训练数据包括若干第二样本内容和第二样本内容对应的第二操作反馈数据，第二操作反馈数据指示了对象对第二样本内容的操作反馈。

第二比例确定模块，用于根据操作反馈类型与操作反馈的第一映射关系，确定第二操作反馈数据中第二样本内容对应于每一操作反馈类型的第二比例。

第一标签确定模块，用于基于第一映射关系，以及操作反馈类型与类型标签的对应关系，根据第二操作反馈数据确定第二样本内容对应于第一映射关系的类型标签。

第二训练模块，用于根据第二样本内容对应于第一映射关系的类型标签，以及第二比例进行模型训练，得到回归模型。

在本申请的另一个实施例中，该装置还包括：

第二标签确定模块，用于基于操作反馈类型与操作反馈的第二映射关系，以及操作反馈类型与类型标签的对应关系，根据第二操作反馈数据确定第二样本内容对应于第二映射关系的类型标签，第二映射关系区别于第一映射关系。

第三比例确定模块，用于根据第二映射关系，确定第二操作反馈数据中第二样本内容对应于每一操作反馈类型的第三比例。

第三训练模块，用于根据第二样本内容对应于第二映射关系的类型标签，以及第三比例进行模型训练，得到回归模型。

在本申请的一个实施例中，该装置还包括：

操作反馈指标获取模块，用于获取至少两个操作反馈指标。

分类集合确定模块，用于根据至少两个操作反馈指标对针对内容的操作反馈进行类型划分，得到分类集合。

在本申请的一个实施例中，处理模块1970还被配置为：根据候选内容集合中各候选内容对应的融合权重值，对候选内容集合中所包含的候选内容排序。

在本申请的另一个实施例中，处理模块1970还被配置为：根据候选内容集合中各候选内容对应的融合权重值，从候选内容集合中选择预定数量的候选内容。

在本申请的一个实施例中，该装置还包括：

检索词获取模块，用于获取用于进行内容检索的检索词。

内容匹配模块，用于根据检索词进行内容匹配，确定候选内容集合。

在本申请的一个实施例中，该装置还包括：

内容属性特征获取模块，用于获取候选内容的内容属性特征。

参数计算模块，用于根据内容属性特征和检索词，计算候选内容与检索词之间的检索词匹配参数和语义相关性参数；

特征向量生成模块，用于根据内容属性特征、检索词匹配参数和语义相关性参数生成候选内容对应的特征向量。

在本申请的另一个实施例中，该装置还包括：

用户属性特征获取模块，用于获取目标用户的用户属性特征。

内容筛选模块，用于根据用户属性特征进行内容筛选，确定对应于目标用户的候选内容。

上述装置中各个模块/单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序。

需要说明的是，图20示出的电子设备的计算机系统2000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图20所示，计算机系统2000包括中央处理单元(Central Processing Unit，CPU)2001，其可以根据存储在只读存储器(Read-Only Memory，ROM)2002中的程序或者从存储部分2008加载到随机访问存储器(Random Access Memory，RAM)2003中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 2003中，还存储有系统操作所需的各种程序和数据。CPU 2001、ROM 2002以及RAM 2003通过总线2004彼此相连。输入/输出(Input/Output，I/O)接口2005也连接至总线2004。

以下部件连接至I/O接口2005：包括键盘、鼠标等的输入部分2006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分2007；包括硬盘等的存储部分2008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分2009。通信部分2009经由诸如因特网的网络执行通信处理。驱动器2010也根据需要连接至I/O接口2005。可拆卸介质2011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器2010上，以便于从其上读出的计算机程序根据需要被安装入存储部分2008。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分2009从网络上被下载和安装，和/或从可拆卸介质2011被安装。在该计算机程序被中央处理单元(CPU)2001执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质存储有计算机可读指令，当上述计算机可读指令被处理器执行时，例如上述电子设备中的处理器执行时，实现上述任一方法实施例中的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种候选内容的处理方法，其特征在于，包括：

获取候选内容；

2.根据权利要求1所述的方法，其特征在于，所述根据所述候选内容对应的特征向量，预测所述候选内容对应于分类集合中各个操作反馈类型的概率，包括：

将所述候选内容对应的特征向量输入至第一模型中，所述第一模型是通过若干第一样本内容和所述第一样本内容对应的第一操作反馈数据进行训练得到的；

获取所述第一模型输出的所述候选内容对应于所述各个操作反馈类型的概率。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取第一训练数据，所述第一训练数据包括若干第一样本内容和所述第一样本内容对应的第一操作反馈数据，所述第一操作反馈数据指示了对象对所述第一样本内容的操作反馈；

根据操作反馈类型与操作反馈的第一映射关系，确定所述第一操作反馈数据中所述第一样本内容对应于每一操作反馈类型的第一比例；

根据所述第一样本内容对应的特征向量和所述第一样本内容对应于每一反馈类型的第一比例进行模型训练，得到所述第一模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述候选内容对应于所述各个操作反馈类型的概率，计算所述候选内容对应的融合权重值，包括：

将所述候选内容对应于所述各个操作反馈类型的概率输入回归模型中，所述回归模型是通过若干第二样本内容和所述第二样本内容对应的第二操作反馈数据进行训练得到的；

获取所述回归模型输出的所述候选内容对应的融合权重值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取第二训练数据，所述第二训练数据包括若干第二样本内容和所述第二样本内容对应的第二操作反馈数据，所述第二操作反馈数据指示了对象对所述第二样本内容的操作反馈；

根据操作反馈类型与操作反馈的第一映射关系，确定所述第二操作反馈数据中所述第二样本内容对应于每一操作反馈类型的第二比例；

基于所述第一映射关系，以及操作反馈类型与类型标签的对应关系，根据所述第二操作反馈数据确定所述第二样本内容对应于所述第一映射关系的类型标签；

根据所述第二样本内容对应于所述第一映射关系的类型标签，以及所述第二比例进行模型训练，得到所述回归模型。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

基于操作反馈类型与操作反馈的第二映射关系，以及操作反馈类型与类型标签的对应关系，根据所述第二操作反馈数据确定所述第二样本内容对应于所述第二映射关系的类型标签，所述第二映射关系区别于所述第一映射关系；

根据所述第二映射关系，确定所述第二操作反馈数据中所述第二样本内容对应于每一操作反馈类型的第三比例；

根据所述第二样本内容对应于第二映射关系的类型标签，以及所述第三比例进行模型训练，得到所述回归模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述候选内容对应的特征向量，预测所述候选内容对应于分类集合中各个操作反馈类型的概率之前，所述方法还包括：

获取至少两个操作反馈指标；

根据所述至少两个操作反馈指标对针对内容的操作反馈进行类型划分，得到所述分类集合。

8.根据权利要求1所述的方法，其特征在于，所述候选内容位于候选内容集合中，所述根据所述候选内容对应的融合权重值对所述候选内容进行处理，包括：

根据所述候选内容集合中各候选内容对应的融合权重值，对所述候选内容集合中所包含的候选内容排序。

9.根据权利要求1所述的方法，其特征在于，所述候选内容位于候选内容集合中，所述根据所述候选内容对应的融合权重值对所述候选内容进行处理，包括：

根据所述候选内容集合中各候选内容对应的融合权重值，从所述候选内容集合中选择预定数量的候选内容。

10.根据权利要求8或9所述的方法，其特征在于，所述获取候选内容之前，所述方法还包括：

获取用于进行内容检索的检索词；

根据所述检索词进行内容匹配，确定所述候选内容集合。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

获取所述候选内容的内容属性特征；

根据所述内容属性特征和所述检索词，计算所述候选内容与所述检索词之间的检索词匹配参数和语义相关性参数；

根据所述内容属性特征、所述检索词匹配参数和所述语义相关性参数生成所述候选内容对应的特征向量。

12.根据权利要求1所述的方法，其特征在于，所述获取候选内容之前，所述方法还包括：

获取目标用户的用户属性特征；

根据所述用户属性特征进行内容筛选，确定对应于所述目标用户的所述候选内容。

13.一种候选内容的处理装置，其特征在于，所述装置包括：

获取模块，用于获取候选内容；

14.一种电子设备，其特征在于，包括：

处理器；及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如权利要求1至12中的任一项所述的方法。