CN116776225A - 用于媒体项推荐的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开的实施例涉及用于媒体项推荐的方法、装置、设备和存储介质。该方法包括：确定带标注样本集中的带标注样本的第一预测相关性，带标注样本包括搜索词和媒体项，第一预测相关性指示对带标注样本中的搜索词与媒体项的相关性的预测，并且带标注样本被标注有搜索词与媒体项的第一参考相关性；基于带标注样本集中相应带标注样本的第一预测相关性与第一参考相关性之间的差异，从带标注样本集中选择预测与标注不匹配的一组错误标注样本；以及至少基于一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定无标注样本集中的一组目标样本。由此，可以筛选出质量高的样本，进而提升后续媒体项推荐的准确性。

Description

用于媒体项推荐的方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于媒体项推荐的方法、装置、设备和计算机可读存储介质。

背景技术

媒体项可以包括各种形式的媒体，例如但不限于网页、视频、音频、图像、图像集等。在用户使用搜索词进行检索时，有时需要向用户推荐与搜索词相关的媒体项。目前，将机器学习应用于媒体项推荐。例如，可以利用由监督学习得到的相关性预测模型来预测用户的搜索词与媒体项之间的相关性，并基于相关性推荐用户可能感兴趣的媒体项。由于标注数据是监督学习中的一个关键因素，因此标注数据的质量、标注效率、样本数量等因素会影响模型的训练效率和预测准确率。

发明内容

在本公开的第一方面，提供了一种用于媒体项推荐的方法。该方法包括：确定带标注样本集中的带标注样本的第一预测相关性，带标注样本包括搜索词和媒体项，第一预测相关性指示对带标注样本中的搜索词与媒体项的相关性的预测，并且带标注样本被标注有搜索词与媒体项的第一参考相关性；基于带标注样本集中相应带标注样本的第一预测相关性与第一参考相关性之间的差异，从带标注样本集中选择预测与标注不匹配的一组错误标注样本；以及至少基于一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定无标注样本集中的一组目标样本，无标注样本包括搜索词和媒体项。

在本公开的第二方面，提供了一种用于媒体项推荐的装置。该装置包括：第一预测相关性确定模块，被配置为确定带标注样本集中的带标注样本的第一预测相关性，带标注样本包括搜索词和媒体项，第一预测相关性指示对带标注样本中的搜索词与媒体项的相关性的预测，并且带标注样本被标注有搜索词与媒体项的第一参考相关性；错误标注样本选择模块，被配置为基于带标注样本集中相应带标注样本的第一预测相关性与第一参考相关性之间的差异，从带标注样本集中选择预测与标注不匹配的一组错误标注样本；以及目标样本确定模块，被配置为至少基于一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定无标注样本集中的一组目标样本，无标注样本包括搜索词和媒体项。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。

应当理解，本内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的用于样本筛选的示例架构的示意图；

图3示出了根据本公开的一些实施例的相关性预测模型的训练的示例的示意图；

图4示出了根据本公开的一些实施例的用于媒体项推荐的过程的流程图；

图5示出了根据本公开的某些实施例的用于媒体项推荐的装置的示意性结构框图；以及

图6示出了其中可以实施本公开的一个或多个实施例的电子设备的框图。

具体实施方式

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。在本文中，“模型”也可以被称为“机器学习模型”、“机器学习网络”或“网络”，这些术语在本文中可互换地使用。一个模型又可以包括不同类型的处理单元或网络。

通常，机器学习大致可以包括三个阶段，即训练阶段、测试阶段和应用阶段(也称为推理阶段)。在训练阶段，给定的模型可以使用大量的训练数据进行训练，不断迭代更新参数值，直到模型能够从训练数据中获得一致的满足预期目标的推理。通过训练，模型可以被认为能够从训练数据中学习从输入到输出之间的关联(也称为输入到输出的映射)。训练后的模型的参数值被确定。在测试阶段，将测试输入应用到训练后的模型，测试模型是否能够提供正确的输出，从而确定模型的性能。在应用阶段，模型可以被用于基于训练得到的参数值，对实际的输入进行处理，确定对应的输出。

如本文所使用的，术语“媒体项”可以包括任何合适形式的媒体，例如网页、视频、音频、图像、图像集及其组合。媒体项可以用于各种合适的用途，本公开的实施例在此方面不受限制。例如，媒体项可以作为搜索结果或作为广告推荐给用户。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100可以包括电子设备110。在该示例环境100中，电子设备110可以从无标注样本集101中确定多个目标样本102-1、102-2、……、102-N，其也统称为或单独称为目标样本102，其中N为大于等于1的正整数。

无标注样本集101中的每个无标注样本包括搜索词和媒体项。搜索词也可以被称之为关键词、特征词等。媒体项可以为任何形式的媒体内容。每个样本中的搜索词和媒体项也可以称为一对搜索词和媒体项或搜索词-媒体项对。在一些实施例中，无标注样本集101可以是周期性获取的，例如以一天、若干天、星期为周期获取的。当前所处理的无标注样本集101可以是当前周期获取或更新的。示例性的，无标注样本集101可以是以天为周期获取集，这种样本集也称为天级样本集。

在一些实施例中，环境100还可以包括机器学习模型，其用于预测样本中的搜索词与媒体项的相关性。相关性可以表示样本中搜索词与媒体项之间的相关程度。示例性的，搜索词“美食”和食物等相关的媒体项之间的相关性较高，但与服装、饰品等相关媒体项之间的相关性较低。

该机器学习模型可以被称为相关性预测模型120。针对包括搜索词和媒体项的样本，相关性预测模型120可以输出样本的预测相关性。预测相关性可以指示对样本中的搜索词与媒体项的相关性的预测。例如，无标注样本的预测相关性即可以指示无标注样本中的搜索词与媒体项的相关性的预测。

相关性预测模型可以是任意可以执行相关性预测的神经网络，包括但不限于全卷积网络(FCN)、卷积神经网络(CNN)、循环神经网络(RNN)、来自变换器(Transformer)的双向编码表示(BERT)、双塔BERT模型等等，本公开的实施例在此方面不受限制。在一些实施例中，相关性预测模型120可以被存储在电子设备110的本地，电子设备110可以直接利用和/或训练本地的相关性预测模型。在一些实施例中，相关性预测模型120可以是部署在电子设备110能够访问的其他设备处。本公开的实施例中在此方面不受限制。

可以对这些目标样本102进行人工标注，即标注目标样本102中的搜索词与媒体项的相关性。在一些实施例中，标注后的目标样本102(其已经成为带标注样本)可以用于训练相关性预测模型120。

电子设备110可以包括具有计算能力的任何计算系统，例如各种计算设备/系统、终端设备、服务端设备等。终端设备可以是任意类型的移动终端、固定终端或便携式终端等等，包括手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、虚拟现实(VR)一体机、游戏控制台、游戏本或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。

服务端设备可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络、以及大数据和人工智能平台等基础云计算服务的云服务器。服务端设备例如可以包括计算系统/服务器，诸如大型机、边缘计算节点、云环境中的计算设备，等等。

还应当理解，仅出于示例性的目的描述环境100及其结构和功能，而不暗示对于本公开的范围的任何限制。

如前文所简要提及的，搜索词与媒体项之间的相关性是进行媒体项推荐的重要因素。可以利用相关性预测模型来预测搜索词与媒体项之间的相关性，进而基于预测到的相关性为用户推荐相关性较高的媒体项。因此，相关性预测模型所预测到的相关性将对后续的媒体项推荐造成直接的影响。

由于相关性预测模型的预测能力会受到训练时的训练样本的影响，因此，为提高模型的预估能力，需要提升模型训练时训练样本的质量。另一方面，受限于人工能标注的样本数量，并不是所有无标注样本都能够被标注。在这种情况下，期望进行人工标注的样本是有价值的样本。

传统上，往往通过随机采样的方式从包含大量无标注样本中选择一定数量的无标注样本，进而由人工来标注这些无标注样本中搜索词与媒体项之间的相关性。然而，通过随机采样的方式所确定的样本存在一些问题。例如，这些样本中有大量的低价值样本，对低价值样本而言模型预测得到的相关性与标注一致。在这种情况下，模型不能难以从该样本中学习到额外的“知识”，从而不能进一步提高推理能力。此外，随机采样的样本还存在不相关样本多以及重复标注问题，这些问题也不利于模型推理能力的提高。

为此，本公开的实施例提出了一种用于媒体项推荐的方案。根据本公开的各种实施例，确定人工标注得到的带标注样本集中带标注样本的预测相关性。基于带标注样本中的参考相关性与预测相关性之间的差异，从带标注样本集中选择预测与标注不匹配的一组错误标注样本。至少基于一组错误样本与无标注样本集中的无标注样本之间的相似度，确定无标注样本集中的一组目标样本。

对预测与标注不匹配的错误标注样本而言，模型尚不能正确地预测搜索词与媒体项的相关性。相应地，与错误标注样本相似的无标注样本对模型推理能力的提升是有价值的。由此，可以获取有价值的无标注样本以进行人工标注，进而用于训练相关性预测模型。以此方式，可以提升用于模型训练的样本质量，提升训练得到的模型的预测能力，进而提升利用模型进行媒体项推荐的准确性。媒体项推荐准确性的提升也有利于提高搜索的用户体验。

为了更清楚地理解本公开的实施例，下面对预测相关性进行示例说明。在本公开的实施例中，可以以任何合适的方式来表示预测相关性，例如，相关性得分。在一些实施例中，可以将搜索词和媒体项之间的相关性划分成多个相关性等级。作为示例而无意任何限制，可以划分为4个相关性等级，这4个相关性等级可以分别由0、1、2、3表示，其中相关性随着数字的增大而增大。例如，0对应完全无关，1对应较不相关，2对应较相关，3对应完全相关。预测相关性可以包括与这些相关性等级分别对应的多个概率值。例如，预测相关性可以包括与等级0对应的概率值P0、与等级1对应的概率值P1、与等级2对应的概率值P2和与等级3对应的概率值P3。需要注意的是，这些概率值的总和为1。示例性的，预测相关性可以如表1所示。

表1示例预测相关性

相关性等级	0	1	2	3
					概率值	0	0.1	0.2	0.7

在一些实施例中，可以进一步基于这些概率值来确定样本的预测相关性等级。例如，上述的这些相关性等级与对应的概率值的加权平均可以表示预测相关性等级。对于上述3个相关性等级的示例，预测相关性等级＝0*P0+1*P1+2*P2+3*P3。例如，对于表1中的示例，预测相关性等级可以为2.6。

应当理解，以上描述的相关性等级的数目、对应的概率值等仅是示例性的，而无意任何限制。以下将继续参考附图描述本公开的一些示例实施例。

图2示出了根据本公开的一些实施例的用于样本筛选的示例架构200的示意图。为便于讨论，将参考图1的环境100来描述示例架构200。如图2所示，为了筛选目标样本102，可以利用一个或多个筛选策略，例如筛选策略201和可选的筛选策略202、203、204。

筛选策略201与带标注样本有关。根据筛选策略201，电子设备110基于已经由人工标注过的带标注样本集205来从无标注样本集101中选择目标样本102。带标注样本集205中的每个带标注样本包括搜索词和媒体项，并且带标注样本被标注有其中的搜索词与媒体项的参考相关性(也称为第一参考相关性)。这里的参考相关性即为人工标注的带标注样本中搜索词与相应媒体项之间的相关性。

在一些实施例中，如果搜索词与媒体项之间的相关性被划分为多个相关性等级，参考相关性可以是对应带标注样本中的搜索词和媒体项之间由人工标注的相关性等级。例如，对于上文提及的4个相关性等级(等级0、1、2、3)的情况，人工标注的参考相关性可以为这些相关性等级之一，例如带标注样本A的参考相关性可以为2。

电子设备110可以确定带标注样本集205中的每个带标注样本的预测相关性(也称为第一预测相关性)。在一些实施例中，电子设备110可以利用相关性预测模型120来确定带标注样本集205中每个带标注样本的预测相关性。然而，应当理解，也可以利用其他的模型或算法来确定带标注样本的预测相关性，本公开的实施例在此方面不受限制。针对带标注样本集205中的每个带标注样本，可以确定其预测相关性与参考相关性之间的差异。而后，可以基于针对每个带标注样本所确定的差异(也称为标注-预测差异)，从带标注样本集205中选择预测与标注不匹配的一组错误标注样本。

标注-预测差异的计算可以取决于相关性的具体度量方式(例如，单个相关性得分或多个相关性等级)。在一些实施例中，如果相关性被划分为多个相关性等级，则带标注样本的预测相关性包括分别与这些相关性等级对应的多个概率值，如上文所描述的。在这种实施例中，针对每个带标注样本，可以基于这些概率值，确定该带标注样本对应的预测相关性等级。例如，上述的这些相关性等级与对应的概率值的加权平均可以表示预测相关性等级。对于上述3个相关性等级的示例，预测相关性等级＝0*P0+1*P1+2*P2+3*P3。对于表1中的示例，预测相关性等级可以为2.6。需要注意的是，仅此处通过计算权重得到的预测相关性等级可以为非整数。在这种实施例中，人工标注的参考相关性可以指示多个相关性等级之一。相应地，可以基于参考相关性等级与预测相关性等级来该带标注样本的标注-预测差异。继续表1中的示例，如果该带标注样本的参考相关性等级为2，则可以基于预测相关性等级2.6与参考相关性等级2来确定该带标注样本的标注-预测差异。

在一些实施例中，可以将标注-预测差异与阈值差异进行比较。这里的阈值差异可以是预先设置的，也可以是电子设备110基于历史数据自行确定的。标注-预测差异超过阈值差异的带标注样本可以被确定为错误标注样本。在一些实施例中，可以选择标注-预测差异最大的一定数目的带标注样本作为错误标注样本。

进一步地，电子设备110可以基于这组错误标注样本与无标注样本集101中的无标注样本之间的相应相似度，确定无标注样本集101中的一组无标注样本，也称为第一组无标注样本211。例如，可以针对任一对无标注样本和错误样本确定相似度。

在一些实施例中，为了确定相似度，可以对错误标注样本和无标注样本进行向量化。例如，针对一组错误标注样本中的给定错误标注样本(其可以是任一错误标注样本)和无标注样本集101中的给定无标注样本(其可以是任一无标注样本)，可以确定给定错误样本和给定无标注样本各自的向量化表示。例如，可以通过特征提取模型提取给定错误样本和给定无标注样本各自的特征作为向量化表示。又如，可以对给定错误样本和给定无标注样本进行标记化(tokenization)或向量嵌入(embedding)。电子设备110进而可以基于给定错误标注样本的向量化表示与给定无标注样本的向量化表示，确定给定错误标注样本与给定无标注样本之间的相似度。应该理解的是，在此描述的相似度可以是显式的或绝对的，也即可以确定相似度的数值；备选地，相似度也可以是隐式的或相对的，也即可以不计算相似度的具体数值而是在样本选择中考虑了相似度，如下文将描述的近邻算法或聚类算法。

在一些实施例中，可以使用K最近邻(KNN)算法来从无标注样本集101中选择第一组无标注样本。例如，针对每个错误标注样本，基于其向量化表示和各个无标注样本的向量化表示，确定与该错误样本最相似的K个无标注样本，也即在特征空间中与该错误标注样本最接近的K个无标注样本。

应当理解，KNN算法仅是一种示例，其他的算法也是可能的。例如，可以对所有错误标注样本和无标注样本进行聚类，与错误标注样本被聚类到同一簇中的无标注样本可以被选择作为第一组无标注样本之一。又如，可以计算任一对错误标注样本与无标注样本之间的相似度。可以选择相似度超过阈值相似度的无标注样本，或者可以选择相似度最大的一定数目的无标注样本。

由此，可以从无标注样本集101中确定出第一组无标注样本211。由于无标注样本与错误标注样本相似，这说明相关性预测模型很可能无法识别这一类型的样本。以此方式，利用错误标注样本，可以筛选出有价值的样本以进行人工标注。

在一些实施例中，电子设备110可以直接将第一组无标注样本211确定为一组目标样本102。例如，在不考虑其他筛选策略的情况下，第一组无标注样本211可以被确定为一组目标样本102。

在一些实施例中，为筛选出更多有价值的无标注样本，还可以考虑至少一个附加筛选策略，并基于这至少一个附加筛选策略从无标注样本集101中选择出第一组无标注样本211以外的至少一组无标注样本。

根据附加筛选策略，可以不考虑带标注样本集，而是考虑无标注样本集101中相应无标注样本的预测相关性(也称为第二预测相关性)。为此，可以确定无标注样本集101中相应无标注样本的预测相关性，该预测相关性指示对无标注样本中的搜索词与媒体项的相关性的预测。例如，可以利用相关性预测模型120来生成预测相关性。

下面参考图2来描述筛选策略202、203和204作为附加筛选策略的示例。在考虑这些附加筛选策略的实施例中，无标注样本的预测相关性包括分别对应于多个相关性等级的多个概率值，例如，上文描述的P0、P1、P2和P3。

根据筛选策略202，可以基于无标注样本集101中每个无标注样本的多个概率值中的最大概率值，从无标注样本集101中选择最大概率值最小的一组无标注样本(即，第二组无标注样本212)。例如，对于每个无标注样本，其预测相关性包括多个概率值，这些概率值中存在最大概率值。然后可以根据各个无标注样本的最大概率值进行排序，并且选择最大概率值最小的一定数目的无标注样本。最大概率值越小的样本，意味着相关性预测模型120难以判断其中的搜索词与媒体项的相关性。

根据筛选策略203，可以基于无标注样本集101中每个无标注样本的多个概率值中的最大概率值与次大概率值之间的差值，从无标注样本集101中选择差值最小的一组无标注样本(即，第三组无标注样本213)。例如，电子设备110在获取每个无标注样本的预测相关性后，可以确定预测相关性所包括的多个概率值中的最大概率值以及次大概率值，并且计算二者之间的差值。例如，某一无标注样本对应不同相关性等级的多个概率值中的最大概率值为0.7，次大概率值为0.2，则电子设备110可以确定该无标注样本的最大概率值与次大概率值之间的差值为0.5。而后，电子设备110可以将无标注样本集101中的无标注样本按照所计算的差值进行降序排序，并基于排序结果，从无标注样本集101中选择排序靠后的一定数目的第三组无标注样本213。

根据筛选策略204，可以基于无标注样本集101中每个无标注样本的概率混乱程度，从无标注样本集101中选择概率混乱程度最小的一组无标注样本(即，第四组无标注样本214)。每个无标注样本的概率混乱程度表示该无标注样本的多个概率值的差异大小。作为示例，可以采用信息熵来表示概率混乱程度。例如，电子设备110可以通过如下式来确定无标注样本的信息熵：

其中，p_i代表相关性等级i对应的概率值，n表示相关性等级的数目。信息熵的数值可以表示多个概率值的差异大小。电子设备110可以将信息熵的数值确定为对应无标注样本的概率混乱程度。电子设备110可以按照信息熵的数值对无标注样本集101中的无标注样本进行降序排序，并基于排序结果，从无标注样本集101中选择排序靠后的一定的第四组无标注样本214。

需要注意的是，虽然图2仅示出了筛选策略201以外的3个筛选策略(筛选策略202、203、204)，但还可以考虑其他的筛选策略，本公开的实施例对此并不做出限制。

在一些实施例中，在包含多个筛选策略的情况下，电子设备110可以将分别基于这多个筛选策略得到的多组无标注样本进行合并以得到一组目标样本102。如图2所示，电子设备110可以将第一组无标注样本211、第二组无标注样本212、第三组无标注样本213以及第四组无标注样本214合并以得到一组目标样本102。

关于多组无标注样本的合并方法，在一些实施例中，电子设备110可以直接将这些组的无标注样本进行合并以得到最终的一组目标样本102。示例性的，如果第一组无标注样本211包含300个无标注样本，第二组无标注样本212包含200个无标注样本、第三组无标注样本213包含200个无标注样本，第四组无标注样本214包含300个无标注样本，则电子设备110对这4组无标注样本进行合并可以以得到包含1000个无标注样本的一组目标样本102。

在一些实施例中，电子设备110还可以预先获取对于一组目标样本102所包括的总样本数目的要求。电子设备110进而基于该要求分别从这些组无标注样本中选择一定数目的无标注样本以合并成符合要求所指示的总样本数目的一组目标样本102。对总样本数目的要求可以与人工标注的能力限制相关。示例性的，第一组无标注样本211包含300个无标注样本，第二组无标注样本212包含200个无标注样本、第三组无标注样本213包含200个无标注样本，第四组无标注样本214包含300个无标注样本，若要求指示目标样本102中的无标注样本的总样本数目为500，则电子设备110可以分别从这4组无标注样本中选择一定数目的无标注样本以组成包含500个无标注样本的一组目标样本102。可以理解，若要求指示的一组目标样本102的总样本数目大于多组无标注样本的总样本数目，则电子设备110可以直接将这多组无标注样本合并为一组目标样本102。

在这种情况下，每组无标注样本的样本数目与该组无标注样本在一组目标样本102中的比例，以及一组目标样本102的总样本数目相关联。

在一些实施例中，电子设备110可以基于目标样本102中的总样本数目(这里也可以被称之为第一总样本数目)，以及多组无标注样本中的无标注样本的总样本数目(这里也可以被称之为第二总样本数目)，确定第一总样本数目占第二总样本数目的比例。电子设备110可以直接将该比例确定为每组无标注样本中被确定为目标样本的无标注样本占该组无标注样本的数目的比例，并基于这个比例从每组无标注样本中选择一定数目的无标注样本。示例性的，若一组目标样本102的第一总样本数目为500，电子设备110通过上述4个筛选策略确定的多组无标注样本的第二总样本数目为1000，则第一总样本数目占第二总样本数目的比例为0.5。即电子设备110进而可以分别从每组无标注样本中选择一半的无标注样本以合并成一组目标样本102。在这种实施例中，不同筛选策略的权重或所占的比例是相同的。

在一些实施例中，每组无标注样本的样本数目占一组目标样本102的比例可以是预先设置的。示例性的，可以将基于筛选策略201所得到的第一组无标注样本211对应的比例设置的较大，并将基于其他筛选策略得到的每组无标注样本的比例设置的较小。可以理解，这个比例可以是用户预先设置的，也可以是电子设备110基于历史数据自行设置的。在一些实施例中，每组无标注样本中无标注样本的样本数目占一组目标样本102的比例还可以是随机生成的，电子设备110仅需要保证多组无标注样本对应的比例之和为1。在一些实施例中，不同筛选策略的权重或所占比例可以是动态更新的，如下文将描述的。

合并得到的一组目标样本102可以进行人工标注，标注后的一组目标样本102将被用于训练相关性预测模型120。在一些实施例中，还可以跟踪模型训练的效果，例如，可以在测试集上确定训练后的模型的评估指标，诸如AUC等。

在一些实施例中，还可以基于人工标注的结果来针对筛选策略跟踪所筛选的样本的质量，从而调整筛选策略之间的比例。也即，可以更新这多组无标注样本中每组无标样本占一组目标样本102的比例。

具体地，针对一组目标样本102中的每组无标注样本(注意，在人工标注后这种原本无标注的样本已具有标注，但为了术语的统一仍称为无标注样本)，电子设备110可以获取包括该组无标注样本相应的搜索词与媒体项的参考相关性(也称为第二参考相关性)的标注结果。该参考相关性可以是人工标注的。电子设备110进而基于这组无标注样本相应的参考相关性与第二预测相关性，确定这组无标注样本的预测标注差异。第二预测相关性如上文所描述的那样确定。

无标注样本集101中的无标注样本的预测标注差异的确定与上述针对带标注样本集205中的带标注样本确定标注-预测差异类似。例如，如果无标注样本的预测相关性包括分别对应于多个相关性等级的多个概率值，可以将得到的多个概率值作为对应相关性等级的权重，进而对这多个相关性等级进行计算预测相关性等级。电子设备110进而可以基于人工标注的参考相关性等级与计算得到的预测相关性等级，来确定对应无标注样本的预测相关性等级和参考相关性等级之间的差值。示例性的，如果计算结果指示的预测相关性等级为1.8，第二参考相关性指示的人工标注的参考相关性等级为2，则可以确定二者之间的差值为0.2。电子设备110可以计算这组无标注样本中每个无标注样本的差值，并基于这些差值确定这组无标注样本的预测标注差异。例如，电子设备110可以将这些差值的均方误差(MSE)确定为这组无标注样本的预测标注差异。

电子设备110进而可以基于预测标注差异，更新这组无标注样本的比例。也即，更新与这组无标注样本对应的筛选策略的权重。总体而言，期望预测标注差异较大的筛选策略的权重更大，因为预测标注差异大意味着当前的相关性预测模型120对这类型的样本处理能力较弱，因而这种样本是有价值的样本。

例如，电子设备110可以将预测标注差异与参考差异比较。如果预测标注差异小于参考差异，可以降低这组无标注样本的比例，也即降低对应的筛选策略的权重。如果预测标注差异大于参考差异，可以增大这组无标注样本的比例，也即增大对应的筛选策略的权重。在预测标注差异大于参考差异的情况下，意味着对应的一组无标注样本的预测与参考不匹配程度较大。这说明相关性预测模型对这类不具备相关知识或相关知识很少，因此应增大对应的筛选策略在样本筛选中的权重，以增大这种样本在目标样本中的比例。在预测标注差异小于参考差异的情况下，意味着对应的这组无标注样本的预测与参考不匹配的程度较小。这说明相关性预测模型已经具备了这类样本的知识，因此应减小对应的筛选策略在样本筛选中的权重，以减小这类样本在目标样本中的比例。

用于比较的参考差异例如可以为预先设置的差异。在一些实施例中，参考差异可以是通过随机采样方式所确定的一组目标样本对应的预测标注差异。如果利用某个筛选策略所筛选的样本的预测标注差异小于随机采样的样本，可能意味着这一筛选策略劣于随机采样的方式，因而可以降低其权重。

在一些实施例中，在多组无标注样本对应的预测标注差异均大于参考差异的情况下，电子设备110可以不更新这多组无标注样本各自的比例，并保留当前比例。在多组无标注样本对应的预测标注差异均小于参考差异的情况下，电子设备110可以不更新这多组无标注样本各自的比例，电子设备110可以重新确定一组目标样本102。

在一些实施例中，可以不考虑参考差异，而是可以根据各组无标注样本的预测标注差异的相对大小来确定比例。例如，预测标注差异大的筛选策略比预测标注差异小的筛选策略具有更大的权重。

如上文所提及的，一组目标样本被标注后将被用于训练相关性预测模型。在一些实施例中，无标注样本集101以及带标注样本集205可以是周期性被获取的。相应地，相关性预测模型120可以是被周期性训练的。在一些实施例中，无标注样本集101可以是在当前周期被获取的，并且带标注样本集205在前一周期被获取，并且在前一周期用于训练相关性预测模型。周期可以为1天、1周、一个月等等，本公开的实施例对此不作限制。

图3示出了根据本公开的一些实施例的相关性预测模型的训练的示例300的示意图。图3所示的天级相关性预测模型310可以视为图1的相关性预测模型120的一个示例，其是以天为周期进行训练的。

如图3所示，上一周期获取的(即前一天获取的)天级带标注样本集301已用于训练天级相关性预测模型310。根据上文所描述的筛选策略201，可以从天级带标注样本集301中确定天级错误标注样本303。例如，可以将天级带标注样本集301输入天级模型310，天级模型310可以输出天级带标注样本集301中相应天级带标注样本的第一预测相关性。进而可以基于第一预测相关性以及天级带标注样本集301自身所包括的第一参考相关性，从天级带标注样本集301中选择预测与参考不匹配的天级错误标注样本303。

天级无标注样本集302包括的是当前周期获取(即，当天获取)的无标注样本。可以从天级无标注样本集302中选择与天级错误标注样本303之间的相似度较高的无标注样本305。无标注样本305可以视为图2中的第一组无标注样本211的示例。

可以利用天级相关性预测模型310确定当前周期获取的天级无标注样本集302的第二预测相关性，并基于第二预测相关性，从天级无标注样本集302中选择至少一组无标注样本304。例如，可以根据筛选策略202、203、204中的一个或多个筛选策略来选择至少一组无标注样本304。

而后，一组无标注样本305与至少一组无标注样本304被合并以得到目标样本集306。当前周期所确定的目标样本集306可以被人工标注以获取标注后的目标样本集306。标注后的目标样本集306用于训练天级相关性预测模型310。在一些实施例中，标注后的目标样本集306可以被作为下一周期的天级带标注样本集301，以在下一周期(在该示例中为第二天)用于样本筛选。

综上所述，根据本公开的各种实施例，可以利用一个或多个筛选策略，从无标注样本集中筛选有价值的样本进行人工标注，进而用于训练相关性预测模型。以此方式，可以提升用于模型训练的样本质量，提升训练得到的模型的预测能力，进而提升利用模型进行媒体项推荐的准确性。媒体项推荐准确性的提升也有利于提高搜索的用户体验。

图4示出了根据本公开的一些实施例的用于媒体项推荐的过程400的流程图。过程400可以被实现在电子设备110处。下面参考图1描述过程400。

在框410，电子设备110确定带标注样本集中的带标注样本的第一预测相关性，带标注样本包括搜索词和媒体项，第一预测相关性指示对带标注样本中的搜索词与媒体项的相关性的预测，并且带标注样本被标注有搜索词与媒体项的第一参考相关性。

在框420，电子设备110基于带标注样本集中相应带标注样本的第一预测相关性与第一参考相关性之间的差异，从带标注样本集中选择预测与标注不匹配的一组错误标注样本。

在框430，电子设备110至少基于一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定无标注样本集中的一组目标样本，无标注样本包括搜索词和媒体项。

在一些实施例中，确定一组目标样本包括：基于相应相似度，从无标注样本集中选择第一组无标注样本；确定无标注样本集中相应无标注样本的第二预测相关性，第二预测相关性指示对无标注样本中的搜索词与媒体项的相关性的预测；基于无标注样本集中相应无标注样本的第二预测相关性，从无标注样本集中选择至少一组无标注样本；以及将第一组无标注样本和至少一组无标注样本合并成一组目标样本。

在一些实施例中，第一组无标注样本和至少一组无标注样本中的每组无标注样本的样本数目与以下项有关：该组无标注样本在一组目标样本中的比例，以及一组目标样本的总样本数目。

在一些实施例中，过程400还包括：针对第一组无标注样本和至少一组无标注样本中的一组无标注样本，获取标注结果，标注结果包括一组无标注样本相应的搜索词与媒体项的第二参考相关性；基于一组无标注样本相应的第二参考相关性与第二预测相关性，确定一组无标注样本的预测标注差异；以及基于预测标注差异，更新一组无标注样本的比例。

在一些实施例中，更新一组无标注样本的比例包括：将预测标注差异与参考差异比较；响应于预测标注差异小于参考差异，降低一组无标注样本的比例；以及响应于预测标注差异大于参考差异，增大一组无标注样本的比例。

在一些实施例中，相应无标注样本的第二预测相关性包括分别对应于多个相关性等级的多个概率值，并且基于第二预测相关性从无标注样本集中选择至少一组无标注样本包括以下至少一项：基于无标注样本集中每个无标注样本的多个概率值中的最大概率值，从无标注样本集中选择最大概率值最小的一组无标注样本，基于无标注样本集中每个无标注样本的多个概率值中的最大概率值与次大概率值之间的差值，从无标注样本集中选择差值最小的一组无标注样本，或基于无标注样本集中每个无标注样本的概率混乱程度，从无标注样本集中选择概率混乱程度最小的一组无标注样本，每个无标注样本的概率混乱程度表示多个概率值的差异大小。

在一些实施例中，第一预测相关性是利用相关性预测模型生成的，并且一组目标样本被标注后用于训练相关性预测模型。

在一些实施例中，相关性预测模型被周期性地训练，无标注样本集是在当前周期被获取的，并且带标注样本集在前一周期被获取，并且在前一周期用于训练相关性预测模型。

在一些实施例中，相似度是如下确定的：针对一组错误标注样本中的给定错误标注样本和无标注样本集中的给定无标注样本，基于给定错误标注样本的向量化表示与给定无标注样本的向量化表示，确定给定错误标注样本与给定无标注样本之间的相似度。

图5示出了根据本公开的某些实施例的用于媒体项推荐的装置500的示意性结构框图。装置500可以被实现为或者被包括在电子设备110中。装置500中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。

如图所示，装置500包括第一预测相关性确定模块510，被配置为确定带标注样本集中的带标注样本的第一预测相关性，带标注样本包括搜索词和媒体项，第一预测相关性指示对带标注样本中的搜索词与媒体项的相关性的预测，并且带标注样本被标注有搜索词与媒体项的第一参考相关性。装置500还包括错误标注样本选择模块520，被配置为基于带标注样本集中相应带标注样本的第一预测相关性与第一参考相关性之间的差异，从带标注样本集中选择预测与标注不匹配的一组错误标注样本。装置500还包括目标样本确定模块530，被配置为至少基于一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定无标注样本集中的一组目标样本，无标注样本包括搜索词和媒体项。

在一些实施例中，目标样本确定模块530包括：第一组样本选择模块，被配置为基于相应相似度，从无标注样本集中选择第一组无标注样本；第二预测相关性确定模块，被配置为确定无标注样本集中相应无标注样本的第二预测相关性，第二预测相关性指示对无标注样本中的搜索词与媒体项的相关性的预测；至少一组样本选择模块，被配置为基于无标注样本集中相应无标注样本的第二预测相关性，从无标注样本集中选择至少一组无标注样本；以及样本合并模块，被配置为将第一组无标注样本和至少一组无标注样本合并成一组目标样本。

在一些实施例中，第一组无标注样本和至少一组无标注样本中的每组无标注样本的样本数目与以下项有关：该组无标注样本在一组目标样本中的比例，以及一组目标样本的总样本数目。

在一些实施例中，装置500还包括：标注结果获取模块，被配置为针对第一组无标注样本和至少一组无标注样本中的一组无标注样本，获取标注结果，标注结果包括一组无标注样本相应的搜索词与媒体项的第二参考相关性；差异确定模块，被配置为基于一组无标注样本相应的第二参考相关性与第二预测相关性，确定一组无标注样本的预测标注差异；以及比例更新模块，被配置为基于预测标注差异，更新一组无标注样本的比例。

在一些实施例中，比例更新模块包括：差异比较模块，被配置为将预测标注差异与参考差异比较；比例降低模块，被配置为响应于预测标注差异小于参考差异，降低一组无标注样本的比例；以及比例增大模块，被配置为响应于预测标注差异大于参考差异，增大一组无标注样本的比例。

在一些实施例中，相应无标注样本的第二预测相关性包括分别对应于多个相关性等级的多个概率值，并且至少一组样本选择模块包括以下至少一项：第一选择模块，被配置为基于无标注样本集中每个无标注样本的多个概率值中的最大概率值，从无标注样本集中选择最大概率值最小的一组无标注样本，第二选择模块，被配置为基于无标注样本集中每个无标注样本的多个概率值中的最大概率值与次大概率值之间的差值，从无标注样本集中选择差值最小的一组无标注样本，或第三选择模块，被配置为基于无标注样本集中每个无标注样本的概率混乱程度，从无标注样本集中选择概率混乱程度最小的一组无标注样本，每个无标注样本的概率混乱程度表示多个概率值的差异大小。

在一些实施例中，第一预测相关性是利用相关性预测模型生成的，并且一组目标样本被标注后用于训练相关性预测模型。

在一些实施例中，相关性预测模型被周期性地训练，无标注样本集是在当前周期被获取的，并且带标注样本集在前一周期被获取，并且在前一周期用于训练相关性预测模型。

在一些实施例中，装置500还包括：相似度确定模块，被配置为针对一组错误标注样本中的给定错误标注样本和无标注样本集中的给定无标注样本，基于给定错误标注样本的向量化表示与给定无标注样本的向量化表示，确定给定错误标注样本与给定无标注样本之间的相似度。

装置500中所包括的模块和/或单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个模块和/或单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置500中的部分或者全部模块和/或单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。

图6示出了其中可以实施本公开的一个或多个实施例的电子设备600的框图。应当理解，图6所示出的电子设备600仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图6所示出的电子设备600可以用于实现图1的电子设备110。

如图6所示，电子设备600是通用电子设备的形式。电子设备600的组件可以包括但不限于一个或多个处理器或处理单元610、存储器620、存储设备630、一个或多个通信单元640、一个或多个输入设备650以及一个或多个输出设备660。处理单元610可以是实际或虚拟处理器并且能够根据存储器620中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备600的并行处理能力。

电子设备600通常包括多个计算机存储介质。这样的介质可以是电子设备600可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器620可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备630可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备600内被访问。

电子设备600可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图6中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器620可以包括计算机程序产品625，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元640实现通过通信介质与其他电子设备进行通信。附加地，电子设备600的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备600可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备650可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备660可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备600还可以根据需要通过通信单元640与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备600交互的设备进行通信，或者与使得电子设备600与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (12)

1.一种用于媒体项推荐的方法，包括：

确定带标注样本集中的带标注样本的第一预测相关性，所述带标注样本包括搜索词和媒体项，所述第一预测相关性指示对所述带标注样本中的所述搜索词与所述媒体项的相关性的预测，并且所述带标注样本被标注有所述搜索词与所述媒体项的第一参考相关性；

基于所述带标注样本集中相应带标注样本的所述第一预测相关性与所述第一参考相关性之间的差异，从所述带标注样本集中选择预测与标注不匹配的一组错误标注样本；以及

至少基于所述一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定所述无标注样本集中的一组目标样本，所述无标注样本包括搜索词和媒体项。

2.根据权利要求1所述的方法，其中确定所述一组目标样本包括：

基于所述相应相似度，从所述无标注样本集中选择第一组无标注样本；

确定所述无标注样本集中相应无标注样本的第二预测相关性，所述第二预测相关性指示对所述无标注样本中的所述搜索词与所述媒体项的相关性的预测；

基于所述无标注样本集中所述相应无标注样本的所述第二预测相关性，从所述无标注样本集中选择至少一组无标注样本；以及

将所述第一组无标注样本和所述至少一组无标注样本合并成所述一组目标样本。

3.根据权利要求2所述的方法，其中所述第一组无标注样本和所述至少一组无标注样本中的每组无标注样本的样本数目与以下项有关：

该组无标注样本在所述一组目标样本中的比例，以及

所述一组目标样本的总样本数目。

4.根据权利要求3所述的方法，还包括：

针对所述第一组无标注样本和所述至少一组无标注样本中的一组无标注样本，

获取标注结果，所述标注结果包括所述一组无标注样本相应的搜索词与媒体项的第二参考相关性；

基于所述一组无标注样本相应的所述第二参考相关性与所述第二预测相关性，确定所述一组无标注样本的预测标注差异；以及

基于所述预测标注差异，更新所述一组无标注样本的所述比例。

5.根据权利要求4所述的方法，其中更新所述一组无标注样本的所述比例包括：

将所述预测标注差异与参考差异比较；

响应于所述预测标注差异小于所述参考差异，降低所述一组无标注样本的所述比例；以及

响应于所述预测标注差异大于所述参考差异，增大所述一组无标注样本的所述比例。

6.根据权利要求2所述的方法，其中相应无标注样本的所述第二预测相关性包括分别对应于多个相关性等级的多个概率值，并且基于所述第二预测相关性从所述无标注样本集中选择至少一组无标注样本包括以下至少一项：

基于所述无标注样本集中每个无标注样本的所述多个概率值中的最大概率值，从所述无标注样本集中选择所述最大概率值最小的一组无标注样本，

基于所述无标注样本集中每个无标注样本的所述多个概率值中的所述最大概率值与次大概率值之间的差值，从所述无标注样本集中选择所述差值最小的一组无标注样本，或

基于所述无标注样本集中每个无标注样本的概率混乱程度，从所述无标注样本集中选择所述概率混乱程度最小的一组无标注样本，每个无标注样本的所述概率混乱程度表示所述多个概率值的差异大小。

7.根据权利要求1所述的方法，其中所述第一预测相关性是利用相关性预测模型生成的，并且所述一组目标样本被标注后用于训练所述相关性预测模型。

8.根据权利要求7所述的方法，其中所述相关性预测模型被周期性地训练，所述无标注样本集是在当前周期被获取的，并且所述带标注样本集在前一周期被获取，并且在所述前一周期用于训练所述相关性预测模型。

9.根据权利要求1所述的方法，其中所述相应相似度是如下确定的：

针对所述一组错误标注样本中的给定错误标注样本和所述无标注样本集中的给定无标注样本，基于所述给定错误标注样本的向量化表示与所述给定无标注样本的向量化表示，确定所述给定错误标注样本与所述给定无标注样本之间的相似度。

10.一种用于媒体项推荐的装置，包括：

第一预测相关性确定模块，被配置为确定带标注样本集中的带标注样本的第一预测相关性，所述带标注样本包括搜索词和媒体项，所述第一预测相关性指示对所述带标注样本中的所述搜索词与所述媒体项的相关性的预测，并且所述带标注样本被标注有所述搜索词与所述媒体项的第一参考相关性；

错误标注样本选择模块，被配置为基于所述带标注样本集中相应带标注样本的所述第一预测相关性与所述第一参考相关性之间的差异，从所述带标注样本集中选择预测与标注不匹配的一组错误标注样本；以及

目标样本确定模块，被配置为至少基于所述一组错误标注样本与无标注样本集中的无标注样本之间的相应相似度，确定所述无标注样本集中的一组目标样本，所述无标注样本包括搜索词和媒体项。

11.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可由处理器执行以实现根据权利要求1至9中任一项所述的方法。