CN115329897A

CN115329897A - 特征提取模型训练方法、装置及电子设备

Info

Publication number: CN115329897A
Application number: CN202211134317.5A
Authority: CN
Inventors: 崔东林; 刘慧慧
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2022-09-16
Filing date: 2022-09-16
Publication date: 2022-11-11

Abstract

本公开提供了一种特征提取模型训练方法、装置及电子设备，特征提取模型训练方法包括：对候选特征提取模型进行至少两次无监督训练；用于第一次无监督训练的第一多媒体数据样本集为基于海量多媒体资源选取的数据，用于第二次无监督训练的第二多媒体数据样本集为基于业务类型选取的数据，所述第一多媒体数据样本集中样本的数量大于所述第二多媒体数据样本集中样本的数量；基于第三多媒体数据样本集对目标特征提取模型进行有监督训练；其中，所述目标特征提取模型的初始权重与经过无监督训练后的候选特征提取模型的权重相同；所述第三多媒体数据样本集为基于业务类型选取的数据。

Description

特征提取模型训练方法、装置及电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉技术领域的特征提取模型训练方法、装置及电子设备。

背景技术

随着互联网技术的飞速发展，海量多媒体数据(如视频资源和图片资源)在网络中传播，增加了多媒体推荐和多媒体搜索的难度。基于此，需要在减少资源消耗的前提下，高效、准确地提取多媒体数据的特征，以便基于提取的多媒体数据的特征执行多媒体推荐和多媒体搜索。多媒体数据相关的业务。

发明内容

本公开提供了一种特征提取模型训练方法、装置及电子设备。

根据本公开的第一方面，提供了一种特征提取模型训练方法，包括：

对候选特征提取模型进行至少两次无监督训练；用于第一次无监督训练的第一多媒体数据样本集为基于海量多媒体资源选取的数据，用于第二次无监督训练的第二多媒体数据样本集为基于业务类型选取的数据，所述第一多媒体数据样本集中样本的数量大于所述第二多媒体数据样本集中样本的数量；

基于第三多媒体数据样本集对目标特征提取模型进行有监督训练；其中，所述目标特征提取模型的初始权重与经过无监督训练后的候选特征提取模型的权重相同；所述第三多媒体数据样本集为基于业务类型选取的数据。

根据本公开的第二方面，提供了一种特征提取模型训练装置，所述装置包括：

无监督训练模块，用于对候选特征提取模型进行至少两次无监督训练；用于第一次无监督训练的第一多媒体数据样本集为基于海量多媒体资源选取的数据，用于第二次无监督训练的第二多媒体数据样本集为基于业务类型选取的数据，所述第一多媒体数据样本集中样本的数量大于所述第二多媒体数据样本集中样本的数量；

有监督训练模块，用于基于第三多媒体数据样本集对目标特征提取模型进行有监督训练；其中，所述目标特征提取模型的初始权重与经过无监督训练后的候选特征提取模型的权重相同；所述第三多媒体数据样本集为基于业务类型选取的数据。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的特征提取模型训练方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的特征提取模型训练方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据上述的特征提取模型训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的特征提取模型训练方法的一种可选处理流程示意图；

图2是本公开实施例提供的特征提取模型训练方法的另一种可选处理流程示意图；

图3是本公开实施例提供的特征提取模型训练方法的详细处理流程示意图；

图4是本公开实施例提供的特征提取模型训练装置的一种可选组成结构示意图；

图5是用来实现本公开实施例的特征提取模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。

在对本公开实施例进行详细描述之前，对本公开涉及的相关名词进行说明。

1)有监督训练：通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的)，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力

2)无监督训练：不存在任何训练样本，而需要直接对数据进行建模。

随着互联网技术的飞速发展，基于多媒体数据的相关业务也蓬勃发展，如多媒体搜索和多媒体推荐。为了提高多媒体数据的相关业务的服务能力，需要对海量多媒体数据进行高效、准确地理解，即需要高效、准确地提取海量多媒体数据的特征，以便提高多媒体数据的相关业务(如多媒体数据的推荐和多媒体数据的搜索)的精度。

相关技术中，通常采用有监督训练的方式，利用小批量的多媒体数据训练特征提取模型，进而从特定的一个维度解决一种视频问题。但是，该方案无法充分利用海量的无标签多媒体数据的通用知识；并且，采用该方案解决多种视频问题时，需要消耗的资源较多。

基于此，本公开实施例提供一种特征提取模型训练方法，图1是本公开提供的特征提取模型训练方法的一种可选处理流程示意图，特征提取模型训练方法至少可以包括以下步骤：

步骤S101，对候选特征提取模型进行至少两次无监督训练。

在一些实施例中，可以对候选特征提取模型进行两次或两次以上的无监督训练，每次无监督训练所使用的样本集均不相同。以对候选特征提取模型进行两次无监督训练为例，首先进行第一次无监督训练，再进行第二次无监督训练；第一次无监督训练采用的是第一多媒体数据样本集，第二次无监督训练采用的是第二多媒体数据样本集。其中，第一多媒体数据样本集和第二多媒体数据样本集包括的样本不同，第一多媒体数据样本集为基于海量多媒体资源选取的数据，第二多媒体数据样本集为基于业务类型选取的数据。其中，业务类型可以是视频搜索或视频推荐等。本公开实施例中，所述第一多媒体数据样本集中样本的数量大于所述第二多媒体数据样本集中样本的数量，作为示例，第一多媒体数据样本集中样本的数量可以是千万量级，第二多媒体数据样本集中样本的数量可以是百万量级或十万量级。

本公开实施例中，可以首先利用第一多媒体数据样本集对候选特征提取模型进行第一次无监督训练，由于第一多媒体数据样本集中是从海量多媒体资源中筛选出的多媒体数据，因此，利用第一多媒体数据样本集训练候选特征提取模型，使得候选特征提取模型能够学习到无标签的第一多媒体数据样本集中的多媒体数据的通用知识。利用第一多媒体数据样本集训练候选特征提取模型后，得到候选特征提取模型的权重为第一权重。接着，利用第二多媒体数据样本集对候选特征提取模型进行第二次无监督训练；其中，第二次无监督训练的候选特征提取模型的初始权重为第一权重。由于第二多媒体数据样本集中是基于业务类型筛选出的多媒体数据，因此，利用第二多媒体数据样本集训练候选特征提取模型，使得候选特征提取模型能够学习到针对特定业务类型的多媒体数据的通用知识。由于第二多媒体数据样本集中的样本可以是针对多种特定业务类型的多媒体数据，因此，候选特征提取模型能够利用较少的资源实现多种类型的多媒体数据的特征提取，降低多媒体数据特征提取的成本。

本公开实施例中，利用第二多媒体数据样本集训练候选特征提取模型后，得到候选特征提取模型的权重为第二权重。

本公开实施例中，第一多媒体数据样本集可以基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项筛选得到。其中，多媒体数据类型可以包括漫画、电影、电视剧和财经。多媒体数据的点展频次，可以指多媒体数据在预设时间内的点展次数。多媒体数据的时效性可以是针对多媒体数据的发布时间的属性。多媒体数据的文本属性可以指多媒体数据具有字幕，和/或多媒体数据具有语文识别文字的性能。

本公开实施例中，第二多媒体数据样本集，也可以基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项筛选得到。第一多媒体数据样本集与第二多媒体数据样本集的区别在于：第二多媒体数据样本集是基于业务类型筛选得到。

本公开实施例中，第一多媒体数据样本集和第二多媒体数据样本集中的多媒体数据可以是对原始多媒体数据进行有针对性的切割得到的；如，对原始多媒体数据进行切割，得到原始多媒体数据中视频质量最好的部分多媒体数据。或者，对原始多媒体数据进行切割，得到原始多媒体数据中最能体现多媒体数据的内容的部分多媒体数据。

本公开实施例中，通过基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集和第二多媒体数据样本集，使得用于进行无监督训练的样本能够覆盖多种多媒体数据类型，资源质量高(如点展频次高)。

本公开实施例中，第一多媒体数据样本集中样本的数量大于第二多媒体数据样本集中样本的数量；第一多媒体数据样本集和第二多媒体数据样本集中样本的数量，可根据电子设备的硬件属性确定；如根据电子设备中的中央处理器、图像处理器以及存储器的性能，以及允许处理多媒体数据的时间决定。具体地，电子设备中的硬件资源越多，允许处理多媒体数据的时间越长，则可以筛选包括更多数量样本的第一多媒体数据样本集和第二多媒体数据样本集。

需要说明的是，本公开实施例中，仅以对候选特征提取模型进行两次无监督训练为例，对本公开实施例提供的特征提取模型训练方法进行说明。在具体实施时，可以对候选特征提取模型进行两次或两次以上的无监督训练，每次训练采用的多媒体数据样本集不同；多次无监督训练分别使用的多媒体数据样本集可以包括：基于海量多媒体资源所筛选的多媒体数据样本集，以及基于不同的业务类型所筛选的多媒体数据样本集；且基于海量多媒体资源所筛选的多媒体数据样本集中样本的数量，大于基于不同的业务类型所筛选的多媒体数据样本集中样本的数量。

步骤S102，基于第三多媒体数据样本集对目标特征提取模型进行有监督训练。

在一些实施例中，第三多媒体数据样本集，也可以基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项筛选得到。第三多媒体数据样本集可以是基于业务类型选取的数据。第三多媒体数据样本集中样本的数量可以小于第二多媒体数据样本集中样本的数量；具体地，第三多媒体数据样本集中样本的数量，可根据电子设备的硬件属性确定；如根据电子设备中的中央处理器、图像处理器以及存储器的性能，以及允许处理多媒体数据的时间决定。具体地，电子设备中的硬件资源越多，允许处理多媒体数据的时间越长，则可以筛选包括更多数量样本的第三多媒体数据样本集。作为实力，第一多媒体数据样本集中样本的数量可以是千万量级，第二多媒体数据样本集中样本的数量可以是百万量级或十万量级，第三多媒体数据样本集中样本的数量可以是万量级。

在一些实施例中，所述目标特征提取模型的初始权重与经过无监督训练后的候选特征提取模型的权重相同；可以理解为，目标特征提取模型的初始权重为经过第二次无监督训练的候选特征提取模型的第二权重。

本公开实施例中，目标特征提取模型在候选特征提取模型的基础上，针对不同的业务类型增加对应的模型头部(head)，以使head利用提取的特征，进行预测、或推荐、或分类。

本公开实施例中，通过进行多个阶段的训练(利用不同的多媒体数据样本集对候选特权提取模型进行两次或两次以上的无监督训练，再利用第三多媒体数据样本集对目标特征提取模型进行有监督训练)，使得在无监督训练阶段能够学习到海量无标签多媒体数据的通用知识以及针对不同业务类型的特定知识；通过利用第三多媒体数据样本集进行有监督训练，能够提高特征提取的精度。通过利用基于业务类型筛选的第二多媒体数据样本集和第三多媒体数据样本集进行模型训练，能够提高对多种类型的多媒体数据的特征提取精度和能力，减少特征提取所使用的资源和成本。

需要说明的是，本公开实施例中，进行无监督训练的次数与电子设备的计算能力以及对目标特征提取模型的精度有关；若电子设备的计算能力强，对目标特征提取模型的精度要求高，则可进行较多次数的无监督训练。若电子设备的计算能力弱，或者对目标特征提取模型的精度要求低，则可进行两次无监督训练。

本公开实施例提供一种特征提取模型训练方法，图2是本公开提供的特征提取模型训练方法的另一种可选处理流程示意图，特征提取模型训练方法至少可以包括以下步骤：

步骤S201，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定第一多媒体数据样本集。

本公开实施例中，可以根据实际需要，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的一项或多项确定第一多媒体数据样本集。

在一些实施例中，多媒体数据类型可以包括漫画、电影、电视剧和财经。在具体实施时，可以从海量多媒体资中选取包括多媒体数据类型为漫画、电影、电视剧和财经的多媒体数据；确定所选取的多媒体数据为所述第一多媒体数据样本集中的样本。

在一些实施例中，多媒体数据的点展频次可以指在第一时间区间内多媒体数据的点展次数。在具体实施时，可以从所述海量多媒体资源中选取在第一时间区间内，点展频次大于点展阈值的多媒体数据；确定所选取的多媒体数据为所述第一多媒体数据样本集中的样本。还可以从所述海量多媒体资源中选取在第一时间区间内，点展频次大于第一点展阈值的多媒体数据，点展频次小于第一点展阈值、且大于第二点展阈值的多媒体数据，以及点展频次小于第二点展阈值的多媒体数据；其中，点展频次大于第一点展阈值的多媒体数据的数量，大于点展频次小于第一点展阈值、且大于第二点展阈值的多媒体数据的数量；点展频次小于第一点展阈值、且大于第二点展阈值的多媒体数据的数量，大于点展频次小于第二点展阈值的多媒体数据的数量。

在一些实施例中，多媒体资源的时效性可以是针对多媒体资源的发布时间。在具体实施时，可以从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据；确定所选取的多媒体数据为所述第一多媒体数据样本集中的样本。也可以从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据以及不满足时效阈值的多媒体数据，其中，时效性满足时效阈值的多媒体数据的数量，大于时效性不满足时效阈值的多媒体数据的数量。

在一些实施例中，多媒体数据的文本属性可以指多媒体数据具有字幕，或者具有语音识别文字的文本属性。在具体实施时，可以从所述海量多媒体资源中选取具有字幕和/或具有语音识别文字的文本属性的多媒体数据；确定所选取的多媒体数据为所述第一多媒体数据样本集中的样本。

步骤S202，利用第一多媒体数据样本集对候选特征提取模型进行第一次无监督训练。

在一些实施例中，经过第一次无监督训练之后，候选特征提取模型的权重为第一权重。

步骤S203，针对特定的业务类型，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定第二多媒体数据样本集。

在一些实施例中，从特定的业务类型的多媒体数据中，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定第二多媒体数据样本集。举例来说，针对业务类型为视频搜索的多媒体数据，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定第二多媒体数据样本集。针对业务类型为视频推荐的多媒体数据，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定第二多媒体数据样本集。

在一些实施例中，多媒体数据类型可以包括漫画、电影、电视剧和财经。在具体实施时，可以从海量多媒体资中选取包括多媒体数据类型为漫画、电影、电视剧和财经的多媒体数据；确定所选取的多媒体数据为所述第二多媒体数据样本集中的样本。

在一些实施例中，多媒体数据的点展频次可以指在第一时间区间内多媒体数据的点展次数。在具体实施时，可以从所述海量多媒体资源中选取在第一时间区间内，点展频次大于点展阈值的多媒体数据；确定所选取的多媒体数据为所述第二多媒体数据样本集中的样本。还可以从所述海量多媒体资源中选取在第一时间区间内，点展频次大于第一点展阈值的多媒体数据，点展频次小于第一点展阈值、且大于第二点展阈值的多媒体数据，以及点展频次小于第二点展阈值的多媒体数据；其中，点展频次大于第一点展阈值的多媒体数据的数量，大于点展频次小于第一点展阈值、且大于第二点展阈值的多媒体数据的数量；点展频次小于第一点展阈值、且大于第二点展阈值的多媒体数据的数量，大于点展频次小于第二点展阈值的多媒体数据的数量。

在一些实施例中，多媒体资源的时效性可以是针对多媒体资源的发布时间。在具体实施时，可以从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据；确定所选取的多媒体数据为所述第二多媒体数据样本集中的样本。也可以从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据以及不满足时效阈值的多媒体数据，其中，时效性满足时效阈值的多媒体数据的数量，大于时效性不满足时效阈值的多媒体数据的数量。

在一些实施例中，多媒体数据的文本属性可以指多媒体数据具有字幕，或者具有语音识别文字的文本属性。在具体实施时，可以从所述海量多媒体资源中选取具有字幕和/或具有语音识别文字的文本属性的多媒体数据；确定所选取的多媒体数据为所述第二多媒体数据样本集中的样本。

步骤S204，利用第二多媒体数据样本集对候选特征提取模型进行第二次无监督训练。

在一些实施例中，第二次无监督训练的候选特征提取模型的初始权重为第一权重；经过第二次无监督训练之后，候选特征提取模型的权重为第二权重。

步骤S205，针对特定的业务类型，基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定第三多媒体数据样本集。

在一些实施例中，第三多媒体数据样本集的获取方式与第二多媒体数据样本集的获取方式可以相同；第三多媒体数据样本集中样本的数量可以小于第二多媒体数据样本集中样本的数量。第三多媒体数据样本集可以是第二多媒体数据样本集的子集；第三多媒体数据样本集中的样本也可以与第二多媒体数据样本集中的样本部分相同、部分不同；第三多媒体数据样本集中的样本也可以与第二多媒体数据样本集中的样本完全不同。

本公开实施例中，可以对第三多媒体数据样本集中的样本进行标注。

步骤S206，利用第三多媒体数据样本集对目标特征提取模型进行有监督训练。

基于图1和图2所示的特征提取模型训练方法，本公开实施例提供的特征提取模型训练方法的详细示意图，如图3所示：

基于视频的类型，视频的点展频次、视频是否有字幕或语音转文本，以及视频的时效性筛选第一多媒体数据样本集；第一多媒体数据样本集中的样品为画面和音质清晰的高质量资源；第一多媒体数据样本集中还可以包括长尾资源；长尾资源可以是点展频率极低的多媒体数据，或罕见类型的多媒体数据。其中，第一多媒体数据样本集中的样本具有覆盖范围广、质量好的特点。利用第一多媒体数据样本集训练候选特征提取模型之后，再根据不同的业务类型选取第二多媒体数据样本集，继续利用第二多媒体数据样本集训练经第一多媒体数据样本集训练得到的候选特征提取模型。最后，根据不同的业务类型选取第三多媒体数据样本集，并对第三多媒体数据样本集进行标注；利用第三多媒体数据样本集训练目标特征提取模型。其中，目标特征提取模型与候选特征提取模型的模型结构相同，目标特征提取模型的初始权重等于经第二多媒体数据样本集训练完成的候选特征提取模型的权重；目标特征提取模型与候选特征提取模型的不同之处在于，目标特征提取模型在候选特征提取模型的基础上，根据业务类型不同，增加了对应的模型头部结构。以模型头部是分类头为例，目标特征提取模型可基于输入的多媒体数据，输出动作分类、视频检索结果、视频分类和视频描述等信息。

本公开实施例还提供一种特征提取模型训练装置，所述特征提取模型训练装置的组成结构，如图4所示，包括：

无监督训练模块401，用于对候选特征提取模型进行至少两次无监督训练；用于第一次无监督训练的第一多媒体数据样本集为基于海量多媒体资源选取的数据，用于第二次无监督训练的第二多媒体数据样本集为基于业务类型选取的数据，所述第一多媒体数据样本集中样本的数量大于所述第二多媒体数据样本集中样本的数量；

有监督训练模块402，用于基于第三多媒体数据样本集对目标特征提取模型进行有监督训练；其中，所述目标特征提取模型的初始权重与经过无监督训练后的候选特征提取模型的权重相同；所述第三多媒体数据样本集为基于业务类型选取的数据。

在一些可选实施例中，所述特征提取模型训练装置还包括：

第一确定模块，用于基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集。

在一些可选实施例中，所述第一确定模块，用于从所述海量多媒体资源中选取包括多媒体数据类型为漫画、电影、电视剧和财经的多媒体数据；

确定所选取的多媒体数据为所述第一多媒体数据样本集中的样本。

在一些可选实施例中，所述第一确定模块，用于从所述海量多媒体资源中选取在第一时间区间内，点展频次大于点展阈值的多媒体数据；

在一些可选实施例中，所述第一确定模块，用于从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据；

在一些可选实施例中，所述第一确定模块，用于从所述海量多媒体资源中选取具有字幕和/或具有语音识别文字的文本属性的多媒体数据；

在一些可选实施例中，所述特征提取模型训练装置还包括：

第二确定模块，用于基于业务类型确定所述第二多媒体数据样本集。

本公开实施例中，第一确定模块和第二确定模块在图4中未示出。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。在一些可选实施例中，电子设备800可以是终端设备，也可以是服务器。在一些可选实施例中，电子设备800可以通过运行计算机程序来实现本申请实施例提供的特征提取模型训练方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(Application，APP)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

在实际应用中，电子设备800可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。电子设备800可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。

电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如特征提取模型训练方法。例如，在一些可选实施例中，特征提取模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些可选实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的特征提取模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为特征提取模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的特征提取模型训练方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种特征提取模型训练方法，包括：

2.根据权利要求1所述的方法，其中，所述方法还包括：

基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集。

3.根据权利要求2所述的方法，其中，所述基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集包括：

从所述海量多媒体资源中选取包括多媒体数据类型为漫画、电影、电视剧和财经的多媒体数据；

4.根据权利要求2或3所述的方法，其中，所述基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集包括：

从所述海量多媒体资源中选取在第一时间区间内，点展频次大于点展阈值的多媒体数据；

5.根据权利要求2至4任一项所述的方法，其中，所述基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集包括：

从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据；

6.根据权利要求2至5任一项所述的方法，其中，所述基于多媒体数据类型、多媒体数据的点展频次、多媒体数据的时效性和多媒体数据的文本属性中的至少一项，确定所述第一多媒体数据样本集包括：

从所述海量多媒体资源中选取具有字幕和/或具有语音识别文字的文本属性的多媒体数据；

7.根据权利要求1所述的方法，其中，所述方法还包括：

基于业务类型确定所述第二多媒体数据样本集。

8.一种特征提取模型训练装置，所述特征提取模型训练装置包括：

9.根据权利要求8所述的装置，其中，所述特征提取模型训练装置还包括：

10.根据权利要求9所述的装置，其中，所述第一确定模块，用于从所述海量多媒体资源中选取包括多媒体数据类型为漫画、电影、电视剧和财经的多媒体数据；

11.根据权利要求9或10所述的装置，其中，所述第一确定模块，用于从所述海量多媒体资源中选取在第一时间区间内，点展频次大于点展阈值的多媒体数据；

12.根据权利要求9至11任一项所述的装置，其中，所述第一确定模块，用于从所述海量多媒体资源中选取时效性满足时效阈值的多媒体数据；

13.根据权利要求9至12任一项所述的装置，其中，所述第一确定模块，用于从所述海量多媒体资源中选取具有字幕和/或具有语音识别文字的文本属性的多媒体数据；

14.根据权利要求8所述的装置，其中，所述特征提取模型训练装置还包括：

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的特征提取模型训练方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的特征提取模型训练方法。

17.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的特征提取模型训练方法。