CN114580533A - 特征提取模型的训练方法、装置、设备、介质及程序产品 - Google Patents

特征提取模型的训练方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN114580533A
CN114580533A CN202210208643.XA CN202210208643A CN114580533A CN 114580533 A CN114580533 A CN 114580533A CN 202210208643 A CN202210208643 A CN 202210208643A CN 114580533 A CN114580533 A CN 114580533A
Authority
CN
China
Prior art keywords
sample
training
similarity
feature extraction
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210208643.XA
Other languages
English (en)
Inventor
张皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210208643.XA priority Critical patent/CN114580533A/zh
Publication of CN114580533A publication Critical patent/CN114580533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种特征提取模型的训练方法、装置、设备、存储介质及计算机程序产品；方法包括：通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各所述历史版本对应的多个样本特征；基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度；基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，所述训练样本对包括第一训练样本及第二训练样本；基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型；通过本申请，能够提高特征提取模型的训练效率，并提高训练得到的特征提取模型的特征提取精度。

Description

特征提取模型的训练方法、装置、设备、介质及程序产品
技术领域
本申请涉及人工智能技术领域，尤其涉及一种特征提取模型的训练方法、装置、设备、存储介质及计算机程序产品。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能已经越来越多地应用于特征提取方面。相关技术中，通常采用已有的全量训练样本，对特征提取模型进行多次迭代，以得到训练完成的特征提取模型。但是有些训练样本在训练过程中，其预测得到的结果和样本标签差别很大，此类训练样本会导致模型学习的精度降低，而相关技术中在每次迭代过程中均采用全量训练样本的话，很难关注到此类训练样本，如此不仅降低了模型训练效率，还使得模型学习效果不佳。
发明内容
本申请实施例提供一种特征提取模型的训练方法、装置、设备、存储介质及计算机程序产品，能够提高特征提取模型的训练效率，并提高训练得到的特征提取模型的特征提取精度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种特征提取模型的训练方法，包括：
通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各所述历史版本对应的多个样本特征；
基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度；
基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，所述训练样本对包括第一训练样本及第二训练样本；
其中，所述第一训练样本与所述第二训练样本满足以下关系中至少之一：
样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本；
基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
本申请实施例还提供一种特征提取模型的训练装置，包括：
特征提取模块，用于通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各所述历史版本对应的多个样本特征；
确定模块，用于基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度；
选取模块，用于基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，所述训练样本对包括第一训练样本及第二训练样本；
其中，所述第一训练样本与所述第二训练样本满足以下关系中至少之一：
样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本；
训练模块，用于基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
上述方案中，所述确定模块，还用于确定各所述历史版本对应的任意两个样本特征间的特征相似度；基于各所述历史版本对应的任意两个样本特征间的特征相似度，确定所述任意两个样本特征所对应训练样本间的样本相似度，以确定任意两个所述训练样本间的样本相似度。
上述方案中，当所述历史版本的数量为至少两个时，所述确定模块，还用于获取各所述历史版本对应的权重值；基于各所述历史版本对应的权重值，对各所述历史版本对应的任意两个样本特征间的特征相似度进行加权平均处理，得到所述任意两个样本特征所对应训练样本间的样本相似度。
上述方案中，所述确定模块，还用于获取各所述历史版本对应的特征相似度矩阵，所述特征相似度矩阵中的第(i，j)个矩阵元素，为相应历史版本对应的第i个样本特征和第j个样本特征间的特征相似度；基于各所述历史版本对应的特征相似度矩阵，确定多个所述训练样本对应的样本相似度矩阵；将所述样本相似度矩阵中的第(i，j)个矩阵元素，作为多个所述训练样本中第i个训练样本和第j个训练样本间的样本相似度，以确定任意两个所述训练样本间的样本相似度；其中，所述i和所述j，均为大于零且不超过m的整数，所述m为所述训练样本的数量。
上述方案中，所述确定模块，还用于针对各所述历史版本，分别执行如下处理：针对所述历史版本对应的第i个样本特征和第j个样本特征，确定所述第i个样本特征和第j个样本特征间的特征相似度，并将所述特征相似度作为所述特征相似度矩阵中的第(i，j)个矩阵元素，以得到所述历史版本对应的特征相似度矩阵。
上述方案中，当所述历史版本的数量为至少两个时，所述确定模块，还用于获取各所述历史版本对应的权重值；基于各所述历史版本对应的权重值，对至少两个所述特征相似度矩阵进行加权平均处理，得到多个所述训练样本对应的样本相似度矩阵。
上述方案中，所述确定模块，还用于获取各所述历史版本的特征提取模型对应的模型评估指标的指标值；基于各所述历史版本的特征提取模型对应的指标值，确定相应历史版本对应的权重值。
上述方案中，所述选取模块，还用于各所述训练样本对分别通过执行如下处理得到：从所述多个训练样本中，选取一个训练样本作为所述第一训练样本；确定样本标签与所述第一训练样本的样本标签相同的训练样本为正训练样本，并确定样本标签与所述第一训练样本的样本标签不同的训练样本为负训练样本；从所述正训练样本和所述负训练样本中，选取目标训练样本作为所述第二训练样本；其中，所述目标训练样本为以下训练样本中至少之一：所述正训练样本中，与所述第一训练样本的样本相似度最小的正训练样本；所述负训练样本中，与所述第一训练样本的样本相似度最大的负训练样本。
上述方案中，所述训练模块，还用于通过所述目标特征提取模型，对所述至少一个训练样本对中各训练样本进行特征提取，得到相应的预测样本特征；获取各所述预测样本特征与相应训练样本的样本标签之间的差异；基于所述差异，更新所述目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
上述方案中，所述第二训练样本包括：样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的正训练样本；以及样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的负训练样本；所述训练模块，还用于通过所述目标特征提取模型，提取所述第一训练样本对应的第一预测样本特征、所述正训练样本对应的第二预测样本特征、以及所述负训练样本对应的第三预测样本特征；确定所述第一预测样本特征和所述第二预测样本特征间的第一特征相似度，并确定所述第一预测样本特征和所述第三预测样本特征间的第二特征相似度；获取相似度间隔参数，并基于所述第一特征相似度、所述第二特征相似度、以及所述相似度间隔参数，构建所述目标特征提取模型的损失函数；基于所述损失函数更新所述目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
上述方案中，所述训练模块，还用于从至少一个历史版本的特征提取模型中，确定对应最新历史版本的特征提取模型，并将对应所述最新历史版本的特征提取模型，确定为所述目标特征提取模型。
上述方案中，所述装置还包括：推荐模块；所述推荐模块，用于响应于针对推荐媒体信息的获取请求，基于所述训练完成的特征提取模型，分别提取多个待推荐媒体信息的第一媒体信息特征、以及历史推荐媒体信息的第二媒体信息特征；确定各所述第一媒体信息特征与所述第二媒体信息特征间的特征相似度；基于确定的特征相似度，从多个待推荐媒体信息中，筛选得到与所述获取请求相匹配的目标推荐媒体信息，并返回所述目标推荐媒体信息。
本申请实施例还提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的特征提取模型的训练方法。
本申请实施例还提供一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时，实现本申请实施例提供的特征提取模型的训练方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序或可执行指令，所述计算机程序或可执行指令被处理器执行时，实现本申请实施例提供的特征提取模型的训练方法。
本申请实施例具有以下有益效果：
首先，通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各历史版本对应的多个样本特征；然后，基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度；再基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对；从而基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
其中，该训练样本对包括第一训练样本及第二训练样本，且第一训练样本与第二训练样本满足以下关系中至少之一：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本。如此，1)使得训练过程中能够对同一样本标签下样本相似度较小的两个训练样本、以及不同样本标签下相似度较大的两个训练样本进行有效地区分，提高训练得到的特征提取模型的特征提取精度；2)通过筛选训练样本对的方式降低了每次迭代所需的时长，提高了特征提取模型的训练效率；3)当历史版本的数量为多个时，还能够利用各种不同结构的历史版本的特征提取模型的优势来辅助目标特征提取模型的训练，进一步提高训练得到的特征提取模型的特征提取精度。
附图说明
图1A是本申请实施例提供的特征提取模型的训练系统100的架构示意图；
图1B是本申请实施例提供的特征提取模型的应用场景示意图一；
图1C是本申请实施例提供的特征提取模型的应用场景示意图二；
图1D是本申请实施例提供的特征提取模型的应用场景示意图三；
图2是本申请实施例提供的特征提取模型的训练方法的流程示意图一；
图3是本申请实施例提供的特征提取模型的训练方法的流程示意图二；
图4是本申请实施例提供的特征提取模型的训练方法的流程示意图三；
图5是本申请实施例提供的每个训练样本对的选取流程示意图；
图6是本申请实施例提供的特征提取模型的训练方法的流程示意图四；
图7是本申请实施例提供的特征提取模型的训练系统的结构示意图；
图8是本申请实施例提供的特征提取模型的训练装置600的结构示意图；
图9是本申请实施例提供的实施特征提取模型的训练方法的电子设备500的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)客户端，终端中运行的用于提供各种服务的应用程序，例如新闻客户端、视频客户端。
2)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
本申请实施例提供一种特征提取模型的训练方法、装置、设备、存储介质及计算机程序产品，能够提高特征提取模型的训练效率，并提高训练得到的特征提取模型的特征提取精度。
下面说明本申请实施例提供的特征提取模型的训练方法的实施场景。参见图1A，图1A是本申请实施例提供的特征提取模型的训练系统100的架构示意图，为实现支撑一个示例性应用，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
终端400，用于响应于针对目标特征提取模型的训练指令，发送针对目标特征提取模型的训练请求至服务器200；
服务器200，用于接收终端400发送的针对目标特征提取模型的训练请求；响应于训练请求，通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各历史版本对应的多个样本特征；基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度；基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对；基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型；将特征提取模型的训练完成通知返回至终端400；
这里，训练样本对包括第一训练样本及第二训练样本；其中，第一训练样本与第二训练样本满足以下关系中至少之一：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本；
终端400，用于接收到特征提取模型的训练完成通知。此后，终端400可向服务器200请求下载训练完成的特征提取模型，以基于该训练完成的特征提取模型进行特征提取；或者终端400还可以向服务器200发送执行特征提取任务的任务请求，以使服务器200响应于该任务请求，基于该训练完成的特征提取模型进行特征提取。比如对视频进行视频特征提取的任务、对图像进行图像特征提取的任务、对文本进行文本特征提取的任务、对音频进行音频特征提取的任务等。
在一些示例中，参见图1B，图1B是本申请实施例提供的特征提取模型的应用场景示意图一。这里，上述终端400(安装有客户端，比如媒体信息客户端)发送针对推荐媒体信息的获取请求至服务器200；服务器200接收到获取请求，获取多个待推荐媒体信息，以及该获取请求所对应用户的历史推荐媒体信息；服务器200基于训练完成的特征提取模型，分别提取多个待推荐媒体信息的第一媒体信息特征、以及历史推荐媒体信息的第二媒体信息特征；服务器200确定各第一媒体信息特征与第二媒体信息特征间的特征相似度，并基于确定的特征相似度，从多个待推荐媒体信息中，筛选得到与获取请求相匹配的目标推荐媒体信息，返回目标推荐媒体信息至终端400；终端400接收并显示目标推荐媒体信息。如此，实现媒体信息的推荐，在实际应用中，该媒体信息包括文本信息(比如新闻)、图片信息、视频视频以及音频信息(比如音乐、有声书等)。
在一些示例中，参见图1C，图1C是本申请实施例提供的特征提取模型的应用场景示意图二。这里，上述终端400(安装有客户端，比如视频客户端)发送针对目标视频的搜索请求至服务器200，该搜索请求中携带用于搜索视频的参考视频；服务器200接收到针对目标视频的搜索请求，基于训练完成的特征提取模型，提取参考视频的第一视频特征、以及多个候选视频的第二视频特征，并确定各第二视频特征与第一视频特征之间的特征相似度；服务器200基于确定的特征相似度，从多个候选视频中，选取与第一视频特征间的特征相似度达到相似度阈值的目标候选视频，并将目标候选视频作为目标视频返回至终端400；终端400接收并显示目标视频。如此，实现基于视频(参考视频)搜索视频(目标视频)的效果。
在一些示例中，参见图1D，图1D是本申请实施例提供的特征提取模型的应用场景示意图三。这里，上述终端400(安装有客户端，比如发音练习客户端)接收到针对目标内容(比如英文单词、电视剧台词等)输入的音频信息并发送中服务器200；服务器200接收到音频信息，并获取目标内容对应的标准音频信息；服务器200通过训练完成的特征提取模型，提取音频信息的第一音频特征、以及标准音频信息的第二音频特征，并确定第一音频特征和第二音频特征之间的特征相似度；服务器200基于确定的特征相似度，对音频信息进行评分，得到相应的音频评分并返回至终端400；终端400接收并显示音频信息的音频评分。如此，实现发音练习评分的效果。
在一些实施例中，本申请实施例提供的特征提取模型的训练方法可以由各种电子设备实施，例如，可以由终端单独实施，也可以由服务器单独实施，也可以由终端和服务器协同实施。例如终端独自执行本申请实施例提供的特征提取模型的训练方法，或者，终端向服务器发送针对目标特征提取模型的训练请求，服务器根据接收的训练请求执行本申请实施例提供的特征提取模型的训练方法。本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
在一些实施例中，本申请实施例提供的实施特征提取模型的训练的电子设备可以是各种类型的终端或服务器。其中，服务器(例如服务器200)可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端(例如终端400)可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备(例如智能音箱)、智能家电(例如智能电视)、智能手表、车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例对此不做限制。
在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的特征提取模型的训练方法，举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
在一些实施例中，多个服务器可组成为一区块链，而服务器为区块链上的节点，区块链中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。其中，本申请实施例提供的特征提取模型的训练方法所相关的数据(例如历史版本的特征提取模型、多个训练样本及其携带的样本标签、训练完成的特征提取模型等)可保存于区块链上。
下面说明本申请实施例提供的特征提取模型的训练方法。在一些实施例中，本申请实施例提供的特征提取模型的训练方法可由各种电子设备实施，例如，可由终端单独实施，也可由服务器单独实施，也可由终端和服务器协同实施。以服务器实施为例，参见图2，图2是本申请实施例提供的特征提取模型的训练方法的流程示意图一，本申请实施例提供的特征提取模型的训练方法包括：
步骤101：服务器通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各历史版本对应的多个样本特征。
在本申请实施例中，服务器通过对目标特征提取模型进行训练，得到训练完成的特征提取模型，该训练完成的特征提取模型能够用于执行特征提取任务，比如视频特征提取任务、文本特征提取任务、图像特征提取任务、音频特征提取任务等。
在实际应用中，当服务器需要对目标特征提取模型进行训练时，比如服务器接收到终端发送的针对目标特征提取模型的训练请求，服务器响应于该训练亲请求，获取用于训练目标特征提取模型的多个训练样本，该训练样本携带有样本标签。其中，多个用于表示两个及两个以上。
在本申请实施例中，当对目标特征提取模型进行训练时，首先获取训练得到的至少一个历史版本的特征提取模型。其中，该历史版本的特征提取模型为在历史训练阶段，对初始的特征提取模型进行训练得到的。不同历史版本对应的特征提取模型是不同的，比如不同历史版本的特征提取模型之间的模型参数可以不同、不同历史版本的特征提取模型之间的模型结构也可以是不同的。在获取到训练得到的至少一个历史版本的特征提取模型后，通过训练得到的至少一个历史版本的特征提取模型，分别对多个训练样本进行特征提取(即通过历史版本的特征提取模型对训练样本进行预测)，得到各历史版本对应的样本特征(即各历史版本的特征提取模型对应的预测结果)。
例如，多个历史版本包括版本1和版本2，多个训练样本包括样本1、样本2和样本3。通过历史版本的特征提取模型分别对多个训练样本进行特征提取，即通过版本1的特征提取模型，分别对样本1、样本2和样本3进行特征提取，得到版本1对应的多个样本特征(包括：样本1对应的特征11、样本2对应的特征12、以及样本3对应的特征13)；通过版本2的特征提取模型，分别对样本1、样本2和样本3进行特征提取，得到版本2对应的多个样本特征(包括：样本1对应的特征21、样本2对应的特征22、以及样本3对应的特征23)。
步骤102：基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度。
在实际应用中，当服务器得到各历史版本对应的多个样本特征之后，基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度。
在一些实施例中，服务器可通过如下方式基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度：确定各历史版本对应的任意两个样本特征间的特征相似度；基于各历史版本对应的任意两个样本特征间的特征相似度，确定任意两个样本特征所对应训练样本间的样本相似度，以确定任意两个训练样本间的样本相似度。
由于样本特征是通过历史版本的特征提取模型对相应训练样本进行特征提取得到的，在实际应用中，可通过多个样本特征中任意两个样本特征间的特征相似度，确定该任意两个样本特征对应的训练样本间的样本相似度。具体地，首先，针对每个历史版本，服务器可确定该历史版本对应的多个样本特征中任务两个样本特征间的特征相似度，以得到每个历史版本对应的多个样本特征中任务两个样本特征间的特征相似度。然后，服务器基于每个历史版本对应的多个样本特征中任意两个样本特征间的特征相似度，确定该任意两个样本特征所对应训练样本间的样本相似度，从而得到多个训练样本中任意两个训练样本间的样本相似度。
在一些实施例中，当历史版本的数量为一个时，服务器可将该历史版本对应的多个样本特征中任意两个样本特征间的特征相似度，确定为该任意两个样本特征所对应训练样本间的样本相似度。例如，历史版本1对应的多个样本特征中任意两个样本特征为特征A和特征B，那么可以将该特征A和特征B之间的特征相似度，确定为特征A对应的训练样本1、以及特征B对应的训练样本2之间的样本相似度。
在一些实施例中，当历史版本的数量为至少两个时，基于各历史版本对应的任意两个样本特征间的特征相似度，服务器可通过如下方式确定任意两个样本特征所对应训练样本间的样本相似度：获取各历史版本对应的权重值；基于各历史版本对应的权重值，对各历史版本对应的任意两个样本特征间的特征相似度进行加权平均处理，得到任意两个样本特征所对应训练样本间的样本相似度。在实际实施时，各历史版本对应的权重值，可以是基于相应历史版本的特征提取模型的模型评估指标(如模型的准确率、召回率、上线后实际使用效果参数等)的指标值所确定的。
在实际实施时，上述在确定多个样本特征中任意两个样本特征间的特征相似度时，可以确定任意两个样本特征间的余弦相似度，比如通过余弦相似度函数进行计算得到。
例如，通过历史版本1的特征提取模型，分别对训练样本1和训练样本2进行特征提取，得到历史版本1对应的多个样本特征，包括：训练样本1对应的样本特征A1、以及训练样本2对应的样本特征B1；通过历史版本2的特征提取模型，分别对训练样本1和训练样本2进行特征提取，得到历史版本2对应的多个样本特征，包括：训练样本1对应的样本特征A2、以及训练样本2对应的样本特征B2。其中，历史版本1对应的样本特征A1和样本特征B1间的特征相似度为D1，历史版本2对应的样本特征A2和样本特征B2间的特征相似度为D2，历史版本1对应的权重值为x，历史版本2对应的权重值为y，那么基于各历史版本对应的权重值，对各历史版本对应的任意两个样本特征间的特征相似度进行加权平均处理，得到任意两个样本特征所对应训练样本间的样本相似度可得到：(x*D1+y*D2)/(x+y)＝M，其中，M为训练样本1和训练样本2间的样本相似度。
参见图3，图3是本申请实施例提供的特征提取模型的训练方法的流程示意图二，包括：步骤201：确定各历史版本对应的任意两个样本特征间的特征相似度。步骤202：确定历史版本的数量是否大于1，若否，执行步骤203，若否，执行步骤204。步骤203：当历史版本的数量为一个时，将历史版本对应的任意两个样本特征间的特征相似度，确定为任意两个样本特征所对应训练样本间的样本相似度。步骤204：当历史版本的数量为至少两个时，获取各历史版本对应的权重值。步骤205：基于各历史版本对应的权重值，对各历史版本对应的任意两个样本特征间的特征相似度进行加权平均处理，得到任意两个样本特征所对应训练样本间的样本相似度。
在一些实施例中，服务器可通过如下方式基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度：获取各历史版本对应的特征相似度矩阵，该特征相似度矩阵中的第(i，j)个矩阵元素，为相应历史版本对应的第i个样本特征和第j个样本特征间的特征相似度；基于各历史版本对应的特征相似度矩阵，确定多个训练样本对应的样本相似度矩阵；将样本相似度矩阵中的第(i，j)个矩阵元素，作为多个训练样本中第i个训练样本和第j个训练样本间的样本相似度，以确定任意两个训练样本间的样本相似度；其中，i和j，均为大于零且不超过m的整数，m为训练样本的数量。
在实际应用中，还可以通过相似度矩阵的方式确定多个训练样本中任意两个训练样本间的样本相似度。首先，服务器获取各历史版本对应的特征相似度矩阵，其中，该特征相似度矩阵中的第(i，j)个矩阵元素，为相应历史版本对应的第i个样本特征和第j个样本特征间的特征相似度。在一些实施例中，服务器可通过如下方式获取各历史版本对应的特征相似度矩阵：针对各历史版本，分别执行如下处理：针对历史版本对应的第i个样本特征和第j个样本特征，确定第i个样本特征和第j个样本特征间的特征相似度，并将特征相似度作为特征相似度矩阵中的第(i，j)个矩阵元素，以得到历史版本对应的特征相似度矩阵。在实际实施时，第i个样本特征和第j个样本特征间的特征相似度，可以是通过余弦相似度函数计算得到的第i个样本特征和第j个样本特征间余弦相似度。
服务器在获取到各历史版本对应的特征相似度矩阵后，基于各历史版本对应的特征相似度矩阵，确定多个训练样本对应的样本相似度矩阵，从而可以将样本相似度矩阵中的第(i，j)个矩阵元素，作为多个训练样本中第i个训练样本和第j个训练样本间的样本相似度，如此，得到多个训练样本中任意两个训练样本间的样本相似度。
在一些实施例中，当历史版本的数量为一个时，服务器可以将历史版本对应的特征相似度矩阵确定为多个训练样本对应的样本相似度矩阵。
在一些实施例中，当历史版本的数量为至少两个时，服务器可通过如下方式基于各历史版本对应的特征相似度矩阵，确定多个训练样本对应的样本相似度矩阵：获取各历史版本对应的权重值；基于各历史版本对应的权重值，对至少两个特征相似度矩阵进行加权平均处理，得到多个训练样本对应的样本相似度矩阵。在实际实施时，各历史版本对应的权重值，可以是基于相应历史版本的特征提取模型的模型评估指标(如模型的准确率、召回率、上线后实际使用效果等)的指标值所确定的。
例如，历史版本1对应的权重值为a，特征相似度矩阵为S1；历史版本2对应的权重值为b，特征相似度矩阵为S2；历史版本3对应的权重值为c，特征相似度矩阵为S3；那么基于各历史版本对应的权重值，对至少两个特征相似度矩阵进行加权平均处理，得到多个训练样本对应的样本相似度矩阵S＝(a*S1+b*S2+c*S3)/(a+b+c)。
参见图4，图4是本申请实施例提供的特征提取模型的训练方法的流程示意图三，包括：步骤301：针对各历史版本，分别执行如下处理：步骤3011：针对历史版本对应的第i个样本特征和第j个样本特征，确定第i个样本特征和第j个样本特征间的特征相似度；步骤3012：将特征相似度作为特征相似度矩阵中的第(i，j)个矩阵元素，以得到历史版本对应的特征相似度矩阵。步骤302：确定历史版本的数量是否大于1，若否，执行步骤303，若否，执行步骤304。步骤303：当历史版本的数量为一个时，将历史版本对应的特征相似度矩阵确定为多个训练样本对应的样本相似度矩阵。步骤304：当历史版本的数量为至少两个时，获取各历史版本对应的权重值。步骤305：基于各历史版本对应的权重值，对至少两个特征相似度矩阵进行加权平均处理，得到多个训练样本对应的样本相似度矩阵。步骤306：将样本相似度矩阵中的第(i，j)个矩阵元素，作为多个训练样本中第i个训练样本和第j个训练样本间的样本相似度，以确定任意两个训练样本间的样本相似度。其中，i和j，均为大于零且不超过m的整数，m为训练样本的数量。
在一些实施例中，服务器可通过如下方式获取各历史版本对应的权重值：获取各历史版本的特征提取模型对应的模型评估指标的指标值；基于各历史版本的特征提取模型对应的指标值，确定相应历史版本对应的权重值。
在实际应用中，服务器可以获取各历史版本的特征提取模型对应的模型评估指标的指标值，该模型评估指标可以包括模型的准确率、召回率、上线后实际使用效果参数等，然后基于各历史版本的特征提取模型对应的指标值，确定相应历史版本对应的权重值。具体地，可以将多个模型评估指标中之一的指标值确定为历史版本对应的权重值；还可以对多个模型评估指标的指标值进行加权平均处理，将处理得到的结果作为历史版本对应的权重值。
步骤103：基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对，训练样本对包括第一训练样本及第二训练样本。
这里，服务器在确定多个训练样本中任意两个训练样本间的样本相似度后，基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对，该训练样本对包括第一训练样本及第二训练样本。其中，第一训练样本与第二训练样本满足以下关系中至少之一：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本。
在一些实施例中，服务器可通过如下方式基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对：各训练样本对分别通过执行如下处理得到：从多个训练样本中，选取一个训练样本作为第一训练样本；确定样本标签与第一训练样本的样本标签相同的训练样本为正训练样本，并确定样本标签与第一训练样本的样本标签不同的训练样本为负训练样本；从正训练样本和负训练样本中，选取目标训练样本作为第二训练样本；其中，目标训练样本为以下训练样本中至少之一：正训练样本中，与第一训练样本的样本相似度最小的正训练样本；负训练样本中，与第一训练样本的样本相似度最大的负训练样本。
这里，训练样本对的数量可以为一个，也可以为多个。服务器可通过如下方式从多个训练样本中选取每个训练样本对：首先，从多个训练样本中，随机选取一个训练样本作为第一训练样本，需要说明的是，每次随机选择的训练样本不同于已确定的训练样本对中的第一训练样本及第二训练样本；然后，基于各训练样本的样本标签，确定样本标签与第一训练样本的样本标签相同的训练样本为正训练样本，以及确定样本标签与第一训练样本的样本标签不同的训练样本为负训练样本；最后，从正训练样本和负训练样本中，选取目标训练样本作为第二训练样本，需要说明的是，目标训练样本为以下训练样本中至少之一：在正训练样本中，与第一训练样本的样本相似度最小的正训练样本；在负训练样本中，与第一训练样本的样本相似度最大的负训练样本。如此，第二训练样本为与第一训练样本的样本相似度最小的正训练样本、与第一训练样本的样本相似度最大的负训练样本中至少之一，能够增加模型训练难度，从而能够使训练得到的模型的预测能力更精确。
参见图5，图5是本申请实施例提供的每个训练样本对的选取流程示意图，包括：步骤401：从多个训练样本中，选取一个训练样本作为训练样本对中的第一训练样本；步骤402：确定样本标签与第一训练样本的样本标签相同的训练样本为正训练样本；步骤403：确定样本标签与第一训练样本的样本标签不同的训练样本为负训练样本；步骤404：从正训练样本中，选取与第一训练样本的样本相似度最小的正训练样本作为训练样本对中的第二训练样本；步骤405：从负训练样本中，选取与第一训练样本的样本相似度最大的负训练样本也作为训练样本对中的第二训练样本。如此，得到由第一训练样本、正训练样本中与第一训练样本的样本相似度最小的正训练样本、负训练样本中与第一训练样本的样本相似度最大的负训练样本共同组成的训练样本对。
步骤104：基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
在实际应用中，当服务器选取到至少一个训练样本对后，基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。在一些实施例中，该目标特征提取模型，可以是至少一个历史版本的特征提取模型中对应最新历史版本的特征提取模型，例如，服务器可从至少一个历史版本的特征提取模型中，确定对应最新历史版本的特征提取模型，并将对应最新历史版本的特征提取模型，确定为目标特征提取模型。在另一些实施例中，该目标特征提取模型，也可以是基于神经网络(比如卷积神经网络、深度神经网络等)新构建的、且不同于历史版本的特征提取模型。
需要说明的是，对目标特征提取模型进行训练后所得到的训练完成的特征提取模型，其可以作为最新版本的特征提取模型以用于特征提取处理，该最新版本的特征提取模型，不同于上述至少一个历史版本的特征提取模型。
在一些实施例中，服务器可通过如下方式基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型：通过目标特征提取模型，对至少一个训练样本对中各训练样本进行特征提取，得到相应的预测样本特征；获取各预测样本特征与相应训练样本的样本标签之间的差异；基于差异，更新目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
在实际应用中，服务器在基于选取的至少一个训练样本对，对目标特征提取模型进行训练时，首先，通过目标特征提取模型，对至少一个训练样本对中各训练样本进行特征提取，得到相应的预测样本特征；然后，获取各预测样本特征与相应训练样本的样本标签之间的差异，进而基于差异，更新目标特征提取模型的模型参数，以得到训练完成的特征提取模型。具体地，服务器可通过如下方式基于差异，更新目标特征提取模型的模型参数：基于差异，确定目标特征提取模型的损失函数的值；当损失函数的值超出损失阈值时，基于损失函数的值确定目标特征提取模型的误差信号；将误差信号在目标特征提取模型中反向传播，并在传播的过程中更新目标特征提取模型的模型参数。
在一些实施例中，第二训练样本包括：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的正训练样本；以及样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的负训练样本；相应的，服务器可通过如下方式基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型：通过目标特征提取模型，提取第一训练样本对应的第一预测样本特征、正训练样本对应的第二预测样本特征、以及负训练样本对应的第三预测样本特征；确定第一预测样本特征和第二预测样本特征间的第一特征相似度，并确定第一预测样本特征和第三预测样本特征间的第二特征相似度；获取相似度间隔参数，并基于第一特征相似度、第二特征相似度、以及相似度间隔参数，构建目标特征提取模型的损失函数；基于损失函数更新目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
这里，第二训练样本包括：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的正训练样本；以及样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的负训练样本。服务器在基于选取的至少一个训练样本对，对目标特征提取模型进行训练时，首先，通过目标特征提取模型对第一训练样本进行特征提取，得到第一预测样本特征，通过目标特征提取模型对正训练样本进行特征提取，得到第二预测样本特征，并通过目标特征提取模型对负训练样本进行特征提取，得到第三预测样本特征；
然后，确定第一预测样本特征和第二预测样本特征间的第一特征相似度，并确定第一预测样本特征和第三预测样本特征间的第二特征相似度。再，获取相似度间隔参数，从而基于第一特征相似度、第二特征相似度、以及相似度间隔参数，构建目标特征提取模型的损失函数；最后，基于损失函数更新目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
在实际应用中，所构建的目标特征提取模型的损失函数可以通过如下公式进行描述：
Figure BDA0003532206810000191
其中，
Figure BDA0003532206810000192
为损失函数的值，
Figure BDA0003532206810000193
为目标特征提取模型K所提取的第一训练样本对应的第一预测样本特征，
Figure BDA0003532206810000194
为目标特征提取模型K所提取的正训练样本对应的第二预测样本特征，
Figure BDA0003532206810000201
为目标特征提取模型K所提取的负训练样本对应的第三预测样本特征，
Figure BDA0003532206810000202
为第一特征相似度，
Figure BDA0003532206810000203
为第二特征相似度，γ为相似度间隔参数，max()为取最大值函数。
参见图6，图6是本申请实施例提供的特征提取模型的训练方法的流程示意图四，包括：步骤501：通过目标特征提取模型，提取第一训练样本对应的第一预测样本特征、正训练样本对应的第二预测样本特征、以及负训练样本对应的第三预测样本特征；步骤502：确定第一预测样本特征和第二预测样本特征间的第一特征相似度，并确定第一预测样本特征和第三预测样本特征间的第二特征相似度；步骤503：获取相似度间隔参数；步骤504：基于第一特征相似度、第二特征相似度、以及相似度间隔参数，构建目标特征提取模型的损失函数；步骤505：基于损失函数更新目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
在一些实施例中，该训练完成的特征提取模型可以应用于媒体信息推荐场景：响应于针对推荐媒体信息的获取请求，基于训练完成的特征提取模型，分别提取多个待推荐媒体信息的第一媒体信息特征、以及历史推荐媒体信息的第二媒体信息特征；确定各第一媒体信息特征与第二媒体信息特征间的特征相似度；基于确定的特征相似度，从多个待推荐媒体信息中，筛选得到与获取请求相匹配的目标推荐媒体信息，并返回目标推荐媒体信息。
在实际应用中，该推荐媒体信息包括文本信息(比如新闻)、图片信息、视频信息以及音频信息(比如音乐、有声书等)。终端可以向服务器发送针对推荐媒体信息的获取请求，服务器接收到并响应于该针对推荐媒体信息的获取请求，获取多个待推荐媒体信息，以及该获取请求所对应用户的历史推荐媒体信息。然后基于训练完成的特征提取模型，分别提取多个待推荐媒体信息的第一媒体信息特征、以及历史推荐媒体信息的第二媒体信息特征，从而确定各第一媒体信息特征与第二媒体信息特征间的特征相似度，以基于确定的特征相似度，从多个待推荐媒体信息中，筛选得到与获取请求相匹配的目标推荐媒体信息，并返回目标推荐媒体信息至终端。
在实际实施时，针对不同的推荐场景所选取的目标推荐媒体信息可以是不同的，比如为了避免重复推荐，可以选择与第二媒体信息特征间的特征相似度低于第一相似度阈值的待推荐媒体信息作为目标推荐媒体信息；再比如，为了使推荐的媒体信息更符合用户的需求，可以选择与第二媒体信息特征间的特征相似度高于第二相似度阈值的待推荐媒体信息作为目标推荐媒体信息。其中，第一相似度阈值和第二相似度阈值没有特定关联，可以为预先设置的，可以相同也可以不同。
应用本申请上述实施例，首先，通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各历史版本对应的多个样本特征；然后，基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度；再基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对；从而基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
其中，该训练样本对包括第一训练样本及第二训练样本，且第一训练样本与第二训练样本满足以下关系中至少之一：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本。如此，1)使得训练过程中能够对同一样本标签下样本相似度较小的两个训练样本、以及不同样本标签下相似度较大的两个训练样本进行有效地区分，提高训练得到的特征提取模型的特征提取精度；2)通过筛选训练样本对的方式降低了每次迭代所需的时长，提高了特征提取模型的训练效率；3)当历史版本的数量为多个时，还能够利用各种不同结构的历史版本的特征提取模型的优势来辅助目标特征提取模型的训练，进一步提高训练得到的特征提取模型的特征提取精度。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。以特征提取模型为视频特征提取模型为例，继续对本申请实施例提供的特征提取模型的训练方法进行说明。首先对本申请实施例涉及的名词进行解释，包括：
1)视频特征，即视频Embedding，每个视频语义内容的向量化特征描述，也称为视频嵌入，两个视频Embedding之间的距离度量了两个视频之间的语义相似性，两个视频越相似，它们之间的Embedding距离越小。2)困难样本：预测所得到的预测结果与真实样本标签误差较大的训练样本。
在一些实施例中，1)可以通过迁移学习的方式实现利用历史版本模型训练当前版本模型的目的，但是基于迁移学习的方法无法充分利用不同的模型结构。2)可以通过终身学习的方式实现利用历史版本模型训练当前版本模型的目的，但是基于终身学习的方法自始至终使用一个模型，也无法充分利用不同的模型结构。3)可以通过集成学习的方式实现利用历史版本模型训练当前版本模型的目的，但是基于集成学习的方法的局限在于在预测阶段需要得到各个基模型的预测结果，之后才能进行集成输出，这导致需要比较大的时间开销以及空间存储各个模型参数。
在一些实施例中，困难样本的挖掘包括：1)在线困难样本挖掘，将具有高损失函数值的检测框确定为困难样本，但是局限在于模型的结构通常是固定不变的，无法充分利用不同的模型结构。2)通过设计不同的损失函数，以使得模型在训练时专注于困难样本，但是局限在于模型的结构通常是固定不变的，无法充分利用不同的模型结构。
基于此，本申请实施例还提供一种特征提取模型的训练方法，能够基于多个不同结构的历史版本模型进行困难样本挖掘的度量学习方法，用于更好地学习视频特征。具体地，首先使用各个历史版本模型提取数据集(即多个训练样本)的视频特征，并确定各历史版本对应的视频特征的特征相似度矩阵(特征相似度矩阵中的第(i，j)个矩阵元素，为相应历史版本对应的第i个样本特征和第j个样本特征间的特征相似度)；之后根据各个历史版本的模型评估指标对各历史版本对应的特征相似度矩阵进行加权平均，得到样本相似度矩阵(样本相似度矩阵中的第(i，j)个矩阵元素，为多个训练样本中第i个样本特征和第j个样本特征间的样本相似度)；最后根据样本相似度矩阵，结合训练样本的样本标签，进行困难样本(即上述训练样本对)的采样，从而基于困难样本对特征提取模型进行度量学习。
接下来对本申请实施例提供的特征提取模型的训练方法进行详细说明。参见图7，图7是本申请实施例提供的特征提取模型的训练系统的结构示意图。这里，本申请实施例提供的特征提取模型的训练系统分为训练和预测两个阶段。其中，训练阶段需要利用到历史版本模型和当前版本模型(即上述目标特征提取模型)，而预测阶段只需要利用到训练完成的当前版本模型。具体地，训练阶段基于历史版本模型对多个训练样本进行特征提取，得到各历史版本对应的视频特征，并计算各历史版本对应的视频特征的特征相似度矩阵，之后根据各个历史版本的模型评估指标对各历史版本对应的特征相似度矩阵进行加权平均，得到样本相似度矩阵，并根据样本相似度矩阵进行困难样本采样，最后基于困难样本进行度量学习。
第一，训练阶段包括：(1)历史版本模型特征提取模块。令{v1,v2,...,vm}表示数据集(即多个训练样本)，由m个训练样本(视频样本)组成，其中，vi表示数据集中的第i个(i为大于0且不超过m的整数)视频样本。在本申请实施例中，历史版本的特征提取模型为(K-1)个(K为大于0的整数)，分别用f1、f2···f(K-1)表示。
历史版本模型特征提取模块，通过(K-1)个历史版本模型，分别提取多个训练样本的视频特征，即对于第k个(k为大于0且不超过(K-1)的整数)历史版本模型，提取视频样本vi的视频特征为xi＝fk(vi)。如此，对于第k个历史版本模型，提取得到的视频特征为
Figure BDA0003532206810000231
(2)相似度矩阵计算模块。在使用(K-1)个历史版本模型分别提取多个训练样本的视频特征后，计算任意两个视频特征之间的相似度矩阵。定义第k个历史版本模型对应的多个视频特征的特征相似度矩阵为
Figure BDA0003532206810000232
特征相似度矩阵中的矩阵元素(i,j)为
Figure BDA0003532206810000233
其中，j为大于0且不超过m的整数)，d为相似度度量函数。例如，该相似度度量函数可以使用余弦相似度度量函数，如下所示：
Figure BDA0003532206810000241
其中，
Figure BDA0003532206810000242
为第k个历史版本模型对应的视频特征xi和视频特征xj之间的特征相似度，
Figure BDA0003532206810000243
为第k个历史版本模型对应的视频特征xi，
Figure BDA0003532206810000244
为第k个历史版本模型对应的视频特征xj。
如此，通过上述方式可以得到(K-1)个历史版本模型的特征相似度矩阵S(1)、S(2)···S(K-1)。而对于每个历史版本模型，均有相应的模型评估指标，因此可以获得(K-1)个历史版本模型的模型评估指标的指标值a(1)、a(2)···a(K-1)，其中，第k个历史版本模型的模型评估指标的指标值为
Figure BDA0003532206810000245
从而，基于(K-1)个历史版本模型的特征相似度矩阵和对应的指标值，可以对(K-1)个历史版本模型的特征相似度矩阵进行加权平均，得到加权平均后的相似度矩阵，作为样本相似度矩阵，该样本相似度矩阵仍为一个m×m矩阵。具体地，可以通过如下公式计算得到：
Figure BDA0003532206810000246
其中，S为样本相似度矩阵，Sk为第k个历史版本模型的特征相似度矩阵。
(3)困难样本采样模块。在样本相似度矩阵S之后，结合数据集{v1,v2,...,vm}和数据集的样本标记(Label){y1,y2,...,ym}，其中
Figure BDA0003532206810000247
对于两个视频vi和vj，如果对应的标记yi＝yj，那么这两个视频属于同一类；否则属于不同类。
在进行困难样本采样时，随机选择一个训练样本作为锚定样本(即上述第一训练样本)，记为va，其对应的样本标签为ya，然后根据其他训练样本的样本标签、以及该锚定样本的样本标签，通过如下关系公式，得到正样本集P和负样本集N：
Figure BDA0003532206810000251
再，根据相似度矩阵计算模块得到的样本相似度矩阵S，分别计算正样本集P和负样本N中每个训练样本和锚定样本间的样本相似度。具体地，即对于任意训练样本vi，该训练样本和锚定样本va的样本相似度Sai为样本相似度矩阵S中的矩阵元素(a,i)，其中，a为大于0且不超过m的整数。
最后，在正样本集P中采样和va相似度最低的一个训练样本，作为正样本vp，在负样本集N中采样和va相似度最高的一个训练样本，作为负样本vn，该锚定样本va、正样本vp和负样本vn共同构成训练样本对。如此，与在P和N中各自随机采样一个样本作为正负样本相比，本申请实施例通过寻找相似度最低的正样本和相似度最高的负样本，增加了训练难度，能够使训练得到的模型的预测能力更精确。
(4)度量学习模块。对于困难样本采样模块采样得到的锚定样本va、正样本vp和负样本vn，分别经过待训练的当前版本模型fK，提取它们的视频特征，得到
Figure BDA0003532206810000252
和
Figure BDA0003532206810000253
然后计算度量损失函数的值，该度量损失函数如下公式所示：
Figure BDA0003532206810000254
其中，γ是一个超参数，表示间隔(Margin)，度量损失函数的含义是使锚定样本的特征和正样本的特征之间的相似度，以一定间隔γ超过锚定样本的特征和负样本的特征的相似度，这使得同类样本之间的视频特征尽可能接近、不同类样本的视频特征尽可能远离，以提高特征提取模型的训练精确度。
在实际应用中，本申请实施例提供的特征提取模型的训练适用于多种积累了历史版本模型的学习任务，不局限在视频领域，在实际实施时，根据实际任务的不同，更换相应模型f和损失函数L即可。此外，在度量学习模块使用的损失函数为经典的三元损失函数，除此之外还可以使用其他的度量损失函数。
第二，预测阶段。在预测阶段不需要(K-1)历史版本模型，只需要使用训练完成的当前版本的第K个模型即可，对于待预测的视频v，通过第K个模型进行特征提取，输出视频特征x(K)＝fK(v)。
下面对本申请实施例提供的特征提取模型的应用场景进行说明。以特征提取模型为视频特征提取模型、待提取的特征为视频特征为例，视频特征的主要作用是从视频中得到一个低维、稠密、浮点的特征向量表示，这个特征向量是对整个视频内容的总结和概括，使得不同视频特征之间的距离(如欧式距离或余弦距离)反映对应视频之间的相似性。如果两个视频的语义内容接近，比如是同一类视频，或者同一部电视剧的不同集，那么它们之间的视频特征则距离近、相似度高；反之，如果两个视频不是同一类视频，那么它们之间的视频特征则距离远、相似度低。
通过视频特征提取模型提取视频特征的应用非常广泛，例如：1)通过视频特征提取模型提取得到的视频特征表示能力更强，视频特征本身就包含大量有价值的信息，可以作为重要的视频推荐系统特征；2)由于视频特征之间的距离反映了视频之间的相似度，因此可以基于视频特征进行视频检索，相比于基于文字信息(如视频标题、分类、标签等)进行视频检索，利用视频特征可以实现以视频搜视频的效果，在视频特征的基础上，还可以利用一个视频片段检索到相应的完整长视频；3)视频特征的提取还可以用于发现视频盗用、搬运等行为，也可以避免给用户推荐重复的视频内容，提升用户体验，如视频分辨率变化、修改片头片尾、添加水印、文字等，也能得到数值相近甚至相同的视频特征，这样才能更加灵活地进行内容重复检测；4)由于视频特征是对视频中语义信息的总结和概括，因此可以基于视频特征进一步完成视频标题生成、智能配乐等其他任务。
应用本申请上述实施例，利用历史版本模型的信息辅助当前版本模型的训练，充分利用各个历史版本模型的优势，提高训练得到的特征提取模型的特征提取精度；且虽然集成学习能够利用多个模型各自的优点，以达到比单一模型更优的效果，但是集成学习在预测阶段需要同时得到各个基模型的预测结果，相比之下，本申请在预测阶段只需要计算训练完成的当前版本模型的预测结果，不需要计算历史版本的预测结果，大大降低了计算时间开销以及对应的部署难度。
可以理解的是，在本申请实施例中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面说明本申请实施例提供的特征提取模型的训练装置。参见图8，图8是本申请实施例提供的特征提取模型的训练装置600的结构示意图，本申请实施例还提供一种特征提取模型的训练装置，装置包括：
特征提取模块610，用于通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各所述历史版本对应的多个样本特征；确定模块620，用于基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度；选取模块630，用于基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，所述训练样本对包括第一训练样本及第二训练样本；其中，所述第一训练样本与所述第二训练样本满足以下关系中至少之一：样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本；训练模块640，用于基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
在一些实施例中，所述确定模块620，还用于确定各所述历史版本对应的任意两个样本特征间的特征相似度；基于各所述历史版本对应的任意两个样本特征间的特征相似度，确定所述任意两个样本特征所对应训练样本间的样本相似度，以确定任意两个所述训练样本间的样本相似度。
在一些实施例中，当所述历史版本的数量为至少两个时，所述确定模块620，还用于获取各所述历史版本对应的权重值；基于各所述历史版本对应的权重值，对各所述历史版本对应的任意两个样本特征间的特征相似度进行加权平均处理，得到所述任意两个样本特征所对应训练样本间的样本相似度。
在一些实施例中，所述确定模块620，还用于获取各所述历史版本对应的特征相似度矩阵，所述特征相似度矩阵中的第(i，j)个矩阵元素，为相应历史版本对应的第i个样本特征和第j个样本特征间的特征相似度；基于各所述历史版本对应的特征相似度矩阵，确定多个所述训练样本对应的样本相似度矩阵；将所述样本相似度矩阵中的第(i，j)个矩阵元素，作为多个所述训练样本中第i个训练样本和第j个训练样本间的样本相似度，以确定任意两个所述训练样本间的样本相似度；其中，所述i和所述j，均为大于零且不超过m的整数，所述m为所述训练样本的数量。
在一些实施例中，所述确定模块620，还用于针对各所述历史版本，分别执行如下处理：针对所述历史版本对应的第i个样本特征和第j个样本特征，确定所述第i个样本特征和第j个样本特征间的特征相似度，并将所述特征相似度作为所述特征相似度矩阵中的第(i，j)个矩阵元素，以得到所述历史版本对应的特征相似度矩阵。
在一些实施例中，当所述历史版本的数量为至少两个时，所述确定模块620，还用于获取各所述历史版本对应的权重值；基于各所述历史版本对应的权重值，对至少两个所述特征相似度矩阵进行加权平均处理，得到多个所述训练样本对应的样本相似度矩阵。
在一些实施例中，所述确定模块620，还用于获取各所述历史版本的特征提取模型对应的模型评估指标的指标值；基于各所述历史版本的特征提取模型对应的指标值，确定相应历史版本对应的权重值。
在一些实施例中，所述选取模块630，还用于各所述训练样本对分别通过执行如下处理得到：从所述多个训练样本中，选取一个训练样本作为所述第一训练样本；确定样本标签与所述第一训练样本的样本标签相同的训练样本为正训练样本，并确定样本标签与所述第一训练样本的样本标签不同的训练样本为负训练样本；从所述正训练样本和所述负训练样本中，选取目标训练样本作为所述第二训练样本；其中，所述目标训练样本为以下训练样本中至少之一：所述正训练样本中，与所述第一训练样本的样本相似度最小的正训练样本；所述负训练样本中，与所述第一训练样本的样本相似度最大的负训练样本。
在一些实施例中，所述训练模块640，还用于通过所述目标特征提取模型，对所述至少一个训练样本对中各训练样本进行特征提取，得到相应的预测样本特征；获取各所述预测样本特征与相应训练样本的样本标签之间的差异；基于所述差异，更新所述目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
在一些实施例中，所述第二训练样本包括：样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的正训练样本；以及样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的负训练样本；所述训练模块640，还用于通过所述目标特征提取模型，提取所述第一训练样本对应的第一预测样本特征、所述正训练样本对应的第二预测样本特征、以及所述负训练样本对应的第三预测样本特征；确定所述第一预测样本特征和所述第二预测样本特征间的第一特征相似度，并确定所述第一预测样本特征和所述第三预测样本特征间的第二特征相似度；获取相似度间隔参数，并基于所述第一特征相似度、所述第二特征相似度、以及所述相似度间隔参数，构建所述目标特征提取模型的损失函数；基于所述损失函数更新所述目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
在一些实施例中，所述训练模块640，还用于从至少一个历史版本的特征提取模型中，确定对应最新历史版本的特征提取模型，并将对应所述最新历史版本的特征提取模型，确定为所述目标特征提取模型。
在一些实施例中，所述装置还包括：推荐模块；所述推荐模块，用于响应于针对推荐媒体信息的获取请求，基于所述训练完成的特征提取模型，分别提取多个待推荐媒体信息的第一媒体信息特征、以及历史推荐媒体信息的第二媒体信息特征；确定各所述第一媒体信息特征与所述第二媒体信息特征间的特征相似度；基于确定的特征相似度，从多个待推荐媒体信息中，筛选得到与所述获取请求相匹配的目标推荐媒体信息，并返回所述目标推荐媒体信息。
应用本申请上述实施例，首先，通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各历史版本对应的多个样本特征；然后，基于各历史版本对应的多个样本特征，确定任意两个训练样本间的样本相似度；再基于确定的样本相似度，从多个训练样本中选取至少一个训练样本对；从而基于选取的至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
其中，该训练样本对包括第一训练样本及第二训练样本，且第一训练样本与第二训练样本满足以下关系中至少之一：样本标签相同、且在多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本。如此，1)使得训练过程中能够对同一样本标签下样本相似度较小的两个训练样本、以及不同样本标签下相似度较大的两个训练样本进行有效地区分，提高训练得到的特征提取模型的特征提取精度；2)通过筛选训练样本对的方式降低了每次迭代所需的时长，提高了特征提取模型的训练效率；3)当历史版本的数量为多个时，还能够利用各种不同结构的历史版本的特征提取模型的优势来辅助目标特征提取模型的训练，进一步提高训练得到的特征提取模型的特征提取精度。
下面说明本申请实施例提供的实施特征提取模型的训练方法的电子设备。参见图9，图9是本申请实施例提供的实施特征提取模型的训练方法的电子设备500的结构示意图。该电子设备500可以是服务器或终端，以电子设备500为图1A所示的服务器为例，本申请实施例提供的实施特征提取模型的训练方法的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器550可以是可移除的，不可移除的或其组合。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。存储器550包括易失性存储器或非易失性存储器，也可包括易失性存储器和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集。在本申请实施例中，存储器550存储有可执行指令；当可执行指令被处理器510执行时，将引起处理器510执行本申请实施例提供的特征提取模型的训练方法。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序或可执行指令，该计算机程序或可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序或可执行指令，当处理器执行该计算机程序或可执行指令时，使得该电子设备执行本申请实施例提供的特征提取模型的训练方法。
本申请实施例还提供一种计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的特征提取模型的训练方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (16)

1.一种特征提取模型的训练方法，其特征在于，所述方法包括：
通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各所述历史版本对应的多个样本特征；
基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度；
基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，所述训练样本对包括第一训练样本及第二训练样本；
其中，所述第一训练样本与所述第二训练样本满足以下关系中至少之一：
样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本；
基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
2.如权利要求1所述的方法，其特征在于，所述基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度，包括：
确定各所述历史版本对应的任意两个样本特征间的特征相似度；
基于各所述历史版本对应的任意两个样本特征间的特征相似度，确定所述任意两个样本特征所对应训练样本间的样本相似度，以确定任意两个所述训练样本间的样本相似度。
3.如权利要求2所述的方法，其特征在于，当所述历史版本的数量为至少两个时，所述基于各所述历史版本对应的任意两个样本特征间的特征相似度，确定所述任意两个样本特征所对应训练样本间的样本相似度，包括：
获取各所述历史版本对应的权重值；
基于各所述历史版本对应的权重值，对各所述历史版本对应的任意两个样本特征间的特征相似度进行加权平均处理，得到所述任意两个样本特征所对应训练样本间的样本相似度。
4.如权利要求1所述的方法，其特征在于，所述基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度，包括：
获取各所述历史版本对应的特征相似度矩阵，所述特征相似度矩阵中的第(i，j)个矩阵元素，为相应历史版本对应的第i个样本特征和第j个样本特征间的特征相似度；
基于各所述历史版本对应的特征相似度矩阵，确定多个所述训练样本对应的样本相似度矩阵；
将所述样本相似度矩阵中的第(i，j)个矩阵元素，作为多个所述训练样本中第i个训练样本和第j个训练样本间的样本相似度，以确定任意两个所述训练样本间的样本相似度；
其中，所述i和所述j，均为大于零且不超过m的整数，所述m为所述训练样本的数量。
5.如权利要求4所述的方法，其特征在于，所述获取各所述历史版本对应的特征相似度矩阵，包括：
针对各所述历史版本，分别执行如下处理：
针对所述历史版本对应的第i个样本特征和第j个样本特征，确定所述第i个样本特征和第j个样本特征间的特征相似度，并
将所述特征相似度作为所述特征相似度矩阵中的第(i，j)个矩阵元素，以得到所述历史版本对应的特征相似度矩阵。
6.如权利要求4所述的方法，其特征在于，所述历史版本的数量为至少两个，所述基于各所述历史版本对应的特征相似度矩阵，确定多个所述训练样本对应的样本相似度矩阵，包括：
获取各所述历史版本对应的权重值；
基于各所述历史版本对应的权重值，对至少两个所述特征相似度矩阵进行加权平均处理，得到多个所述训练样本对应的样本相似度矩阵。
7.如权利要求3或6所述的方法，其特征在于，所述获取各所述历史版本对应的权重值，包括：
获取各所述历史版本的特征提取模型对应的模型评估指标的指标值；
基于各所述历史版本的特征提取模型对应的指标值，确定相应历史版本对应的权重值。
8.如权利要求1所述的方法，其特征在于，所述基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，包括：
各所述训练样本对分别通过执行如下处理得到：
从所述多个训练样本中，选取一个训练样本作为所述第一训练样本；
确定样本标签与所述第一训练样本的样本标签相同的训练样本为正训练样本，并确定样本标签与所述第一训练样本的样本标签不同的训练样本为负训练样本；
从所述正训练样本和所述负训练样本中，选取目标训练样本作为所述第二训练样本；
其中，所述目标训练样本为以下训练样本中至少之一：所述正训练样本中，与所述第一训练样本的样本相似度最小的正训练样本；所述负训练样本中，与所述第一训练样本的样本相似度最大的负训练样本。
9.如权利要求1所述的方法，其特征在于，所述基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型，包括：
通过所述目标特征提取模型，对所述至少一个训练样本对中各训练样本进行特征提取，得到相应的预测样本特征；
获取各所述预测样本特征与相应训练样本的样本标签之间的差异；
基于所述差异，更新所述目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
10.如权利要求1所述的方法，其特征在于，所述第二训练样本包括：样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的正训练样本；以及样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的负训练样本；
所述基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型，包括：
通过所述目标特征提取模型，提取所述第一训练样本对应的第一预测样本特征、所述正训练样本对应的第二预测样本特征、以及所述负训练样本对应的第三预测样本特征；
确定所述第一预测样本特征和所述第二预测样本特征间的第一特征相似度，并确定所述第一预测样本特征和所述第三预测样本特征间的第二特征相似度；
获取相似度间隔参数，并基于所述第一特征相似度、所述第二特征相似度、以及所述相似度间隔参数，构建所述目标特征提取模型的损失函数；
基于所述损失函数更新所述目标特征提取模型的模型参数，以得到训练完成的特征提取模型。
11.如权利要求1所述的方法，其特征在于，所述基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型之前，所述方法还包括：
从至少一个历史版本的特征提取模型中，确定对应最新历史版本的特征提取模型，并
将对应所述最新历史版本的特征提取模型，确定为所述目标特征提取模型。
12.如权利要求1所述的方法，其特征在于，所述方法还包括：
响应于针对推荐媒体信息的获取请求，基于所述训练完成的特征提取模型，分别提取多个待推荐媒体信息的第一媒体信息特征、以及历史推荐媒体信息的第二媒体信息特征；
确定各所述第一媒体信息特征与所述第二媒体信息特征间的特征相似度；
基于确定的特征相似度，从多个待推荐媒体信息中，筛选得到与所述获取请求相匹配的目标推荐媒体信息，并返回所述目标推荐媒体信息。
13.一种特征提取模型的训练装置，其特征在于，所述装置包括：
特征提取模块，用于通过训练得到的至少一个历史版本的特征提取模型，分别对多个携带样本标签的训练样本进行特征提取，得到各所述历史版本对应的多个样本特征；
确定模块，用于基于各所述历史版本对应的多个样本特征，确定任意两个所述训练样本间的样本相似度；
选取模块，用于基于确定的样本相似度，从所述多个训练样本中选取至少一个训练样本对，所述训练样本对包括第一训练样本及第二训练样本；
其中，所述第一训练样本与所述第二训练样本满足以下关系中至少之一：
样本标签相同、且在所述多个训练样本中，与第一训练样本的样本相似度最小的训练样本为第二训练样本；样本标签不同，且在所述多个训练样本中，与第一训练样本的样本相似度最大的训练样本为第二训练样本；
训练模块，用于基于选取的所述至少一个训练样本对，对目标特征提取模型进行训练，得到训练完成的特征提取模型。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的特征提取模型的训练方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时，实现权利要求1至12任一项所述的特征提取模型的训练方法。
16.一种计算机程序产品，包括计算机程序或可执行指令，其特征在于，所述计算机程序或可执行指令被处理器执行时，实现权利要求1至12任一项所述的特征提取模型的训练方法。
CN202210208643.XA 2022-03-04 2022-03-04 特征提取模型的训练方法、装置、设备、介质及程序产品 Pending CN114580533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210208643.XA CN114580533A (zh) 2022-03-04 2022-03-04 特征提取模型的训练方法、装置、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210208643.XA CN114580533A (zh) 2022-03-04 2022-03-04 特征提取模型的训练方法、装置、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN114580533A true CN114580533A (zh) 2022-06-03

Family

ID=81774272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210208643.XA Pending CN114580533A (zh) 2022-03-04 2022-03-04 特征提取模型的训练方法、装置、设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN114580533A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580249A (zh) * 2023-06-06 2023-08-11 河北中废通拍卖有限公司 基于集成学习模型的拍品分类方法、系统及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123331A (ja) * 2019-01-29 2020-08-13 株式会社リコー 意図識別方法、装置、及びコンピュータ読み取り可能な記憶媒体
CN112307351A (zh) * 2020-11-23 2021-02-02 中国科学院计算技术研究所 用户行为的模型训练、推荐方法、装置和设备
CN112541515A (zh) * 2019-09-23 2021-03-23 北京京东乾石科技有限公司 模型训练方法、驾驶数据处理方法、装置、介质和设备
CN113407772A (zh) * 2020-03-16 2021-09-17 北京达佳互联信息技术有限公司 视频推荐模型的生成方法、视频推荐方法、装置
CN113490947A (zh) * 2020-07-27 2021-10-08 深圳市大疆创新科技有限公司 检测模型训练方法、装置、检测模型使用方法及存储介质
CN113515994A (zh) * 2020-12-09 2021-10-19 腾讯科技（深圳）有限公司 视频特征提取方法、装置、设备以及存储介质
CN113553514A (zh) * 2021-09-22 2021-10-26 腾讯科技（深圳）有限公司 基于人工智能的对象推荐方法、装置及电子设备
CN113569657A (zh) * 2021-07-05 2021-10-29 浙江大华技术股份有限公司 一种行人重识别方法、装置、设备及存储介质
CN113743448A (zh) * 2021-07-15 2021-12-03 上海朋熙半导体有限公司 模型训练数据获取方法、模型训练方法和装置
CN113901327A (zh) * 2021-10-28 2022-01-07 北京达佳互联信息技术有限公司 一种目标推荐模型训练方法、推荐方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123331A (ja) * 2019-01-29 2020-08-13 株式会社リコー 意図識別方法、装置、及びコンピュータ読み取り可能な記憶媒体
CN112541515A (zh) * 2019-09-23 2021-03-23 北京京东乾石科技有限公司 模型训练方法、驾驶数据处理方法、装置、介质和设备
CN113407772A (zh) * 2020-03-16 2021-09-17 北京达佳互联信息技术有限公司 视频推荐模型的生成方法、视频推荐方法、装置
CN113490947A (zh) * 2020-07-27 2021-10-08 深圳市大疆创新科技有限公司 检测模型训练方法、装置、检测模型使用方法及存储介质
CN112307351A (zh) * 2020-11-23 2021-02-02 中国科学院计算技术研究所 用户行为的模型训练、推荐方法、装置和设备
CN113515994A (zh) * 2020-12-09 2021-10-19 腾讯科技（深圳）有限公司 视频特征提取方法、装置、设备以及存储介质
CN113569657A (zh) * 2021-07-05 2021-10-29 浙江大华技术股份有限公司 一种行人重识别方法、装置、设备及存储介质
CN113743448A (zh) * 2021-07-15 2021-12-03 上海朋熙半导体有限公司 模型训练数据获取方法、模型训练方法和装置
CN113553514A (zh) * 2021-09-22 2021-10-26 腾讯科技（深圳）有限公司 基于人工智能的对象推荐方法、装置及电子设备
CN113901327A (zh) * 2021-10-28 2022-01-07 北京达佳互联信息技术有限公司 一种目标推荐模型训练方法、推荐方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张随雨;杨成;: "一种多标签统一域嵌入的推荐模型", 哈尔滨工业大学学报, no. 05, 10 May 2020 (2020-05-10) *
杜康宁;邓云凯;王宇;李宁;: "基于多层神经网络的中分辨SAR图像时间序列建筑区域提取", 雷达学报, no. 04, 27 June 2016 (2016-06-27) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580249A (zh) * 2023-06-06 2023-08-11 河北中废通拍卖有限公司 基于集成学习模型的拍品分类方法、系统及存储介质
CN116580249B (zh) * 2023-06-06 2024-02-20 河北中废通拍卖有限公司 基于集成学习模型的拍品分类方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110825956A (zh) 一种信息流推荐方法、装置、计算机设备及存储介质
EP2973038A1 (en) Classifying resources using a deep network
CN111625715B (zh) 信息提取方法、装置、电子设备及存储介质
CN112199600A (zh) 目标对象识别方法和装置
CN112149604A (zh) 视频特征提取模型的训练方法、视频推荐方法及装置
CN112528010A (zh) 知识推荐方法、装置、计算机设备及可读存储介质
CN114580794B (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN115659008A (zh) 大数据信息反馈的信息推送系统、方法、电子设备及介质
CN114580533A (zh) 特征提取模型的训练方法、装置、设备、介质及程序产品
CN116226494B (zh) 一种用于信息搜索的爬虫系统及方法
CN112735564A (zh) 心理健康状态预测方法、设备、介质及计算机程序产品
CN116881462A (zh) 文本数据处理、文本表示、文本聚类的方法及设备
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN116956931A (zh) 语义识别模型的训练方法和装置、存储介质及电子设备
CN114625658A (zh) App稳定性测试方法、装置、设备和计算机可读存储介质
CN114443904A (zh) 视频查询方法、装置、计算机设备及计算机可读存储介质
CN113076453A (zh) 域名分类方法、设备及计算机可读存储介质
CN112818212A (zh) 语料数据采集方法、装置、计算机设备和存储介质
CN111414538A (zh) 基于人工智能的文本推荐方法、装置及电子设备
CN113569557B (zh) 信息的质量识别方法、装置、设备、存储介质及程序产品
CN116226678B (zh) 模型处理方法、装置、设备及存储介质
CN113792163B (zh) 多媒体推荐方法、装置、电子设备及存储介质
CN114707633B (zh) 特征提取方法、装置、电子设备和存储介质
CN111506510B (zh) 一种软件质量确定方法和相关装置
WO2024139703A1 (zh) 对象识别模型的更新方法、装置、电子设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination