CN116955730A - 一种特征提取模型的训练方法、内容推荐的方法及装置 - Google Patents

一种特征提取模型的训练方法、内容推荐的方法及装置 Download PDF

Info

Publication number
CN116955730A
CN116955730A CN202310145305.0A CN202310145305A CN116955730A CN 116955730 A CN116955730 A CN 116955730A CN 202310145305 A CN202310145305 A CN 202310145305A CN 116955730 A CN116955730 A CN 116955730A
Authority
CN
China
Prior art keywords
sample
sample set
samples
positive
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310145305.0A
Other languages
English (en)
Inventor
刘楚妮
司建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310145305.0A priority Critical patent/CN116955730A/zh
Publication of CN116955730A publication Critical patent/CN116955730A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请公开了一种特征提取模型的训练方法、内容推荐的方法及装置，涉及人工智能领域。本申请方法包括：获取待训练样本集合；通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量；基于每个样本的特征向量，通过分类器获取每个样本的类别概率分布；根据每个样本的类别概率分布以及每个样本所对应的至少一种标签，确定分类损失值；根据每个样本的特征向量，确定第一对比损失值；采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。本申请利能够强化模型对于不同阈值段内容相似度的区分能力，从而提升模型的特征表达能力。

Description

一种特征提取模型的训练方法、内容推荐的方法及装置
技术领域
本申请涉及计算机技术领域以及人工智能领域，尤其涉及一种特征提取模型的训练方法、内容推荐的方法及装置。
背景技术
在面向用户个性化推荐的应用软件中，基于海量的内容，往往需要对内容之间的相关性进行更加准确的刻画。例如，基于内容相关性向用户推荐感兴趣的内容。又例如，基于内容相关性打散相似度较高的内容，避免用户重复感知，保证推荐内容的多样性。
目前，对于内容相关性的刻画主要依赖于语义相似模型。在训练语义相似模型的过程中需要采用正负样本对，其中，正样本对表示两个样本之间的语义高度相关，而负样本对表示两个样本之间的语义完全无关。以此训练得到用于区分语义相关性的模型。
发明人发现目前的方案中至少存在如下问题，通常的语义相似模型着重于刻画内容相关和不相关的区分能力。然而，大部分内容在感官上会有所不同，但是在模型相似度分值上差异不大，因此，难以区分泛主题和毫不相关的内容。可见，通过模型提取出的特征在表达能力仍需改进。针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种特征提取模型的训练方法、内容推荐的方法及装置，利用对比学习的思想进行多层级的对比学习，并结合多标签分类算法让模型在具备表征内容语义的同时，强化模型对于不同阈值段内容相似度的区分能力，从而提升模型的特征表达能力。
有鉴于此，本申请一方面提供一种特征提取模型的训练方法，包括：
获取待训练样本集合，其中，待训练样本集合包括锚点样本以及N个关联样本集合，每个关联样本集合包括正样本集合以及负样本集合，且，来源于不同关联样本集合的正样本集合与锚点样本具有不同程度的相似度，N为大于或等于2的整数；
通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，其中，待训练样本集合中的每个样本对应于至少一种标签；
基于每个样本的特征向量，通过分类器获取每个样本的类别概率分布，其中，类别概率分布包括M个预测概率值，每个预测概率值对应于一种预设标签，M为大于或等于1的整数；
根据每个样本的类别概率分布以及每个样本所对应的至少一种标签，确定分类损失值；
根据每个样本的特征向量，确定第一对比损失值，其中，第一对比损失值由N个对比子损失值确定的，每个对比子损失值用于表示至少一个关联样本集合与锚点样本之间的差异程度；
采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。
本申请另一方面提供一种内容推荐的方法，包括：
获取待推荐对象的感兴趣内容；
基于感兴趣内容，通过特征提取模型获取目标特征向量，其中，特征提取模型为采用上述方面提供的训练方法得到的；
将目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，得到相似度最大的K个候选内容，其中，各个候选内容的特征向量为采用特征提取模型获取到的，K为大于或等于1的整数，
向待推荐对象使用的终端推送T个候选内容，其中，T个候选内容来源于K个候选内容，T为大于或等于1，且小于或等于K的整数。
本申请另一方面提供一种特征提取模型训练装置，包括：
获取模块，用于获取待训练样本集合，其中，待训练样本集合包括锚点样本以及N个关联样本集合，每个关联样本集合包括正样本集合以及负样本集合，且，来源于不同关联样本集合的正样本集合与锚点样本具有不同程度的相似度，N为大于或等于2的整数；
获取模块，还用于通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，其中，待训练样本集合中的每个样本对应于至少一种标签；
获取模块，还用于基于每个样本的特征向量，通过分类器获取每个样本的类别概率分布，其中，类别概率分布包括M个预测概率值，每个预测概率值对应于一种预设标签，M为大于或等于1的整数；
确定模块，用于根据每个样本的类别概率分布以及每个样本所对应的至少一种标签，确定分类损失值；
确定模块，还用于根据每个样本的特征向量，确定第一对比损失值，其中，第一对比损失值由N个对比子损失值确定的，每个对比子损失值用于表示至少一个关联样本集合与锚点样本之间的差异程度；
训练模块，用于采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，N个关联样本集合包括同义样本集合和同标签样本集合；
获取模块，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，N个关联样本集合包括同义样本集合和同分类样本集合；
获取模块，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，N个关联样本集合包括近义样本集合和同标签样本集合；
获取模块，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，N个关联样本集合包括近义样本集合和同分类样本集合；
获取模块，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除近义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，N个关联样本集合包括同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合；
获取模块，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签，第一频次阈值大于第二频次阈值；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取临近分类样本集合，其中，临近分类样本集合所包括的正样本与锚点样本具有临近的分类信息，临近分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合、同分类样本集合中的正样本集合以及临近分类样本集合的正样本集合之外剩余的至少一个预设样本。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，待训练样本集合中每个样本属于文本类型的样本；
获取模块，具体用于基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于文本特征向量。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，待训练样本集合中每个样本属于图片类型的样本；
获取模块，具体用于基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于图片特征向量。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，待训练样本集合中每个样本属于视频类型的样本；
获取模块，具体用于基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于视频特征向量。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，待训练样本集合中每个样本属于多模态类型的样本，其中，多模态类型包括文本类型以及图片类型，或，多模态类型包括文本类型以及视频类型；
获取模块，具体用于基于待训练样本集合，通过待训练特征提取模型所包括的文本特征提取模型，获取每个样本的文本特征向量；
基于待训练样本集合，通过待训练特征提取模型所包括的图片特征提取模型，获取每个样本的图片特征向量；
基于每个样本的文本特征向量以及图片特征向量，通过待训练特征提取模型所包括的特征融合模型，获取每个样本的特征向量；
或者，
获取模块，具体用于基于待训练样本集合，通过待训练特征提取模型所包括的文本特征提取模型，获取每个样本的文本特征向量；
基于待训练样本集合，通过待训练特征提取模型所包括的视频特征提取模型，获取每个样本的视频特征向量；
基于每个样本的文本特征向量以及视频特征向量，通过待训练特征提取模型所包括的特征融合模型，获取每个样本的特征向量。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，
确定模块，具体用于针对M个预设标签中的每个预设标签，根据每个样本的类别概率分布，确定针对预设标签的预测概率值；
针对M个预设标签中的每个预设标签，根据每个样本所对应的至少一种标签，确定针对预设标签的真实值；
针对M个预设标签中的每个预设标签，根据每个样本针对预设标签的预测概率值以及真实值，确定预设标签所对应的分类子损失值；
根据每个预设标签所对应的分类子损失值，确定分类损失值。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，
确定模块，具体用于根据N个关联样本集合以及锚点样本，构建N个第一正样本对集合以及N个第一负样本对集合，其中，每个第一正样本对集合来源于关联样本集合的正样本集合，每个第一负样本对集合来源于关联样本集合的正样本集合和负样本集合中的至少一项；
根据N个第一正样本对集合以及N个第一负样本对集合，确定N个对比子损失值；
根据N个对比子损失值，确定第一对比损失值。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，特征提取模型训练装置还包括构建模块；
获取模块，还用于获取至少两个锚点样本以及每个锚点样本所对应的N个关联样本集合；
构建模块，根据所述至少两个锚点样本以及所述每个锚点样本所对应的N个关联样本集合，构建第二正样本对集合以及第二负样本对集合，其中，所述第二正样本对集合中第二正样本对所对应的相似度层级高于所述第二负样本对集合中第二负样本对所对应的相似度层级；
确定模块，还用于根据所述第二正样本对集合以及所述第二负样本对集合，确定第二对比损失值；
训练模块，具体用于采用分类损失值、第一对比损失值以及第二对比损失值，对待训练特征提取模型的模型参数进行更新。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，
训练模块，具体用于对分类损失值、第一对比损失值以及第二对比损失值进行加权，得到目标损失值；
采用目标损失值对待训练特征提取模型的模型参数进行更新。
本申请另一方面提供一种内容推荐装置，包括：
获取模块，用于获取待推荐对象的感兴趣内容；
获取模块，还用于基于感兴趣内容，通过特征提取模型获取目标特征向量，其中，特征提取模型为采用上述方面提供的训练方法得到的；
匹配模块，用于将目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，得到相似度最大的K个候选内容，其中，各个候选内容的特征向量为采用特征提取模型获取到的，K为大于或等于1的整数，
推送模块，用于向待推荐对象使用的终端推送T个候选内容，其中，T个候选内容来源于K个候选内容，T为大于或等于1，且小于或等于K的整数。
在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，内容推荐装置还包括处理模块；
处理模块，用于向待推荐对象使用的终端推送T个候选内容之前，对K个候选内容进行两两组合，得到候选内容对集合，其中，候选内容对集合包括至少一个候选内容对；
处理模块，还用于计算候选内容对集合中每个候选内容对所对应的相似度；
处理模块，还用于若存在至少一个候选内容对所对应的相似度大于或等于目标相似度阈值，则对至少一个候选内容对中的候选内容对进行删除，得到T个候选内容。
本申请另一方面提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各方面的方法。
本申请的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方面的方法。
本申请的另一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种特征提取模型的训练方法，首先，获取待训练样本集合，该待训练样本集合包括锚点样本以及具有不同相似程度的N个关联样本集合。然后，通过待训练特征提取模型提取待训练样本集合中每个样本的特征向量。于是，一方面，通过分类器提取每个样本的类别概率分布，结合每个样本的类别概率分布和标签计算得到分类损失值。另一方面，结合每个样本的特征向量计算得到第一对比损失值。最后，采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。通过上述方式，定义多个不同相似度层级的关联样本集合用于模型训练。基于此，利用对比学习的思想进行多层级的对比学习，并且结合多标签分类算法让模型在具备表征内容语义的同时，强化模型对于不同阈值段内容相似度的区分能力，从而提升模型的特征表达能力。
附图说明
图1为本申请实施例中特征提取模型训练方法的一个实施环境示意图；
图2为本申请实施例中内容推荐方法的一个实施环境示意图；
图3为本申请实施例中特征提取模型训练方法的一个流程示意图；
图4为本申请实施例中特征提取模型的一个结构示意图；
图5为本申请实施例中特征提取模型的另一个结构示意图；
图6为本申请实施例中特征提取模型的另一个结构示意图；
图7为本申请实施例中特征提取模型的另一个结构示意图；
图8为本申请实施例中特征提取模型的另一个结构示意图；
图9为本申请实施例中文本特征提取模型的一个结构示意图；
图10为本申请实施例中图片特征提取模型的一个结构示意图；
图11为本申请实施例中视频特征提取模型的一个结构示意图；
图12为本申请实施例中内容推荐方法的一个流程示意图；
图13为本申请实施例中特征提取模型训练装置的一个示意图；
图14为本申请实施例中内容推荐装置的一个示意图；
图15为本申请实施例中计算机设备的一个结构示意图。
具体实施方式
本申请实施例提供了一种特征提取模型的训练方法、内容推荐的方法及装置，利用对比学习的思想进行多层级的对比学习，并结合多标签分类算法让模型在具备表征内容语义的同时，强化模型对于不同阈值段内容相似度的区分能力，从而提升模型的特征表达能力。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应”于以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
通常的语义相似模型着重于刻画内容相关和不相关的区分能力，但是难以刻画泛主题相关和毫不相关之间的相关程度。这是因为，泛主题相关即具有一定的共同点，并非毫不相关。但是这个共同点可能是潜在的，不容易定义，导致模型可能无法学习到这个潜在的共同点。在实际情况下，大部分内容在感官上会有所不同，但是在模型相似度分值上差异不大。这是由于大部分模型是基于同义数据或者高度相关数据进行训练的，对于中低相关度的数据和完全无关的数据没有训练样本，因此，模型相似度分值和实际内容相似度在中低阈值段不呈现线性关系。
本申请实施例中，提供了一种特征提取模型的训练方法，能够在已有的有监督信号基础上，分别定义多个相似度等级的数据集用于训练，强化模型在高中低全阈值段内容相似度的区分能力。本申请在应用时包括如下场景中的至少一种。
(1)内容召回；
通过特征提取模型提取内容库中各个候选内容的特征向量，并存储这些候选内容的特征向量。当用户触发推荐请求时，可通过特征提取模型学习用户感兴趣内容的目标特征向量。然后将目标特征向量与各个候选内容的特征向量进行内积计算，从而得到每个候选内容与用户感兴趣内容之间的相似度。基于此，可从内容库中召回用户可能感兴趣的一个或多个候选内容。
(2)内容推荐排序；
在召回用户可能感兴趣的多个候选内容之后，还可以根据候选内容与用户感兴趣内容之间的相似度，按照相似度从高到低的顺序对这些候选内容进行排序。基于此，可优先向用户推送相似度排序靠前的候选内容。
(3)内容打散；
在召回用户可能感兴趣的多个候选内容之后，还可以根据候选内容与用户感兴趣内容之间的相似度，对相似度较高内容进行打散。基于此，能够在一定程度上避免给用户推荐的重复性过高的内容，
需要说明的是，上述应用场景仅为示例，本实施例提供的知识特征提取模型训练方法还可以应用于其他场景中，此处不做限定。
可以理解的是，本申请提供的方案涉及基于人工智能(artificialintelligence，AI)领域的机器学习(machine learning，ML)技术。其中，AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，AI是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。AI也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。AI基础技术一般包括如传感器、专用AI芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。AI软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及ML/深度学习等几大方向。
ML是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。ML是AI的核心，是使计算机具有智能的根本途径，其应用遍及AI的各个领域。ML和深度学习通常包括人工神经网络网络、置信网络网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请提供的特征提取模型训练方法可应用于图1所示的实施环境，该实施环境包括服务器110。本申请涉及的服务器110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，CDN)、以及大数据和AI平台等基础云计算服务的云服务器。
结合上述实施环境，服务器110向数据库发送样本提取请求，以此请求获取数据库提供的开源数据集。于是，数据库向服务器110反馈待训练样本集合。服务器110将待训练样本集合中的各个样本作为特征提取模型120的输入，通过特征提取模型120获取每个样本的特征向量。于是，一方面，通过分类器提取每个样本的类别概率分布，结合每个样本的类别概率分布和标签计算得到分类损失值。另一方面，结合每个样本的特征向量计算得到第一对比损失值。最后，采用分类损失值以及第一对比损失值，对待训练特征提取模型120的模型参数进行更新。
本申请提供的内容推荐方法可应用于图2所示的实施环境，该实施环境包括服务器110和终端130，且，终端130和服务器110之间可以通过通信网络140进行通信。其中，通信网络130使用标准通信技术和/或协议，通常为因特网，但也可以是任何网络，包括但不限于蓝牙、局域网(local area network，LAN)、城域网(metropolitan area network，MAN)、广域网(wide area network，WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，可使用定制或专用数据通信技术取代或者补充上述数据通信技术。
本申请涉及的终端130包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。其中，客户端部署于终端130上，客户端可以通过浏览器的形式运行于终端130上，也可以通过独立的APP的形式运行于终端130上等。需要说明的是，本申请以特征提取模型120的配置部署于服务器110为例进行说明，在一些实施例中，特征提取模型120的配置也可以部署于终端130。在一些实施例中，特征提取模型120的部分配置部署于终端130，部分配置部署于服务器110。
结合上述实施环境，终端130向服务器110发送内容推荐请求，其中，内容推荐请求携带用户标识。基于此，服务器110根据用户标识获取该用户感兴趣内容，然后调用特征提取模型120提取感兴趣内容的目标特征向量。于是，服务器110将目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配。由此，服务器110通过通信网络140向终端130推送相似度较高的候选内容。
鉴于本申请涉及到一些与专业领域相关的术语，为了便于理解，下面将进行解释。
(1)光学字符识别(optical character recognition，OCR)：本申请中代指识别出来的视频帧或图片中存在的文本。
(2)自动语音识别(automatic speech recognition，ASR)：本申请代指视频或音频中语音转换后的文本。
(3)随机失活(dropout)：属于一种正则化技术，用于神经网络训练，通过随机丢弃部分神经元的方式防止模型过拟合。
(4)基于变形器(transformer-based)，属于一种基于注意力机制实现的模型模型结构。其中，基于transformers的双向编码器表示(bidirectional encoderrepresentations from transformers，BERT)也是一种基于transformer的方法。
(5)BERT：属于一种自然语言预训练模型。
(6)基于卷积神经模型(convolutional neural networks based，CNN-based)：属于一种基于卷积神经模型(convolutional neural networks base，CNN)的方法。
(7)移位窗口变形器(shifted windows transformers，Swin transformers)：属于一种transformer-based的视觉处理算法。
(8)Faiss：属于一款稠密向量检索工具。
(9)二元交叉熵(binary cross entropy，BCE)损失函数：属于一种损失函数，用于计算预测值和真实值之间的二值交叉熵。
(10)信息噪声对比估计(info noise contrastive estimation，InfoNCE)损失函数：属于一种对比学习损失函数，用于识别不相关的噪声样本中的正样本。在本申请中，使用InfoNCE进行横向对比，对同一个锚点样本对比不同正负样本之间的距离。
(11)对比(contrastive)损失函数：在本申请中，使用contrastive损失函数衡量不同锚点样本在不同相似度层级之间的距离远近关系。
(12)不确定性(uncertainty)损失函数：用于平衡多任务学习之间的损失值权重。
结合上述介绍，下面将对本申请中特征提取模型的训练方法进行介绍，请参阅图3，本申请实施例中特征提取模型的训练方法可以由服务器独立完成，也可以由终端独立完成，还可以由终端与服务器配合完成，本申请提供的特征提取模型训练方法包括：
210、获取待训练样本集合，其中，待训练样本集合包括锚点样本以及N个关联样本集合，每个关联样本集合包括正样本集合以及负样本集合，且，来源于不同关联样本集合的正样本集合与锚点样本具有不同程度的相似度，N为大于或等于2的整数；
在一个或多个实施例中，首先，获取一个锚点样本(anchor)，然后，基于该锚点样本构建至少两个关联样本集合。其中，每个关联样本集合包括正样本集合以及负样本集合，且，不同关联样本集合所包括的正样本集合与锚点样本具有不同程度的相似度。示例性地，假设N等于2，那么一个关联样本集合中所有的正样本与锚点样本的相似度高于另一个关联样本集合中所有的正样本与锚点样本的相似度。
需要说明的是，在实际训练中，待训练样本集合中还可以获取更多的锚点样本，以及基于每个锚点样本生成对应的N个关联样本集合。
220、通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，其中，待训练样本集合中的每个样本对应于至少一种标签；
在一个或多个实施例中，待训练样本集合包括锚点样本以及各个关联样本集合所包括的正样本集合和负样本集合，其中，正样本集合包括至少一个正样本，负样本集合包括至少一个负样本。基于此，可以将待训练样本集合中的锚点样本、所有正样本和所有负样本统称为“样本”。待训练样本集合中的每个样本具有至少一种标签，即，有些样本可能只有一个标签，有些样本可能存在多个标签。
具体地，将待训练样本集合中的各个样本分别作为待训练特征提取模型的输入，通过待训练特征提取模型输出每个样本的特征向量。
230、基于每个样本的特征向量，通过分类器获取每个样本的类别概率分布，其中，类别概率分布包括M个预测概率值，每个预测概率值对应于一种预设标签，M为大于或等于1的整数；
在一个或多个实施例中，将每个样本的特征向量作为分类器的输入，通过分类器输出每个样本的类别概率分布。其中，分类器可以为全连接头(fully connected head，FC-head)，FC-head包括若干个全连接(fully connected，FC)层，例如，FC-head包括两个FC层。
具体地，将每个样本的特征向量分别作为分类器的输入，通过分类器输出每个样本的类别概率分布。其中，每个类别概率分布包括M个预测概率值，且，每个预测概率值对应于一种预设标签。为了便于说明，以M为3作为示例进行介绍，需要说明的是，在实际应用中，M可以取1000或者其他数值，此处不做限定。假设某个样本的类别概率分布为(0.2,0.7,0.9)，其中，预测概率值为0.2表示属于预设标签A(例如，预设标签A为“篮球”)的概率为0.2。预测概率值为0.7表示属于预设标签B(例如，预设标签B为“足球”)的概率为0.7。预测概率值为0.9表示属于预设标签C(例如，预设标签C为“乒乓球”)的概率为0.9。
240、根据每个样本的类别概率分布以及每个样本所对应的至少一种标签，确定分类损失值；
在一个或多个实施例中，根据每个样本的类别概率分布确定每个预设标签的预测值，其中，每个预设标签的预测值即为预测概率值。与此同时，根据每个样本所对应的至少一种标签确定每个预设标签的真实值。基于此，可采用BCE损失函数计算分类损失值。
250、根据每个样本的特征向量，确定第一对比损失值，其中，第一对比损失值由N个对比子损失值确定的，每个对比子损失值用于表示至少一个关联样本集合与锚点样本之间的差异程度；
在一个或多个实施例中，在得到每个样本的特征向量之后，根据同一个关联样本集合中各个正样本的特征向量、各个负样本的特征向量以及锚点样本的特征向量，采用对比损失函数计算得到对比子损失值。针对N个关联样本集合，可得到N个对比子损失值，可见，每个对比子损失值用于表示至少一个关联样本集合与锚点样本之间的差异程度。基于此，根据N个对比子损失值计算得到第一对比损失值。
260、采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。
在一个或多个实施例中，在得到分类损失值以及第一对比损失值之后，可采用如下不确定性损失函数计算目标损失值：
L＝αLe+βLq；公式(1)
其中，L表示目标损失值。α表示第一权重值。β表示第二权重值。Le表示分类损失值。Lq表示第一对比损失值。
基于此，可采用随机梯度下降法(stochastic gradient descent，SGD)，将上一步计算得到目标损失值进行梯度后向计算并得到全部模型参数的更新值，以此更新待训练特征提取模型以及分类器。直至满足训练停止条件，得到特征提取模型。
需要说明的是，在一种情况下，可采用耗尽型准则作为判定是否满足训练停止条件的依据，例如，设定迭代次数阈值，当迭代次数达到迭代次数阈值时，即表示已满足训练停止条件。在另一种情况下，可采用观察型准则作为判定是否满足训练停止条件的依据，例如，当损失值已经收敛时，即表示已满足训练停止条件。
本申请实施例中，提供了一种特征提取模型的训练方法。通过上述方式，定义多个不同相似度层级的关联样本集合用于模型训练。基于此，利用对比学习的思想进行多层级的对比学习，并且结合多标签分类算法让模型在具备表征内容语义的同时，强化模型对于不同阈值段内容相似度的区分能力，从而提升模型的特征表达能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，N个关联样本集合包括同义样本集合和同标签样本集合；
获取待训练样本集合，具体可以包括：
从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
在一个或多个实施例中，介绍了一种构建N个关联样本集合的方式。由前述实施例可知，可从开源数据库获取一部分开源数据集作为一个批次的训练数据，其中，开源数据集中通常包含多个预设样本所对应的预训练信息(即，预训练向量、标签和分类信息和预训练信息)，因此，基于预训练信息，可仿照用户的感官来划分不同粒度的相似度。预训练信息是对内容语义的一种高度概括，一定程度可以代表内容真实想要表达的意思。在多标签的情况下，一个标签代表内容某一方面的语义点，当两个样本有多个标签重叠时，代表这两个样本具有较多的共同点，即，相似度越高。
具体地，本申请定义了一系列相似度粒度的标准，以此生成不同相似程度的关联样本集合。示例性地，N个关联样本集合包括同义样本集合和同标签样本集合，其中，同义样本集合中的正样本集合与锚点样本的相似度高于同标签样本集合中的正样本集合与锚点样本的相似度。下面将结合示例介绍构建同义样本集合和同标签样本集合的方式。
一、构建同义样本集合；
具体地，从开源数据集中获取锚点样本以及锚点样本的目标预训练向量。基于此，计算开源数据集中每个预设样本的预训练向量与目标预训练向量之间的相似度，然后按照相似度从大到小排序。再根据排序结果，选择排序大于或等于排序阈值的预设样本作为同义样本集合所包括的正样本。例如，排序阈值为50，那么就将相似度最高的前50个预设样本作为同义样本集合所包括的正样本。
可以理解的是，由于训练过程中可采用dropout的机制，因此，锚点样本也可以作为同义样本集合中的一个正样本。
同义样本集合所包括的负样本可从除去同义样本集合中的正样本集合之外剩余的预设样本中随机选择。考虑到可能无法保证能够计算出所有的正样本，因此，为了避免产生假负例(即，可能为相似样本)，还可以引入外部模型来计算一个批次的开源数据集中所有预设样本之间的相似度，根据相似度的大小消除假负例(即，超过一定置信阈值预设样本的不作为负样本)。此外，还可以通过标签和分类信息确定符合正样本的预设样本。
二、构建同标签样本集合；
具体地，开源数据集中的每个预设样本具有至少一个标签，通常情况下，一个预设样本具有多个标签。基于此，对所有标签出现次数进行统计，得到每个标签的出现频次。于是，将出现频次大于或等于第一频次阈值(例如，10000次)的标签都作为粗粒度标签。将与锚点样本具有相同的粗粒度标签的预设样本作为同标签样本集合所包括的正样本。
同义样本集合所包括的负样本可从除去同义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的预设样本中随机选择。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于同义样本集合的相似度层级高于同标签样本集合的相似度层级。如果同标签样本集合的正样本缺失，则使用同义样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
其次，本申请实施例中，提供了一种构建N个关联样本集合的方式。通过上述方式，结合开源数据集中各个预设样本已有的预训练向量和标签，仿照用户感官定义了多粒度相似度数据集(即，同义样本集合和同标签样本集合)。在无监督对比学习的基础上，充分利用现有监督信息，有效提升模型的语义表征能力，优化模型在全阈值段的样本内容相似度刻画能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，N个关联样本集合包括同义样本集合和同分类样本集合；
获取待训练样本集合，具体可以包括：
从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
在一个或多个实施例中，介绍了另一种构建N个关联样本集合的方式。由前述实施例可知，可从开源数据库中获取一部分开源数据集作为一个批次的训练数据。
具体地，本申请定义了一系列相似度粒度的标准，以此生成不同相似程度的关联样本集合。示例性地，N个关联样本集合包括同义样本集合和同分类样本集合，其中，同义样本集合中的正样本集合与锚点样本的相似度高于同分类样本集合中的正样本集合与锚点样本的相似度。下面将结合示例介绍构建同义样本集合和同分类样本集合的方式。
一、构建同义样本集合；
可以理解的是，同义样本集合的构建方式可参阅前述实施例，此处不做赘述。
二、构建同分类样本集合；
具体地，开源数据集中的每个预设样本具有分类信息。通常情况下，一个预设样本具有一个分类信息。基于此，将与锚点样本具有相同分类信息的预设样本作为同分类样本集合所包括的正样本。
同分类样本集合所包括的负样本可从除去同义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的预设样本中随机选择。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，同义样本集合的相似度层级高于同标签样本集合的相似度层级。如果同分类样本集合的正样本缺失，则使用同义样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
其次，本申请实施例中，提供了另一种构建N个关联样本集合的方式。通过上述方式，结合开源数据集中各个预设样本已有的预训练向量和分类信息，仿照用户感官定义了多粒度相似度数据集(即，同义样本集合和同分类样本集合)。在无监督对比学习的基础上，充分利用现有监督信息，有效提升模型的语义表征能力，优化模型在全阈值段的样本内容相似度刻画能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，N个关联样本集合包括近义样本集合和同标签样本集合；
获取待训练样本集合，具体可以包括：
从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
在一个或多个实施例中，介绍了另一种构建N个关联样本集合的方式。由前述实施例可知，可从开源数据库中获取一部分开源数据集作为一个批次的训练数据。
具体地，本申请定义了一系列相似度粒度的标准，以此生成不同相似程度的关联样本集合。示例性地，N个关联样本集合包括近义样本集合和同标签样本集合，其中，近义样本集合中的正样本集合与锚点样本的相似度高于同标签样本集合中的正样本集合与锚点样本的相似度。下面将结合示例介绍构建近义样本集合和同标签样本集合的方式。
一、构建近义样本集合；
具体地，从开源数据集中获取锚点样本以及锚点样本的目标预训练向量。基于此，计算开源数据集中每个预设样本的预训练向量与目标预训练向量之间的相似度，然后检索出相似度大于或等于相似度阈值的预设样本。于是，从检索出的这些预设样本中获取与锚点样本具有相同的小众标签或具有至少两个重叠的标签。
其中，开源数据集中的每个预设样本具有至少一个标签。对所有标签出现次数进行统计，得到每个标签的出现频次。于是，将出现频次小于或等于第二频次阈值(例如，5000次)的标签都作小众标签。小众标签根据标签的出现频次进行筛选的，出现频次越少表示这个标签越小众，对应内容可能更加的吸引用户注意力。
近义样本集合所包括的负样本可从除去近义样本集合中的正样本集合之外剩余的预设样本中随机选择。类似地，可采用前述介绍的方式消除假负例。
二、构建同标签样本集合；
可以理解的是，同标签样本集合中正样本集合的构建方式可参阅前述实施例，此处不做赘述。
同标签样本集合所包括的负样本可从除去近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的预设样本中随机选择。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于近义样本集合的相似度层级高于同标签样本集合的相似度层级。如果同标签样本集合的正样本缺失，则使用近义样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
其次，本申请实施例中，提供了一种构建N个关联样本集合的方式。通过上述方式，结合开源数据集中各个预设样本已有的预训练向量和标签，仿照用户感官定义了多粒度相似度数据集(即，近义样本集合和同标签样本集合)。在无监督对比学习的基础上，充分利用现有监督信息，有效提升模型的语义表征能力，优化模型在全阈值段的样本内容相似度刻画能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，N个关联样本集合包括近义样本集合和同分类样本集合；
获取待训练样本集合，具体可以包括：
从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除近义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
在一个或多个实施例中，介绍了另一种构建N个关联样本集合的方式。由前述实施例可知，可从开源数据库中获取一部分开源数据集作为一个批次的训练数据。
具体地，本申请定义了一系列相似度粒度的标准，以此生成不同相似程度的关联样本集合。示例性地，N个关联样本集合包括近义样本集合和同分类样本集合，其中，近义样本集合中的正样本集合与锚点样本的相似度高于同分类样本集合中的正样本集合与锚点样本的相似度。下面将结合示例介绍构建近义样本集合和同分类样本集合的方式。
一、构建近义样本集合；
可以理解的是，近义样本集合中正样本集合的构建方式可参阅前述实施例，此处不做赘述。
近义样本集合所包括的负样本可从除去近义样本集合中的正样本集合之外剩余的预设样本中随机选择。类似地，可采用前述介绍的方式消除假负例。
二、构建同分类样本集合；
可以理解的是，同分类样本集合中正样本集合的构建方式可参阅前述实施例，此处不做赘述。
同分类样本集合所包括的负样本可从除去近义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的预设样本中随机选择。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于近义样本集合的相似度层级高于同分类样本集合的相似度层级。如果同分类样本集合的正样本缺失，则使用近义样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
其次，本申请实施例中，提供了一种构建N个关联样本集合的方式。通过上述方式，结合开源数据集中各个预设样本已有的预训练向量和分类信息，仿照用户感官定义了多粒度相似度数据集(即，近义样本集合和同分类样本集合)。在无监督对比学习的基础上，充分利用现有监督信息，有效提升模型的语义表征能力，优化模型在全阈值段的样本内容相似度刻画能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，N个关联样本集合包括同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合；
获取待训练样本集合，具体可以包括：
从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签，第一频次阈值大于第二频次阈值；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取临近分类样本集合，其中，临近分类样本集合所包括的正样本与锚点样本具有临近的分类信息，临近分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合、同分类样本集合中的正样本集合以及临近分类样本集合的正样本集合之外剩余的至少一个预设样本。
在一个或多个实施例中，介绍了另一种构建N个关联样本集合的方式。由前述实施例可知，可从开源数据库中获取一部分开源数据集作为一个批次的训练数据。
具体地，本申请定义了一系列相似度粒度的标准，以此生成不同相似程度的关联样本集合。示例性地，N个关联样本集合包括同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合，其中，同义样本集合中的正样本集合与锚点样本的相似度高于近义样本集合中的正样本集合与锚点样本的相似度，近义样本集合中的正样本集合与锚点样本的相似度高于同标签样本集合中的正样本集合与锚点样本的相似度，同标签样本集合中的正样本集合与锚点样本的相似度高于同分类样本集合中的正样本集合与锚点样本的相似度，同分类样本集合中的正样本集合与锚点样本的相似度高于临近分类样本集合中的正样本集合与锚点样本的相似度。下面将结合示例介绍构建同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合的方式。
一、构建同义样本集合；
可以理解的是，同义样本集合的构建方式可参阅前述实施例，此处不做赘述。
二、构建近义样本集合；
可以理解的是，近义样本集合中正样本集合的构建方式可参阅前述实施例，此处不做赘述。
近义样本集合所包括的负样本可从除去同义样本集合中的正样本集合以及近义样本集合中的正样本集合之外剩余的预设样本中随机选择，即，去除相似度较高以及多标签重叠的预设样本。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于同义样本集合的相似度层级高于近义样本集合的相似度层级。如果近义样本集合的正样本缺失，则使用同义样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
三、构建同标签样本集合；
可以理解的是，同标签样本集合中正样本集合的构建方式可参阅前述实施例，此处不做赘述。
同标签样本集合所包括的负样本可从除去同义样本集合中的正样本集合、近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的预设样本中随机选择，即，去除相似度较高和标签重叠的预设样本。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于近义样本集合的相似度层级高于同标签样本集合的相似度层级。如果同标签样本集合的正样本缺失，则使用近义样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
四、构建同分类样本集合；
可以理解的是，同分类样本集合中正样本集合的构建方式可参阅前述实施例，此处不做赘述。
同分类样本集合所包括的负样本可从除去同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的预设样本中随机选择，即，去除相似度较高、标签重叠以及分类信息一致的预设样本。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于同标签样本集合的相似度层级高于同分类样本集合的相似度层级。如果同分类样本集合的正样本缺失，则使用同标签样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
五、构建临近分类样本集合；
具体地，开源数据集中的每个预设样本具有至少一个标签，通常情况下，一个预设样本具有多个标签。基于此，通过计算分类共现矩阵或者人工定义的方式得到邻近的分类信息。
分类共现矩阵的计算方式为，确定相同标签的预设样本是否具有同样的分类信息，若是，则这两个分类信息为共现一次。基于这个规则，计算所有分类信息之间的共现频率，得到分类共现矩阵。其中，分类共现矩阵的筛选规则可以为共现次数排名前五，并且满足一定的共现频率。而人工定义的方式包括泛生活分类集合、泛娱乐分类集合等。
临近分类样本集合所包括的负样本可从除去同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合、同分类样本集合中的正样本集合以及临近分类样本集合的正样本集合之外剩余的预设样本中随机选择，即，去除相似度较高、标签重叠、分类信息一致以及临近分类的预设样本。类似地，可采用前述介绍的方式消除假负例。
需要说明的是，由于临近分类样本集合的相似度层级高于同分类样本集合的相似度层级。如果临近分类样本集合的正样本缺失，则使用同分类样本集合的正样本代替。负样本则从同批次中的其他预设样本中进行筛选，由此，可以构建出充分的正负样本对。
其次，本申请实施例中，提供了一种构建N个关联样本集合的方式。通过上述方式，结合开源数据集中各个预设样本已有的预训练向量、标签和分类信息，仿照用户感官定义了多粒度相似度数据集(即，同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合)。在无监督对比学习的基础上，充分利用现有监督信息，有效提升模型的语义表征能力，优化模型在全阈值段的样本内容相似度刻画能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，待训练样本集合中每个样本属于文本类型的样本；
通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，具体可以包括：
基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于文本特征向量。
在一个或多个实施例中，介绍了一种针对文本类样本的特征提取方式。由前述实施例可知，待训练样本集合所包括的样本可以为文本类型的样本，基于此，通过待训练特征提取模型可提取每个样本所对应的文本特征向量。
具体地，为了便于介绍，请参阅表1，表1为不同相似度层级所对应的文本类型样本的一个示意。
表1
相似度层级 文本类型样本的示例
锚点样本 2022年文明祭扫，绿色清明倡议书
同义样本 2022年清明节文明祭扫倡议书
近义样本 暂停现场祭扫，两个区域发出通告
同标签样本 刚刚过去的端午小长假，热门景点开放
同分类样本 元宵安全大礼包，收藏起来
临近分类样本 柴火锅巴饭铁锅炖猪蹄，没有压力的生活方式
其他样本 16个技能有几种切换的方式
进一步地，为了便于理解，请参阅图4，图4为本申请实施例中特征提取模型的一个结构示意图，如图所示，将文本类型的待训练样本集合作为特征提取模型作为输入，通过特征提取模型输出每个样本的特征向量(即，文本特征向量)。基于此，将每个样本的特征向量作为分类器的输入，通过分类器输出每个样本的类别概率分类。基于样本的类别概率分类以及标签，利用BCE损失函数进行有监督多标签分类学习。基于样本的特征向量，利用contrastive损失函数和InfoNCE损失函数进行有监督多标签分类学习。
可以理解的是，图4中“AXPX”表示正样本对，“AXNX”表示负样本对。本申请中的待训练特征提取模型与特征提取模型具有相同的模型结构，但可能具有不同的模型参数。图4以“特征提取模型”为例进行描述，在实际训练过程中，也可以为“待训练特征提取模型”，此处不做限定。
需要说明的是，本实施例中的特征提取模型可以为文本特征提取模型。其中，文本特征提取模型可以为BERT模型，或者，文本卷积神经(text convolutional neuralnetworks，TextCNN)模型，或者，词向量(word to vector，Word2Vec)模型，或者，双向长短期记忆(Bi-directional Long Short-Term Memory，BiLSTM)模型。
其次，本申请实施例中，提供了一种针对文本类样本的特征提取方式。通过上述方式，可采用特征提取模型提取文本内容的特征向量，从而便于进行文本内容的相似度比对，以此增加方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，待训练样本集合中每个样本属于图片类型的样本；
通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，具体可以包括：
基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于图片特征向量。
在一个或多个实施例中，介绍了一种针对图片类样本的特征提取方式。由前述实施例可知，待训练样本集合所包括的样本可以为图片类型的样本，基于此，通过待训练特征提取模型可提取每个样本所对应的图片特征向量。
具体地，为了便于理解，请参阅图5，图5为本申请实施例中特征提取模型的另一个结构示意图，如图所示，将图片类型的待训练样本集合作为特征提取模型作为输入，通过特征提取模型输出每个样本的特征向量(即，图片特征向量)。基于此，将每个样本的特征向量作为分类器的输入，通过分类器输出每个样本的类别概率分类。基于样本的类别概率分类以及标签，利用BCE损失函数进行有监督多标签分类学习。基于样本的特征向量，利用contrastive损失函数和InfoNCE损失函数进行有监督多标签分类学习。
可以理解的是，图5中“AXPX”表示正样本对，“AXNX”表示负样本对。本申请中的待训练特征提取模型与特征提取模型具有相同的模型结构，但可能具有不同的模型参数。图5以“特征提取模型”为例进行描述，在实际训练过程中，也可以为“待训练特征提取模型”，此处不做限定。
需要说明的是，本实施例中的特征提取模型可以为图片特征提取模型。其中，图片特征提取模型可以为Swin transformers模型，或者，视觉变形器(vision transformer，ViT)模型，或者，时间移位模型(temporal shift module，TSM)。
其次，本申请实施例中，提供了一种针对图片类样本的特征提取方式。通过上述方式，可采用特征提取模型提取图片内容的特征向量，从而便于进行图片内容的相似度比对，以此增加方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，待训练样本集合中每个样本属于视频类型的样本；
通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，具体可以包括：
基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于视频特征向量。
在一个或多个实施例中，介绍了一种针对视频类样本的特征提取方式。由前述实施例可知，待训练样本集合所包括的样本可以为视频类型的样本，基于此，通过待训练特征提取模型可提取每个样本所对应的视频特征向量。
具体地，为了便于理解，请参阅图6，图6为本申请实施例中特征提取模型的另一个结构示意图，如图所示，将视频类型的待训练样本集合作为特征提取模型作为输入，通过特征提取模型输出每个样本的特征向量(即，视频特征向量)。基于此，将每个样本的特征向量作为分类器的输入，通过分类器输出每个样本的类别概率分类。基于样本的类别概率分类以及标签，利用BCE损失函数进行有监督多标签分类学习。基于样本的特征向量，利用contrastive损失函数和InfoNCE损失函数进行有监督多标签分类学习。
可以理解的是，图6中“AXPX”表示正样本对，“AXNX”表示负样本对。本申请中的待训练特征提取模型与特征提取模型具有相同的模型结构，但可能具有不同的模型参数。图6以“特征提取模型”为例进行描述，在实际训练过程中，也可以为“待训练特征提取模型”，此处不做限定。
需要说明的是，本实施例中的特征提取模型可以为视频特征提取模型。其中，视频特征提取模型可以为视频移位窗口变形器(video Swin transformers)模型，或者，TSM，或者，视频BERT(video BERT)。
其次，本申请实施例中，提供了一种对视频类样本进行特征提取的方式。通过上述方式，可采用特征提取模型提取视频内容的特征向量，从而便于进行视频内容的相似度比对，以此增加方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，待训练样本集合中每个样本属于多模态类型的样本，其中，多模态类型包括文本类型以及图片类型，或，多模态类型包括文本类型以及视频类型；
通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，具体可以包括：
基于待训练样本集合，通过待训练特征提取模型所包括的文本特征提取模型，获取每个样本的文本特征向量；
基于待训练样本集合，通过待训练特征提取模型所包括的图片特征提取模型，获取每个样本的图片特征向量；
基于每个样本的文本特征向量以及图片特征向量，通过待训练特征提取模型所包括的特征融合模型，获取每个样本的特征向量；
或者，
通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，具体可以包括：
基于待训练样本集合，通过待训练特征提取模型所包括的文本特征提取模型，获取每个样本的文本特征向量；
基于待训练样本集合，通过待训练特征提取模型所包括的视频特征提取模型，获取每个样本的视频特征向量；
基于每个样本的文本特征向量以及视频特征向量，通过待训练特征提取模型所包括的特征融合模型，获取每个样本的特征向量。
在一个或多个实施例中，介绍了一种对多模态样本进行特征提取的方式。由前述实施例可知，待训练样本集合所包括的样本可以为多模态类型的样本，基于此，通过待训练特征提取模型可提取每个样本所对应的特征向量。
示例性地，为了便于理解，请参阅图7，图7为本申请实施例中特征提取模型的另一个结构示意图，如图所示，将多模态类型的待训练样本集合作为文本特征提取模型作为输入，通过文本特征提取模型输出每个样本的文本特征向量。同时，将多模态类型的待训练样本集合作为图片特征提取模型作为输入，通过图片特征提取模型输出每个样本的图片特征向量。将每个样本的文本特征向量和图片特征向量作为特征融合模型(例如，拼接层)的输入，通过特征融合模型的输出每个样本的特征向量。
示例性地，为了便于理解，请参阅图8，图8为本申请实施例中特征提取模型的另一个结构示意图，如图所示，将多模态类型的待训练样本集合作为文本特征提取模型作为输入，通过文本特征提取模型输出每个样本的文本特征向量。同时，将多模态类型的待训练样本集合作为视频特征提取模型作为输入，通过视频特征提取模型输出每个样本的视频特征向量。将每个样本的文本特征向量和视频特征向量作为特征融合模型(例如，拼接层)的输入，通过特征融合模型的输出每个样本的特征向量。
基于图7或图8得到的每个样本的特征向量，将每个样本的特征向量作为分类器的输入，通过分类器输出每个样本的类别概率分类。基于样本的类别概率分类以及标签，利用BCE损失函数进行有监督多标签分类学习。基于样本的特征向量，利用contrastive损失函数和InfoNCE损失函数进行有监督多标签分类学习。
可以理解的是，图7和图8中“AXPX”表示正样本对，“AXNX”表示负样本对。本申请中的待训练特征提取模型与特征提取模型具有相同的模型结构，但可能具有不同的模型参数。图6以“特征提取模型”为例进行描述，在实际训练过程中，也可以为“待训练特征提取模型”，此处不做限定。
需要说明的是，对于图文内容而言，其包括的文本可以是图文内容的标题、正文等，其包括的文本可以是插图等。对于视频内容而言，其包括的文本可以是视频内容的标题、基于OCR识别的文本、基于ASR识别的文本等，其包括的图片可以是插图、封面图等。
其中，对图文正文和视频内容基于OCR和ASR识别的内容还可以进行去重、拼接和提取摘要等预处理，最终，将在最大字符数(例如，150个字符)以内的文本作为文本特征提取模型的输入。
下面将分别介绍文本特征提取模型、图片特征提取模型和视频特征提取模型的网络结构，需要说明的是，在实际应用中，还可以采用其他的网络结构，此处仅为示意，不应理解为对本申请的限定。
一、文本特征提取模型；
具体地，为了便于理解，请参阅图9，图9为本申请实施例中文本特征提取模型的一个结构示意图，如图所示，该文本特征提取模型为BERT模型。对文本(例如，文本类型的样本)进行序列化处理，并在序列开始的位置添加一个类别标记“[CLS]”。对文本进行编码后得到嵌入向量E1至EN，输出的T1至TN分别对应于其上下文。
二、图片特征提取模型；
具体地，为了便于理解，请参阅图10，图10为本申请实施例中图片特征提取模型的一个结构示意图，如图10中(A)图所示，该图片特征提取模型为Swin transformers模型。首先，将图片划分成不重叠的分块(patch)。然后，通过一个线性嵌入(linear embedding)层将划分后的分片特征维度变成C，然后送入移位窗口变形器模块(Swin TransformerBlock)。第二阶段至第四阶段的操作相同，先通过合并块(patch merging)，再送入SwinTransformer Block。连续两个Swin Transformer Block如图10中(B)图所示，一个SwinTransformer Block由一个带两层多层感知机(multilayer perceptron，MLP)的基于移动窗口多头自我关注(shifted window based multi-head self-attention，SW-MSA)组成。MSA模块和MLP之前使用标准层(layer norm，LN)，并在MSA和MLP之后使用残差连接。
三、视频特征提取模型；
具体地，为了便于理解，请参阅图11，图11为本申请实施例中视频特征提取模型的一个结构示意图，如图11中(A)图所示，该视频特征提取模型为video Swin transformers模型。首先，将视频划分成不重叠的patch。然后，通过一个linear embedding层将每个patch的特征投影到一个C的维度，然后送入视频移位窗口变形器模块(Video SwinTransformer Block)。第二阶段至第四阶段的操作相同，先通过patch merging，再送入Video Swin Transformer Block。连续两个Video Swin Transformer Block如图11中(B)图所示，一个Video Swin Transformer Block是由基于3D变化窗口的MSA模块和前馈网络组成，在每个MSA模块和前馈网络之前使用LN，并对每个模块应用残差连接。
其次，本申请实施例中，提供了一种对多模态样本进行特征提取的方式。通过上述方式，可采用基于transformer-based算法的图片特征提取模型提取图片特征，或者，采用基于transformer-based算法的视频特征提取模型提取图片特征。同时，基于文本特征提取模型提取文本特征。这些特征经过门控机制和融合算法进行融合，输出最终的特征向量。从而便于进行多模态内容的相似度比对，且，更加准确的表征数据语义，以此增加方案的可行性和可操作性。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个样本的类别概率分布以及每个样本所对应的至少一种标签，确定分类损失值，具体可以包括：
针对M个预设标签中的每个预设标签，根据每个样本的类别概率分布，确定针对预设标签的预测概率值；
针对M个预设标签中的每个预设标签，根据每个样本所对应的至少一种标签，确定针对预设标签的真实值；
针对M个预设标签中的每个预设标签，根据每个样本针对预设标签的预测概率值以及真实值，确定预设标签所对应的分类子损失值；
根据每个预设标签所对应的分类子损失值，确定分类损失值。
在一个或多个实施例中，介绍了一种基于BCE损失函数计算分类损失值的方式。由前述实施例可知，在多标签分类任务中共有M个预设标签，待训练样本集合中的每个样本属于M个预设标签中的若干个，因此，可以将多标签分类任务看为多个二分类任务。针对M个预设标签中的每个预设标签，采用分类器得到一个分数，然后使用归一化(sigmoid)激活函数将分数的值置于[0,1]之间，即，得到预测概率值。
具体地，本申请使用多标签学习作为一路监督信息，使用二元交叉熵计算相应的损失函数。为了便于说明，以M为3作为示例进行介绍，以一个样本为例，假设其具有预设标签A和预设标签C，那么其对应的真实标签序列表示为(1,0,1)。假设该样本的类别概率分布表示为(0.2,0.7,0.9)。基于此，采用如下方式计算一个预设标签(例如，预设标签A)所对应的分类子损失值：
其中，Le_sub表示分类子损失值。n表示待训练样本集合所包括的样本总数。i表示第i个样本。yi表示第i个样本针对预设标签的真实值(即，0或1)。p(yi)表示第i个样本针对预设标签的预测概率值。
基于此，采用公式(2)计算得到每个预设标签的分类子损失值，然后将所有预设标签的分类子损失值进行求平均，即可得到分类损失值。
其次，本申请实施例中，提供了一种基于BCE损失函数计算分类损失值的方式。通过上述方式，将标签作为基础的数据语义监督信号，每一个样本均存在至少一个机器生产或者人工标记的标签，而每一个标签都是对数据语义的一个高级抽象，粒度有粗有细，覆盖内容平台体系中的主要知识点。因此，多标签分类损失函数帮助模型学习数据的高阶语义信息，从而使得模型具备主题判别和划分的能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个样本的特征向量，确定第一对比损失值，具体可以包括：
根据N个关联样本集合以及锚点样本，构建N个第一正样本对集合以及N个第一负样本对集合，其中，每个第一正样本对集合来源于关联样本集合的正样本集合，每个第一负样本对集合来源于关联样本集合的正样本集合和负样本集合中的至少一项；
根据N个第一正样本对集合以及N个第一负样本对集合，确定N个对比子损失值；
根据N个对比子损失值，确定第一对比损失值。
在一个或多个实施例中，介绍了一种基于InfoNCE损失函数计算第一对比损失值的方式。由前述实施例可知，对于每个锚点样本而言具有对应的N个关联样本集合，基于InfoNCE损失函数可以拉近锚点样本与关联样本集合中正样本之间的距离，并且推远锚点样本与关联样本集合中负样本之间的距离。本申请中定义N个相似度层级，对每个相似度层级的的第一正样本对集合与第一负样本对集合进行计算，可得到对应的对比子损失值。
具体地，假设N个关联样本集合包括同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合(即，此时N＝5)，且，相似度层级如前述实施例定义，此处不做赘述。由此，可构建N个第一正样本对集合以及N个第一负样本对集合，且，第一正样本对集合与第一负样本对集合具有对应的层级关系。其中，第一正样本对集合包括至少一个第一正样本对，第一负样本对集合包括至少一个第一负样本对。
为了便于说明，下面将介绍每个相似度层级对应的第一正样本对以及第一负样本对的构建方式。
(1)第一个相似度层级；
第一正样本对由锚点样本和同义样本集合中的正样本构成。
第一负样本对由锚点样本和同义样本集合中的负样本构成，或，第一负样本对由锚点样本和近义样本集合中的样本(即，正样本或负样本)构成，或，第一负样本对由锚点样本和同标签样本集合中的样本(即，正样本或负样本)构成，或，第一负样本对由锚点样本和同分类样本集合中的样本(即，正样本或负样本)构成，或，第一负样本对由锚点样本和临近分类样本集合中的样本(即，正样本或负样本)构成。
(2)第二个相似度层级；
第一正样本对由锚点样本和同义样本集合中的正样本构成，或，第一正样本对由锚点样本和近义样本集合中的正样本构成。
第一负样本对由锚点样本和同义样本集合中的负样本构成，或，第一负样本对由锚点样本和近义样本集合中的负样本构成，或，第一负样本对由锚点样本和同标签样本集合中的样本(即，正样本或负样本)构成，或，第一负样本对由锚点样本和同分类样本集合中的样本(即，正样本或负样本)构成，或，第一负样本对由锚点样本和临近分类样本集合中的样本(即，正样本或负样本)构成。
(3)第三个相似度层级；
第一正样本对由锚点样本和同义样本集合中的正样本构成，或，第一正样本对由锚点样本和近义样本集合中的正样本构成，或，第一正样本对由锚点样本和同标签样本集合中的正样本构成。
第一负样本对由锚点样本和同义样本集合中的负样本构成，或，第一负样本对由锚点样本和近义样本集合中的负样本构成，或，第一负样本对由锚点样本和同标签样本集合中的负样本构成，或，第一负样本对由锚点样本和同分类样本集合中的样本(即，正样本或负样本)构成，或，第一负样本对由锚点样本和临近分类样本集合中的样本(即，正样本或负样本)构成。
(4)第四个相似度层级；
第一正样本对由锚点样本和同义样本集合中的正样本构成，或，第一正样本对由锚点样本和近义样本集合中的正样本构成，或，第一正样本对由锚点样本和同标签样本集合中的正样本构成，或，第一正样本对由锚点样本和同分类样本集合中的正样本构成。
第一负样本对由锚点样本和同义样本集合中的负样本构成，或，第一负样本对由锚点样本和近义样本集合中的负样本构成，或，第一负样本对由锚点样本和同标签样本集合中的负样本构成，或，第一负样本对由锚点样本和同分类样本集合中的负样本构成，或，第一负样本对由锚点样本和临近分类样本集合中的样本(即，正样本或负样本)构成。
(6)第五个相似度层级；
第一正样本对由锚点样本和同义样本集合中的正样本构成，或，第一正样本对由锚点样本和近义样本集合中的正样本构成，或，第一正样本对由锚点样本和同标签样本集合中的正样本构成，或，第一正样本对由锚点样本和同分类样本集合中的正样本构成，或，第一正样本对由锚点样本和临近分类样本集合中的正样本构成。
第一负样本对由锚点样本和同义样本集合中的负样本构成，或，第一负样本对由锚点样本和近义样本集合中的负样本构成，或，第一负样本对由锚点样本和同标签样本集合中的负样本构成，或，第一负样本对由锚点样本和同分类样本集合中的负样本构成，或，第一负样本对由锚点样本和临近分类样本集合中的负样本构成。
基于此，采用如下方式计算一个相似度层级所对应的对比子损失值：
其中，Lq_sub表示对比子损失值。k表示样本序号。i表示第i个样本序号。q表示锚点样本。k+表示第一正样本对中的正样本，且，k+与q属于一个第一正样本对。ki表示第一负样本对中的负样本，且，ki与q属于一个第一负样本对。q·k表示样本对(正样本对或负样本对)的余弦相似度。τ表示温度参数。可见，第一正样本对得分越高，第一负样本对得分越低，损失函数越小。
基于此，采用公式(3)计算得到每个相似度层级的对比子损失值，然后将所有相似度层级的对比子损失值进行求平均，即可得到第一对比损失值。
其次，本申请实施例中，提供了一种基于InfoNCE损失函数计算第一对比损失值的方式。通过上述方式，采用对比学习来进一步提升模型对多层级多粒度相关性的区分能力。多层级对比学习损失函数充分了利用多粒度数据集信息，从而提升模型对于不同粒度相关样本的区分能力和度量能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，还可以包括：
获取至少两个锚点样本以及每个锚点样本所对应的N个关联样本集合；
根据至少两个锚点样本以及每个锚点样本所对应的N个关联样本集合，构建第二正样本对集合以及第二负样本对集合，其中，第二正样本对集合中第二正样本对所对应的相似度层级高于第二负样本对集合中第二负样本对所对应的相似度层级；
根据第二正样本对集合以及第二负样本对集合，确定第二对比损失值；
采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，具体可以包括：
采用分类损失值、第一对比损失值以及第二对比损失值，对待训练特征提取模型的模型参数进行更新。
在一个或多个实施例中，介绍了一种基于contrastive损失函数计算第二对比损失值的方式。由前述实施例可知，相似度层级越高的关联样本集合中的正样本与锚点样本之间的相似度越高。例如，同义样本集合中的正样本与锚点样本1之间的相似度高于近义样本集合中的正样本与锚点样本2之间的相似度。
具体地，为了更大范围的对比纵向中不同相似度层级的正负样本，基于此，可采用如下方式计算各个相似度层级之间的距离误差：
Lc＝max(d(neg)-d(pos)+margin,0)；公式(4)
其中，Lc表示第二对比损失值。pos表示第二正样本对。neg表示第二负样本对，且，第二负样本对为相对于第二正样本对而言，相似度层级较低的样本对。例如，第二正样本对包括锚点样本1与同义样本集合中的正样本，那么其对应的第二负样本对可包括锚点样本2与同标签样本集合中的正样本。d(·)表示距离计算方式。margin表示相似度层级距离。
margi＝(l1-l2)2*0.04；公式(5)
其中，l1表示第二正样本对中具有相似度层级的样本。l2表示第二负样本对中具有相似度层级的样本。
基于公式(5)可知，当相似度层级相差为1(例如，同义样本集合与近义样本集合，或，近义样本集合与同标签样本集合，或，同标签样本集合与同分类样本集合，或，同分类样本集合与临近分类样本集合)时，margin＝0.04。
基于公式(5)可知，当相似度层级相差为2(例如，同义样本集合与同标签样本集合，或，近义样本集合与同分类样本集合，或，同标签样本集合与临近分类样本集合)时，margin＝0.16。
基于公式(5)可知，当相似度层级相差为3(例如，同义样本集合与同分类样本集合，或，近义样本集合与临近分类样本集合)时，margin＝0.36。
基于公式(5)可知，当相似度层级相差为4(例如，同义样本集合与临近分类样本集合)时，margin＝0.64。
需要说明的是，由于本申请采用余弦相似度作为距离计算方法，余弦相似度值越大代表相似度越高，因此，公式(4)与通用的contrastive损失函数相反，即，正样本对的距离大于负样本对的距离。
其次，本申请实施例中，提供了一种基于contrastive损失函数计算第二对比损失值的方式。通过上述方式，采用对比学习计算各个相似度层级之间的距离误差，从而进一步提升模型对于不同粒度相关样本的区分能力和度量能力。
可选地，在上述图3对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，采用分类损失值、第一对比损失值以及第二对比损失值，对待训练特征提取模型的模型参数进行更新，具体可以包括：
对分类损失值、第一对比损失值以及第二对比损失值进行加权，得到目标损失值；
采用目标损失值对待训练特征提取模型的模型参数进行更新。
在一个或多个实施例中，介绍了一种基于不确定性损失函数计算目标损失值的方式。由前述实施例可知，在得到分类损失值、第一对比损失值以及第二对比损失之后，可采用如下不确定性损失函数计算目标损失值：
L＝αLe+βLq+γLc；公式(6)
其中，L表示目标损失值。α表示第一权重值。β表示第二权重值。γ表示第三权重值。Le表示分类损失值。Lq表示第一对比损失值。Lc表示第二对比损失值。
基于此，可采用SGD将上一步计算得到目标损失值进行梯度后向计算并得到全部模型参数的更新值，以此更新待训练特征提取模型以及分类器。直至满足训练停止条件，得到特征提取模型。
再次，本申请实施例中，提供了一种基于不确定性损失函数计算目标损失值的方式。通过上述方式，使用不确定性损失函数对分类损失值之间进行调参，由此，维持多任务学习之间的平衡，从而有利于提升模型训练效果。
结合上述介绍，下面将对本申请中内容推荐的方法进行介绍，请参阅图12，本申请实施例中内容推荐的方法可以由服务器独立完成，也可以由终端独立完成，还可以由终端与服务器配合完成，本申请提供的内容推荐方法包括：
310、获取待推荐对象的感兴趣内容；
在一个或多个实施例中，一种情况下，当待推荐对象触发触发推荐请求时，根据待推荐对象的标识可获取感兴趣内容。另一种情况下，定期(例如，每天或每周等)根据待推荐对象的标识可获取感兴趣内容。其中，感兴趣内容可以是待推荐对象播放频率较高的内容，也可以是待推荐对象标记过感兴趣的内容。
需要说明的是，待推荐对象可以是用户或者用户登录的客户端，此处不做限定。感兴趣内容可以是文本内容、图片内容、视频内容或图文内容等，此处不做限定。
320、基于感兴趣内容，通过特征提取模型获取目标特征向量，其中，特征提取模型为采用上述实施例提供的训练方法得到的；
在一个或多个实施例中，将感兴趣内容作为特征提取模型的输入，通过特征提取模型输出目标特征向量。其中，特征提取模型采用图3对应的各个实施例训练得到的，故此处不做赘述。可以理解的是，还可以预先对候选内容集合中的各个候选内容进行特征提取，即，分别将各个候选内容作为特征提取模型的输入，通过特征提取模型输出各个候选内容的特征向量。
330、将目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，得到相似度最大的K个候选内容，其中，各个候选内容的特征向量为采用特征提取模型获取到的，K为大于或等于1的整数，
在一个或多个实施例中，将目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，由此，得到各个候选内容与感兴趣内容之间的相似度。其中，候选内容与感兴趣内容之间的相似度越高，表示候选内容与感兴趣内容越相似。
具体地，可采用Faiss对目标特征向量进行相似的特征向量搜索。即，给定一个d维的特征向量集合(即，各个候选内容的特征向量)。Faiss在内存上建立一个数据结构，再给定一个d维的目标特征向量。于是，数据结构可以高效地返回与目标特征向量最相近的前K个特征向量。基于前K个特征向量确定对应的K个候选内容。
340、向待推荐对象使用的终端推送T个候选内容，其中，T个候选内容来源于K个候选内容，T为大于或等于1，且小于或等于K的整数。
在一个或多个实施例中，一种情况下，可直接向待推荐对象使用的终端推送K个候选内容，此时，T等于K。另一种情况下，可以从K个候选内容中选择若干个候选内容进行推送，此时，T小于K。
本申请实施例中，提供了一种内容推荐的方法。通过上述方式，利用本申请训练得到的特征提取模型作为提取内容特征的模型，能够提升内容推荐的效果。与此同时，可以将行为反馈(例如，点击、播放等)作为一路监督信息，补充进多粒度关联样本集合的构建标准中，更加拟合用户的感官和行为。
可选地，在上述图12对应的各个实施例的基础上，本申请实施例提供的另一个可选实施例中，向待推荐对象使用的终端推送T个候选内容之前，还可以包括：
对K个候选内容进行两两组合，得到候选内容对集合，其中，候选内容对集合包括至少一个候选内容对；
计算候选内容对集合中每个候选内容对所对应的相似度；
若存在至少一个候选内容对所对应的相似度大于或等于目标相似度阈值，则对至少一个候选内容对中的候选内容对进行删除，得到T个候选内容。
在一个或多个实施例中，介绍了一种打散推荐内容的方式。由前述实施例可知，在搜索到K个候选内容之后，还可以从K个候选内容中选择若干个候选内容进行推送。
具体地，假设K为4，其中，K个候选内容包括候选内容1、候选内容2、候选内容3和候选内容4。先对K个候选内容进行两两组合，得到候选内容对集合。为了便于介绍，请参阅表2，表2为候选内容对集合的一个示意。
表2
候选内容对标识 候选内容对
1 候选内容1与候选内容2
2 候选内容1与候选内容3
3 候选内容1与候选内容4
4 候选内容2与候选内容3
5 候选内容2与候选内容4
6 候选内容3与候选内容4
可见，候选内容对集合包括6个候选内容对。于是，基于预先提取到的每个候选内容的特征向量，可计算每个候选内容对所对应的相似度。为了便于介绍，请参阅表3，表3为各个候选内容对对应相似度的一个示意。
表3
候选内容对 相似度
候选内容1与候选内容2 0.93
候选内容1与候选内容3 0.77
候选内容1与候选内容4 0.12
候选内容2与候选内容3 0.70
候选内容2与候选内容4 0.95
候选内容3与候选内容4 0.86
假设目标相似度阈值为0.90，可见，候选内容1与候选内容2的相似度大于目标相似度阈值，且，候选内容2与候选内容4的相似度大于目标相似度阈值。因此，可从候选内容1、候选内容2和候选内容4中剔除若干个候选内容，例如，剔除候选内容2。基于此，所推送的T个候选内容包括候选内容1、候选内容3和候选内容4。
其次，本申请实施例中，提供了一种打散推荐内容的方式。通过上述方式，在推荐候选内容之前，还可以基于内容相关性打散相似度较高的推荐内容，从而避免用户重复感知，增加推荐内容的多样性。
下面对本申请中的特征提取模型训练装置进行详细描述，请参阅图13，图13为本申请实施例中特征提取模型训练装置的一个实施例示意图，特征提取模型训练装置40包括：
获取模块410，用于获取待训练样本集合，其中，待训练样本集合包括锚点样本以及N个关联样本集合，每个关联样本集合包括正样本集合以及负样本集合，且，来源于不同关联样本集合的正样本集合与锚点样本具有不同程度的相似度，N为大于或等于2的整数；
获取模块410，还用于通过待训练特征提取模型，获取待训练样本集合中每个样本的特征向量，其中，待训练样本集合中的每个样本对应于至少一种标签；
获取模块410，还用于基于每个样本的特征向量，通过分类器获取每个样本的类别概率分布，其中，类别概率分布包括M个预测概率值，每个预测概率值对应于一种预设标签，M为大于或等于1的整数；
确定模块420，用于根据每个样本的类别概率分布以及每个样本所对应的至少一种标签，确定分类损失值；
确定模块420，还用于根据每个样本的特征向量，确定第一对比损失值，其中，第一对比损失值由N个对比子损失值确定的，每个对比子损失值用于表示至少一个关联样本集合与锚点样本之间的差异程度；
训练模块430，用于采用分类损失值以及第一对比损失值，对待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，N个关联样本集合包括同义样本集合和同标签样本集合；
获取模块410，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，N个关联样本集合包括同义样本集合和同分类样本集合；
获取模块410，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，N个关联样本集合包括近义样本集合和同标签样本集合；
获取模块410，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，N个关联样本集合包括近义样本集合和同分类样本集合；
获取模块410，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除近义样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，N个关联样本集合包括同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合；
获取模块410，具体用于从开源数据集中获取锚点样本以及锚点样本的目标预训练向量，其中，开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据目标预训练向量，从开源数据集中获取同义样本集合，其中，同义样本集合所包括的正样本与锚点样本之间相似度的排序大于或等于排序阈值，同义样本集合所包括的负样本来源于除同义样本集合中的正样本集合之外剩余的至少一个预设样本；
根据目标预训练向量，从开源数据集中获取近义样本集合，其中，近义样本集合所包括的正样本与目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，近义样本集合所包括的负样本来源于除同义样本集合中的正样本集合以及近义样本集合中的正样本集合之外剩余的至少一个预设样本，小众标签为根据开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从开源数据集中获取同标签样本集合，其中，同标签样本集合所包括的正样本与锚点样本具有相同的粗粒度标签，同标签样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合以及同标签样本集合中的正样本集合之外剩余的至少一个预设样本，粗粒度标签为根据开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签，第一频次阈值大于第二频次阈值；
从开源数据集中获取同分类样本集合，其中，同分类样本集合所包括的正样本与锚点样本具有相同的分类信息，同分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合以及同分类样本集合中的正样本集合之外剩余的至少一个预设样本；
从开源数据集中获取临近分类样本集合，其中，临近分类样本集合所包括的正样本与锚点样本具有临近的分类信息，临近分类样本集合所包括的负样本来源于除同义样本集合中的正样本集合、近义样本集合中的正样本集合、同标签样本集合中的正样本集合、同分类样本集合中的正样本集合以及临近分类样本集合的正样本集合之外剩余的至少一个预设样本。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，待训练样本集合中每个样本属于文本类型的样本；
获取模块410，具体用于基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于文本特征向量。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，待训练样本集合中每个样本属于图片类型的样本；
获取模块410，具体用于基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于图片特征向量。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，待训练样本集合中每个样本属于视频类型的样本；
获取模块410，具体用于基于待训练样本集合，通过待训练特征提取模型获取每个样本的特征向量，其中，每个样本的特征向量属于视频特征向量。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，待训练样本集合中每个样本属于多模态类型的样本，其中，多模态类型包括文本类型以及图片类型，或，多模态类型包括文本类型以及视频类型；
获取模块410，具体用于基于待训练样本集合，通过待训练特征提取模型所包括的文本特征提取模型，获取每个样本的文本特征向量；
基于待训练样本集合，通过待训练特征提取模型所包括的图片特征提取模型，获取每个样本的图片特征向量；
基于每个样本的文本特征向量以及图片特征向量，通过待训练特征提取模型所包括的特征融合模型，获取每个样本的特征向量；
或者，
获取模块410，具体用于基于待训练样本集合，通过待训练特征提取模型所包括的文本特征提取模型，获取每个样本的文本特征向量；
基于待训练样本集合，通过待训练特征提取模型所包括的视频特征提取模型，获取每个样本的视频特征向量；
基于每个样本的文本特征向量以及视频特征向量，通过待训练特征提取模型所包括的特征融合模型，获取每个样本的特征向量。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，
确定模块420，具体用于针对M个预设标签中的每个预设标签，根据每个样本的类别概率分布，确定针对预设标签的预测概率值；
针对M个预设标签中的每个预设标签，根据每个样本所对应的至少一种标签，确定针对预设标签的真实值；
针对M个预设标签中的每个预设标签，根据每个样本针对预设标签的预测概率值以及真实值，确定预设标签所对应的分类子损失值；
根据每个预设标签所对应的分类子损失值，确定分类损失值。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，
确定模块420，具体用于根据N个关联样本集合以及锚点样本，构建N个第一正样本对集合以及N个第一负样本对集合，其中，每个第一正样本对集合来源于关联样本集合的正样本集合，每个第一负样本对集合来源于关联样本集合的正样本集合和负样本集合中的至少一项；
根据N个第一正样本对集合以及N个第一负样本对集合，确定N个对比子损失值；
根据N个对比子损失值，确定第一对比损失值。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，特征提取模型训练装置还包括构建模块440；
获取模块410，还用于获取至少两个锚点样本以及每个锚点样本所对应的N个关联样本集合；
构建模块440，根据所述至少两个锚点样本以及所述每个锚点样本所对应的N个关联样本集合，构建第二正样本对集合以及第二负样本对集合，其中，所述第二正样本对集合中第二正样本对所对应的相似度层级高于所述第二负样本对集合中第二负样本对所对应的相似度层级；
确定模块420，还用于根据所述第二正样本对集合以及所述第二负样本对集合，确定第二对比损失值；
训练模块430，具体用于采用分类损失值、第一对比损失值以及第二对比损失值，对待训练特征提取模型的模型参数进行更新。
可选地，在上述图13所对应的实施例的基础上，本申请实施例提供的特征提取模型训练装置40的另一实施例中，
训练模块430，具体用于对分类损失值、第一对比损失值以及第二对比损失值进行加权，得到目标损失值；
采用目标损失值对待训练特征提取模型的模型参数进行更新。
下面对本申请中的内容推荐装置进行详细描述，请参阅图14，图14为本申请实施例中内容推荐装置的一个实施例示意图，内容推荐装置50包括：
获取模块510，用于获取待推荐对象的感兴趣内容；
获取模块510，还用于基于感兴趣内容，通过特征提取模型获取目标特征向量，其中，特征提取模型为采用上述方面提供的训练方法得到的；
匹配模块520，用于将目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，得到相似度最大的K个候选内容，其中，各个候选内容的特征向量为采用特征提取模型获取到的，K为大于或等于1的整数，
推送模块530，用于向待推荐对象使用的终端推送T个候选内容，其中，T个候选内容来源于K个候选内容，T为大于或等于1，且小于或等于K的整数。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的内容推荐装置50的另一实施例中，内容推荐装置还包括处理模块540；
处理模块540，用于向待推荐对象使用的终端推送T个候选内容之前，对K个候选内容进行两两组合，得到候选内容对集合，其中，候选内容对集合包括至少一个候选内容对；
处理模块540，还用于计算候选内容对集合中每个候选内容对所对应的相似度；
处理模块540，还用于若存在至少一个候选内容对所对应的相似度大于或等于目标相似度阈值，则对至少一个候选内容对中的候选内容对进行删除，得到T个候选内容。
图15是本申请实施例提供的一种计算机设备结构示意图，该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在计算机设备600上执行存储介质630中的一系列指令操作。
计算机设备600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由计算机设备所执行的步骤可以基于该图15所示的计算机设备结构。
本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现前述各个实施例描述方法的步骤。
本申请实施例中还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现前述各个实施例描述方法的步骤。
可以理解的是，在本申请的具体实施方式中，涉及到用户信息、用户感兴趣内容等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是服务器或终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

1.一种特征提取模型的训练方法，其特征在于，包括：
获取待训练样本集合，其中，所述待训练样本集合包括锚点样本以及N个关联样本集合，每个关联样本集合包括正样本集合以及负样本集合，且，来源于不同关联样本集合的正样本集合与所述锚点样本具有不同程度的相似度，所述N为大于或等于2的整数；
通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，其中，所述待训练样本集合中的每个样本对应于至少一种标签；
基于所述每个样本的特征向量，通过分类器获取所述每个样本的类别概率分布，其中，所述类别概率分布包括M个预测概率值，每个预测概率值对应于一种预设标签，所述M为大于或等于1的整数；
根据所述每个样本的类别概率分布以及所述每个样本所对应的至少一种标签，确定分类损失值；
根据所述每个样本的特征向量，确定第一对比损失值，其中，所述第一对比损失值由N个对比子损失值确定的，每个对比子损失值用于表示至少一个关联样本集合与所述锚点样本之间的差异程度；
采用所述分类损失值以及所述第一对比损失值，对所述待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。
2.根据权利要求1所述的训练方法，其特征在于，所述N个关联样本集合包括同义样本集合和同标签样本集合；
所述获取待训练样本集合，包括：
从开源数据集中获取所述锚点样本以及所述锚点样本的目标预训练向量，其中，所述开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据所述目标预训练向量，从所述开源数据集中获取所述同义样本集合，其中，所述同义样本集合所包括的正样本与所述锚点样本之间相似度的排序大于或等于排序阈值，所述同义样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从所述开源数据集中获取所述同标签样本集合，其中，所述同标签样本集合所包括的正样本与所述锚点样本具有相同的粗粒度标签，所述同标签样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合以及所述同标签样本集合中的正样本集合之外剩余的至少一个预设样本，所述粗粒度标签为根据所述开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
3.根据权利要求1所述的训练方法，其特征在于，所述N个关联样本集合包括同义样本集合和同分类样本集合；
所述获取待训练样本集合，包括：
从开源数据集中获取所述锚点样本以及所述锚点样本的目标预训练向量，其中，所述开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据所述目标预训练向量，从所述开源数据集中获取所述同义样本集合，其中，所述同义样本集合所包括的正样本与所述锚点样本之间相似度的排序大于或等于排序阈值，所述同义样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合之外剩余的至少一个预设样本；
从所述开源数据集中获取所述同分类样本集合，其中，所述同分类样本集合所包括的正样本与所述锚点样本具有相同的分类信息，所述同分类样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合以及所述同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
4.根据权利要求1所述的训练方法，其特征在于，所述N个关联样本集合包括近义样本集合和同标签样本集合；
所述获取待训练样本集合，包括：
从开源数据集中获取所述锚点样本以及所述锚点样本的目标预训练向量，其中，所述开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据所述目标预训练向量，从所述开源数据集中获取所述近义样本集合，其中，所述近义样本集合所包括的正样本与所述目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，所述近义样本集合所包括的负样本来源于除所述近义样本集合中的正样本集合之外剩余的至少一个预设样本，所述小众标签为根据所述开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从所述开源数据集中获取所述同标签样本集合，其中，所述同标签样本集合所包括的正样本与所述锚点样本具有相同的粗粒度标签，所述同标签样本集合所包括的负样本来源于除所述近义样本集合中的正样本集合以及所述同标签样本集合中的正样本集合之外剩余的至少一个预设样本，所述粗粒度标签为根据所述开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签。
5.根据权利要求1所述的训练方法，其特征在于，所述N个关联样本集合包括近义样本集合和同分类样本集合；
所述获取待训练样本集合，包括：
从开源数据集中获取所述锚点样本以及所述锚点样本的目标预训练向量，其中，所述开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据所述目标预训练向量，从所述开源数据集中获取所述近义样本集合，其中，所述近义样本集合所包括的正样本与所述目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，所述近义样本集合所包括的负样本来源于除所述近义样本集合中的正样本集合之外剩余的至少一个预设样本，所述小众标签为根据所述开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从所述开源数据集中获取所述同分类样本集合，其中，所述同分类样本集合所包括的正样本与所述锚点样本具有相同的分类信息，所述同分类样本集合所包括的负样本来源于除所述近义样本集合中的正样本集合以及所述同分类样本集合中的正样本集合之外剩余的至少一个预设样本。
6.根据权利要求1所述的训练方法，其特征在于，所述N个关联样本集合包括同义样本集合、近义样本集合、同标签样本集合、同分类样本集合和临近分类样本集合；
所述获取待训练样本集合，包括：
从开源数据集中获取所述锚点样本以及所述锚点样本的目标预训练向量，其中，所述开源数据集包括至少两个预设样本以及每个预设样本的预训练向量；
根据所述目标预训练向量，从所述开源数据集中获取所述同义样本集合，其中，所述同义样本集合所包括的正样本与所述锚点样本之间相似度的排序大于或等于排序阈值，所述同义样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合之外剩余的至少一个预设样本；
根据所述目标预训练向量，从所述开源数据集中获取所述近义样本集合，其中，所述近义样本集合所包括的正样本与所述目标预训练向量之间的相似度大于或等于相似度阈值，且，具有相同的小众标签或具有至少两个重叠的标签，所述近义样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合以及所述近义样本集合中的正样本集合之外剩余的至少一个预设样本，所述小众标签为根据所述开源数据集中每个预设样本的标签统计得到出现频次小于或等于第二频次阈值的标签；
从所述开源数据集中获取所述同标签样本集合，其中，所述同标签样本集合所包括的正样本与所述锚点样本具有相同的粗粒度标签，所述同标签样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合、所述近义样本集合中的正样本集合以及所述同标签样本集合中的正样本集合之外剩余的至少一个预设样本，所述粗粒度标签为根据所述开源数据集中每个预设样本的标签统计得到出现频次大于或等于第一频次阈值的标签，所述第一频次阈值大于所述第二频次阈值；
从所述开源数据集中获取所述同分类样本集合，其中，所述同分类样本集合所包括的正样本与所述锚点样本具有相同的分类信息，所述同分类样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合、所述近义样本集合中的正样本集合、所述同标签样本集合中的正样本集合以及所述同分类样本集合中的正样本集合之外剩余的至少一个预设样本；
从所述开源数据集中获取所述临近分类样本集合，其中，所述临近分类样本集合所包括的正样本与所述锚点样本具有临近的分类信息，所述临近分类样本集合所包括的负样本来源于除所述同义样本集合中的正样本集合、所述近义样本集合中的正样本集合、所述同标签样本集合中的正样本集合、所述同分类样本集合中的正样本集合以及临近分类样本集合的正样本集合之外剩余的至少一个预设样本。
7.根据权利要求1所述的训练方法，其特征在于，所述待训练样本集合中每个样本属于文本类型的样本；
所述通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，包括：
基于所述待训练样本集合，通过所述待训练特征提取模型获取所述每个样本的特征向量，其中，所述每个样本的特征向量属于文本特征向量。
8.根据权利要求1所述的训练方法，其特征在于，所述待训练样本集合中每个样本属于图片类型的样本；
所述通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，包括：
基于所述待训练样本集合，通过所述待训练特征提取模型获取所述每个样本的特征向量，其中，所述每个样本的特征向量属于图片特征向量。
9.根据权利要求1所述的训练方法，其特征在于，所述待训练样本集合中每个样本属于视频类型的样本；
所述通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，包括：
基于所述待训练样本集合，通过所述待训练特征提取模型获取所述每个样本的特征向量，其中，所述每个样本的特征向量属于视频特征向量。
10.根据权利要求1所述的训练方法，其特征在于，所述待训练样本集合中每个样本属于多模态类型的样本，其中，所述多模态类型包括文本类型以及图片类型，或，所述多模态类型包括文本类型以及视频类型；
所述通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，包括：
基于所述待训练样本集合，通过所述待训练特征提取模型所包括的文本特征提取模型，获取所述每个样本的文本特征向量；
基于所述待训练样本集合，通过所述待训练特征提取模型所包括的图片特征提取模型，获取所述每个样本的图片特征向量；
基于所述每个样本的文本特征向量以及图片特征向量，通过所述待训练特征提取模型所包括的特征融合模型，获取所述每个样本的特征向量；
或者，
所述通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，包括：
基于所述待训练样本集合，通过所述待训练特征提取模型所包括的文本特征提取模型，获取所述每个样本的文本特征向量；
基于所述待训练样本集合，通过所述待训练特征提取模型所包括的视频特征提取模型，获取所述每个样本的视频特征向量；
基于所述每个样本的文本特征向量以及视频特征向量，通过所述待训练特征提取模型所包括的特征融合模型，获取所述每个样本的特征向量。
11.根据权利要求1所述的训练方法，其特征在于，所述根据所述每个样本的类别概率分布以及所述每个样本所对应的至少一种标签，确定分类损失值，包括：
针对M个预设标签中的每个预设标签，根据所述每个样本的类别概率分布，确定针对预设标签的预测概率值；
针对所述M个预设标签中的每个预设标签，根据所述每个样本所对应的至少一种标签，确定针对所述预设标签的真实值；
针对所述M个预设标签中的每个预设标签，根据所述每个样本针对所述预设标签的预测概率值以及真实值，确定所述预设标签所对应的分类子损失值；
根据所述每个预设标签所对应的分类子损失值，确定所述分类损失值。
12.根据权利要求1所述的训练方法，其特征在于，所述根据所述每个样本的特征向量，确定第一对比损失值，包括：
根据所述N个关联样本集合以及所述锚点样本，构建N个第一正样本对集合以及N个第一负样本对集合，其中，每个第一正样本对集合来源于关联样本集合的正样本集合，每个第一负样本对集合来源于关联样本集合的正样本集合和负样本集合中的至少一项；
根据所述N个第一正样本对集合以及所述N个第一负样本对集合，确定N个对比子损失值；
根据所述N个对比子损失值，确定所述第一对比损失值。
13.根据权利要求1至12中任一项所述的训练方法，其特征在于，所述方法还包括：
获取至少两个锚点样本以及每个锚点样本所对应的N个关联样本集合；
根据所述至少两个锚点样本以及所述每个锚点样本所对应的N个关联样本集合，构建第二正样本对集合以及第二负样本对集合，其中，所述第二正样本对集合中第二正样本对所对应的相似度层级高于所述第二负样本对集合中第二负样本对所对应的相似度层级；
根据所述第二正样本对集合以及所述第二负样本对集合，确定第二对比损失值；
所述采用所述分类损失值以及所述第一对比损失值，对所述待训练特征提取模型的模型参数进行更新，包括：
采用所述分类损失值、所述第一对比损失值以及所述第二对比损失值，对所述待训练特征提取模型的模型参数进行更新。
14.根据权利要求13所述的训练方法，其特征在于，所述采用所述分类损失值、所述第一对比损失值以及所述第二对比损失值，对所述待训练特征提取模型的模型参数进行更新，包括：
对所述分类损失值、所述第一对比损失值以及所述第二对比损失值进行加权，得到目标损失值；
采用所述目标损失值对所述待训练特征提取模型的模型参数进行更新。
15.一种内容推荐的方法，其特征在于，包括：
获取待推荐对象的感兴趣内容；
基于所述感兴趣内容，通过特征提取模型获取目标特征向量，其中，所述特征提取模型为采用上述权利要求1至14中任一项所述的训练方法得到的；
将所述目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，得到相似度最大的K个候选内容，其中，所述各个候选内容的特征向量为采用所述特征提取模型获取到的，所述K为大于或等于1的整数，
向所述待推荐对象使用的终端推送所述T个候选内容，其中，所述T个候选内容来源于所述K个候选内容，所述T为大于或等于1，且小于或等于所述K的整数。
16.根据权利要求15所述的方法，其特征在于，所述向所述待推荐对象使用的终端推送所述T个候选内容之前，所述方法还包括：
对所述K个候选内容进行两两组合，得到候选内容对集合，其中，所述候选内容对集合包括至少一个候选内容对；
计算所述候选内容对集合中每个候选内容对所对应的相似度；
若存在至少一个候选内容对所对应的相似度大于或等于目标相似度阈值，则对所述至少一个候选内容对中的候选内容对进行删除，得到所述T个候选内容。
17.一种特征提取模型训练装置，其特征在于，包括：
获取模块，用于获取待训练样本集合，其中，所述待训练样本集合包括锚点样本以及N个关联样本集合，每个关联样本集合包括正样本集合以及负样本集合，且，来源于不同关联样本集合的正样本集合与所述锚点样本具有不同程度的相似度，所述N为大于或等于2的整数；
所述获取模块，还用于通过待训练特征提取模型，获取所述待训练样本集合中每个样本的特征向量，其中，所述待训练样本集合中的每个样本对应于至少一种标签；
所述获取模块，还用于基于所述每个样本的特征向量，通过分类器获取所述每个样本的类别概率分布，其中，所述类别概率分布包括M个预测概率值，每个预测概率值对应于一种预设标签，所述M为大于或等于1的整数；
确定模块，用于根据所述每个样本的类别概率分布以及所述每个样本所对应的至少一种标签，确定分类损失值；
所述确定模块，还用于根据所述每个样本的特征向量，确定第一对比损失值，其中，所述第一对比损失值由N个对比子损失值确定的，每个对比子损失值用于表示至少一个关联样本集合与所述锚点样本之间的差异程度；
训练模块，用于采用所述分类损失值以及所述第一对比损失值，对所述待训练特征提取模型的模型参数进行更新，直至满足训练停止条件，得到特征提取模型。
18.一种内容推荐装置，其特征在于，包括：
获取模块，用于获取待推荐对象的感兴趣内容；
所述获取模块，还用于基于所述感兴趣内容，通过特征提取模型获取目标特征向量，其中，所述特征提取模型为采用上述权利要求1至14中任一项所述的训练方法得到的；
匹配模块，用于将所述目标特征向量与候选内容集合中各个候选内容的特征向量进行相似度匹配，得到相似度最大的K个候选内容，其中，所述各个候选内容的特征向量为采用所述特征提取模型获取到的，所述K为大于或等于1的整数，
推送模块，用于向所述待推荐对象使用的终端推送所述T个候选内容，其中，所述T个候选内容来源于所述K个候选内容，所述T为大于或等于1，且小于或等于所述K的整数。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的训练方法的步骤，或，实现权利要求15至16中任一项所述的方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的训练方法的步骤，或，实现权利要求15至16中任一项所述的方法的步骤。
CN202310145305.0A 2023-01-31 2023-01-31 一种特征提取模型的训练方法、内容推荐的方法及装置 Pending CN116955730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310145305.0A CN116955730A (zh) 2023-01-31 2023-01-31 一种特征提取模型的训练方法、内容推荐的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310145305.0A CN116955730A (zh) 2023-01-31 2023-01-31 一种特征提取模型的训练方法、内容推荐的方法及装置

Publications (1)

Publication Number Publication Date
CN116955730A true CN116955730A (zh) 2023-10-27

Family

ID=88445033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310145305.0A Pending CN116955730A (zh) 2023-01-31 2023-01-31 一种特征提取模型的训练方法、内容推荐的方法及装置

Country Status (1)

Country Link
CN (1) CN116955730A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173493A (zh) * 2023-11-02 2023-12-05 腾讯科技（深圳）有限公司 分类模型的训练方法、装置、设备、程序产品及存储介质
CN117593934A (zh) * 2024-01-17 2024-02-23 长春职业技术学院 一种基于工业机器人的虚拟仿真实训系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173493A (zh) * 2023-11-02 2023-12-05 腾讯科技（深圳）有限公司 分类模型的训练方法、装置、设备、程序产品及存储介质
CN117173493B (zh) * 2023-11-02 2024-02-27 腾讯科技（深圳）有限公司 分类模型的训练方法、装置、设备、程序产品及存储介质
CN117593934A (zh) * 2024-01-17 2024-02-23 长春职业技术学院 一种基于工业机器人的虚拟仿真实训系统
CN117593934B (zh) * 2024-01-17 2024-04-05 长春职业技术学院 一种基于工业机器人的虚拟仿真实训系统

Similar Documents

Publication Publication Date Title
Li et al. Zero-shot event detection via event-adaptive concept relevance mining
Karpathy et al. Deep visual-semantic alignments for generating image descriptions
CN111125422B (zh) 一种图像分类方法、装置、电子设备及存储介质
Gan et al. Recognizing an action using its name: A knowledge-based approach
Chen et al. Hierarchical visual-textual graph for temporal activity localization via language
US20210224601A1 (en) Video sequence selection method, computer device, and storage medium
KR101754473B1 (ko) 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템
CN110580500A (zh) 一种面向人物交互的网络权重生成少样本图像分类方法
CN116955730A (zh) 一种特征提取模型的训练方法、内容推荐的方法及装置
CN109933660B (zh) 面向自然语言形式基于讲义和网站的api信息检索方法
US11860932B2 (en) Scene graph embeddings using relative similarity supervision
CN116049412B (zh) 文本分类方法、模型训练方法、装置及电子设备
CN112148831B (zh) 图文混合检索方法、装置、存储介质、计算机设备
CN113704507B (zh) 数据处理方法、计算机设备以及可读存储介质
CN115293348A (zh) 一种多模态特征提取网络的预训练方法及装置
CN112528136A (zh) 一种观点标签的生成方法、装置、电子设备和存储介质
CN110717038B (zh) 对象分类方法及装置
Perez-Martin et al. A comprehensive review of the video-to-text problem
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN113408282B (zh) 主题模型训练和主题预测方法、装置、设备及存储介质
Kaur et al. Targeted style transfer using cycle consistent generative adversarial networks with quantitative analysis of different loss functions
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN113569867A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN117237857B (zh) 视频理解任务的执行方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication