CN116129210A - 特征提取模型的训练方法、特征提取方法及装置 - Google Patents

Abstract

本申请公开了一种特征提取模型的训练方法、特征提取方法及装置，属于计算机领域。本申请提供的训练方法包括：获取第一阶段训练样本；通过第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；获取第二阶段训练样本；通过第二阶段训练样本对第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；其中，第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者。

Description

特征提取模型的训练方法、特征提取方法及装置

技术领域

本申请属于计算机领域，具体涉及一种特征提取模型的训练方法、特征提取方法及装置。

背景技术

当前，在对诸如图像或文本之类的对象进行处理的很多情形(例如，人脸识别或文本-语音转换)下，往往会先提取对象的特征信息。

相关技术在提取对象的特征信息的过程中，往往会侧重提取对象某一方面的信息(例如，对象的整体信息)，而忽略对象另一方面的信息(例如，对象的细节特征信息)，进而，这种特征信息提取方式的应用范围较为受限。

发明内容

本申请实施例提供一种特征提取模型的训练方法、特征提取方法及装置，以解决相关技术中的特征信息提取方式应用范围较为受限的问题。

第一方面，本申请实施例提供了一种特征提取模型的训练方法，该方法包括：

获取第一阶段训练样本；

通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；

获取第二阶段训练样本；

通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；

其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；

其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。

第二方面，本申请实施例提供了一种特征提取方法，该方法包括：

获取目标数据；

将所述目标数据输入至所述第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；

其中，所述第二目标特征提取模型是根据第一方面提供的训练方法进行训练得到的。

第三方面，本申请实施例提供了一种特征提取装置，包括获取模块和处理模块；

所述获取模块，用于获取目标数据；

所述处理模块，用于将所述目标数据输入至第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；

其中，所述第二目标特征提取模型是根据第一方面提供的训练方法而得到的。

第四方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。

第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。

在本申请实施例中，通过获取第一阶段训练样本；通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；获取第二阶段训练样本；通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。这样，通过第一阶段训练样本和第二阶段训练样本进行两个阶段的模型训练，一个阶段侧重于进行域间对比学习，另一个阶段侧重于进行域内对比学习，最终得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中的特征信息提取方式应用范围较为受限的问题。

附图说明

图1为本申请实施例提供的一种特征提取模型的训练过程的示意图；

图2为本申请实施例提供的一种特征提取模型的训练过程的示意图；

图3为本申请实施例提供的一种特征提取模型的训练方法的示意性流程图；

图4-1为本申请实施例提供的一种特征提取模型的训练方法的示意性流程图；

图4-2为本申请实施例提供的一种第二目标特征提取模型的训练方法的示意性流程图；

图4-3为本申请实施例提供的一种第二目标特征提取模型的训练过程的示意图；

图5为本申请实施例提供的一种特征提取方法的示意性流程图；

图6为本申请实施例提供的一种特征提取模型的训练装置的示意性结构图；

图7为本申请实施例提供的一种电子设备的示意性结构图；

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

在提取特征信息的过程中，可以采用特征提取模型提取输入数据(例如文本或者图像等)的特征。由于特征提取模型的好坏直接关系到提取的特征信息的质量，因而对特征提取模型进行训练，保证特征提取模型在对输入数据进行特征提取处理时，生成的特征信息能够准确反映输入数据的尽可能多的特征是十分重要的。相关技术中，在特征提取模型的训练过程中，一般将指定样本作为锚点样本，将指定样本进行增强处理后生成的域内正样本作为正样本，将与指定样本不同域的样本作为负样本，对特征提取模型进行对比学习训练，进而使特征提取模型具有区分数据的整体特征的能力，从而使得由特征提取模型输出的特征信息符合输入数据的特征。

其中，与锚点样本对应的域内正样本可以由锚点样本衍生得到，锚点样本与该域内正样本在整体特征方面相似，在细节特征方面也相似。与锚点样本对应的域内负样本可以由锚点样本衍生得到，锚点样本与该域内负样本在整体特征方面相似，而在细节特征方面不太相似。锚点样本与锚点样本对应的域外负样本在整体特征方面不相似，在细节特征方面也不相似。其中，整体特征可以表征样本的整体信息，细节特征可以表征样本在特定方面的局部特征信息。例如，若样本为展示卡通风格的猫的图像样本，样本的整体特征可以是样本的类别“猫”，样本的细节特征可以是“猫”的某个部位(例如猫爪)在样本中的占比、“猫”的某个部位(例如猫爪)的颜色等等。当然，样本还可以是文本样本、音频样本等等，本申请在此不作具体限制。

然而，申请人注意到，相关技术中由于将不同域的数据作为负样本，仅能使特征提取模型具有区分出输入数据的整体特征的能力，而难以区分输入数据的细节特征，导致特征提取模型生成的特征信息的信息量不全面，进而导致应用范围比较受限。

基于此，本申请实施例提供一种特征提取模型的训练方法，通过第一阶段训练样本和第二阶段训练样本进行两个阶段的模型训练，一个阶段侧重于进行域间对比学习，另一个阶段侧重于进行域内对比学习，最终得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中利用特征提取模型难以提取对象的细节特征信息，导致应用范围较为受限的问题。

举例而言，如图1所示，本申请实施例提供的特征提取模型的训练流程可以包括：将第一阶段数据集中的指定样本作为第一锚点样本；采用正例增强方式对第一锚点样本进行增强处理后生成与第一锚点样本对应的域内正样本；将第一阶段数据集中除了指定样本之外的样本，作为与第一锚点样本对应的域外负样本；将第一锚点样本、与第一锚点样本对应的域内正样本以及与第一锚点样本对应的域外负样本作为第一阶段训练样本，对待训练的特征提取模型进行第一阶段的对比学习训练，得到第一目标特征提取模型，使得第一目标特征提取模型具有区分数据的整体特征的能力；之后，将第二阶段数据集中的指定样本作为第二锚点样本；采用正例增强方式对第二锚点样本进行增强处理后生成域内正样本；采用负例增强方式对第二锚点样本进行增强处理后生成域内负样本；将第二锚点样本、与第二锚点样本对应的域内正样本以及与第二锚点样本对应的域内负样本作为第二阶段训练样本，对第一目标特征提取模型进行第二阶段的对比学习训练，得到第二目标特征提取模型，使得第二目标特征提取模型在具有区分数据的整体特征的能力的基础上，还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中的特征信息提取方式应用范围较为受限的问题。

并且，为了避免由第一阶段训练得到的区分数据的整体特征的能力，在第二阶段训练过程中退化，在实际应用中，还可以在第二阶段训练样本中增加与第二锚点样本对应的域外负样本(图1未示出)，采用少量的与第二锚点样本对应的域外负样本进行对比学习训练，以保持由第一阶段训练得到的区分数据的整体特征的能力。这样一来，可以在保证第一阶段训练的效果的基础上，提高第二阶段训练的效果。

需要指出的是，图1提供的上述特征提取模型的训练流程，在第一阶段训练时采用域间学习样本，训练特征提取模型区分数据的整体特征的能力；在第二阶段训练时采用域内学习样本，训练特征提取模型区分数据的细节特征的能力。而以上实施例仅为示例而不意味着限制，例如，如图2所示，本申请实施例还提供一种特征提取模型的训练方法，可以在第一阶段训练时采用域内学习样本，训练特征提取模型区分数据的细节特征的能力，在第二阶段训练时采用域间学习样本，训练特征提取模型区分数据的整体特征的能力。

如图2所示，本申请实施例提供的特征提取模型的训练流程可以包括：将第二锚点样本、与第二锚点样本对应的域内正样本以及与第二锚点样本对应的域内负样本作为第一阶段训练样本，对待训练的特征提取模型进行第一阶段的对比学习训练，得到第一目标特征提取模型，使得第一目标特征提取模型具有区分数据的细节特征的能力；之后，将第一锚点样本、与第一锚点样本对应的域内正样本以及与第一锚点样本对应的域外负样本作为第二阶段训练样本，对第一目标特征提取模型进行第二阶段的对比学习训练，得到第二目标特征提取模型，使得第二目标特征提取模型在具有区分数据的细节特征的能力的基础上，还具有进一步区分数据的整体特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中的特征提取方式的应用范围较为受限的问题。

本申请实施例还提供一种特征提取方法，采用训练好的第二目标特征提取模型，对诸如图像或者文本等输入对象进行特征提取处理，生成诸如特征向量或者特征矩阵等特征信息，生成的特征信息符合输入对象的整体特征和细节特征，大大扩展了模型的应用范围。例如，在实际应用中，在输入对象是图像形式的对象时，本申请实施例提供的训练好的特征提取模型可以作为诸如图像分类模型、图像识别模型、图像转换模型或者图像分割模型等图像类神经网络模型的特征提取层。在输入对象是文本形式的对象时，本申请实施例提供的训练好的特征提取模型可以作为诸如文本分类模型、文本识别模型、文本检索模型或者文本标签提取模型等文本类神经网络模型的特征提取层。当然，以上例子仅为示例而不意味着限制，在需要训练的目标模型包括用于特征提取处理的特征提取层的情况下，可以采用本申请实施例提供的训练方法对该目标模型的特征提取层进行预先训练。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的特征提取模型的训练方法、特征提取方法及装置进行详细地说明。

图3为本申请实施例提供的一种特征提取模型的训练方法的示意性流程图。

如图3所示，本申请实施例提供的特征提取模型的训练方法可以包括：

步骤310：获取第一阶段训练样本；其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者；

步骤320：通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；

步骤330：获取第二阶段训练样本；所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；

步骤340：通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；

其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。

其中，第一阶段训练样本和第二阶段训练样本可以为文本、图像等形式的样本。需要指出的是，域内样本的概念是指该域内样本的整体特征与锚点样本的整体特征高度相似，域外样本的概念是指该域外样本的整体特征与锚点样本的整体特征不太相似。

例如，与第一锚点样本对应的域内正样本可以由第一锚点样本衍生得到，第一锚点样本与该域内正样本在整体特征方面相似，在细节特征方面也相似。与第一锚点样本对应的域内负样本可以由第一锚点样本衍生得到，第一锚点样本与该域内负样本在整体特征方面相似，而在细节特征方面不太相似。第一锚点样本与第一锚点样本对应的域外负样本在整体特征方面不相似，在细节特征方面也不相似。

能够理解的是，上述步骤310和步骤320是对特征提取模型进行第一阶段的对比学习训练，步骤330和步骤340是对特征提取模型进行第二阶段的对比学习训练，两个学习阶段的训练样本可调换顺序。换言之，在第一阶段训练样本为用于进行域间对比学习的训练样本的情况下，第二阶段训练样本可以为用于进行域内对比学习的训练样本；在第一阶段训练样本为用于进行域内对比学习的训练样本的情况下，第二阶段训练样本可以为用于进行域间对比学习的训练样本。下面分两种情况分别进行具体说明。

第一种情况：在第一阶段训练时采用用于进行域间对比学习的训练样本，训练特征提取模型区分数据的整体特征的能力；在第二阶段训练时采用用于进行域内对比学习的训练样本，进一步训练特征提取模型区分数据的细节特征的能力。

这种情况下，在步骤310中，第一阶段训练样本可以为用于进行域间对比学习的训练样本。用于进行域间对比学习的训练样本可以包括：第一锚点样本、与第一锚点样本对应的域内正样本和与第一锚点样本对应的域外负样本。

其中，第一锚点样本可以根据实际需求从预先准备好的指定数据集中获取得到，与第一锚点样本对应的域内正样本可以通过正例数据增强方式对第一锚点样本进行数据增强处理得到，与第一锚点样本对应的域外负样本可以上述指定数据集中获取得到，本申请在此不作具体限制。

在步骤320中，采用第一锚点样本、与第一锚点样本对应的域内正样本和与第一锚点样本对应的域外负样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型，由于第一锚点样本和与第一锚点样本对应的域内正样本在整体特征方面高度相似，第一锚点样本和与第一锚点样本对应的域外负样本在整体特征方面不相似，使得第一目标特征提取模型具有区分出数据的整体特征的能力。

在步骤330中，第二阶段训练样本可以为用于进行域间对比学习的训练样本。用于进行域间对比学习的训练样本包括：第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本。其中，第二锚点样本可以根据实际需求从预先准备好的指定数据集中获取得到，与第二锚点样本对应的域内正样本可以通过正例数据增强方式对第二锚点样本进行数据增强处理得到，与第二锚点样本对应的域内负样本可以通过负例数据增强方式对第二锚点样本进行数据增强处理得到，本申请在此不作具体限制。

其中，第一锚点样本与第二锚点样本可以属于同一数据集，也可以属于不同数据集。在第一锚点样本与第二锚点样本属于同一数据集的情况下，第一锚点样本与第二锚点样本可以相同，也可以不同；在第一锚点样本与第二锚点样本属于不同数据集的情况下，第一锚点样本与第二锚点样本可以不同，本申请在此不作具体限制。

在步骤340中，采用第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本，对第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型，由于第二锚点样本和与第二锚点样本对应的域内正样本在整体特征方面和细节特征方面均高度相似，第二锚点样本和与第二锚点样本对应的域内负样本在整体特征方面相似而在细节特征方面不相似，第二目标特征提取模型能够学习到区分数据的细节特征的能力，进而使得第二目标特征提取模型在具有区分出数据的整体特征的能力的基础上，还具有区分出数据的细节特征的能力。

第二种情况：在第一阶段训练时采用用于进行域间对比学习的训练样本，训练特征提取模型区分数据的整体特征的能力；在第二阶段训练时采用用于进行域内对比学习的训练样本，进一步训练特征提取模型区分数据的细节特征的能力。

这种情况下，在步骤310中，第一阶段训练样本可以为用于进行域内对比学习的训练样本。用于进行域内对比学习的训练样本包括：第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本。

在步骤320中，采用第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型，由于第二锚点样本和与第二锚点样本对应的域内正样本在整体特征方面和细节特征方面均相似，第二锚点样本和与第二锚点样本对应的域内负样本在整体特征方面相似而在细节特征方面不相似，使得第一目标特征提取模型学习到区分出数据的细节特征的能力。

在步骤330中，第二阶段训练样本可以为用于进行域间对比学习的训练样本。用于进行域间对比学习的训练样本可以包括：第一锚点样本、与第一锚点样本对应的域内正样本和与第一锚点样本对应的域外负样本。

在步骤340中，采用第一锚点样本、与第一锚点样本对应的域内正样本和与第一锚点样本对应的域外负样本，对第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型，由于第一锚点样本和与第一锚点样本对应的域内正样本在整体特征方面高度相似，第一锚点样本和与第一锚点样本对应的域外负样本在整体特征方面不相似，使得第二目标特征提取模型学习到区分出数据的整体特征的能力，进而使得第二目标特征提取模型在具有区分出数据的细节特征的能力的基础上，还具有区分出数据的整体特征的能力。

根据本申请实施例提供的特征提取模型的训练方法，通过获取第一阶段训练样本；通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；获取第二阶段训练样本；通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。这样，通过第一阶段训练样本和第二阶段训练样本进行两个阶段的模型训练，一个阶段侧重于进行域间对比学习，另一个阶段侧重于进行域内对比学习，最终得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中的特征信息提取方式应用范围较为受限的问题。

在一个具体的实施例中，为了避免由第一阶段训练得到的特征提取能力，在第二阶段训练过程中退化，在实际应用中，可以在第二阶段训练样本中增加少量类似第一阶段训练样本中的负样本，以维持由第一阶段训练得到的特征提取能力。下面举例说明。

例如，在第一阶段训练样本为用于进行域间对比学习的训练样本，且第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，第二阶段训练样本可包括第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本，这种情况下，第二阶段训练样本还可以包括与第二锚点样本对应的域外负样本。

这样，通过在第二阶段训练样本中增加少量的域外负样本，防止在第二阶段训练过程中模型过渡关注于细节内容而影响模型区分整体特征的能力，可以使第二目标特征提取模型在维持第一阶段训练得到的区分数据的整体特征的能力的基础上，还能具备区分数据的细节特征的能力。

在实际应用中，在第二阶段训练样本包括第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本、与第二锚点样本对应的域外负样本的情况下，与第二锚点样本对应的域内负样本的数量大于或者等于与第二锚点样本对应的域外负样本的数量。例如，域内负样本的数量与域外负样本的数量之比为1：1或者2：1等等。这样，在第二阶段训练过程中，可以使用少量的域外负样本进行对比学习训练，维持第一阶段训练得到的区分数据的整体特征的能力，同时可以使用数量充足的域内负样本进行对比学习训练，使第二目标特征提取模型还具备区分数据的细节特征的能力。当然，与第二锚点样本对应的域内负样本的数量也可以略小于与第二锚点样本对应的域外负样本的数量，本申请对此不作具体限制。

又例如，在第一阶段训练样本为用于进行域内对比学习的训练样本，且第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，第二阶段训练样本可包括第一锚点样本、与第一锚点样本对应的域内正样本、与第一锚点样本对应的域外负样本，这种情况下，第二阶段训练样本还可以包括与第一锚点样本对应的域内负样本。

这样，通过在第二阶段训练样本中增加少量的域内负样本，防止在第二阶段训练过程中模型过渡关注于整体特征而影响模型区分细节特征的能力，可以使第二目标特征提取模型在维持第一阶段训练得到的区分数据的细节特征的能力的基础上，还能具备区分数据的整体特征的能力。

类似的，在实际应用中，在第二阶段训练样本包括第一锚点样本、与第一锚点样本对应的域内正样本、与第一锚点样本对应的域外负样本、与第一锚点样本对应的域内负样本的情况下，与第一锚点样本对应的域外负样本的数量大于或者等于与第一锚点样本对应的域内负样本的数量。例如，域外负样本的数量与域内负样本的数量之比为1：1或者2：1等等。这样，在第二阶段训练过程中，可以使用少量的域内负样本进行对比学习训练，维持第一阶段训练得到的区分数据的细节特征的能力，同时可以使用数量充足的域外负样本进行对比学习训练，使第二目标特征提取模型具备区分数据的整体特征的能力。当然，与第一锚点样本对应的域外负样本的数量也可以略小于与第一锚点样本对应的域内负样本的数量，本申请对此不作具体限制。

下面以第一阶段训练样本为用于进行域间对比学习的训练样本、第二阶段训练样本为用于进行域内对比学习的训练样本为例，详细说明本申请实施例提供的特征提取模型的训练方法。

图4-1为本申请实施例提供的另一种特征提取模型的训练方法的示意性流程图。

如图4-1所示，本申请实施例提供的特征提取模型的训练方法可以包括：

步骤410：获取第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；

其中，步骤410可以是步骤310的子步骤。

在步骤410中，本申请实施例可以从第一阶段数据集中获取第一锚点样本；可以将第一阶段数据集中除第一锚点样本之外的样本，作为与第一锚点样本对应的域外负样本。其中，第一阶段数据集可以是根据实际需求确定的指定数据集，第一锚点样本可以是第一阶段数据集中的任意样本。

在步骤410中，本申请实施例可以通过正例数据增强方式对第一锚点样本进行数据增强处理，得到与所述第一锚点样本对应的域内正样本。第一锚点样本可以是文本形式的样本，或者图像形式的样本。

其中，在第一锚点样本为文本形式的样本的情况下，正例数据增强方式可以是随机删除、掩盖、回译、重复、位置变换、近义词替换等方式中的至少一种。例如，正例数据增强方式可以是随机删除方式，可以通过将第一锚点样本的至少一部分内容删除，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是掩盖方式，可以通过将第一锚点样本的至少一部分内容掩盖，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是回译方式，可以通过将第一锚点样本的至少一部分内容翻译成指定类型的语言，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是重复方式，可以通过将第一锚点样本的至少一部分内容进行重复，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是位置变换方式，可以通过将第一锚点样本中的各个词组进行位置变换，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是近义词替换方式，可以通过将第一锚点样本中的随机几个词组进行近义词替换，得到与第一锚点样本对应的域内正样本。

举例而言，文本形式的第一锚点样本为“在现代这个飞速发展的时代，为了不被时间的洪流所淹没，人们只能更加废寝忘食地提升自己，为生计忙碌”。其中，此第一锚点样本的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“飞速发展的”，“提升”的修饰内容“废寝忘食地”，等等，此处不作具体限制。

第一锚点样本经过正例数据增强方式(例如近义词替换)处理后，得到的与第一锚点样本对应的域内正样本可以为“在快速发展的现代时代，为了不被时间洪流淹没，人们只能不辞劳苦地提升自己，为生计繁忙”。其中，此域内正样本的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“快速发展的”，“提升”的修饰内容“不辞劳苦地”，等等，此处不作具体限制。

与第一锚点样本对应的域外负样本可以为“马上消费金融是一家经中国银保监会批准,持有消费金融牌照的科技驱动型金融机构”。其中，此域外负样本的整体特征可以包括这句话所表达的意思，例如“马上消费金融是金融机构”，细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“金融机构”的修饰内容“科技驱动型”和“经中国银保监会批准,持有消费金融牌照的”，等等，此处不作具体限制。

其中，在第一锚点样本为图像形式的样本的情况下，正例数据增强方式可以是图像旋转、模糊处理、随机调整图像大小、风格迁移等方式中的至少一种。例如，正例数据增强方式可以是图像旋转方式，可以通过将第一锚点样本按照指定角度进行旋转，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是模糊处理方式，可以通过将第一锚点样本进行模糊处理，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是随机调整图像大小，可以通过将第一锚点样本进行放大或者缩小处理，得到与第一锚点样本对应的域内正样本。又例如，正例数据增强方式还可以是风格迁移方式，可以通过将第一锚点样本的原始风格迁移至指定风格，得到与第一锚点样本对应的域内正样本。

步骤420：通过所述第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；

其中，步骤420可以是步骤320的子步骤。

在步骤420中，可以向待训练的特征提取模型输入F个数据对，其中，数据对包括第一锚点样本和第一搭配样本；第一搭配样本可以是与第一锚点样本对应的域内正样本，或者与第一锚点样本对应的域外负样本；

其中，F个数据对包括第四类型数据对和第五类型数据对中的至少一者；第四类型数据对包括第一锚点样本和与第一锚点样本对应的域内正样本；第五类型数据对包括第一锚点样本和与第一锚点样本对应的域外负样本。

其中，针对F个数据对中的一个目标数据对：通过待训练的特征提取模型确定目标数据对中第一锚点样本与第一搭配样本之间的目标相似度；基于目标相似度和所述目标数据对的参考相似度，确定目标数据对的对比损失；基于F个数据对中各个数据对的对比损失，对待训练的特征提取模型进行参数调整，得到第一目标特征提取模型。

其中，在目标数据对中的第一搭配样本为与第一锚点样本对应的域内正样本的情况下，目标数据对的参考相似度为1；在目标数据对中的第一搭配样本为与第一锚点样本对应的域外负样本的情况下，目标数据对的参考相似度为0。

步骤430：从第二阶段数据集中获取第二锚点样本；

其中，步骤430可以是步骤330的子步骤；

在步骤430中，第二阶段数据集可以是根据实际需求确定的指定数据集，第二锚点样本可以是第二阶段数据集中的任意样本。

其中，第二阶段数据集与第一阶段数据集可以是同一数据集，也可以是不同数据集。在第二阶段数据集与第一阶段数据集是同一数据集的情况下，第一锚点样本与第二锚点样本可以相同，也可以不同；在第二阶段数据集与第一阶段数据集是不同数据集的情况下，第一锚点样本与第二锚点样本可以不同，本申请在此不作具体限制。

步骤440：通过正例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内正样本。

其中，步骤440可以是步骤330的子步骤。

在步骤440中，第二锚点样本可以是文本形式的样本，或者图像形式的样本。在第二锚点样本为文本形式的样本的情况下，正例数据增强方式可以是随机删除、掩盖、回译、重复、位置变换、近义词替换等方式中的至少一种。在第二锚点样本为图像形式的样本的情况下，正例数据增强方式可以是图像旋转、模糊处理、随机调整图像大小、风格迁移等方式中的至少一种。具体内容与步骤410类似，可以参考步骤410中通过正例数据增强方式对第一锚点样本进行数据增强处理的具体内容，此处不再赘述。这样，可以采用多种正例数据增强方式，对第二锚点样本进行数据增强处理，得到多种与第二锚点样本对应的域内正样本，提高了特征提取模型的抗干扰能力。

步骤450：通过负例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内负样本。

其中，步骤450可以是步骤330的子步骤。

在步骤450中，第二锚点样本可以是文本形式的样本，或者图像形式的样本。

在步骤450中，在第二锚点样本为文本形式的样本的情况下，负例数据增强方式可以是增加否定词、反义词替换等方式中的至少一种。下面举例说明。

例如，在第二锚点样本为文本形式的样本，负例数据增强方式为增加否定词的情况下，上述步骤450可以包括：将文本形式的第二锚点样本进行词组分拆处理，得到多个独立词组；通过在多个独立词组中的至少一个独立词组之前添加否定词，得到与第二锚点样本对应的域内负样本。

又例如，在第二锚点样本为文本形式的样本，负例数据增强方式包括反义词替换的情况下，上述步骤450可以包括：

将文本形式的第二锚点样本进行词组分拆处理，得到P个独立词组；

通过将P个独立词组中的Q个独立词组替换成对应的反义词，得到与第二锚点样本对应的域内负样本；

其中，Q与P为正整数，Q与P之商位于第一阈值与第二阈值之间，第一阈值大于0，第二阈值小于1。

例如，P的取值是Q的取值的二倍，将文本形式的第二锚点样本中一半数量的词组替换成对应的反义词，得到与第二锚点样本对应的域内负样本。

举例而言，第二锚点样本为“在现代这个飞速发展的时代，为了不被时间的洪流所淹没，人们只能更加废寝忘食地提升自己，为生计忙碌”。其中，此第二锚点样本的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“飞速发展的”，“提升”的修饰内容“废寝忘食地”，等等，此处不作具体限制。

第二锚点样本经过反义词替换处理后得到的域内负样本可以为“在现代这个缓慢发展的时代，为了不被时间的洪流所淹没，人们只能更加饱食终日地提升自己，为生计清闲”。其中，此域内负样本的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“缓慢发展的”，“提升”的修饰内容“饱食终日地”，等等，此处不作具体限制。

这样，与采用增加否定词的方式相比，采用反义词替换的方式生成域内负样本，可以避免模型在后续训练过程中只学习到数据对之间否定词的存在与不同，能够在文本形式的第二锚点样本的原始文本数据整体特征变化不大的情况下改变原本的语义，使模型不再单单只关注于样本特征，还可以深入了解文本语义，特别是替换的反义词的不同语义，提升模型的语义理解能力。

在步骤450中，在第二锚点样本为图像形式的样本的情况下，负例数据增强方式可以是图像旋转、模糊处理、随机调整图像大小、风格迁移等方式中的至少一种。下面举例说明。

例如，在第二锚点样本为图像形式的样本，负例数据增强方式包括颜色调整的情况下，上述步骤450可以包括：

确定图像形式的所述第二锚点样本中的目标对象；

通过将所述目标对象的颜色调整为指定颜色，得到与第二锚点样本对应的域内负样本。

举例而言，确定图像形式的第二锚点样本中的目标对象是眼睛部位，通过将眼睛部位的颜色调整为蓝色，得到与第二锚点样本对应的域内负样本。

又例如，在第二锚点样本为图像形式的样本，负例数据增强方式包括内容替换的情况下，上述步骤450可以包括：

确定图像形式的所述第二锚点样本中的目标对象；

通过将所述目标对象替换为指定对象，得到与第二锚点样本对应的域内负样本。

举例而言，确定图像形式的第二锚点样本中的目标对象是耳朵部位，通过将耳朵部位替换为矩形，得到与第二锚点样本对应的域内负样本。

又例如，在第二锚点样本为图像形式的样本，负例数据增强方式包括尺寸调整的情况下，上述步骤450可以包括：

确定图像形式的所述第二锚点样本中的目标对象；

通过将所述目标对象的尺寸调整为指定尺寸，得到与第二锚点样本对应的域内负样本。

举例而言，确定图像形式的第二锚点样本中的目标对象是嘴唇部位，通过将嘴唇部位的尺寸放大或者缩小，得到与第二锚点样本对应的域内负样本。

这样，可以采用多种负例数据增强方式，对第二锚点样本进行数据增强处理，得到多种与第二锚点样本对应的域内负样本，提高了特征提取模型的抗干扰能力。

步骤460：将所述第二阶段数据集中除所述第二锚点样本之外的样本，作为与所述第二锚点样本对应的域外负样本。

其中，步骤460可以是步骤330的子步骤。可先执行步骤430，后执行步骤440、步骤450和步骤460，而步骤440、步骤450和步骤460之间的执行顺序不作具体限制。

步骤470：将第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本以及与第二锚点样本对应的域外负样本，作为第二阶段训练样本，对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型。

其中，在第二阶段训练样本中与第二锚点样本对应的域内负样本的数量可以大于或者等于与第二锚点样本对应的域外负样本的数量。

其中，步骤470可以是步骤340的子步骤。

在一个具体的实施例中，上述步骤470可以包括：

步骤4701：从第二阶段训练样本中获取N个数据对，每一个数据对包括一个第二锚点样本以及与第二锚点样本对应的一个第二搭配样本，所述第二搭配样本为与第二锚点样本对应的域内正样本，与第二锚点样本对应的域外负样本，或者，与第二锚点样本对应的域内负样本；

其中，N为大于或等于2的整数；

步骤4702：向第一目标特征提取模型输入所述N个数据对；

其中，N为大于或等于3的整数；N个数据对包括第一类型数据对、第二类型数据对和第三类型数据对中的至少一者；第一类型数据对包括第二锚点样本和与第二锚点样本对应的域内正样本；第二类型数据对包括第二锚点样本和与第二锚点样本对应的域外负样本；第三类型数据对包括第二锚点样本和与第二锚点样本对应的域内负样本；

步骤4703：针对N个数据对中的一个目标数据对：通过第一目标特征提取模型确定目标数据对中第二锚点样本与第二搭配样本之间的目标相似度；基于目标相似度和目标数据对的参考相似度，确定目标数据对的对比损失。

其中，如图4-3所示，第一目标特征提取模型可以包括：用于对输入数据进行特征提取处理的特征提取层和用于进行相似度计算处理的相似度计算层。

进而，如图4-3所示，针对所述N个数据对中的一个目标数据对：特征提取层，用于提取所述目标数据对的特征，得到第二锚点样本对应的第一特征信息和所述第二搭配样本对应的第二特征信息；相似度计算层，用于计算所述第一特征信息和所述第二特征信息之间的相似度，作为所述第二锚点样本与所述第二搭配样本之间的目标相似度。

其中，第一目标特征提取模型可以是一种神经网络学习模型，由如图4-3所示的用于对输入数据进行特征提取处理的特征提取层和用于进行相似度计算处理的相似度计算层组成，或者还可以由BERT(Bidirectional Encoder Representation fromTransformers，基于Transformer结构的双向编码表征器)结构、Roberta(A RobustlyOptimized BERT，强力优化的BERT)结构、XLNet(基于Transformer-XL的神经网络)结构、VGGNet(Visual Geometry Group Network，视觉几何群网络)、ResNet(Residual Network，残差网络)结构、DeBERTa(Decoding-enhanced BERT with disentangled attention，具有分散注意力的增强解码的BERT)结构组成，等等，本申请不作具体限制。

其中，在目标数据对中的第二搭配样本为与第二锚点样本对应的域内正样本的情况下，目标数据对的参考相似度为1；在目标数据对中的第二搭配样本为与第二锚点样本对应的域外负样本的情况下，目标数据对的参考相似度为0；在目标数据对中的第二搭配样本为与第二锚点样本对应的域内负样本的情况下，目标数据对的参考相似度为0。

这样，通过第一目标特征提取模型提取得到与第二锚点样本对应的第一特征信息和与所述第二搭配样本对应的第二特征信息，并计算第一特征信息和第二特征信息之间的相似度，作为第二锚点样本与所述第二搭配样本之间的目标相似度。

其中，本申请实施例可以将目标数据对中的第二锚点样本和第二搭配样本分别输入至特征提取层，以分别提取得到与第二锚点样本对应的第一特征信息和与所述第二搭配样本对应的第二特征信息；或者，本申请实施例还可以将目标数据对中的第二锚点样本和第二搭配样本同时输入至特征提取层，以同时提取得到与第二锚点样本对应的第一特征信息和与所述第二搭配样本对应的第二特征信息。

其中，第一特征信息和第二特征信息可以是特征向量或者特征矩阵等形式的数据。特征提取层可以包括一个或者多个特征提取子层，在特征提取层包括多个特征提取子层的情况下，一个特征提取子层的输出结果可以作为下一个特征提取子层的输入对象。进而，在将目标数据对中的第二锚点样本输入至特征提取层的情况下，可以将多个特征提取子层的最后一层的输出结果作为第一特征信息；同理，在将目标数据对中的第二搭配样本输入至特征提取层的情况下，可以将多个特征提取子层的最后一层的输出结果作为第二特征信息。

其中，在目标数据对中的第二锚点样本是文本形式的样本的情况下，与第二锚点样本对应的第一特征信息可以包括第二锚点样本的整体特征和细节特征。第二锚点样本的整体特征可以包括句子的整体意思，第二锚点样本的细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，等等，本申请不作具体限制。举例而言，第二锚点样本为“在现代这个飞速发展的时代，为了不被时间的洪流所淹没，人们只能更加废寝忘食地提升自己，为生计忙碌”。其中，此第二锚点样本的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，此第二锚点样本的细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“飞速发展的”，“提升”的修饰内容“废寝忘食地”，等等，此处不作具体限制。进而，与第二锚点样本对应的第一特征信息可以包括第二锚点样本的上述整体特征和上述细节特征。

在目标数据对中的第二锚点样本是文本形式的样本的情况下，目标数据对中的第二搭配样本也是文本形式的样本，与所述第二搭配样本对应的第二特征信息可以包括第二搭配样本的整体特征和细节特征。第二搭配样本的整体特征可以包括句子的整体意思，第二搭配样本的细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，等等，本申请不作具体限制。举例而言，第二搭配样本可以是与第二锚点样本对应的域内负样本“在现代这个缓慢发展的时代，为了不被时间的洪流所淹没，人们只能更加饱食终日地提升自己，为生计清闲”。其中，此第二搭配样本的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“缓慢发展的”，“提升”的修饰内容“饱食终日地”，等等，此处不作具体限制。进而，与所述第二搭配样本对应的第二特征信息可以包括第二搭配样本的上述整体特征和上述细节特征。

其中，在目标数据对中的第二锚点样本是图像形式的样本的情况下，与第二锚点样本对应的第一特征信息可以包括第二锚点样本的整体特征和细节特征。第二锚点样本的整体特征可以包括图像的类别、图像的主题等等，第二锚点样本的细节特征可以包括以下至少一项：图像的风格、图像中的物体在图像中的占比、图像中的物体的大小、图像中的物体的形态、图像中的物体的颜色、图像中的背景部分的颜色，等等，本申请不作具体限制。举例而言，第二锚点样本是一张多人聚餐的照片，第二锚点样本的整体特征可以包括图像的主题“美食”，第二锚点样本的细节特征可以包括图像中食物的类别、食物的数量、餐桌的形状、人的数量，等等，本申请不作具体限制。与第二锚点样本对应的第一特征信息可以包括第二锚点样本的上述整体特征和上述细节特征。

在目标数据对中的第二锚点样本是图像形式的样本的情况下，目标数据对中的第二搭配样本也是图像形式的样本，与所述第二搭配样本对应的第二特征信息可以包括第二搭配样本的整体特征和细节特征。第二搭配样本的整体特征可以包括图像的类别、图像的主题中的至少一项，等等，第二锚点样本的细节特征可以包括以下至少一项：图像的风格、图像中的物体在图像中的占比、图像中的物体的大小、图像中的物体的形态、图像中的物体的颜色、图像中的背景部分的颜色，等等，本申请不作具体限制。举例而言，第二搭配样本是与第二锚点样本对应的域外负样本，例如一张篮球比赛的的照片，第二搭配样本的整体特征可以包括图像的主题“体育”，第二搭配样本的细节特征可以包括图像中人物的数量、图像中的背景、图像中篮球的位置、图像中球衣的号码，等等，本申请不作具体限制。与所述第二搭配样本对应的第二特征信息可以包括第二搭配样本的上述整体特征和上述细节特征。

步骤4704：基于所述N个数据对中各个数据对的对比损失，对所述第一目标特征提取模型进行参数调整，得到第二目标特征提取模型。

其中，本申请实施例可以基于N个数据对中每1个数据对的对比损失，对第一目标特征提取模型进行N次参数调整，直至模型收敛，得到第二目标特征提取模型，提高模型训练的精度。

其中，本申请实施例也可以基于N个数据对中每M个数据对的对比损失的均值，对第一目标特征提取模型进行N/M次参数调整，直至模型收敛，得到第二目标特征提取模型，提高了模型的训练效率。其中，N为大于或等于3的正整数，M为大于或等于2的正整数，N/M为正整数。

其中，在基于每M个数据对的对比损失的均值，对第一目标特征提取模型进行参数调整的情况下，M个数据对中每2个数据对的第二锚点样本可以不同；或者在M个数据对中存在2个数据对的第二锚点样本相同的情况下，这2个数据对中的第二搭配样本不同。这样，可以让N个数据对随机打乱顺序后对第一目标特征提取模型进行训练，提高了模型的抗干扰能力。

根据本申请实施例提供的特征提取模型的训练方法，通过获取第一锚点样本、与所述第一锚点样本对应的域内正样本和与第一锚点样本对应的域外负样本；通过所述第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；从第二阶段数据集中获取第二锚点样本；通过正例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内正样本；通过负例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内负样本；将所述第二阶段数据集中除所述第二锚点样本之外的样本，作为与所述第二锚点样本对应的域外负样本；将第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本以及与第二锚点样本对应的域外负样本，作为第二阶段训练样本，对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型。这样，通过第一阶段进行的域间对比学习训练，得到的第一目标特征提取模型具有区分出数据的整体特征的能力；在此基础上通过第二阶段进行的域内对比学习训练，得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中利用特征提取模型难以提取对象的细节特征信息，导致应用范围较为受限的问题。

需要说明的是，由于两阶段的训练样本可以调换顺序，在本申请提供的另一个实施例中，第一阶段训练样本可以为用于进行域内对比学习的训练样本、第二阶段训练样本可以为用于进行域间对比学习的训练样本。这种情况下，在本申请实施例提供的特征提取模型的训练方法中：

上述步骤310中，获取第一阶段训练样本，可以包括：

从第一阶段数据集中获取第二锚点样本；

通过正例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内正样本；

通过负例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内负样本。

其中，步骤310中的具体内容可以参考步骤430至步骤450，此处不再赘述。

上述步骤320中，通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型，可以包括：

将第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本，作为第一阶段训练样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型。

其中，将第二锚点样本、与第二锚点样本对应的域内正样本、与第二锚点样本对应的域内负样本，作为第一阶段训练样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型，可以包括：

从第一阶段训练样本中获取N个数据对，每一个数据对包括一个第二锚点样本以及与第二锚点样本对应的一个第二搭配样本，所述第二搭配样本为与第二锚点样本对应的域内正样本，或者，与第二锚点样本对应的域内负样本；其中，N为大于或等于2的整数；

向待训练的特征提取模型输入所述N个数据对；

其中，N个数据对包括第一类型数据对和第二类型数据对中的至少一者；第一类型数据对包括第二锚点样本和与第二锚点样本对应的域内正样本；第二类型数据对包括第二锚点样本和与第二锚点样本对应的域内负样本；

针对N个数据对中的一个目标数据对：通过待训练的特征提取模型确定目标数据对中第二锚点样本与第二搭配样本之间的目标相似度；基于目标相似度和目标数据对的参考相似度，确定目标数据对的对比损失；

其中，待训练的特征提取模型可以包括：用于对输入数据进行特征提取处理的特征提取层和用于进行相似度计算处理的相似度计算层。

进而，针对所述N个数据对中的一个目标数据对：特征提取层，用于提取所述目标数据对的特征，得到第二锚点样本对应的第一特征信息和所述第二搭配样本对应的第二特征信息；相似度计算层，用于计算所述第一特征信息和所述第二特征信息之间的相似度，作为所述第二锚点样本与所述第二搭配样本之间的目标相似度；

其中，在目标数据对中的第二搭配样本为与第二锚点样本对应的域内正样本的情况下，目标数据对的参考相似度为1；在目标数据对中的第二搭配样本为与第二锚点样本对应的域内负样本的情况下，目标数据对的参考相似度为0；

基于所述N个数据对中各个数据对的对比损失，对所述待训练的特征提取模型进行参数调整，得到第一目标特征提取模型。

其中，步骤320中具体调整过程可以参考步骤470，此处不再赘述。

上述步骤330中，获取第二阶段训练样本，可以包括：

获取第一锚点样本、与所述第一锚点样本对应的域内正样本、与所述第一锚点样本对应的域外负样本，以及与所述第一锚点样本对应的域内负样本。

其中，与所述第一锚点样本对应的域外负样本的数量大于或者等于与所述第一锚点样本对应的域内负样本的数量。

其中，获取第一锚点样本、与所述第一锚点样本对应的域内正样本、与所述第一锚点样本对应的域外负样本的具体内容可以参考步骤410，此处不再赘述。

其中，获取与所述第一锚点样本对应的域内负样本，可以包括：通过负例数据增强方式对所述第一锚点样本进行数据增强处理，得到与所述第一锚点样本对应的域内负样本。其中，在第一锚点样本为文本形式的样本的情况下，负例数据增强方式可以是增加否定词、反义词替换等方式中的至少一种。其中，在第一锚点样本为图像形式的样本的情况下，负例数据增强方式可以是图像旋转、模糊处理、随机调整图像大小、风格迁移等方式中的至少一种。具体内容可以类似参考步骤450，此处不再赘述。

上述步骤340中，通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型，可以包括：

将所述第一锚点样本、与所述第一锚点样本对应的域内正样本、与所述第一锚点样本对应的域外负样本以及与所述第一锚点样本对应的域内负样本，作为第二阶段训练样本，对第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型。

其中，将所述第一锚点样本、与所述第一锚点样本对应的域内正样本、与所述第一锚点样本对应的域外负样本以及与所述第一锚点样本对应的域内负样本，作为第二阶段训练样本，对第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型，可以包括：

从第一阶段训练样本中获取F个数据对，每一个数据对包括一个第一锚点样本以及与第一锚点样本对应的一个第一搭配样本，所述第一搭配样本为与第一锚点样本对应的域内正样本，与第一锚点样本对应的域外负样本，或者，与第一锚点样本对应的域内负样本；其中，F为大于或等于3的整数；

向第一目标特征提取模型输入所述F个数据对；

其中，F个数据对包括第四类型数据对、第五类型数据对和第六类型数据对中的至少一者；第四类型数据对包括第一锚点样本和与第一锚点样本对应的域内正样本；第五类型数据对包括第一锚点样本和与第一锚点样本对应的域外负样本；第六类型数据对包括第一锚点样本和与第一锚点样本对应的域内负样本；

针对F个数据对中的一个目标数据对：通过第一目标特征提取模型确定目标数据对中第一锚点样本与第一搭配样本之间的目标相似度；基于目标相似度和目标数据对的参考相似度，确定目标数据对的对比损失；

其中，第一目标特征提取模型可以包括：用于对输入数据进行特征提取处理的特征提取层和用于进行相似度计算处理的相似度计算层。

进而，针对所述F个数据对中的一个目标数据对：特征提取层，用于提取所述目标数据对的特征，得到第一锚点样本对应的第一特征信息和所述第一搭配样本对应的第二特征信息；相似度计算层，用于计算所述第一特征信息和所述第二特征信息之间的相似度，作为所述第一锚点样本与所述第一搭配样本之间的目标相似度；

其中，在目标数据对中的第一搭配样本为与第一锚点样本对应的域内正样本的情况下，目标数据对的参考相似度为1；在目标数据对中的第一搭配样本为与第一锚点样本对应的域内负样本的情况下，目标数据对的参考相似度为0；在目标数据对中的第一搭配样本为与第一锚点样本对应的域外负样本的情况下，目标数据对的参考相似度为0；

基于所述N个数据对中各个数据对的对比损失，对所述第一目标特征提取模型进行参数调整，得到第二目标特征提取模型。

根据本申请实施例提供的特征提取模型的训练方法，通过获取第二锚点样本、与所述第二锚点样本对应的域内正样本和与第二锚点样本对应的域内负样本；将第二锚点样本、与所述第二锚点样本对应的域内正样本和与第二锚点样本对应的域内负样本作为第一阶段训练样本，对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；从第二阶段数据集中获取第一锚点样本；通过正例数据增强方式对所述第一锚点样本进行数据增强处理，得到与所述第一锚点样本对应的域内正样本；将所述第二阶段数据集中除所述第一锚点样本之外的样本，作为与所述第一锚点样本对应的域外负样本；通过负例数据增强方式对所述第一锚点样本进行数据增强处理，得到与所述第一锚点样本对应的域内负样本；将第一锚点样本、与第一锚点样本对应的域内正样本、与第一锚点样本对应的域外负样本以及与第一锚点样本对应的域内负样本，作为第二阶段训练样本，对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型。这样，通过第一阶段进行的域内对比学习训练，得到的第一目标特征提取模型具有区分出数据的细节特征的能力；在此基础上通过第二阶段进行的域间对比学习训练，得到的第二目标特征提取模型不仅具有区分数据的细节特征的能力，而且还具有进一步区分数据的整体特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中特征提取方式应用范围较为受限的问题。

能够理解的是，第二目标特征提取模型为已经训练好的特征提取模型，本申请实施例还提供一种采用第二目标特征提取模型对诸如图像或者文字等输入对象进行特征提取的方法。

图5为本申请实施例提供的一种的特征提取方法的示意性流程图。

如图5所示，本申请实施例提供的特征提取方法可以包括：

步骤510：获取目标数据；

其中，目标数据可以是文字、图像等形式的数据。

步骤520：将所述目标数据输入至第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；

其中，所述第二目标特征提取模型是根据上述实施例提供的任意一种训练方法进行训练得到的。

其中，与所述目标数据对应的特征信息可以包括与目标数据对应的整体特征和细节特征。

其中，在目标数据是文字形式的数据的情况下，目标数据的整体特征可以包括句子的整体意思，目标数据的细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，等等，本申请不作具体限制。举例而言，目标数据为“在现代这个飞速发展的时代，为了不被时间的洪流所淹没，人们只能更加废寝忘食地提升自己，为生计忙碌”。其中，此目标数据的整体特征可以包括这句话所表达的意思，例如“人们在现代为了生计提升自己”，此目标数据的细节特征可以包括句子的主语、谓语、宾语或者状语中的任一项的具体修饰内容，例如，细节特征可以包括“时代”的修饰内容“飞速发展的”，“提升”的修饰内容“废寝忘食地”，等等，此处不作具体限制。

其中，在目标数据是图像形式的数据的情况下，目标数据的整体特征可以包括图像的类别、图像的主题中的至少一项，等等，目标数据的细节特征可以包括以下至少一项：图像的风格、图像中的物体在图像中的占比、图像中的物体的大小、图像中的物体的形态、图像中的物体的颜色、图像中的背景部分的颜色，等等，本申请不作具体限制。举例而言，目标数据是一张多人聚餐的照片，整体特征可以包括图像的主题“美食”，细节特征可以包括图像中食物的类别、食物的数量、餐桌的形状、人物的数量，等等，本申请不作具体限制。

能够理解的是，由于第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，采用第二目标特征提取模型提取得到的与目标数据对应的特征信息，能够准确地反映出目标数据的整体特征和较多细节特征，使得与目标数据对应的特征信息能够应用于各种后续任务(例如分类任务、识别任务、转换任务等等)。

根据本申请实施例提供的特征提取方法，通过获取目标数据；将所述目标数据输入至所述第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；其中，所述第二目标特征提取模型是根据上述实施例提供的任意一种训练方法进行训练得到的。这样，采用第二目标特征提取模型提取得到的与目标数据对应的特征信息，能够准确地反映出目标数据的整体特征和较多细节特征，使得与目标数据对应的特征信息能够应用于各种后续任务，大大扩展了模型的应用范围。

本申请实施例提供的基于对比学习的特征提取模型的训练方法，执行主体可以为特征提取模型的训练装置。本申请实施例中以特征提取模型的训练装置执行特征提取模型的训练方法为例，说明本申请实施例提供的特征提取模型的训练装置。

本申请实施例提供一种特征提取模型的训练装置，可包括：样本获取模块和对比学习训练模块；

所述样本获取模块，用于获取第一阶段训练样本；

所述对比学习训练模块，用于通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；

所述样本获取模块，还用于获取第二阶段训练样本；

所述对比学习训练模块，还用于通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；

其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；

其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。

根据本申请实施例提供的特征提取模型的训练装置，可包括样本获取模块和对比学习训练模块；所述样本获取模块，用于获取第一阶段训练样本；所述对比学习训练模块，用于通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；所述样本获取模块，还用于获取第二阶段训练样本；所述对比学习训练模块，还用于通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。这样，通过第一阶段训练样本和第二阶段训练样本进行两个阶段的模型训练，一个阶段侧重于进行域间对比学习，另一个阶段侧重于进行域内对比学习，最终得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中利用特征提取模型难以提取对象的细节特征信息，导致应用范围较为受限的问题。

可选地，在本申请实施例提供的特征提取模型的训练装置中，

在第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，所述用于进行域内对比学习的训练样本还包括：与所述第二锚点样本对应的域外负样本；

或者，在第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，所述用于进行域间对比学习的训练样本还包括：与所述第一锚点样本对应的域内负样本。

这样，在第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，通过在第二阶段训练样本中增加少量的域外负样本，防止在第二阶段训练过程中模型过渡关注于细节内容而影响模型区分整体特征的能力，可以使第二目标特征提取模型在维持第一阶段训练得到的区分数据的整体特征的能力的基础上，还能具备区分数据的细节特征的能力。

或者，在第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，通过在第二阶段训练样本中增加少量的域内负样本，防止在第二阶段训练过程中模型过渡关注于整体特征而影响模型区分细节特征的能力，可以使第二目标特征提取模型在维持第一阶段训练得到的区分数据的细节特征的能力的基础上，还能具备区分数据的整体特征的能力。

可选地，在本申请实施例提供的特征提取模型的训练装置中，

在第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，与所述第二锚点样本对应的域内负样本的数量大于或者等于与所述第二锚点样本对应的域外负样本的数量；

在第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，与所述第一锚点样本对应的域外负样本的数量大于或者等于与所述第一锚点样本对应的域内负样本的数量。

这样，在第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，在第二阶段训练过程中，可以使用少量的域外负样本进行对比学习训练，维持第一阶段训练得到的区分数据的整体特征的能力，同时可以使用数量充足的域内负样本进行对比学习训练，使第二目标特征提取模型还具备区分数据的细节特征的能力。

或者，在第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，在第二阶段训练过程中，可以使用少量的域内负样本进行对比学习训练，维持第一阶段训练得到的区分数据的细节特征的能力，同时可以使用数量充足的域外负样本进行对比学习训练，使第二目标特征提取模型具备区分数据的整体特征的能力。

可选地，在本申请实施例提供的特征提取模型的训练装置中，

所述第一阶段训练样本为用于进行域间对比学习的训练样本，所述第二阶段训练样本为用于进行域内对比学习的训练样本；

在获取第二阶段训练样本方面，所述样本获取模块具体用于：

从第二阶段数据集中获取第二锚点样本；

通过正例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内正样本；

通过负例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内负样本；

将所述第二阶段数据集中除所述第二锚点样本之外的样本，作为与所述第二锚点样本对应的域外负样本。

这样，可以获取第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本以及与所述第二锚点样本对应的域外负样本，作为第二阶段训练样本，通过与第二锚点样本对应的域外负样本进行对比学习训练，防止在第二阶段训练过程中模型过渡关注于细节内容而影响模型区分整体特征的能力，可以使第二目标特征提取模型在维持第一阶段训练得到的区分数据的整体特征的能力的基础上，还能具备区分数据的细节特征的能力。

可选地，在本申请实施例提供的特征提取模型的训练装置中，

所述第二阶段训练样本中的所述第二锚点样本为文本形式的样本，所述负例数据增强方式包括反义词替换；在获取与第二锚点样本对应的域内负样本方面，所述样本获取模块具体用于：

将文本形式的所述第二锚点样本进行词组分拆处理，得到P个独立词组；

通过将所述P个独立词组中的Q个独立词组替换成对应的反义词，得到与第二锚点样本对应的域内负样本；

其中，Q与P为正整数，Q与P之商位于第一阈值与第二阈值之间，第一阈值大于0，第二阈值小于1。

这样，采用反义词替换的方式生成域内负样本，可以在文本形式的第二锚点样本的原始文本数据整体特征变化不大的情况下改变原本的语义，使模型不再单单只关注于样本特征，还可以深入了解文本语义，特别是替换的反义词的不同语义，提升模型的语义理解能力。

可选地，在本申请实施例提供的特征提取模型的训练装置中，

所述第二阶段训练样本中的所述第二锚点样本为图像形式的样本，所述负例数据增强方式包括颜色调整、内容替换和尺寸调整中的至少一种；在获取与第二锚点样本对应的域内负样本方面，所述样本获取模块具体用于：

确定图像形式的所述第二锚点样本中的目标对象；

在所述负例数据增强方式包括颜色调整的情况下，通过将所述目标对象的颜色调整为指定颜色，得到与第二锚点样本对应的域内负样本；

在所述负例数据增强方式包括内容替换的情况下，通过将所述目标对象替换为指定对象，得到与第二锚点样本对应的域内负样本；

在所述负例数据增强方式包括尺寸调整的情况下，通过将所述目标对象的尺寸调整为指定尺寸，得到与第二锚点样本对应的域内负样本。

这样，可以采用多种负例数据增强方式，对图像形式的第二锚点样本进行数据增强处理，得到多种与第二锚点样本对应的域内负样本，提高了特征提取模型的抗干扰能力。

可选地，在本申请实施例提供的特征提取模型的训练装置中，

在通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型方面，所述对比学习训练模块具体用于：

从所述第二阶段训练样本中获取N个数据对，每一个数据对包括一个第二锚点样本以及与所述第二锚点样本对应的一个第二搭配样本，所述第二搭配样本为与所述第二锚点样本对应的域内正样本，与所述第二锚点样本对应的域外负样本，或者，与所述第二锚点样本对应的域内负样本；其中，N为大于或等于2的整数；

向所述第一目标特征提取模型输入所述N个数据对；

针对所述N个数据对中的一个目标数据对：通过所述第一目标特征提取模型确定所述目标数据对中所述第二锚点样本与所述第二搭配样本之间的目标相似度；基于所述目标相似度和所述目标数据对的参考相似度，确定所述目标数据对的对比损失；

基于所述N个数据对中各个数据对的对比损失，对所述第一目标特征提取模型进行参数调整，得到第二目标特征提取模型。

这样，在通过第一阶段进行的域间对比学习训练，得到的第一目标特征提取模型具有区分出数据的整体特征的能力的基础上，通过第二阶段进行的域内对比学习训练，得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中利用特征提取模型难以提取对象的细节特征信息，导致应用范围较为受限的问题。

本申请实施例中的特征提取模型的训练装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的特征提取模型的训练装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的特征提取模型的训练装置能够实现图1至图4-3的方法实施例实现的各个过程，为避免重复，这里不再赘述。

图6为本申请实施例提供的一种特征提取装置的示意性结构图。

如图6所示，本申请实施例还提供一种特征提取装置600，可包括：获取模块601和处理模块602；

获取模块601，用于获取目标数据；

其中，目标数据可以是文字、图像等形式的数据。

处理模块602，用于将所述目标数据输入至第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；

其中，所述第二目标特征提取模型是根据本申请实施例提供的任意一种训练方法进行训练得到的。

根据本申请实施例提供的特征提取装置，包括获取模块和处理模块；获取模块用于获取目标数据；处理模块用于将所述目标数据输入至所述第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；其中，所述第二目标特征提取模型是根据本申请实施例提供的任意一种训练方法进行训练得到的。这样，采用第二目标特征提取模型提取得到的与目标数据对应的特征信息，能够准确地反映出目标数据的整体特征和较多细节特征，使得与目标数据对应的特征信息能够应用于各种后续任务，大大扩展了模型的应用范围。

本申请实施例提供的特征提取装置能够实现图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701和存储器702，存储器702上存储有可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，所述输入单元804，用于获取第一阶段训练样本；

所述处理器810，用于通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；

所述输入单元804，还用于获取第二阶段训练样本；

所述处理器810，还用于通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；

其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；

其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。

根据本申请实施例提供的电子设备，可包括输入单元和处理器；所述输入单元，用于获取第一阶段训练样本；所述处理器，用于通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；所述输入单元，还用于获取第二阶段训练样本；所述处理器，还用于通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。这样，通过第一阶段训练样本和第二阶段训练样本进行两个阶段的模型训练，一个阶段侧重于进行域间对比学习，另一个阶段侧重于进行域内对比学习，最终得到的第二目标特征提取模型不仅具有区分数据的整体特征的能力，而且还具有进一步区分数据的细节特征的能力，大大扩展了模型的应用范围，从而能够解决相关技术中利用特征提取模型难以提取对象的细节特征信息，导致应用范围较为受限的问题。

本申请实施例提供的电子设备能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。

处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (13)

1.一种特征提取模型的训练方法，其特征在于，包括：

获取第一阶段训练样本；

通过所述第一阶段训练样本对待训练的特征提取模型进行对比学习训练，得到第一目标特征提取模型；

获取第二阶段训练样本；

通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型；

其中，所述第一阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的一者，所述第二阶段训练样本为用于进行域间对比学习的训练样本和用于进行域内对比学习的训练样本中的另一者；

其中，所述用于进行域间对比学习的训练样本包括：第一锚点样本、与所述第一锚点样本对应的域内正样本和与所述第一锚点样本对应的域外负样本；所述用于进行域内对比学习的训练样本包括：第二锚点样本、与所述第二锚点样本对应的域内正样本、与所述第二锚点样本对应的域内负样本。

2.根据权利要求1所述的训练方法，其特征在于，

在所述第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，所述用于进行域内对比学习的训练样本还包括：与所述第二锚点样本对应的域外负样本；

或者，在所述第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，所述用于进行域间对比学习的训练样本还包括：与所述第一锚点样本对应的域内负样本。

3.根据权利要求2所述的方法，其特征在于，

在所述第二阶段训练样本为用于进行域内对比学习的训练样本的情况下，与所述第二锚点样本对应的域内负样本的数量大于或者等于与所述第二锚点样本对应的域外负样本的数量；

或者，在所述第二阶段训练样本为用于进行域间对比学习的训练样本的情况下，与所述第一锚点样本对应的域外负样本的数量大于或者等于与所述第一锚点样本对应的域内负样本的数量。

4.根据权利要求1-3任一项所述的训练方法，其特征在于，所述第一阶段训练样本为用于进行域间对比学习的训练样本，所述第二阶段训练样本为用于进行域内对比学习的训练样本；

所述获取第二阶段训练样本包括：

从第二阶段数据集中获取第二锚点样本；

通过正例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内正样本；

通过负例数据增强方式对所述第二锚点样本进行数据增强处理，得到与所述第二锚点样本对应的域内负样本；

将所述第二阶段数据集中除所述第二锚点样本之外的样本，作为与所述第二锚点样本对应的域外负样本。

5.根据权利要求4所述的方法，其特征在于，所述第二阶段训练样本中的所述第二锚点样本为文本形式的样本，所述负例数据增强方式包括反义词替换；

所述通过负例数据增强方式对第二锚点样本进行数据增强处理，得到与第二锚点样本对应的域内负样本，包括：

将文本形式的所述第二锚点样本进行词组分拆处理，得到P个独立词组；

通过将所述P个独立词组中的Q个独立词组替换成对应的反义词，得到与第二锚点样本对应的域内负样本；

其中，Q与P为正整数，Q与P之商位于第一阈值与第二阈值之间，第一阈值大于0，第二阈值小于1。

6.根据权利要求4所述的方法，其特征在于，所述第二阶段训练样本中的所述第二锚点样本为图像形式的样本，所述负例数据增强方式包括颜色调整、内容替换和尺寸调整中的至少一种；

所述通过负例数据增强方式对第二锚点样本进行数据增强处理，得到与第二锚点样本对应的域内负样本，包括：

确定图像形式的所述第二锚点样本中的目标对象；

在所述负例数据增强方式包括颜色调整的情况下，通过将所述目标对象的颜色调整为指定颜色，得到与第二锚点样本对应的域内负样本；

在所述负例数据增强方式包括内容替换的情况下，通过将所述目标对象替换为指定对象，得到与第二锚点样本对应的域内负样本；

在所述负例数据增强方式包括尺寸调整的情况下，通过将所述目标对象的尺寸调整为指定尺寸，得到与第二锚点样本对应的域内负样本。

7.根据权利要求4所述的方法，其特征在于，所述通过所述第二阶段训练样本对所述第一目标特征提取模型进行对比学习训练，得到第二目标特征提取模型，包括：

从所述第二阶段训练样本中获取N个数据对，每一个数据对包括一个第二锚点样本以及与所述第二锚点样本对应的一个第二搭配样本，所述第二搭配样本为与所述第二锚点样本对应的域内正样本，与所述第二锚点样本对应的域外负样本，或者，与所述第二锚点样本对应的域内负样本；其中，N为大于或等于2的整数；

向所述第一目标特征提取模型输入所述N个数据对；

针对所述N个数据对中的一个目标数据对：通过所述第一目标特征提取模型确定所述目标数据对中所述第二锚点样本与所述第二搭配样本之间的目标相似度；基于所述目标相似度和所述目标数据对的参考相似度，确定所述目标数据对的对比损失；

基于所述N个数据对中各个数据对的对比损失，对所述第一目标特征提取模型进行参数调整，得到第二目标特征提取模型。

8.根据权利要求7所述的方法，其特征在于，N为大于或等于3的整数；所述N个数据对包括第一类型数据对、第二类型数据对和第三类型数据对中的至少一者；

所述第一类型数据对包括第二锚点样本和与所述第二锚点样本对应的域内正样本；所述第二类型数据对包括第二锚点样本和与所述第二锚点样本对应的域外负样本；所述第三类型数据对包括第二锚点样本和与所述第二锚点样本对应的域内负样本；

在所述目标数据对中的第二搭配样本为与所述第二锚点样本对应的域内正样本的情况下，所述目标数据对的参考相似度为1；

在所述目标数据对中的第二搭配样本为与所述第二锚点样本对应的域外负样本的情况下，所述目标数据对的参考相似度为0；

在所述目标数据对中的第二搭配样本为与所述第二锚点样本对应的域内负样本的情况下，所述目标数据对的参考相似度为0。

9.根据权利要求7所述的方法，其特征在于，所述第一目标特征提取模型包括：用于对输入数据进行特征提取处理的特征提取层和用于进行相似度计算处理的相似度计算层；

针对所述N个数据对中的一个目标数据对：

所述特征提取层，用于提取所述目标数据对的特征，得到所述第二锚点样本对应的第一特征信息和所述搭配样本对应的第二特征信息；

所述相似度计算层，用于计算所述第一特征信息和所述第二特征信息之间的相似度，作为所述第二锚点样本与所述搭配样本之间的目标相似度。

10.一种特征提取方法，其特征在于，包括：

获取目标数据；

将所述目标数据输入至第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；

其中，所述第二目标特征提取模型是根据权利要求1-9任一项所述的训练方法进行训练得到的。

11.一种特征提取装置，其特征在于，包括：获取模块和处理模块；

所述获取模块，用于获取目标数据；

所述处理模块，用于将所述目标数据输入至第二目标特征提取模型进行特征提取处理，得到与所述目标数据对应的特征信息；

其中，所述第二目标特征提取模型是根据权利要求1-9任一项所述的方法而得到的。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-10任一项所述的方法的步骤。

13.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-10任一项所述的方法的步骤。

Images