CN114049516A - 训练方法、图像处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种训练方法、图像处理方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：对第一编码器和第二编码器执行多轮训练，直至满足预定条件；将训练完成的第二编码器确定为图像表征模型；对第一编码器和第二编码器执行多轮训练，包括：利用与当前轮对应的第一编码器处理与当前轮对应的第一样本图像数据，得到与当前轮对应的第一表征向量；利用与当前轮对应的第二编码器分别处理与当前轮对应的第二样本图像数据和第三样本图像数据，得到与当前轮对应的第二表征向量和第三表征向量；利用第一损失函数、第二损失函数和第三损失函数训练与当前轮对应的第一编码器和第二编码器。

Description

训练方法、图像处理方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体地，涉及一种训练方法、图像处理方法、装置、电子设备以及存储介质。

背景技术

自监督学习可以利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过构造的监督信息对模型进行训练，从而可以学习到对下游任务有价值的表征。自监督学习因其无需数据标注，从而能够降低数据标注成本而备受关注，并被广泛应用于下游任务。例如，图像检索、图像分割、图像分类或目标检测等。

发明内容

本公开提供了一种训练方法、图像处理方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种图像表征模型的训练方法，包括：对第一编码器和第二编码器执行多轮训练，直至满足预定条件；以及，将训练完成的第二编码器确定为上述图像表征模型；其中，上述对第一编码器和第二编码器执行多轮训练，包括：利用与上述当前轮对应的第一编码器处理与上述当前轮对应的第一样本图像数据，得到与上述当前轮对应的第一表征向量；利用与上述当前轮对应的第二编码器分别处理与上述当前轮对应的第二样本图像数据和第三样本图像数据，得到与上述当前轮对应的第二表征向量和第三表征向量，其中，上述第二样本图像数据和上述第三样本图像数据是对上述第一样本图像数据进行数据增强得到的；利用第一损失函数、第二损失函数和第三损失函数训练与上述当前轮对应的第一编码器和第二编码器，其中，上述第一损失函数用于处理与上述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，上述第二损失函数用于处理与上述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，上述第三损失函数用于处理与上述当前轮对应的第二表征向量和第三表征向量，每个上述第四表征向量对应的样本图像数据和每个上述第五表征向量对应的样本图像数据均与上述第一样本图像数据的类别不同。

根据本公开的另一方面，提供了一种图像处理方法，包括：将待处理图像的待处理图像数据输入图像表征模型，得到待处理表征向量；以及，根据上述待处理表征向量，得到与上述待处理图像对应的图像处理结果，其中，上述图像表征模型是利用如上所述的方法训练的。

根据本公开的另一方面，提供了一种图像表征模型的训练装置，包括：训练模块，用于对第一编码器和第二编码器执行多轮训练，直至满足预定条件；以及，确定模块，用于将训练完成的第二编码器确定为上述图像表征模型；其中，上述训练模块，包括：第一获得子模块，用于利用与上述当前轮对应的第一编码器处理与上述当前轮对应的第一样本图像数据，得到与上述当前轮对应的第一表征向量；第二获得子模块，用于利用与上述当前轮对应的第二编码器分别处理与上述当前轮对应的第二样本图像数据和第三样本图像数据，得到与上述当前轮对应的第二表征向量和第三表征向量，其中，上述第二样本图像数据和上述第三样本图像数据是对上述第一样本图像数据进行数据增强得到的；训练子模块，用于利用第一损失函数、第二损失函数和第三损失函数训练与上述当前轮对应的第一编码器和第二编码器，其中，上述第一损失函数用于处理与上述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，上述第二损失函数用于处理与上述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，上述第三损失函数用于处理与上述当前轮对应的第二表征向量和第三表征向量，每个上述第四表征向量对应的样本图像数据和每个上述第五表征向量对应的样本图像数据均与上述第一样本图像数据的类别不同。

根据本公开的另一方面，提供了一种图像处理装置，包括：第一获得模块，用于将待处理图像的待处理图像数据输入图像表征模型，得到待处理表征向量；以及，第二获得模块，用于根据上述待处理表征向量，得到与上述待处理图像对应的图像处理结果，其中，上述图像表征模型是利用如上所述的装置训练的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用图像表征模型的训练方法、图像处理方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的图像表征模型的训练方法的流程图；

图3A示意性示出了根据本公开实施例的基于粗细颗粒度的对比自监督的示例示意图；

图3B示意性示出了根据本公开实施例的图像表征模型的训练过程的示例示意图；

图4示意性示出了根据本公开实施例的图像处理方法的流程图；

图5示意性示出了根据本公开实施例的图像表征模型的训练装置的框图；

图6示意性示出了根据本公开实施例的图像处理装置的框图；以及

图7示意性示出了根据本公开实施例的适于实现内容处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

自监督学习旨在通过找出可以合理解释图像的模式，来学习图像的语义表征。通过构建对比学习，学习正样本和负样本的语义信息。自监督学习中的对比学习在表征学习领域备受关注。表征学习旨在通过自监督学习得到数据的一个表征向量，并且通过这个表征向量区分不同的数据。

在对比学习中，对父视图进行数据增强得到的子视图被认为是针对父视图的正样本，这是由于与父视图的类别相同，彼此保持相同的语义信息，即，与父视图属于同一实例。父视图可以指作为进行数据增强处理对象的视图。针对同一父视图，可以对父视图进行多次数据增强，从而得到多个子视图。虽然是针对同一父视图的多个子视图，但是多个子视图也存在细微区别，即，多个子视图也并不是完全一致的。

在对比学习任务中，损失函数需要实现父视图与子视图之间的相似程度尽量大，父视图与负样本之间的相似程度尽量小或子视图与负样本之间的相似程度尽量小。负样本可以指与父视图的类别不同的其他视图。并且更为关注的是父视图与负样本之间的区分。多个正样本之间的细微区别较容易被忽略。这里所述的多个正样本指的是利用同一父视图得到的多个子视图。需要说明的是，本公开实施例所述的多个正样本之间的细微区别中的多个正样本在无特别说明的情况下，均指的是利用同一父视图得到的多个子视图。

以上体现在表征学习中是损失函数需要实现与父视图对应的表征向量和与子视图对应的表征向量之间的相似程度尽量大，与父视图对应的表征向量和与负样本对应的表征向量之间的相似程度尽量小。

在本公开的实施例中，可以将父视图与负样本之间的区分、父视图与子视图之间的区分和子视图与负样本之间的区分称为粗粒度区分，将多个正样本(即多个子视图)之间的区分称为细粒度区分。针对细粒度区分的视觉表示的语义信息是有意义的，因此，对针对同一父视图得到的多个子视图之间的细微区别进行区分，将有助于提高图像表征模型的预测精度。

为此，本公开实施例提出了一种基于新型的三元组损失函数的图像表征方案，即，对第一编码器和第二编码器执行多轮训练，直至满足预定条件。将训练完成的第二编码器确定为图像表征模型。对第一编码器和第二编码器执行多轮训练，包括：利用与当前轮对应的第一编码器处理与当前轮对应的第一样本图像数据，得到与当前轮对应的第一表征向量。利用与当前轮对应的第二编码器分别处理与当前轮对应的第二样本图像数据和第三样本图像数据，得到与当前轮对应的第二表征向量和第三表征向量。第二样本图像数据和第三样本图像数据是对第一样本图像数据进行数据增强得到的。利用第一损失函数、第二损失函数和第三损失函数训练与当前轮对应的第一编码器和第二编码器，其中，第一损失函数用于处理与当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，第二损失函数用于处理与当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，第三损失函数用于处理与当前轮对应的第二表征向量和第三表征向量，每个第四表征向量对应的样本图像数据和每个第五表征向量对应的样本图像数据均与第一样本图像数据的类别不同。

通过将新型的三元组损失函数，即，第一损失函数、第二损失函数和第三损失函数引入到模型训练，使得训练得到的图像表征模型能够实现与子视图对应的表征向量和与负样本对应的表征向量之间的相似程度尽量小(即粗粒度区分)，与父视图对应的表征向量和与子视图对应的表征向量之间的相似程度尽量大(即粗粒度区分)，与多个子视图对应的多个表征向量之间的相似程度尽量小(即细粒度区分)，即，减小第二表征向量与第四表征向量之间的相似程度，减小第三表征向量与第五表征向量之间的相似程度，增大第一表征向量与第二表征向量之间的相似程度，增大第一表征向量与第三表征向量之间的相似程度，以及，减小第二表征向量与第三表征向量之间的相似程度，进而实现细粒度区分和粗粒度区分，由此，提高了图像表征模型的预测精度。

为了便于理解本公开实施例所提供的技术方案，下面首先对本公开实施例所涉及的概念进行说明。

队列可以包括多个队列元素。多个队列元素是具有时序顺序的，即，是按照时序顺序进入队列的。队列具有“先进先出”的特点，即，如果需要向队列中添加新的队列元素，则在队列已满的情况下，可以使得最早入列的队列元素出队列，将新的队列元素添加至队列。

动量队列可以指具有一定长度的队列。动量队列中的队列元素可以称为表征向量，即，动量队列可以包括多个表征向量。动量队列包括的表征向量可以指与负样本对应的表征向量。动量队列包括的表征向量可以动态更新，即，每轮具有与该轮对应的动量队列，更新体现在与当前轮对应的动量队列是将与上一轮对应的父视图对应的表征向量添加至与上一轮对应的动量队列，并按照时序顺序，将与上一轮对应的动量队列的一个表征向量出队列，使得与每轮对应的动量队列包括的表征向量的数目一致。

图1示意性示出了根据本公开实施例的可以应用图像表征模型的训练方法、图像处理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用图像表征模型的训练方法、图像处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的图像表征模型的训练方法、图像处理方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。

服务器105可以是提供各种服务的各种类型的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的图像表征模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像表征模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的图像表征模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像表征模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

或者，本公开实施例所提供的图像表征模型的训练方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像表征模型的训练装置也可以设置于终端设备101、102、或103中。

需要说明的是，本公开实施例所提供的图像处理方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像处理装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的图像处理方法一般也可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的图像表征模型的训练方法的流程图。

如图2所示，该方法200包括操作S210～S220。

操作S210，对第一编码器和第二编码器执行多轮训练，直至满足预定条件。

操作S220，将训练完成的第二编码器确定为图像表征模型。

操作S210可以包括操作S211～S213。

操作S211，利用与当前轮对应的第一编码器处理与当前轮对应的第一样本图像数据，得到与当前轮对应的第一表征向量。

操作S212，利用与当前轮对应的第二编码器分别处理与当前轮对应的第二样本图像数据和第三样本图像数据，得到与当前轮对应的第二表征向量和第三表征向量。第二样本图像数据和第三样本图像数据是对第一样本图像数据进行数据增强得到的。

操作S213，利用第一损失函数、第二损失函数和第三损失函数训练与当前轮对应的第一编码器和第二编码器。第一损失函数用于处理与当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，第二损失函数用于处理与当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，第三损失函数用于处理与当前轮对应的第二表征向量和第三表征向量，每个第四表征向量和每个第五表征向量对应的样本图像数据均与当前轮对应的第一样本图像数据的类别不同。

根据本公开的实施例，预定条件可以用于作为图像表征模型是否训练完成的条件。预定条件可以包括训练轮次达到最大训练轮次或其他条件。其他条件可以包括损失函数的输出值收敛。第一编码器可以用于作为提取父视图的父视图数据的特征的编码器。第一编码器也可以用于提取负样本的负样本图像数据的特征的编码器，即，第一编码器可以用于作为获得动量队列的编码器。第二编码器可以用于作为提取子视图的子视图数据的特征的编码器。子视图可以指对父视图进行数据增强得到的视图。数据增强可以包括几何变换和像素变换中的至少一项。几何变换可以包括翻转、旋转、裁剪、缩放、平移和抖动中的至少一项。像素变换可以包括调节清晰度、调节对比度、调节亮度和调节饱和度中的至少一项。

根据本公开的实施例，父视图可以指第一样本图像。子视图可以指第二样本图像或第三样本图像。负样本可以指第四样本图像或第五样本图像。第二样本图像数据可以是与第二样本图像对应的样本图像数据。第三样本图像数据可以是与第三样本图像对应的样本图像数据。第四样本图像可以是与第四样本图像数据对应的样本图像。第四样本图像数据可以是与第四表征向量对应的样本图像。第五样本图像可以是与第五样本图像数据对应的样本图像。第五样本图像数据可以是与第五表征向量对应的样本图像数据。

根据本公开的实施例，粗粒度区分可以包括第一表征向量与第二表征向量之间的区分，第一表征向量与第三表征向量之间的区分，第二表征向量与第四表征向量之间的区分，以及，第三表征向量与第五表征向量之间的区分。细粒度区分可以指第二表征向量与第三表征向量之间的区分。

根据本公开的实施例，第一损失函数可以用于作为评估第一样本图像与第二样本图像之间的相似程度以及第二样本图像与第四样本图像之间的相似程度的损失函数。第二损失函数可以用于作为评估第一样本图像与第三样本图像之间的相似程度以及第三样本图像与第五样本图像之间的相似程度的损失函数。第三损失函数可以用于作为评估第二样本图像与第三样本图像之间的相似程度的损失函数。可以利用第一损失函数、第二损失函数和第三函数来约束第二编码器。

根据本公开的实施例，可以对第一编码器和第二编码器进行多轮训练，直至满足预定条件。将在满足预定条件的情况下得到的第二编码器确定为图像表征模型。

根据本公开的实施例，针对多轮中的每轮，具有与每轮对应的第一样本图像、第二样本图像、第三样本图像、动量队列、多个第四样本图像和多个第五样本图像。具有与每轮对应的第一编码器和第二编码器。对第一编码器和第二编码器进行多轮训练，直至满足预定条件可以包括：将正在进行的轮次称为当前轮。

在当前轮是首轮的情况下，初始化第一编码器的模型参数和第二编码器的模型参数，得到与首轮对应的第一编码器和第二编码器。将与首轮对应的第一样本图像数据和与首轮对应的与第一样本图像数据的类别不同的图像数据集分别输入与首轮对应的第一编码器，得到与首轮对应的第一表征向量和与首轮对应的初始动量队列。将与首轮对应的第二样本图像数据和第三样本图像数据输入与首轮对应的第二编码器，得到与首轮对应的第二表征向量和第三表征向量。可以将与首轮对应的初始动量队列包括的全部表征向量均作为参与首轮的模型训练的表征向量，即，与首轮对应的多个第四表征向量和多个第五表征向量均是指与首轮对应的初始动量队列。

可以基于第一损失函数、第二损失函数和第三损失函数，根据与首轮对应的第一表征向量、第二表征向量、第三表征向量、多个第四表征向量和多个第五表征向量，得到与首轮对应的输出值。根据与首轮对应的输出值调整与首轮对应的第二编码器，得到与第二轮对应的第二编码器的模型参数。与第二轮对应的第一编码器的模型参数可以是在获得与第二轮对应的第二编码器的模型参数的情况下，根据与第二轮对应的第二编码器的模型参数和与首轮对应的第一编码器的模型参数确定的。

可以将与首轮对应的第一表征向量添加至与首轮对应的初始动量队列，动量队列中包括的表征向量的数目是固定的，因此，可以遵循“先进先出”原则，按照时序顺序，将最早进入与首轮对应的初始动量队列中的表征向量出队，得到与首轮对应的动量队列。可以根据与第二轮对应的样本选择策略，基于与首轮对应的第二表征向量和与首轮对应的动量队列，得到与第二轮对应的多个第四表征向量。可以根据与第二轮对应的样本选择策略，基于与首轮对应的第三表征向量和与首轮对应的动量队列，得到与第二轮对应的多个第五表征向量。与第二轮对应的多个第四表征向量和多个第五表征向量均是用于参与第二轮的模型训练的表征向量。

根据本公开的实施例，在当前轮是第二轮的情况下，可以将与第二轮对应的第一样本图像数据输入与第二轮对应的第一编码器，得到与第二轮对应的第一表征向量。将与第二轮对应的第二样本图像数据和第三样本图像数据输入与第二轮对应的第二编码器，得到与第二轮对应的第二表征向量和第三表征向量。

可以基于第一损失函数、第二损失函数和第三损失函数，根据与第二轮对应的第一表征向量、第二表征向量、第三表征向量、多个第四表征向量和多个第五表征向量，得到与第二轮对应的输出值。根据与第二轮对应的输出值调整与第二轮对应的第二编码器，得到与第三轮对应的第二编码器的模型参数。与第三轮对应的第一编码器的模型参数可以是在获得与第三轮对应的第二编码器的模型参数的情况下，根据与第三轮对应的第二编码器的模型参数和与第二轮对应的第一编码器的模型参数确定的。

可以将与第二轮对应的第一表征向量添加至与第二轮对应的动量队列，可以遵循“先进先出”原则，按照时序顺序，将最早进入与第二轮对应的动量队列中的表征向量出队，得到与第二轮对应的动量队列。可以根据与第三轮对应的样本选择策略，基于与第二轮对应的第二表征向量和与首轮对应的动量队列，得到与第三轮对应的多个第四表征向量。可以根据与第三轮对应的样本选择策略，基于与第二轮对应的第三表征向量和与首轮对应的动量队列，得到与第三轮对应的多个第五表征向量。与第三轮对应的多个第四表征向量和多个第五表征向量均是用于参与第三轮的模型训练的表征向量。

基于上述的训练过程，对第一编码器和第二编码器执行多轮训练，直至满足预定条件，得到训练完成的第一编码器和第二编码器。可以将训练完成的第二编码器确定为图像表征模型。

根据本公开的实施例，可以利用第一损失函数、第二损失函数和第三函数来约束第二编码器。可以利用第一损失函数来实现减小第二表征向量与第四表征向量之间的相似程度和增大第一表征向量与第二表征向量之间的相似程度。利用第二损失函数来实现减小第三表征向量与第五表征向量之间的相似程度和增大第一表征向量与第三表征向量之间的相似程度。利用第三损失函数来实现减小第二表征向量与第三表征向量之间的相似程度，进而实现细粒度区分和粗粒度区分，由此，提高了图像表征模型的预测精度。

根据本公开的实施例，操作S213可以包括如下操作。

基于第一损失函数，利用与当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，得到第一输出值。基于第二损失函数，利用与当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，得到第二输出值。基于第三损失函数，利用与当前轮对应的第二表征向量和第三表征向量，得到第三输出值。根据第一输出值、第二输出值和第三输出值调整与当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数。与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数调整与当前轮对应的第一编码器的模型参数得到的。

根据本公开的实施例，在获得与当前轮对应的输出值之后，可以根据与当前轮对应的输出值调整第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数，即，可以利用梯度下降算法处理第一损失函数、第二损失函数和第三损失函数，得到梯度向量，根据梯度向量，调整与当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数。梯度下降算法可以包括随机梯度下降算法。在根据梯度向量调整与当前轮对应的第二编码器的模型参数的过程中，可以基于梯度向量，利用反向传播方法来调整与当前轮对应的第二编码器的模型参数。与当前轮对应的第一编码器的模型参数并不是直接根据梯度向量调整的，而是在获得与下一轮对应的第二编码器的模型参数之后，根据与下一轮对应的第二编码器的模型参数调整的。不在与当前轮对应的输出值可以包括当前轮对已的第一输出值、第二输出值和第三输出值。

根据本公开的实施例，为了提高图像表征模型的预测精度，需要使得第二表征向量与多个第四表征向量中的每个第四表征向量之间的相似程度尽量小，第三表征向量与多个第五表征向量中的每个第五表征向量之间的相似程度尽量小，第二表征向量与第三表征向量之间的相似程度尽量小，第一表征向量与第二表征向量之间的相似程度尽量大，第一表征向量与第三表征向量之间的相似程度尽量大。而第一损失函数可以用于作为评估第一样本图像与第二样本图像之间的相似程度以及第二样本图像与第四样本图像之间相似程度的损失函数。第二损失函数可以用于作为评估第一样本图像与第三样本图像之间的相似程度以及第三样本图像与第五样本图像之间相似程度的损失函数。第三损失函数可以用于作为评估第二样本图像与第三样本图像之间相似程度的损失函数。由此，需要第一输出值尽量小，第二输出值尽量小，第三输出值尽量大。可以利用第一损失函数、第二损失函数和第三函数来约束第二编码器，使得第二编码器能够区分第二样本图像和第三样本图像。

根据本公开的实施例，根据第一输出值、第二输出值和第三输出值调整与当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数，可以包括如下操作。

根据对第一输出值、第二输出值和第三输出值进行加权求和得到的结果调整与当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数。

根据本公开的实施例，可以根据损失权重设置规则，设置与第一损失函数对应的损失权重、与第二损失函数对应的损失权重和与第三损失函数对应的损失权重。

根据本公开的实施例，可以根据与第一损失函数对应的损失权重和与当前轮对应的第一输出值，确定与当前轮对应的第一加权输出值。根据与第二损失函数对应的损失权重和与当前轮对应的第二输出值，确定与当前轮对应的第二加权输出值。根据与第三损失函数对应的损失权重和与当前轮对应的第三输出值，确定与当前轮对应的第三加权输出值。根据与当前轮对应的第一加权输出值、第二加权输出值和第三加权输出值，确定与当前轮对应的加权输出值。根据与当前轮对应的加权输出值调整与当前轮对应的第二编码器的模型参数。

根据本公开的实施例，与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数调整与当前轮对应的第一编码器的模型参数得到的，可以包括：与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数和与当前轮对应的第一编码器的模型参数确定的。

根据本公开的实施例，可以确定与当前轮对应的第一编码器的模型参数与下一轮对应的第二编码器的模型参数之间的差值。确定差值与预定系数的乘积。将乘积结果和与下一轮对应的第二编码器的模型参数之和确定为与下一轮对应的第一编码器的模型参数。

根据本公开的实施例，基于第一损失函数，利用与当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，得到第一输出值，可以包括如下操作。

确定与当前轮对应的第一表征向量与第二表征向量之间的第一相似度。确定与当前轮对应的多个第四表征向量中的每个第四表征向量与当前轮对应的第二表征向量之间的第二相似度。基于第一损失函数，利用第一相似度和多个第二相似度，得到第一输出值。

根据本公开的实施例，基于第二损失函数，利用与当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，得到第二输出值，可以包括如下操作。

确定与当前轮对应的第一表征向量与第三表征向量之间的第三相似度。确定与当前轮对应的多个第五表征向量中的每个第五表征向量与当前轮对应的第三表征向量之间的第四相似度。基于第二损失函数，利用第三相似度和多个第四相似度，得到第二输出值。

根据本公开的实施例，基于第三损失函数，利用与当前轮对应的第二表征向量和第三表征向量，得到第三输出值，可以包括如下操作。

确定与当前轮对应的第二表征向量和第三表征向量之间的第五相似度。确定与当前轮对应的第二表征向量的第一范数。确定与当前轮对应的第三表征向量的第二范数。基于第三损失函数，利用第五相似度、第一范数和第二范数，得到第三输出值。

根据本公开的实施例，相似度可以表征两个表征向量之间的相似程度。相似度可以根据实际业务需求进行设定，在此不作限定。例如，相似度可以包括余弦相似度、皮尔逊相关系数、欧式距离或Jaccard距离。

根据本公开的实施例，在获得第一相似度和多个第二相似度之后，可将第一相似度和多个第二相似度输入第一损失函数，得到第一输出值。在获得第三相似度和多个第四相似度之后，可以将第三相似度和多个第四相似度输入第二损失函数，得到第二输出值。在获得第五相似度、第一范数和第二范数之后，可以将第五相似度、第一范数和第二范数输入第三损失函数，得到第三输出值。

根据本公开的实施例，可以根据如下公式(1)确定第一损失函数。可以根据如下公式(2)确定第二损失函数。可以根据如下公式(3)确定第三损失函数。

根据本公开的实施例，k表征第一表征向量，τ表征超参数，K表征第四表征向量的数目和第五表征向量的数目，K是大于或等于2的整数。

根据本公开的实施例，L₁表征第一损失函数，q₁表征第二表征向量，queue_dyn1，i表征第i个第四表征向量，q₁·k表征第一表征向量k与第二表征向量q₁之间的第一相似度，q₁·queue_dyn1，i表征第i个第四表征向量与第二表征向量q₁之间的第二相似度，i∈{0，1，......，K，K-1}。

根据本公开的实施例，L₂表征第二损失函数，q₂表征第三表征向量，queue_dyn2，i表征第i个第五表征向量，q₂·k表征第一表征向量k与第三表征向量q₂之间的第三相似度，q₂·queue_dyn2，i表征第i个第五表征向量与第三表征向量q₂之间的第四相似度。

根据本公开的实施例，L₃表征第三损失函数，q₁·q₂表征第二表征向量q₁与第三表征向量q₂之间的第五相似度，||q₁||₂表征第一范数，||q₂||₂表征第二范数，max(||q₁||₂，||q₂||₂)表征||q₁||₂和||q₂||₂之间的最大值。

根据本公开的实施例，可以根据如下公式(4)确定损失函数。

L＝λ₁L₁+λ₂L₂+λ₃L₃ (5)

根据本公开的实施例，L表征损失函数。λ₁表征第一损失权重，λ₂表征第二损失权重，λ₃表征第三损失权重。

根据本公开的实施例，与当前轮对应的多个第四表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第二表征向量和动量队列得到的。与当前轮对应的多个第五表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第三表征向量和动量队列得到的。

根据本公开的实施例，样本选择策略可以是用于从与上一轮对应的动量队列中选择参与当前轮训练的表征向量的策略。样本选择策略可以根据进程指标值确定。进程指标值可以用于表征与上一轮对应的训练进程。进程指标值可以包括以下至少一项：与上一轮对应的训练轮次和训练消耗时长。

例如，在训练初期，相似度低的样本有助于构建语义表征，随着训练的进行，在训练后期，第一编码器和第二编码器变得更加复杂，相似度高的样本有助于优化模型，因此，如果训练轮次是与训练初期对应的轮次，则可以选择与相似度低对应的表征向量作为参与当前轮的模型训练的表征向量。如果训练轮次是与训练中期对应的轮次，则可以选择与相似度处于中间的表征向量作为参与当前轮的模型训练的表征向量。如果训练轮次是与训练后期对应的轮次，则可以选择与相似度高对应的表征向量作为参与当前轮的模型训练的表征向量。

与训练初期对应的轮次可以指训练轮次小于或等于第一训练轮次阀值的轮次。与训练后期对应的轮次可以指训练轮次大于或等于第二训练轮次阈值的轮次。第一训练轮次阈值小于第二训练轮次阈值。与训练中期对应的轮次可以指训练轮次大于第一训练轮次阈值且小于第二训练轮次阈值的轮次。相似度低可以指相似度小于或等于第一预定相似度阈值的相似度。相似度高可以指相似度大于或等于第二预定相似度阈值的相似度。相似度处于中间可以指相似度大于第一预定相似度阈值且小于第二预定相似度阈值的相似度。第一预定相似度阈值小于第二预定相似度阈值。此外，还可以结合训练消耗时长。

根据本公开的实施例，与上一轮对应的第二表征向量是利用与上一轮对应的第二编码器处理与上一轮对应的第二样本图像的第二样本图像数据得到的。与上一轮对应的第三表征向量是利用与上一轮对应的第二编码器处理与上一轮对应的第三样本图像的第三样本图像数据得到的。

根据本公开的实施例，与上一轮对应的动量队列包括与上一轮对应的多个第四表征向量。

根据本公开的实施例，与当前轮对应的多个第四表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第二表征向量和动量队列得到的，可以包括如下操作。

与当前轮对应的多个第四表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的多个第六相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量得到的。与上一轮对应的多个第六相似度中的每个第六相似度是根据与上一轮对应的多个第四表征向量中的每个第四表征向量与第二表征向量之间的相似度。

根据本公开的实施例，与当前轮对应的多个第五表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第三表征向量和动量队列得到的，可以包括如下操作。

与当前轮对应的第五表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的多个第七相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量得到的。与上一轮对应的多个第七相似度中的每个第七相似度是根据与上一轮对应的多个第四表征向量中的每个第四表征向量与第三表征向量之间的相似度。

根据本公开的实施例，根据与上一轮对应的多个第六相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量可以包括：根据与上一轮对应的多个第六相似度，对与上一轮对应的多个第四表征向量进行排序。根据排序结果，从与上一轮对应的多个第四表征向量中选择部分第四表征向量。排序可以包括按照第六相似度由小到大的顺序进行排序或按照第六相似度由大到小的顺序进行排序。备选地，可以根据第一预定相似度阈值和多个第六相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量。第三预定相似度阈值可以用于作为从多个第四表征向量中选择部分第四表征向量的依据之一。第三预定相似度阈值的数值可以根据实际业务需求进行配置，在此不作限定。例如，针对多个第六相似度中的每个第六相似度，在确定第六相似度大于或等于第三预定相似度阈值的情况下，将与第六相似度对应的第四表征向量确定为参与当前轮的模型训练的第四表征向量。

根据本公开的实施例，根据与上一轮对应的多个第七相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量包括：根据与上一轮对应的多个第七相似度，对与上一轮对应的多个第四表征向量进行排序。根据排序结果，从与上一轮对应的多个第四表征向量中选择部分第四表征向量。排序可以包括按照第七相似度由小到大的顺序进行排序或按照第七相似度由大到小的顺序进行排序。备选地，可以根据第四预定相似度阈值和多个第七相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量。第四预定相似度阈值可以用于作为从多个第四表征向量中选择部分第四表征向量的依据之一。第四预定相似度阈值的数值可以根据实际业务需求进行配置，在此不作限定。例如，针对多个第七相似度中的每个第七相似度，在确定第七相似度大于或等于第四预定相似度阈值的情况下，将与第七相似度对应的第四表征向量确定为参与当前轮的模型训练的第五表征向量。

例如，与上一轮对应的动量队列的固定长度为6。与上一轮对应的动量队列为queue＝{k₁，k₂，a，b，c，d}，k₁，k₂，a，b，c，d分别表征与上一轮对应的第四表征向量。与上一轮对应的第二表征向量为q₁。可以利用如下获得与当前轮对应的多个第四表征向量。

确定q₁分别与k₁，k₂，a，b，c，d之间的第六相似度。基于与当前轮对应的样本选择策略，根据六个第六相似度，从queue中选择部分第四表征向量，将选择出的部分第四表征向量确定为与当前轮对应的多个第四表征向量。例如，可以选择{k₁，a，b}作为与当前轮对应的多个第四表征向量。该多个第四表征向量可以用于作为参与训练与当前轮对应的第一编码器和第二编码器的表征向量。

下面参考图3A～图3B，结合具体实施例对根据本公开实施例所述的方法做进一步说明。

图3A示意性示出了根据本公开实施例的基于粗细颗粒度的对比自监督的示例示意图。

如图3A所示，在300A中，两条平行的虚线用于表征在两个相反的力之间保持一定的余量。对第一样本图像的第一样本图像数据301进行数据增强，得到第二样本图像的第二样本图像数据302和第三样本图像的第三样本图像数据303。与第一样本图像、第二样本图像和第三样本图像对应的圆点表征正样本，其他圆点表征负样本。本公开实施例提出的方案用于实现扩大两条虚线之间的距离，扩大第二样本图像数据302与第三样本图像数据303之间的距离，缩小第一样本图像数据301与第二样本图像数据302之间的距离，以及，缩小第一样本图像数据301和第三样本图像数据303之间的距离。位于与第一样本图像数据301、第二样本图像数据302和第三样本图像数据303异侧的圆点对应的表征向量可以用于构成动量队列。

图3B示意性示出了根据本公开实施例的图像表征模型的训练过程的示例示意图。

如图3B所示，在300B中，对第一样本图像的第一样本图像数据301进行数据增强，得到第二样本图像的第二样本图像数据302和第三样本图像的第三样本图像数据303。

利用与当前轮对应的第一编码器304处理与当前轮对应的第一样本图像数据301，得到与当前轮对应的第一表征向量305。

利用与当前轮对应的第二编码器306分别处理与当前轮对应的第二样本图像数据302和第三样本图像数据303，得到与当前轮对应的第二表征向量307和第三表征向量308。

利用第一损失函数、第二损失函数和第三损失函数调整与当前轮对应的第二编码器306的模型参数，得到与下一轮对应的第二编码器的模型参数。与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数和与当前轮对应的第一编码器304的模型参数确定的。第一损失函数可以用L₁(k，q₁)表征，第二损失函数可以用L₂(k，q₂)表征，第三损失函数可以用L₃(q₁，q₂)表征。

根据与当前轮对应的第一表征向量305更新与上一轮对应的动量队列，得到与当前轮对应的动量队列311。

与下一轮对应的多个第四表征向量310是基于与下一轮对应的样本选择策略309，根据与当前轮对应的第二表征向量和动量队列311得到的。

与下一轮对应的多个第五表征向量312是基于与下一轮对应的样本选择策略309，根据与当前轮对应的第三表征向量和动量队列311得到的。

图4示意性示出了根据本公开实施例的图像处理方法的流程图。

如图4所示，该方法400包括操作S410～S420。

操作S410，将待处理图像的待处理图像数据输入图像表征模型，得到待处理表征向量。

操作S420，根据待处理表征向量，得到与待处理图像对应的图像处理结果。

根据本公开的实施例，图像表征模型可以是利用根据本公开实施例所述的图像表征模型的训练方法训练的。

根据本公开的实施例，可以利用图像表征模型处理待处理图像数据，得到待处理表征向量。针对图像处理任务的不同，可以利用待处理表征向量实现图像处理任务。图像处理任务可以包括图像分割、图像分类、图像检索、图像识别和目标检测等中的至少一项。

根据本公开的实施例，可以利用第一损失函数、第二损失函数和第三函数来约束第二编码器。可以利用第一损失函数来实现减小第二表征向量与第四表征向量之间的相似程度和增大第一表征向量与第二表征向量之间的相似程度。利用第二损失函数来实现减小第三表征向量与第五表征向量之间的相似程度和增大第一表征向量与第三表征向量之间的相似程度。利用第三损失函数来实现减小第二表征向量与第三表征向量之间的相似程度，进而实现细粒度区分和粗粒度区分，由此，提高了图像表征模型的预测精度。在此基础上，利用图像表征模型处理待处理图像数据，得到待处理表征向量，再对待处理表征向量进行处理，得到图像处理结果，提高了图像处理结果的准确性。

根据本公开的实施例，操作S420可以包括如下操作。

对待处理表征向量进行图像分割，得到与待处理图像对应的图像分割结果。

根据本公开的实施例，可以利用图像分割模型处理待处理表征向量，得到与待处理图像对应的图像分割结果。图像分割模型可以是利用深度学习训练得到的模型。

根据本公开的实施例，操作S420可以包括如下操作。

对待处理表征向量进行图像分类，得到与待处理图像对应的图像分类结果。

根据本公开的实施例，可以利用图像分类模型处理待处理表征向量，得到与待处理图像对应的图像分割结果。图像分类模型可以是利用深度学习训练得到的模型。

根据本公开的实施例，上述图像处理方法还可以包括如下操作。

将与目标图像集包括的多个目标图像中的每个目标图像对应的目标图像数据输入图像表征模型，得到目标表征向量。

根据本公开的实施例，操作S420可以包括如下操作。

根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，目标图像集可以包括多个目标图像。目标图像集可以包括相似图像集。相似图像集可以包括至少一个相似图像。相似图像可以指与待处理图像之间满足相似程度条件的目标图像。相似程度条件可以用于作为评价待处理图像和目标图像之间相似程度的条件。

根据本公开的实施例，可以利用图像表征模型处理多个目标图像中的每个目标图像，得到与每个目标图像对应的目标表征向量。

根据本公开的实施例，在获得待处理表征向量和多个目标表征向量之后，可以确定待处理表征向量和多个目标表征向量中的每个目标表征向量之间的相似度，根据待处理表征向量和多个目标表征向量中的每个目标表征向量之间的相似度，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集，可以包括如下操作。

利用近似最近邻算法，根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，近似最近邻(Approximate Nearest Neighbor，ANN)算法是指用于解决最近邻搜索问题的近似算法。近似最近邻算法可以包括基于树的近似最近邻算法、基于哈希的近似最近邻算法、基于矢量量化的近似最近邻算法或基于近邻图的近似最近邻算法。树可以包括KD-Tree、Ball-Tree或Annoy。可以根据实际业务需求确定用于处理待处理表征向量和多个目标表征向量的近似最近邻算法，在此不作限定。

根据本公开的实施例，利用近似最近邻算法来处理待处理表征向量和多个目标表征向量，可以提高确定效率。

根据本公开的实施例，利用近似最近邻算法，根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集，可以包括如下操作。

确定多个目标表征向量中的每个目标表征向量与待处理表征向量之间的第八相似度。利用基于哈希的近似最近邻算法，根据待处理表征向量、多个目标表征向量和多个第八相似度，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，在获得多个目标表征向量和待处理表征向量之后，可以针对多个目标表征向量中的每个目标表征向量，确定目标表征向量与待处理表征向量之间的第八相似度。

根据本公开的实施例，可以利用目标哈希函数将待处理表征向量转换为哈希待处理表征向量。利用目标哈希函数将多个目标表征向量中的每个目标表征向量转换为哈希目标表征向量。确定与哈希待处理表征向量一致的哈希目标表征向量。将与哈希待处理表征向量一致的哈希目标表征向量对应的目标图像确定为初始相似图像。根据第一预定阈值、待处理表征向量和与每个初始相似图像对应的目标表征向量之间各自的第八相似度，从至少一个初始相似图像中确定与待处理图像对应的相似图像集。第一预定阈值可以根据实际业务需求进行配置，在此不作限定。例如，第一预定阈值可以为0.8。

根据本公开的实施例，根据第一预定阈值、待处理表征向量和与每个初始相似图像对应的目标表征向量之间各自的第八相似度，从至少一个初始相似图像中确定相似图像集可以包括：针对与每个初始相似图像对应的目标表征向量，在确定与初始相似图像对应的目标表征向量与待处理表征向量之间的第八相似度大于或等于第一预定阈值的情况下，将初始相似图像确定为相似图像。

根据本公开的实施例，利用近似最近邻算法，根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集，可以包括如下操作。

利用基于矢量量化的近似最近邻算法，根据多个目标表征向量，确定至少一个聚类中心。根据待处理表征向量与至少一个聚类中心中的每个聚类中心之间的第八相似度，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，根据待处理表征向量与至少一个聚类中心中的每个聚类中心之间的第八相似度，从目标图像集中确定与待处理图像对应的相似图像集可以包括：根据待处理表征向量与至少一个聚类中心中的每个聚类中心之间的第八相似度，对目标图像集包括的多个目标图像进行排序。根据排序结果，从目标图像集中确定与待处理图像对应的相似图像集。备选地，根据第二预定阈值和待处理表征向量与至少一个聚类中心中的每个聚类中心之间的第八相似度，从目标图像集中确定与待处理图像对应的相似图像集。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他图像表征模型的训练方法和图像处理方法，只要能够提高图像表征模型的预测精度和图像处理结果的准确性即可。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图5示意性示出了根据本公开实施例的图像表征模型的训练装置的框图。

如图5所示，图像表征模型的训练装置500可以包括训练模块510和确定模块520。

训练模块510，用于对第一编码器和第二编码器执行多轮训练，直至满足预定条件。

确定模块520，用于将训练完成的第二编码器确定为图像表征模型。

根据本公开的实施例，确定模块510可以包括第一获得子模块511、第二获得子模块512和训练子模块513。

第一获得子模块511，用于利用与当前轮对应的第一编码器处理与当前轮对应的第一样本图像数据，得到与当前轮对应的第一表征向量。

第二获得子模块512，用于利用与当前轮对应的第二编码器分别处理与当前轮对应的第二样本图像数据和第三样本图像数据，得到与当前轮对应的第二表征向量和第三表征向量，其中，第二样本图像数据和第三样本图像数据是对第一样本图像数据进行数据增强得到的。

训练子模块513，用于利用第一损失函数、第二损失函数和第三损失函数训练与当前轮对应的第一编码器和第二编码器，其中，第一损失函数用于处理与当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，第二损失函数用于处理与当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，第三损失函数用于处理与当前轮对应的第二表征向量和第三表征向量，每个第四表征向量对应的样本图像数据和每个第五表征向量对应的样本图像数据均与第一样本图像数据的类别不同。

根据本公开的实施例，训练子模块513可以包括第一获得单元、第二获得单元、第三获得单元和第四获得单元。

第一获得单元，用于基于第一损失函数，利用与当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，得到第一输出值。

第二获得单元，用于基于第二损失函数，利用与当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，得到第二输出值。

第三获得单元，用于基于第三损失函数，利用与当前轮对应的第二表征向量和第三表征向量，得到第三输出值。

第四获得单元，用于根据第一输出值、第二输出值和第三输出值调整与当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数，其中，与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数调整与当前轮对应的第一编码器的模型参数得到的。

根据本公开的实施例，第四获得单元可以包括第一获得子单元。

第一获得子单元，用于根据对第一输出值、第二输出值和第三输出值进行加权求和得到的结果调整与当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数。

根据本公开的实施例，第一获得单元可以包括第一确定子单元、第二确定子单元和第二获得子单元。

第一确定子单元，用于确定与当前轮对应的第一表征向量与第二表征向量之间的第一相似度。

第二确定子单元，用于确定与当前轮对应的多个第四表征向量中的每个第四表征向量与当前轮对应的第二表征向量之间的第二相似度。

第二获得子单元，用于基于第一损失函数，利用第一相似度和多个第二相似度，得到第一输出值。

根据本公开的实施例，第二获得单元可以包括第三确定子单元、第四确定子单元和第三获得子单元。

第三确定子单元，用于确定与当前轮对应的第一表征向量与第三表征向量之间的第三相似度。

第四确定子单元，用于确定与当前轮对应的多个第五表征向量中的每个第五表征向量与当前轮对应的第三表征向量之间的第四相似度。

第三获得子单元，用于基于第二损失函数，利用第三相似度和多个第四相似度，得到第二输出值。

根据本公开的实施例，第三获得单元可以包括第五确定子单元、第六确定子单元、第七确定子单元和第四获得子单元。

第五确定子单元，用于确定与当前轮对应的第二表征向量和第三表征向量之间的第五相似度。

第六确定子单元，用于确定与当前轮对应的第二表征向量的第一范数。

第七确定子单元，用于确定与当前轮对应的第三表征向量的第二范数。

第四获得子单元，用于基于第三损失函数，利用第五相似度、第一范数和第二范数，得到第三输出值。

根据本公开的实施例，可以根据如下公式(1)确定第一损失函数。可以根据如下公式(2)确定第二损失函数。可以根据如下公式(3)确定第三损失函数。

根据本公开的实施例，k表征第一表征向量，τ表征超参数，K表征第四表征向量的数目和第五表征向量的数目，K是大于或等于2的整数。

根据本公开的实施例，L₁表征第一损失函数，q₁表征第二表征向量，queue_dyn1，i表征第i个第四表征向量，q₁·k表征第一表征向量k与第二表征向量q₁之间的第一相似度，q₁·queue_dyn1，i表征第i个第四表征向量与第二表征向量q₁之间的第二相似度，i∈{0，1，......，K，K-1}。

根据本公开的实施例，L₂表征第二损失函数，q₂表征第三表征向量，queue_dyn2，i表征第i个第五表征向量，q₂·k表征第一表征向量k与第三表征向量q₂之间的第三相似度，q₂·queue_dyn2，i表征第i个第五表征向量与第三表征向量q₂之间的第四相似度。

根据本公开的实施例，L₃表征第三损失函数，q₁·q₂表征第二表征向量q₁与第三表征向量q₂之间的第五相似度，||q₁||₂表征第一范数，||q₂||₂表征第二范数，max(||q₁||₂，||q₂||₂)表征||q₁||₂和||q₂||₂之间的最大值。

根据本公开的实施例，与当前轮对应的多个第四表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第二表征向量和动量队列得到的。

与当前轮对应的多个第五表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第三表征向量和动量队列得到的。

根据本公开的实施例，与上一轮对应的动量队列包括与上一轮对应的多个第四表征向量。

根据本公开的实施例，与当前轮对应的多个第四表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第二表征向量和动量队列得到的，包括：

与当前轮对应的多个第四表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的多个第六相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量得到的，其中，与上一轮对应的多个第六相似度中的每个第六相似度是根据与上一轮对应的多个第四表征向量中的每个第四表征向量与第二表征向量之间的相似度；

根据本公开的实施例，与当前轮对应的多个第五表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的第三表征向量和动量队列得到的，包括：

与当前轮对应的第五表征向量是基于与当前轮对应的样本选择策略，根据与上一轮对应的多个第七相似度，从与上一轮对应的多个第四表征向量中选择部分第四表征向量得到的。与上一轮对应的多个第七相似度中的每个第七相似度是根据与上一轮对应的多个第四表征向量中的每个第四表征向量与第三表征向量之间的相似度。

根据本公开的实施例，与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数调整与当前轮对应的第一编码器的模型参数得到的，包括：

与下一轮对应的第一编码器的模型参数是在获得与下一轮对应的第二编码器的模型参数的情况下，根据与下一轮对应的第二编码器的模型参数和与当前轮对应的第一编码器的模型参数确定的。

图6示意性示出了根据本公开实施例的图像处理装置的框图。

如图6所示，图像处理装置600可以包括第一获得模块610和第二获得模块620。

第一获得模块610，用于将待处理图像的待处理图像数据输入图像表征模型，得到待处理表征向量。

第二获得模块620，用于根据待处理表征向量，得到与待处理图像对应的图像处理结果。

根据本公开的实施例，图像表征模型是利用根据本公开实施例的装置训练的。

根据本公开的实施例，上述图像处理装置还可以包括第三获得模块。

第三获得模块，用于将与目标图像集包括的多个目标图像中的每个目标图像对应的目标图像数据输入图像表征模型，得到目标表征向量。

根据本公开的实施例，第二获得模块620可以包括确定子模块。

确定子模块，用于根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，确定子模块可以包括确定单元。

确定单元，用于利用近似最近邻算法，根据待处理表征向量和多个目标表征向量，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，确定单元可以包括第八确定子单元和第九确定子单元。

第八确定子单元，用于确定多个目标表征向量中的每个目标表征向量与待处理表征向量之间的第八相似度。

第九确定子单元，用于利用基于哈希的近似最近邻算法，根据待处理表征向量、多个目标表征向量和多个第八相似度，从目标图像集中确定与待处理图像对应的相似图像集。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图7示意性示出了根据本公开实施例的适于实现图像表征模型的训练方法和图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像表征模型的训练方法或图像处理方法。例如，在一些实施例中，图像表征模型的训练方法或图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的图像表征模型的训练方法或图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像表征模型的训练方法或图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种图像表征模型的训练方法，包括：

对第一编码器和第二编码器执行多轮训练，直至满足预定条件；以及

将训练完成的第二编码器确定为所述图像表征模型；

其中，所述对第一编码器和第二编码器执行多轮训练，包括：

利用与所述当前轮对应的第一编码器处理与所述当前轮对应的第一样本图像数据，得到与所述当前轮对应的第一表征向量；

利用与所述当前轮对应的第二编码器分别处理与所述当前轮对应的第二样本图像数据和第三样本图像数据，得到与所述当前轮对应的第二表征向量和第三表征向量，其中，所述第二样本图像数据和所述第三样本图像数据是对所述第一样本图像数据进行数据增强得到的；

利用第一损失函数、第二损失函数和第三损失函数训练与所述当前轮对应的第一编码器和第二编码器，其中，所述第一损失函数用于处理与所述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，所述第二损失函数用于处理与所述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，所述第三损失函数用于处理与所述当前轮对应的第二表征向量和第三表征向量，每个所述第四表征向量对应的样本图像数据和每个所述第五表征向量对应的样本图像数据均与所述第一样本图像数据的类别不同。

2.根据权利要求1所述的方法，其中，所述利用第一损失函数、第二损失函数和第三损失函数训练与所述当前轮对应的第一编码器和第二编码器，包括：

基于所述第一损失函数，利用与所述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，得到第一输出值；

基于所述第二损失函数，利用与所述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，得到第二输出值；

基于所述第三损失函数，利用与所述当前轮对应的第二表征向量和第三表征向量，得到第三输出值；以及

根据所述第一输出值、所述第二输出值和所述第三输出值调整与所述当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数，其中，与所述下一轮对应的第一编码器的模型参数是在获得与所述下一轮对应的第二编码器的模型参数的情况下，根据与所述下一轮对应的第二编码器的模型参数调整与所述当前轮对应的第一编码器的模型参数得到的。

3.根据权利要求2所述的方法，其中，所述根据所述第一输出值、所述第二输出值和所述第三输出值调整与所述当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数，包括：

根据对所述第一输出值、所述第二输出值和所述第三输出值进行加权求和得到的结果调整与所述当前轮对应的第二编码器的模型参数，得到与所述下一轮对应的第二编码器的模型参数。

4.根据权利要求2或3所述的方法，其中，所述基于所述第一损失函数，利用与所述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，得到第一输出值，包括：

确定与所述当前轮对应的第一表征向量与第二表征向量之间的第一相似度；

确定与所述当前轮对应的多个第四表征向量中的每个第四表征向量与所述当前轮对应的第二表征向量之间的第二相似度；以及

基于所述第一损失函数，利用所述第一相似度和多个所述第二相似度，得到所述第一输出值；

所述基于所述第二损失函数，利用与所述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，得到第二输出值，包括：

确定与所述当前轮对应的第一表征向量与第三表征向量之间的第三相似度；

确定与所述当前轮对应的多个第五表征向量中的每个第五表征向量与所述当前轮对应的第三表征向量之间的第四相似度；以及

基于所述第二损失函数，利用所述第三相似度和多个所述第四相似度，得到所述第二输出值；

所述基于所述第三损失函数，利用与所述当前轮对应的第二表征向量和第三表征向量，得到第三输出值，包括：

确定与所述当前轮对应的第二表征向量和第三表征向量之间的第五相似度；

确定与所述当前轮对应的第二表征向量的第一范数；

确定与所述当前轮对应的第三表征向量的第二范数；以及

基于所述第三损失函数，利用所述第五相似度、所述第一范数和所述第二范数，得到所述第三输出值。

5.根据权利要求4所述的方法，其中，根据如下公式确定所述第一损失函数：

根据如下公式确定所述第二损失函数：

根据如下公式确定所述第三损失函数：

其中，所述k表征所述第一表征向量，所述τ表征超参数，所述K表征所述第四表征向量的数目和所述第五表征向量的数目，K是大于或等于2的整数；

其中，所述L₁表征所述第一损失函数，所述q₁表征所述第二表征向量，所述queue_dyn1，i表征第i个所述第四表征向量，q₁·k表征所述第一表征向量k与所述第二表征向量q₁之间的第一相似度，所述q₁·queue_dyn1，i表征第i个所述第四表征向量与所述第二表征向量q1之间的第二相似度，i∈{0，1，……，K，K-1}；

其中，所述所述L₂表征所述第二损失函数，所述q₂表征所述第三表征向量，所述queue_dyn2，i表征第i个所述第五表征向量，q₂·k表征所述第一表征向量k与所述第三表征向量q₂之间的第三相似度，所述q₂·queue_dyn2，i表征第i个所述第五表征向量与所述第三表征向量q2之间的第四相似度；

其中，所述L₃表征所述第三损失函数，所述q₁·q₂表征所述第二表征向量q₁与所述第三表征向量q₂之间的第五相似度，所述||q₁||₂表征所述第一范数，所述||q₂||₂表征所述第二范数，所述max(||q₁||₂，||q₂||₂)表征所述||q₁||₂和所述||q₂||₂之间的最大值。

6.根据权利要求1～5中任一项所述的方法，其中，与所述当前轮对应的多个第四表征向量是基于与所述当前轮对应的样本选择策略，根据与上一轮对应的第二表征向量和动量队列得到的；

与所述当前轮对应的多个第五表征向量是基于与所述当前轮对应的样本选择策略，根据与所述上一轮对应的第三表征向量和动量队列得到的。

7.根据权利要求6所述的方法，其中，与所述上一轮对应的动量队列包括与所述上一轮对应的多个第四表征向量；

所述与所述当前轮对应的多个第四表征向量是基于与所述当前轮对应的样本选择策略，根据与上一轮对应的第二表征向量和动量队列得到的，包括：

与所述当前轮对应的多个第四表征向量是基于与所述当前轮对应的样本选择策略，根据与所述上一轮对应的多个第六相似度，从与所述上一轮对应的多个第四表征向量中选择部分第四表征向量得到的，其中，与所述上一轮对应的多个第六相似度中的每个第六相似度是根据与所述上一轮对应的多个第四表征向量中的每个第四表征向量与第二表征向量之间的相似度；

所述与所述当前轮对应的多个第五表征向量是基于与所述当前轮对应的样本选择策略，根据与所述上一轮对应的第三表征向量和动量队列得到的，包括：

与所述当前轮对应的第五表征向量是基于与所述当前轮对应的样本选择策略，根据与所述上一轮对应的多个第七相似度，从与所述上一轮对应的多个第四表征向量中选择部分第四表征向量得到的，其中，与所述上一轮对应的多个第七相似度中的每个第七相似度是根据与所述上一轮对应的多个第四表征向量中的每个第四表征向量与第三表征向量之间的相似度。

8.根据权利要求2～7中任一项所述的方法，其中，所述与所述下一轮对应的第一编码器的模型参数是在获得与所述下一轮对应的第二编码器的模型参数的情况下，根据与所述下一轮对应的第二编码器的模型参数调整与所述当前轮对应的第一编码器的模型参数得到的，包括：

与所述下一轮对应的第一编码器的模型参数是在获得与所述下一轮对应的第二编码器的模型参数的情况下，根据与所述下一轮对应的第二编码器的模型参数和与所述当前轮对应的第一编码器的模型参数确定的。

9.一种图像处理方法，包括：

将待处理图像的待处理图像数据输入图像表征模型，得到待处理表征向量；以及

根据所述待处理表征向量，得到与所述待处理图像对应的图像处理结果，

其中，所述图像表征模型是利用根据权利要求1～8中任一项所述的方法训练的。

10.根据权利要求9所述的方法，其中，所述根据所述待处理表征向量，得到与所述待处理图像对应的图像处理结果，包括：

对所述待处理表征向量进行图像分割，得到与所述待处理图像对应的图像分割结果。

11.根据权利要求9所述的方法，其中，所述根据所述待处理表征向量，得到与所述待处理图像对应的图像处理结果，得到与所述待处理图像对应的图像分割结果，包括：

对所述待处理表征向量进行图像分类，得到与所述待处理图像对应的图像分类结果。

12.根据权利要求9所述的方法，还包括：

将与目标图像集包括的多个目标图像中的每个目标图像对应的目标图像数据输入所述图像表征模型，得到目标表征向量；

所述根据所述待处理表征向量，得到与所述待处理图像对应的图像处理结果，包括：

根据所述待处理表征向量和多个所述目标表征向量，从所述目标图像集中确定与所述待处理图像对应的相似图像集。

13.根据权利要求10所述的方法，其中，所述根据所述待处理表征向量和多个所述目标表征向量，从所述目标图像集中确定与所述待处理图像对应的相似图像集，包括：

利用近似最近邻算法，根据所述待处理表征向量和多个所述目标表征向量，从所述目标图像集中确定与所述待处理图像对应的相似图像集。

14.根据权利要求13所述的方法，其中，所述利用近似最近邻算法，根据所述待处理表征向量和多个所述目标表征向量，从所述目标图像集中确定与所述处理图像对应的相似图像集，包括：

确定多个所述目标表征向量中的每个目标表征向量与所述待处理表征向量之间的第八相似度；以及

利用基于哈希的近似最近邻算法，根据所述待处理表征向量、多个所述目标表征向量和多个所述第八相似度，从所述目标图像集中确定与所述待处理图像对应的相似图像集。

15.一种图像表征模型的训练装置，包括：

训练模块，用于对第一编码器和第二编码器执行多轮训练，直至满足预定条件；以及

确定模块，用于将训练完成的第二编码器确定为所述图像表征模型；

其中，所述训练模块，包括：

第一获得子模块，用于利用与所述当前轮对应的第一编码器处理与所述当前轮对应的第一样本图像数据，得到与所述当前轮对应的第一表征向量；

第二获得子模块，用于利用与所述当前轮对应的第二编码器分别处理与所述当前轮对应的第二样本图像数据和第三样本图像数据，得到与所述当前轮对应的第二表征向量和第三表征向量，其中，所述第二样本图像数据和所述第三样本图像数据是对所述第一样本图像数据进行数据增强得到的；

训练子模块，用于利用第一损失函数、第二损失函数和第三损失函数训练与所述当前轮对应的第一编码器和第二编码器，其中，所述第一损失函数用于处理与所述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，所述第二损失函数用于处理与所述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，所述第三损失函数用于处理与所述当前轮对应的第二表征向量和第三表征向量，每个所述第四表征向量对应的样本图像数据和每个所述第五表征向量对应的样本图像数据均与所述第一样本图像数据的类别不同。

16.根据权利要求15所述的装置，其中，所述训练子模块，包括：

第一获得单元，用于基于所述第一损失函数，利用与所述当前轮对应的第一表征向量、第二表征向量和多个第四表征向量，得到第一输出值；

第二获得单元，用于基于所述第二损失函数，利用与所述当前轮对应的第一表征向量、第三表征向量和多个第五表征向量，得到第二输出值；

第三获得单元，用于基于所述第三损失函数，利用与所述当前轮对应的第二表征向量和第三表征向量，得到第三输出值；以及

第四获得单元，用于根据所述第一输出值、所述第二输出值和所述第三输出值调整与所述当前轮对应的第二编码器的模型参数，得到与下一轮对应的第二编码器的模型参数，其中，与所述下一轮对应的第一编码器的模型参数是在获得与所述下一轮对应的第二编码器的模型参数的情况下，根据与所述下一轮对应的第二编码器的模型参数调整与所述当前轮对应的第一编码器的模型参数得到的。

17.一种图像处理装置，包括：

第一获得模块，用于将待处理图像的待处理图像数据输入图像表征模型，得到待处理表征向量；以及

第二获得模块，用于根据所述待处理表征向量，得到与所述待处理图像对应的图像处理结果，

其中，所述图像表征模型是利用根据权利要求15或16所述的装置训练的。

18.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～8中任一项或权利要求9～14中任一项所述的方法。

19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～8中任一项或权利要求9～14中任一项所述的方法。

20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～8中任一项或权利要求9～14中任一项所述的方法。

Images