CN114926338A - 模型训练方法及装置、电子设备和存储介质 - Google Patents

模型训练方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114926338A
CN114926338A CN202210583591.4A CN202210583591A CN114926338A CN 114926338 A CN114926338 A CN 114926338A CN 202210583591 A CN202210583591 A CN 202210583591A CN 114926338 A CN114926338 A CN 114926338A
Authority
CN
China
Prior art keywords
image
attention
sub
encoder
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210583591.4A
Other languages
English (en)
Inventor
刘吉豪
刘宇
黄鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202210583591.4A priority Critical patent/CN114926338A/zh
Publication of CN114926338A publication Critical patent/CN114926338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及一种模型训练方法及装置、电子设备和存储介质，所述方法包括：获取混合图像，混合图像是通过将两个样本图像中的图像块拼接而成的图像；通过预设的图像重建模型中的编码器对混合图像进行编码，得到混合图像的目标特征图；通过图像重建模型中的解码器对目标特征图进行解码，得到解码出的两个重建图像；根据两个重建图像与两个样本图像之间的损失，训练图像重建模型，以得到训练后的目标编码器。本公开实施例可实现提高了整体的模型训练效率以及训练后的模型性能。

Description

模型训练方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种模型训练方法及装置、电子设备和存储介质。
背景技术
相关技术中提出了基于自监督学习“视觉表征(visual representations，或称视觉表达、图像表征)”的掩码图像建模(Masked Image Modeling，MIM)任务，好的“视觉表征”也即好的编码特征，能够提供对任务重要的信息，忽略与任务不相关的信息。在MIM任务中，首先会根据将原始图像分割成不重叠的图像补丁(patch)，然后采用一个随机掩码来掩盖部分图像补丁，并用特殊符号填充掩盖的部分图像补丁得到待处理图像，再通过编码器对待处理图像进行处理得到隐含的“视觉表征”，并利用轻量级解码器基于“视觉表征”，生成重建图像，再利用重建图像与原始图像之间的相对均方差作为重建的损失来训练编码器和解码器，经过多次训练后的编码器可以用于下游视觉任务的网络模型中。
目前的MIM任务，虽然在自监督学习“视觉表征”的模型训练方面取得了进展，但为使得任务有足够的难度，使用大量特殊符号来填充掩码掩盖的部分图像补丁是不可避免的。然而真实的图像中并不存在这些无意义的特殊符号，这种输入上的区别会对模型训练产生的潜在负面影响，并且会在大量无意义的特殊符号(也即人造输入)上消耗大量计算资源，这种训练方式的训练时间较长、训练效率降低、通用性较差。
发明内容
本公开提出了一种模型训练技术方案。
根据本公开的一方面，提供了一种模型训练方法，包括：获取混合图像，所述混合图像是通过将两个样本图像中的图像块拼接而成的图像；通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图；通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像；根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，所述编码器包括N个子编码器，每个子编码器包括多头注意力机制层，N为正整数；其中，所述通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图，包括：确定每个子编码器中的多头注意力机制层所采用的注意力掩码，以及确定每个子编码器中的多头注意力机制层所采用的注意力窗口；通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图；其中，所述注意力掩码用于指示所述多头注意力机制层计算同一样本图像的特征之间的多头注意力，所述注意力窗口用于指示所述多头注意力机制层计算同一注意力窗口内的特征之间的多头注意力。
在一种可能的实现方式中，所述确定每个子编码器中的多头注意力机制层所采用的注意力掩码，包括：根据拼接所述混合图像时所采用的掩码图，确定所述N个子编码器中的第一个子编码器所采用的注意力掩码；根据所述N个子编码器中的第n个子编码器所编码的特征图尺度，对第n-1个子编码器所采用的注意力掩码进行下采样，得到第n个子编码器所采用的注意力掩码，2≤n≤N。
在一种可能的实现方式中，所述确定每个子编码器中的多头注意力机制层所采用的注意力窗口，包括：根据针对每个子编码器中的多头注意力机制层所预先设置的窗口尺寸，确定每个子编码器中的多头注意力机制层所采用的注意力窗口；其中，所述注意力窗口包括用于计算全局多头注意力的注意力窗口，以及用于分块计算局部多头注意力的注意力窗口中的至少一种。
在一种可能的实现方式中，所述通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图，包括：将所述混合图像转换成指定维度的输入向量；通过第一个子编码器，根据所述第一个子编码器中所采用的注意力掩码与注意力窗口，对所述输入向量进行编码，得到第一个输出特征图；对第n-1输出特征图进行下采样，得到分辨率缩小且通道数增加的第n-1个输入特征图；通过第n个子编码器，根据第n个子编码器中所采用的注意力掩码以及注意力窗口，对第n-1个输入特征图进行编码，得到第n个输出特征图，2≤n≤N；将通过第N个子编码器编码得到的第N个输出特征图作为所述目标特征图。
在一种可能的实现方式中，所述将所述混合图像转换成指定维度的输入向量，包括：将拼接成所述混合图像的多个图像块进行通道展开与线性变换，得到序列向量；将所述混合图像对应的位置编码向量嵌入所述序列向量中，得到输入向量，其中，所述位置编码向量用于指示所述多个图像块各自在所述两个样本图像中的位置信息，不同样本图像中的图像块所采用的位置编码向量不同。
在一种可能的实现方式中，所述通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像，包括：根据编码所述目标特征图时所采用的注意力掩码，将所述目标特征图拆解为两个子特征图；利用所述解码器对所述两个子特征图进行解码，得到解码出的两个重建图像。
在一种可能的实现方式中，所述两个样本图像包括第一样本图像与第二样本图像，所述获取混合图像，包括：根据所述第一样本图像与预设的掩码图，确定从所述第一样本图像中抽取的第一图像块；根据所述第二样本图像与所述掩码图对应的反向掩码图，确定从所述第二样本图像中抽取的第二图像块；将所述第一图像块与所述第二图像块进行拼接，得到所述混合图像。
在一种可能的实现方式中，所述两个样本图像包括第一样本图像与第二样本图像，所述两个重建图像包括所述第一样本图像对应的第一重建图像以及所述第二样本图像对应的第二重建图像，其中，所述根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器，包括：确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异；根据所述第一图像差异与所述第二图像差异，确定所述损失，并根据所述损失，训练所述图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，所述确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异，包括：根据从所述第二样本图像中抽取图像块时所采用的反向掩码图，确定所述第一重建图像与所述第一样本图像之间的第一图像差异；根据从所述第一样本图像中抽取图像块时所采用的掩码图，确定所述第二重建图像与所述第二样本图像之间的第二图像差异；其中，所述掩码图与所述反向掩码图对应相反。
在一种可能的实现方式中，所述目标编码器应用于下游任务的网络模型中，所述下游任务包括目标检测、图像补全、图像分割、图像分类中的至少一种。
根据本公开的一方面，提供了一种模型训练装置，包括：获取模块，用于获取混合图像，所述混合图像是通过将两个样本图像中的图像块拼接而成的图像；编码模块，用于通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图；解码模块，用于通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像；训练模块，用于根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，所述编码器包括N个子编码器，每个子编码器包括多头注意力机制层，N为正整数；其中，所述编码模块，包括：确定子模块，用于确定每个子编码器中的多头注意力机制层所采用的注意力掩码，以及确定每个子编码器中的多头注意力机制层所采用的注意力窗口；编码子模块，用于通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图；其中，所述注意力掩码用于指示所述多头注意力机制层计算同一样本图像的特征之间的多头注意力，所述注意力窗口用于指示所述多头注意力机制层计算同一注意力窗口内的特征之间的多头注意力。
在一种可能的实现方式中，所述确定每个子编码器中的多头注意力机制层所采用的注意力掩码，包括：根据拼接所述混合图像时所采用的掩码图，确定所述N个子编码器中的第一个子编码器所采用的注意力掩码；根据所述N个子编码器中的第n个子编码器所编码的特征图尺度，对第n-1个子编码器所采用的注意力掩码进行下采样，得到第n个子编码器所采用的注意力掩码，2≤n≤N。
在一种可能的实现方式中，所述确定每个子编码器中的多头注意力机制层所采用的注意力窗口，包括：根据针对每个子编码器中的多头注意力机制层所预先设置的窗口尺寸，确定每个子编码器中的多头注意力机制层所采用的注意力窗口；其中，所述注意力窗口包括用于计算全局多头注意力的注意力窗口，以及用于分块计算局部多头注意力的注意力窗口中的至少一种。
在一种可能的实现方式中，所述通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图，包括：将所述混合图像转换成指定维度的输入向量；通过第一个子编码器，根据所述第一个子编码器中所采用的注意力掩码与注意力窗口，对所述输入向量进行编码，得到第一个输出特征图；对第n-1输出特征图进行下采样，得到分辨率缩小且通道数增加的第n-1个输入特征图；通过第n个子编码器，根据第n个子编码器中所采用的注意力掩码以及注意力窗口，对第n-1个输入特征图进行编码，得到第n个输出特征图，2≤n≤N；将通过第N个子编码器编码得到的第N个输出特征图作为所述目标特征图。
在一种可能的实现方式中，所述将所述混合图像转换成指定维度的输入向量，包括：将拼接成所述混合图像的多个图像块进行通道展开与线性变换，得到序列向量；将所述混合图像对应的位置编码向量嵌入所述序列向量中，得到输入向量，其中，所述位置编码向量用于指示所述多个图像块各自在所述两个样本图像中的位置信息，不同样本图像中的图像块所采用的位置编码向量不同。
在一种可能的实现方式中，所述解码模块，包括：拆解子模块，用于根据编码所述目标特征图时所采用的注意力掩码，将所述目标特征图拆解为两个子特征图；解码子模块，用于利用所述解码器对所述两个子特征图进行解码，得到解码出的两个重建图像。
在一种可能的实现方式中，所述两个样本图像包括第一样本图像与第二样本图像，所述获取模块，包括：第一抽取子模块，用于根据所述第一样本图像与预设的掩码图，确定从所述第一样本图像中抽取的第一图像块；第二抽取子模块，用于根据所述第二样本图像与所述掩码图对应的反向掩码图，确定从所述第二样本图像中抽取的第二图像块；拼接子模块，用于将所述第一图像块与所述第二图像块进行拼接，得到所述混合图像。
在一种可能的实现方式中，所述两个样本图像包括第一样本图像与第二样本图像，所述两个重建图像包括所述第一样本图像对应的第一重建图像以及所述第二样本图像对应的第二重建图像，其中，所述训练模块，包括：差异确定子模块，用于确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异；训练子模块，用于根据所述第一图像差异与所述第二图像差异，确定所述损失，并根据所述损失，训练所述图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，所述确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异，包括：根据从所述第二样本图像中抽取图像块时所采用的反向掩码图，确定所述第一重建图像与所述第一样本图像之间的第一图像差异；根据从所述第一样本图像中抽取图像块时所采用的掩码图，确定所述第二重建图像与所述第二样本图像之间的第二图像差异；其中，所述掩码图与所述反向掩码图对应相反。
在一种可能的实现方式中，所述目标编码器应用于下游任务的网络模型中，所述下游任务包括目标检测、图像补全、图像分割、图像分类中的至少一种。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，通过编码器提取混合图像中的目标特征图，相当于学习混合图像中的“视觉表征”，再利用解码器基于目标特征图分别预测出重建图像，相当于预测出两个样本图像中被另一个样本图像掩盖的部分图像补丁，其中，由于混合图像是将两个样本图像中的图像块拼接而成得到图像，也即输入编码器的混合图像来自于真实的样本图像，相较于使用无意义的特殊符号来填充被掩码掩盖的部分图像补丁，可以降低输入不一致对模型训练产生的潜在负面影响，同时减少了计算资源的浪费，提高了整体的模型训练效率以及训练后的模型性能，且具有较高的通用性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的模型训练方法的流程图。
图2示出根据本公开实施例的一种转换器块(Transformer block)的模型结构示意图。
图3示出根据本公开实施例的一种图像重建模型的框架示意图。
图4示出根据本公开实施例的模型训练装置的框图。
图5示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
可知晓的是，自监督学习(Self-Supervised Learning)是无监督学习里面的一种，主要是希望能够学习到一种通用的视觉表征(也即特征表达)，以用于下游任务(Downstream Tasks)。自监督学习可以理解为预先将一个模型训练到初步成型，也即模型的预训练过程；在将模型预训练到一定程度后，可以再根据不同下游任务(DownstreamTasks)的不同带标签的数据集，将模型训练到完全成型，这样可以提高模型的整体训练效率，获得较好的模型性能。
本公开实施例中的编码器可以理解为一种可以提取图像中通用的视觉表征的模型，然而如上所述，目前预训练编码器时所采用的掩码图像建模MIM任务中会采用大量特殊符号来填充被掩码掩盖的部分图像块(或称图像补丁)，这样会对模型训练产生潜在的负面影响，并且编码器会在大量无意义的特殊符号(也即人造输入)上消耗大量计算资源，使得模型训练时间较长、训练效率降低、通用性较差。
基于上述问题，本公开实施例提出一种模型训练方法，也可以称为高效学习视觉表征的混合掩码图像建模方法，该方法通过将来自训练集的两个随机样本图像拼接组合成的混合图像，来训练一个编码器以学习视觉表征，并利用解码器来重建两个样本图像。从一个样本图像的角度来看，该方法不是用特殊符号替换图像中用于掩盖部分图像块的掩码符号，而是用另一个样本图像的替换掩码符号，这样可以降低输入不一致对模型训练产生的潜在负面影响，同时减少了计算资源的浪费，提高了整体的模型训练效率以及模型性能，且具有较高的通用性。
本公开实施例的模型训练方法中采用了编码器-解码器的设计，也即图像重建模型包括编码器与解码器，其中，编码器可以采用分层的视觉转换器(Vision Transformer，ViT)的模型结构，编码器处理混合图像以获得混合图像中隐含的视觉表征，而解码器基于隐含的视觉表征，重建两个样本图像(也即生成两个重建图像)；然后利用重建出的两个样本图像与原始的两个样本图像之间的图像差异作为损失，训练编码器与解码器，经过多次训练后，可以舍弃解码器，保留训练后的目标编码器以应用于下游任务。
图1示出根据本公开实施例的模型训练方法的流程图，所述模型训练方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现，或者，可通过服务器执行所述方法。如图1所示，所述模型训练方法包括：
在步骤S11中，获取混合图像。
其中，混合图像是通过将两个样本图像中的图像块拼接而成的图像，样本图像可以是从图像集中随机选取的图像。
在一种可能的实现方式中，可以按照预设的划分尺寸，将两个样本图像分别划分成多个图像块，然后可以从两个样本图像中随机抽取部分图像块，将从两个样本图像中各自随机抽取的部分图像块(例如可以是从两个样本图像中各自随机抽取50％的图像块)拼接组合成混合图像。应理解的是，可以自定义设置划分尺寸也即图像块的尺寸，例如可以设置为长×宽为4×4的划分尺寸，对此本公开实施例不作限制。
在步骤S12中，通过预设的图像重建模型中的编码器对混合图像进行编码，得到混合图像的目标特征图。
在一种可能的实现方式中，编码器可以例如采用分层的视觉转换器(VisionTransformer，ViT)的模型结构，还可以采用基于移动窗口的分层视觉转换器(SwinTransformer)的模型结构，对此本公开实施例不做限制。采用上述模型结构的编码器可以提取图像中更好的视觉表征，有利于更好的实现各种下游任务。应理解的是，本公开实施例对于编码器的具体模型结构不做限制。
可知晓的是，采用上述模型结构的编码器中通常包括多个子编码器，每两个子编码器之间存在一个下采样层，下采样层用于成倍缩小输入特征图(也即输入子编码器的特征图)的分辨率以及成倍增加输入特征图的通道数，每个子编码器包括至少一组转换器块(Transformer block)，每组转换器块包括两个Transformer block，图2示出根据本公开实施例的一种转换器块(Transformer block)的模型结构示意图，如图2所示，每个Transformer block中包括多头注意力(Multi-Head Attention，MSA)机制层、多层全连接(Multi-Layer Perceptron，MLP，或称多层感知器)层以及层归一化(LayerNormalization，LN)层，MSA层与NLP层之间均采用残差连接，MSA与MLP之间连接有一个LN层。
其中，通过上述编码器对混合图像进行编码，得到混合图像的目标特征图，可以理解为，将混合图像输入至上述编码器中，经过编码器的多个子编码器后输出目标特征图。应理解的是，本公开实施例对于编码器的具体编码过程以及具体模型结构等不做限制。
在步骤S13中，通过图像重建模型中的解码器对目标特征图进行解码，得到解码出的两个重建图像。
应理解的是，本领域技术人员可以自定义设计解码器的模型结构，例如可以设计为采用多个Transformer block构成的解码器，对此本公开实施例不做限制。解码器可以对目标特征图进行解码，得到解码出的两个重建图像，也即解码器可以利用目标特征图重建出两个原始的样本图像。
在步骤S14中，根据两个重建图像与两个样本图像之间损失，训练图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，可以根据两个重建图像与两个样本图像之间的图像差异，确定两个重建图像与两个样本图像之间的损失，其中，可以确定每个重建图像与对应的样本图像中整个图像区域之间的图像差异，还可以确定每个重建图像与对应的样本图像中被另一个样本图像填充的局部图像区域之间的图像差异，对此本公开实施例不做限制。
其中，图像差异例如可以采用均方误差、绝对误差等误差函数，还可以采用L1距离、L2距离等距离函数，在一种可能的实现方式中，根据两个重建图像与两个样本图像之间的图像差异，确定两个重建图像与两个样本图像之间损失，例如可以包括：将两个重建图像与各自对应的样本图像之间的两个图像差异的和，作为两个重建图像与两个样本图像之间的损失；当然还可以采用其他计算方式确定上述两个重建图像与两个样本图像之间的损失，对此本公开实施例不做限制。
其中，根据两个重建图像与两个样本图像之间的损失，训练图像重建模型，以得到训练后的目标编码器，可以包括：根据两个重建图像与两个样本图像之间损失，调整编码器的模型参数与解码器的模型参数。可理解的是，模型训练过程中，编码器与解码器可以是同时训练，也即调整编码器的模型参数时，也可以同时调整解码器的模型参数，多次训练后可以舍弃解码器，并将训练得到的目标编码器应用于下游任务。
应理解的是，模型训练通常包括多次迭代训练，那么可以使用多个混合图像，多次执行上述步骤S11至步骤S14，来多次迭代训练图像重建模型，至达到训练结束指标，得到训练后的图像重建模型中的目标编码器，其中训练结束指标例如可以包括损失收敛、损失置0、迭代次数达到指定的训练次数等，对此本公开实施例不做限制。
在一种可能的实现方式中，目标编码器可以应用于下游任务的网络模型中，下游任务可以包括目标检测、图像补全、图像分割、图像分类中的至少一种。当然还可以应用于本领域其它任意种类的下游任务中，本公开实施例对于下游任务的种类不作限制。
例如，当目标编码器应用于目标检测的检测模型时，例如，Faster RCNN(FasterRegion Convolutional Neural Networks，更快速区域卷积神经网络)，训练好的目标编码器可以作为该Faster RCNN中特征提取模块，用于提取出待检测图像的特征图，也即提取待检测图像中通用的图像表征，然后Faster RCNN中的候选锚框生成模块，可以基于该特征图生成大量候选锚框，Faster RCNN中的候选锚框分类模块可以对候选锚框进行分类，得到包含待检测对象的目标锚框，然后可以再对目标锚框的尺寸和/或位置进行调整，得到用于指示待检测图像中待检测对象所在区域的检测框，实现目标检测。
再例如，当目标编码器应用与图像分类的分类模型时，例如，二分类模型等，目标编码器可以作为二分类模型中的特征提取器，用于提取出待分类图像的特征图，也即提取待分类图像中通用的图像表征；然后通过二分类模型中的两个分类器，分别基于该特征图进行分类，得到待分类图像的分类结果，实现图像分类。
其中，在任意下游任务的网络模型中采用上述目标编码器的情况下，可以再基于不同下游任务中采用的不同带标签的样本数据，继续训练采用上述目标编码器的网络模型，得到下游任务中完全成型的网络模型，通过该方式，可以提高整个下游任务中网络模型的训练效率，提高训练后网络模型的模型性能。
在本公开实施例中，通过编码器提取混合图像中的目标特征图，相当于学习混合图像中的“视觉表征”，再利用解码器基于目标特征图分别预测出重建图像，相当于预测出两个样本图像中被另一个样本图像掩盖的部分图像补丁，其中，由于混合图像是将两个样本图像中的图像块拼接而成得到图像，也即输入编码器的混合图像来自于真实的样本图像，相较于使用无意义的特殊符号来填充被掩码掩盖的部分图像补丁，可以降低输入不一致对模型训练产生的潜在负面影响，同时减少了计算资源的浪费，提高了整体的模型训练效率以及训练后的模型性能，且具有较高的通用性。
如上所述，混合图像是由两个样本图像的图像块拼接而成的图像，在一种可能的实现方式中，两个样本图像包括第一样本图像与第二样本图像，在步骤S11中，获取混合图像，包括：
根据第一样本图像与预设的掩码图，确定从第一样本图像中抽取的第一图像块；根据第二样本图像与掩码图对应的反向掩码图，确定从第二样本图像中抽取的第二图像块；将第一图像块与第二图像块进行拼接，得到混合图像。通过该方式，可以有效得到由两个样本图像的图像块拼接而成的混合图像。
其中，掩码图可以是由二进制掩码构成的掩码图，用户可以按照所要划分的图像块的尺寸以及所要从第一样本图像中抽取的图像块的数量，或者是所要在第一样本图像中掩盖的图像块的数量，设计该掩码图，对此本公开实施例不做限制。
其中，反向掩码图可以是与掩码图中二进制掩码相反的二进制掩码构成的掩码图，例如假设掩码图表示为M，反向掩码图则表示为1-M，也即掩码图与反向掩码图中同一位置处的两个二进制掩码的和为1。应理解的是，基于反向掩码图从第二样本图像中抽取的第二图像块与基于掩码图从第一样本图像中抽取的第一图像块是相互补全的，已知预设的掩码图后，反向掩码图也是已知的。
其中，第一样本图像与第二样本图像的图像尺寸可以相同也可以不同，但从第一样本图像中抽取的图像块与从第二样本图像中抽取的图像块可以是尺寸相同的，以便于将从两个样本图像中抽取的图像块进行拼接。假设第一样本图像表示为X1，第二样本图像表示为X2，掩码图表示为M，反向掩码图表示为1-M，混合图像Xm可以表示为Xm＝X1⊙M+X2⊙(1-M)，其中⊙表示为哈达玛(Hadamard)积。
在一种可能的实现方式中，将第一图像块与第二图像块进行拼接，得到混合图像，可以包括：将从第二样本图像中抽取的第二图像块，填充到第一样本图像中被掩码图掩盖的局部区域，得到混合图像；或者，也可以将从第一样本图像中抽取的第一图像块，填充到第二样本图像中被反向掩码图掩盖的局部区域，得到混合图像，对此本公开实施例不做限制。
如上所述，编码器中可以包括多个子编码器，在一种可能的实现方式中，编码器包括N个子编码器，每个子编码器包括多头注意力机制层，N为正整数；其中，在步骤S12中，通过预设的图像重建模型中的编码器对混合图像进行编码，得到混合图像的目标特征图，包括：
步骤S121：确定每个子编码器中的多头注意力机制层所采用的注意力掩码，以及确定每个子编码器中的多头注意力机制层所采用的注意力窗口；
步骤S122：通过N个子编码器，根据N个子编码器中所采用的注意力掩码与注意力窗口，对混合图像进行编码，得到混合图像的目标特征图。
如上所述，混合图像是由两个样本图像的图像块拼接而成的图像，意味着从混合图像中编码出的特征图中会包含两个样本图像的特征信息，而在子编码器中的多头注意力机制层计算输入特征图(或输入向量)中的多头注意力时，一个样本图像的特征信息对于另一个样本图像来说实际上是无用的信息，为计算输入特征图(或输入向量)中有效的多头注意力，那么应计算输入特征图(或输入向量)中属于同一样本图像的特征之间的多头注意力。
基于此，N个子编码器中的多头注意力机制层，可以结合注意力掩码计算输入特征图(或输入向量)中属于同一样本图像的特征之间的多头注意力，这样可以使编码器学习到混合图像中更有效的“视觉表征”，也即使编码器输出包含更多有效特征信息的目标特征图。注意力掩码用于指示多头注意力机制层计算同一样本图像的特征之间的多头注意力，也即注意力掩码可以表征输入特征图(或输入向量)中分别属于两个样本图像的特征，以使多头注意力机制层计算同一样本图像的特征之间的多头注意力。
考虑到，若每个子编码器中的每个多头注意力机制层均计算输入特征图中的全局多头注意力，会产生较大的计算量且距离较远的特征之间的关联性也不高，因此可以针对多头注意力机制层设置注意力窗口，注意力窗口用于指示多头注意力机制层计算同一注意力窗口内的特征之间的多头注意力，这样可以使多头注意力机制层分块计算注意力窗口内的局部特征之间的多头注意力，提高编码器的处理效率以及训练效率。
如上所述，本公开实施例对于子编码器的具体模型结构不作限制，每个子编码器中除了多头注意力机制层，例如还可以包括MLP层、LN层等，通过N个子编码器，根据N个子编码器中所采用的注意力掩码与注意力窗口，对混合图像进行编码，可以理解为，经过N个子编码器对混合图像进行处理，且其中每个子编码器的多头注意力机制层是根据该子编码器所采用的注意力掩码与注意力窗口进行处理的。
在本公开实施例中，通过确定每个子编码器中的多头注意力机制所采用的注意力掩码与注意力窗口，再根据注意力掩码与注意里窗口对混合图像进行编码，能够使编码器学习到混合图像中更有效的“视觉表征”，并提高整个编码器的处理效率以及训练效率。
如上所述，编码器中可以包括多个子编码器，每两个子编码器之间存在一个下采样层，下采样层用于成倍缩小输入特征图(也即输入子编码器的特征图)的分辨率以及成倍增加输入特征图的通道数，那么每个子编码器中的多头注意力机制层所采用的注意力掩码也要对应逐级缩小分辨率。在一种可能的实现方式中，在步骤S121中，确定每个子编码器中的多头注意力机制层所采用的注意力掩码，包括：
根据拼接混合图像时所采用的掩码图，确定N个子编码器中的第一个子编码器所采用的注意力掩码；根据N个子编码器中的第n个子编码器所编码的特征图尺度，对第n-1个子编码器所采用的注意力掩码进行下采样，得到第n个子编码器所采用的注意力掩码，2≤n≤N。通过该方式，可以有效得到各个子编码器中的多头注意力机制层采用的注意力掩码。
其中，根据拼接混合图像时所采用的掩码图，确定N个子编码器中的第一个子编码器所采用的注意力掩码，例如可以包括：将从第一样本图像中抽取图像块时采用的掩码图，作为第一个子编码器采用的注意力掩码；或还可以将从第二样本图像中抽取图像块时所采用的掩码图的反向掩码图，作为第一子编码器采用的注意力掩码；或者还可以根据该掩码图或反向掩码图，重新构造注意力掩码等，对此本公开实施例不做限制。
其中，注意力掩码可以采用二进制掩码，也可以采用其它类型的掩码，对此本公开实施例不做限制。应理解的是，拼接混合图像时所采用的掩码图可以指示从第一样本图像中抽取的图像块，也可以反向指示从第二样本图像中抽取的图像块，因此基于该掩码图所确定的注意力掩码可以表征混合图像中分别属于不同样本图像的图像块，当然也可以表征第一子编码器的输入向量中分别属于不同样本图像的特征向量。
如上所述，每两个子编码器之间存在一个下采样层，下采样层用于成倍缩小输入特征图(也即输入子编码器的特征图)的分辨率以及成倍增加输入特征图的通道数，特征图尺度可以包括输入特征图的分辨率(即长度和宽度，或称尺寸)和/或通道数(或称深度)，那么第n个子编码器所编码的特征图尺度，可以理解为第n个子编码器之前的一个下采样层所输出的特征图的尺度，也即输入至第n个子编码器的特征图的尺度。
其中，由于每两个子编码器之间的下采样层用于成倍缩小输入特征图的分辨率，那么对第n-1个子编码器所采用的注意力掩码进行下采样所得到的注意力掩码的分辨率也是成倍缩小的。
如上所述，可以针对多头注意力机制层设置注意力窗口，这样可以使多头注意力机制层分块计算注意力窗口内的局部特征之间的多头注意力，提高编码器的处理效率以及训练效率，在一种可能的实现方式中，在步骤S121中，确定每个子编码器中的多头注意力机制层所采用的注意力窗口，包括：
根据针对每个子编码器中的多头注意力机制层所预先设置的窗口尺寸，确定每个子编码器中的多头注意力机制层所采用的注意力窗口；其中，注意力窗口包括用于计算全局多头注意力的注意力窗口，以及用于分块计算局部多头注意力的注意力窗口中的至少一种。通过该方式，相较于相关技术中采用复杂的循环平移注意力窗口来进行全局注意力建模来说，使用上述预设的窗口尺寸的注意力窗口，不仅可以实现全局注意力建模还可以降低编码器的复杂度，提高编码器的处理效率与训练效率。
如上所述，编码器中可以包括多个子编码器，每个子编码器中可以包括至少两个多头注意力机制层，可以针对每个子编码器中的每个多头注意力机制层，设置该多头注意力机制窗口所采用的注意力窗口的窗口尺寸。
其中，当某一多层注意力机制层中设置的注意力窗口的窗口尺寸与输入特征图的尺寸(也即分辨率、长度与宽度)一致时，该注意力窗口也即为用于计算全局多头注意力的注意力窗口，全局多头注意力的计算范围是整个输入特征图(或输入向量)中的特征；当某一多层注意力机制层中设置的注意力窗口的窗口尺寸与输入特征图的尺寸不一致时，该注意力窗口也即为用于分块计算局部多头注意力的注意力窗口，分块计算局部多头注意力的计算范围是在注意力窗口内的特征。
应理解是，本领域技术人员可以根据实际需求设置编码器中的每个多头注意力机制层所采用的窗口尺寸，例如，假设整个编码器中包括20个多头注意力机制层，可以设置第6、12、18个多头注意力机制层采用全局注意力窗口(也即用于计算全局多头注意力的注意力窗口)，其它17个多头注意力机制层均采用分块计算局部多头注意力的注意力窗口，分块计算局部多头注意力的注意力窗口的窗口尺寸可以设置为14×14或7×7等，对此本公开实施例不做限制。
需要说明的是，以上20个多头注意力机制层所设置的窗口尺寸是本公开实施例公开的一种实现方式，实际上，在本公开实施例的启示下本领域技术人员可以自定义设置各种窗口尺寸，只要是采用本公开实施例中设置注意力窗口来计算多头注意力的方式均在本公开的保护范围内。
如上所述，编码器中可以包括N个子编码器，每两个子编码器之间存在一个下采样层，下采样层用于成倍缩小输入特征图(也即输入子编码器的特征图)的分辨率以及成倍增加输入特征图的通道数，每个子编码器的多头注意力机制层是根据该子编码器所采用的注意力掩码与注意力窗口对输入特征图(或输入向量)进行处理的。在一种可能的实现方式中，在步骤S122中，通过N个子编码器，根据N个子编码器中所采用的注意力掩码与注意力窗口，对混合图像进行编码，得到混合图像的目标特征图，包括：
将混合图像转换成指定维度的输入向量；通过第一个子编码器，根据第一个子编码器中所采用的注意力掩码与注意力窗口，对输入向量进行编码，得到第一个输出特征图；对第n-1输出特征图进行下采样，得到分辨率缩小且通道数增加的第n-1个输入特征图；通过第n个子编码器，根据第n个子编码器中所采用的注意力掩码以及注意力窗口，对第n-1个输入特征图进行编码，得到第n个输出特征图，2≤n≤N；将通过第N个子编码器得到的第N个输出特征图作为目标特征图。通过该方式，可以有效得到编码出的目标特征图。
其中，将混合图像转换成指定维度的输入向量，可以理解为，将混合图像转换成可以输入至第一个子编码器中的具有指定维度的输入向量，在一种可能的实现方式中，将混合图像转换成指定维度的输入向量，包括：将拼接成混合图像的多个图像块进行通道展开与线性变换，得到序列向量；将混合图像对应的位置编码向量嵌入序列向量中，得到输入向量，其中，位置编码向量用于指示多个图像块各自在两个样本图像中的位置信息，不同样本图像中的图像块所采用的位置编码向量不同。通过该方式，可以得到包含拼接成混合图像的多个图像块各自在两个样本图像中的位置信息的输入向量，便于之后编码器与解码器有效利用该输入向量中的位置信息进行编码与解码。
举例来说上述得到序列向量的过程，假设三通道RGB混合图像的图像尺寸为H×W，每个图像块有4x4＝16个像素，由于混合图像中每个像素有R、G、B三个值，那么将拼接成混合图像的多个图像块在通道维度进行展开(也即通道展开)可以得到
Figure BDA0003662679210000121
的图像，然后再对
Figure BDA0003662679210000122
的图像中的每个像素在通道维度上做线性变换(或者说线性映射，用于将数据映射至指定维度的向量空间中)，得到具有指定维度C的序列向量，也即得到
Figure BDA0003662679210000131
的序列向量。
可以理解的是，由于位置编码向量可以指示多个图像块各自在两个样本图像中的位置信息，不同样本图像中的图像块所采用的位置编码向量不同，那么将位置编码向量嵌入至序列向量中，可以使编码器在编码混合图像的过程中知晓不同特征分别所属的样本图像，也可以使解码器基于该位置编码向量所指示的位置信息，重建两个样本图像，也即生成两个样本图像对应的两个重建图像。其中，本领域技术人员可以采用本领域已知的位置编码方式，例如相对位置编码或绝对位置编码等，计算上述混合图像对应的位置编码向量，对此本公开实施例不做限制。
如上所述，可以将从第一样本图像中抽取的第一图像块与从第二样本图像中抽取的第二图像块进行拼接，得到混合图像，意味着拼接成混合图像的多个图像块可以包括第一图像块与第二图像块。
应理解的是，将位置编码向量嵌入序列向量中得到的输入向量与序列向量的尺度相同，例如将位置编码向量嵌入
Figure BDA0003662679210000132
的序列向量中，可以得到
Figure BDA0003662679210000133
的输入向量。其中，本领域技术人员可以采用本领域已知的向量嵌入方式，实现将位置编码向量嵌入序列向量中，得到输入向量，对此本公开实施例不做限制。
沿用上述
Figure BDA0003662679210000134
的输入向量，举例来说上述得到目标特征图的过程，假设编码中包括4个子编码器，通过第一个子编码器，根据第一个子编码器中所采用的注意力掩码与注意力窗口，对输入向量进行编码，得到
Figure BDA0003662679210000135
的第一个输出特征图；对
Figure BDA0003662679210000136
的第一个输出特征图进行下采样，可以得到分辨率缩小且通道数增加的第1个输入特征图，也即得到
Figure BDA0003662679210000137
的第1个输入特征图；通过第2个子编码器，根据第2个子编码器中所采用的注意力掩码以及注意力窗口，对
Figure BDA0003662679210000138
的第1个输入特征图进行编码，得到
Figure BDA0003662679210000139
的第2个输出特征图，再对
Figure BDA00036626792100001310
的第2个输出特征图进行下采样，可以得到
Figure BDA00036626792100001311
的第2个输入特征图，再通过第3个子编码器，根据第3个子编码器中所采用的注意力掩码以及注意力窗口，对
Figure BDA00036626792100001312
的第2个输入特征图进行编码，得到
Figure BDA00036626792100001313
的第3个输出特征图，依次类推，可以得到第4个子编码器编码出的
Figure BDA00036626792100001314
的第4个输出特征图；可以将通过第4个子编码器得到的
Figure BDA00036626792100001315
的第4个输出特征图作为目标特征图。
如上所述，注意力掩码可以表征输入特征图中分别属于两个样本图像的特征，也可以表征输出特征图中分别属于两个样本图像的特征，那么在编码出目标特征图时所采用的注意力掩码可以表征目标特征图中分别属于两个样本图像的特征，为了便于解码器高效地生成两个样本图像分别对应的两个重建图像，在一种可能的实现方式中，在步骤S13中，通过图像重建模型中的解码器对目标特征图进行解码，得到解码出的两个重建图像，包括：
根据编码目标特征图时所采用的注意力掩码，将目标特征图拆解为两个子特征图；利用解码器对两个子特征图进行解码，得到解码出的两个重建图像。通过该方式，可以使解码器高效地生成两个样本图像分别对应的两个重建图像。
其中，编码目标特征图时所采用的注意力掩码，也即为第N个子编码器所采用的注意力掩码，由于编码目标特征图时所采用的注意力掩码可以表征目标特征图中分别属于两个样本图像的特征，那么根据编码目标特征图时所采用的注意力掩码，将目标特征图拆解出的两个子特征图中分别包含属于两个样本图像的特征。这样可以利用解码器分别对两个子特征图进行解码，得到与两个样本图像分别对应的两个重建图像。其中，本公开实施例对于解码器的具体模型结构以及具体解码过程不作限制。
在一种可能的实现方式中，还可以基于解码器的模型结构，在解码器与编码器之间增加一个线性变换层，将编码器输出的目标特征图映射成解码器所需的维度，例如转换为512通道数的特征图。
如上所述，可以根据两个重建图像与两个样本图像之间的图像差异，确定两个重建图像与两个样本图像之间的损失，并基于该损失训练图像重建模型，在一种可能的实现方式中，两个样本图像包括第一样本图像与第二样本图像，两个重建图像包括第一样本图像对应的第一重建图像以及第二样本图像对应的第二重建图像，其中，在步骤S14中，根据两个重建图像与两个样本图像之间的损失，训练图像重建模型，以得到训练后的目标编码器，包括：
步骤S141：确定第一重建图像与第一样本图像之间的第一图像差异，以及第二重建图像与第二样本图像之间的第二图像差异。
如上所述，可以确定每个重建图像与对应的样本图像中整个图像区域之间的图像差异，也即可以确定第一重建图像与第一样本图像中整个图像区域之间的第一图像差异，以及第二重建图像与第二样本图像中整个图像区域之间的第二图像差异。第一图像差异与第二图像差异例如可以采用均方误差、绝对误差等误差函数，还可以采用L1距离、L2距离等距离函数，对此本公开实施例不做限制。
如上所述，解码器是基于从目标特征图中拆解出的两个子特征图生成两个重建图像，也即解码器实际上是基于每个子特征图所包含的样本图像的部分特征，重建出完整的样本图像，那么还可以确定每个重建图像与对应的样本图像中被另一个样本图像填充的局部图像区域之间的图像差异。应理解的是，局部图像区域之间的图像差异越小，代表编码器能够提取出混合图像中属于样本图像的部分特征中越有效的视觉表征信息，通过该方式，可以使基于局部图像区域之间的图像差异所确定出的损失，训练编码器提取图像中更有效的视觉表征，或者说提取图像中更有效的特征信息，提高训练后得到的目标编码器的模型性能。
在一种可能的实现方式中，确定第一重建图像与第一样本图像之间的第一图像差异，以及第二重建图像与第二样本图像之间的第二图像差异，包括：根据从第二样本图像中抽取图像块时所采用的反向掩码图，确定第一重建图像与第一样本图像之间的第一图像差异；根据从第一样本图像中抽取图像块时所采用的掩码图，确定第二重建图像与第二样本图像之间的第二图像差异；其中，掩码图与反向掩码图对应相反。通过该方式，可以有效地得到每个重建图像与对应的样本图像中被另一个样本图像填充的局部图像区域之间的图像差异。
应理解的是，从第二样本图像中抽取图像块时所采用的反向掩码图，可以指示第一样本图像中将被第二样本图像的图像块所填充的局部图像区域；相应的，从第一样本图像中抽取图像块时所采用的掩码图，可以指示第二样本图像中将被第一样本图像的图像块所填充的局部图像区域。因此，可以分别基于反向掩码图确定第一重建图像与第一样本图像中局部图像区域之间的第一图像差异，以及基于掩码图确定第二重建图像与第二样本图像中局部图像区域之间的第二图像差异。
例如，假设第一样本图像X1对应的第一重建图像表示为Y1，第二样本图像X2对应的第二重建图像表示为Y2，第一图像差异可以表示为(Y1-X1)⊙(1-M)，第二图像差异可以表示为(Y2-X2)⊙M，M表示掩码图，(1-M)表示反向掩码图。
步骤S142：根据第一图像差异与第二图像差异，确定损失，并根据损失，训练编码器，以得到目标编码器。
如上所述，可以将第一图像差异与第二图像差异之间的和，作为两个重建图像与两个样本图像之间的损失。在一种可能的实现方式中，沿用上述例子，两个重建图像与两个样本图像之间的损失L，可以参照公式(1)确定。
Figure BDA0003662679210000151
其中，
Figure BDA0003662679210000152
表示2-范数的平方，⊙表示哈达玛积。
如上所述，模型训练通常包括多次迭代训练，那么可以使用多个混合图像，多次执行上述步骤S11至步骤S14(包括步骤S141至步骤S142)，来多次迭代训练编码器与解码器，至达到训练结束指标，得到训练后的目标编码器，其中训练结束指标例如可以包括损失收敛、损失置0、迭代次数达到指定的训练次数等，对此本公开实施例不做限制。
在本公开实施例中，通过确定每个重建图像与对应的样本图像中被另一个样本图像填充的局部图像区域之间的图像差异，可以使基于该图像差异所确定出的损失，训练编码器提取图像中更有效的视觉表征，或者说提取图像中更有效的特征信息，这样可以训练后得到的目标编码器的模型性能。
图3示出根据本公开实施例的一种图像重建模型的框架示意图，如图3所示，该图像重建模型中包括：编码器与解码器，编码器中包括四个子编码器，每两个子编码器之间存在一个下采样层，第一个子编码器之前存在一个图像转换层。
如图3所示，混合图像是根据掩码图将两个样本图像中的图像块拼接而成的图像，该掩码图可以同时作为第一个子编码器所采用的注意力掩码，之后逐级对第一个子编码器所采用的注意力掩码进行下采样，得到每个子编码器所采用的注意力掩码；
如图3所示，可以利用图像转换层将混合图像转换成指定维度的输入向量，也即可以将拼接成混合图像的多个图像块进行通道展开与线性变换，得到序列向量，将混合图像对应的位置编码向量嵌入序列向量中，得到输入向量；再利用第一个子编码器对输入向量进行处理，得到第一个输出特征图，之后利用下采样层对第一个输出特征图进行下采样，得到第一个输出特征图，然后依次类推得到第四个子编码器输出的目标特征图。
如图3所示，根据编码目标特征图时所采用的注意力掩码(也即第四个子编码器所采用的注意力掩码)，将目标特征图拆解为两个子特征图；再利用解码器对两个子特征图进行解码，得到解码出的两个重建图像。
根据本公开实施例的图像重建模型进行模型训练来得到目标编码器，能够降低人造输入(也即用无意义的特殊符号填充被掩码掩盖的图像块)对模型训练产生的负面影响，以及减少冗余计算，降低计算资源的浪费，获得更高训练效率及模型性能；还可以用于同质化结构模型的训练，也可用于金字塔结构模型的训练，有较高的通用性，且模型复杂度较低，有利于提高模型的处理效率。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了模型训练装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种模型训练方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图4示出根据本公开实施例的模型训练装置的框图，如图4所示，所述装置包括：
获取模块101，用于获取混合图像，所述混合图像是通过将两个样本图像中的图像块拼接而成的图像；
编码模块102，用于通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图；
解码模块103，用于通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像；
训练模块104，用于根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，所述编码器包括N个子编码器，每个子编码器包括多头注意力机制层，N为正整数；其中，所述编码模块102，包括：确定子模块，用于确定每个子编码器中的多头注意力机制层所采用的注意力掩码，以及确定每个子编码器中的多头注意力机制层所采用的注意力窗口；编码子模块，用于通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图；其中，所述注意力掩码用于指示所述多头注意力机制层计算同一样本图像的特征之间的多头注意力，所述注意力窗口用于指示所述多头注意力机制层计算同一注意力窗口内的特征之间的多头注意力。
在一种可能的实现方式中，所述确定每个子编码器中的多头注意力机制层所采用的注意力掩码，包括：根据拼接所述混合图像时所采用的掩码图，确定所述N个子编码器中的第一个子编码器所采用的注意力掩码；根据所述N个子编码器中的第n个子编码器所编码的特征图尺度，对第n-1个子编码器所采用的注意力掩码进行下采样，得到第n个子编码器所采用的注意力掩码，2≤n≤N。
在一种可能的实现方式中，所述确定每个子编码器中的多头注意力机制层所采用的注意力窗口，包括：根据针对每个子编码器中的多头注意力机制层所预先设置的窗口尺寸，确定每个子编码器中的多头注意力机制层所采用的注意力窗口；其中，所述注意力窗口包括用于计算全局多头注意力的注意力窗口，以及用于分块计算局部多头注意力的注意力窗口中的至少一种。
在一种可能的实现方式中，所述通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图，包括：将所述混合图像转换成指定维度的输入向量；通过第一个子编码器，根据所述第一个子编码器中所采用的注意力掩码与注意力窗口，对所述输入向量进行编码，得到第一个输出特征图；对第n-1输出特征图进行下采样，得到分辨率缩小且通道数增加的第n-1个输入特征图；通过第n个子编码器，根据第n个子编码器中所采用的注意力掩码以及注意力窗口，对第n-1个输入特征图进行编码，得到第n个输出特征图，2≤n≤N；将通过第N个子编码器编码得到的第N个输出特征图作为所述目标特征图。
在一种可能的实现方式中，所述将所述混合图像转换成指定维度的输入向量，包括：将拼接成所述混合图像的多个图像块进行通道展开与线性变换，得到序列向量；将所述混合图像对应的位置编码向量嵌入所述序列向量中，得到输入向量，其中，所述位置编码向量用于指示所述多个图像块各自在所述两个样本图像中的位置信息，不同样本图像中的图像块所采用的位置编码向量不同。
在一种可能的实现方式中，所述解码模块103，包括：拆解子模块，用于根据编码所述目标特征图时所采用的注意力掩码，将所述目标特征图拆解为两个子特征图；解码子模块，用于利用所述解码器对所述两个子特征图进行解码，得到解码出的两个重建图像。
在一种可能的实现方式中，所述两个样本图像包括第一样本图像与第二样本图像，所述获取模块101，包括：第一抽取子模块，用于根据所述第一样本图像与预设的掩码图，确定从所述第一样本图像中抽取的第一图像块；第二抽取子模块，用于根据所述第二样本图像与所述掩码图对应的反向掩码图，确定从所述第二样本图像中抽取的第二图像块；拼接子模块，用于将所述第一图像块与所述第二图像块进行拼接，得到所述混合图像。
在一种可能的实现方式中，所述两个样本图像包括第一样本图像与第二样本图像，所述两个重建图像包括所述第一样本图像对应的第一重建图像以及所述第二样本图像对应的第二重建图像，其中，所述训练模块104，包括：差异确定子模块，用于确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异；训练子模块，用于根据所述第一图像差异与所述第二图像差异，确定所述损失，并根据所述损失，训练所述图像重建模型，以得到训练后的目标编码器。
在一种可能的实现方式中，所述确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异，包括：根据从所述第二样本图像中抽取图像块时所采用的反向掩码图，确定所述第一重建图像与所述第一样本图像之间的第一图像差异；根据从所述第一样本图像中抽取图像块时所采用的掩码图，确定所述第二重建图像与所述第二样本图像之间的第二图像差异；其中，所述掩码图与所述反向掩码图对应相反。
在一种可能的实现方式中，所述目标编码器应用于下游任务的网络模型中，所述下游任务包括目标检测、图像补全、图像分割、图像分类中的至少一种。
在本公开实施例中，通过编码器提取混合图像中的目标特征图，相当于学习混合图像中的“视觉表征”，再利用解码器基于目标特征图分别预测出重建图像，相当于预测出两个样本图像中被另一个样本图像掩盖的部分图像补丁，其中，由于混合图像是将两个样本图像中的图像块拼接而成得到图像，也即输入编码器的混合图像来自于真实的样本图像，相较于使用无意义的特殊符号来填充被掩码掩盖的部分图像补丁，可以降低输入不一致对模型训练产生的潜在负面影响，同时减少了计算资源的浪费，提高了整体的模型训练效率以及训练后的模型性能，且具有较高的通用性。
该方法与计算机系统的内部结构存在特定技术关联，且能够解决如何提升硬件运算效率或执行效果的技术问题(包括减少数据存储量、减少数据传输量、提高硬件处理速度等)，从而获得符合自然规律的计算机系统内部性能改进的技术效果。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图5示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器或终端设备。参照图5，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows ServerTM)，苹果公司推出的基于图形用户界面操作系统(Mac OSXTM)，多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM)，开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种模型训练方法，其特征在于，所述方法包括：
获取混合图像，所述混合图像是通过将两个样本图像中的图像块拼接而成的图像；
通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图；
通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像；
根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器。
2.根据权利要求1所述的方法，其特征在于，所述编码器包括N个子编码器，每个子编码器包括多头注意力机制层，N为正整数；
其中，所述通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图，包括：
确定每个子编码器中的多头注意力机制层所采用的注意力掩码，以及确定每个子编码器中的多头注意力机制层所采用的注意力窗口；
通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图；
其中，所述注意力掩码用于指示所述多头注意力机制层计算同一样本图像的特征之间的多头注意力，所述注意力窗口用于指示所述多头注意力机制层计算同一注意力窗口内的特征之间的多头注意力。
3.根据权利要求2所述的方法，其特征在于，所述确定每个子编码器中的多头注意力机制层所采用的注意力掩码，包括：
根据拼接所述混合图像时所采用的掩码图，确定所述N个子编码器中的第一个子编码器所采用的注意力掩码；
根据所述N个子编码器中的第n个子编码器所编码的特征图尺度，对第n-1个子编码器所采用的注意力掩码进行下采样，得到第n个子编码器所采用的注意力掩码，2≤n≤N。
4.根据权利要求2或3所述的方法，其特征在于，所述确定每个子编码器中的多头注意力机制层所采用的注意力窗口，包括：
根据针对每个子编码器中的多头注意力机制层所预先设置的窗口尺寸，确定每个子编码器中的多头注意力机制层所采用的注意力窗口；
其中，所述注意力窗口包括用于计算全局多头注意力的注意力窗口，以及用于分块计算局部多头注意力的注意力窗口中的至少一种。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述通过所述N个子编码器，根据所述N个子编码器中所采用的注意力掩码与注意力窗口，对所述混合图像进行编码，得到所述混合图像的目标特征图，包括：
将所述混合图像转换成指定维度的输入向量；
通过第一个子编码器，根据所述第一个子编码器中所采用的注意力掩码与注意力窗口，对所述输入向量进行编码，得到第一个输出特征图；
对第n-1输出特征图进行下采样，得到分辨率缩小且通道数增加的第n-1个输入特征图；
通过第n个子编码器，根据第n个子编码器中所采用的注意力掩码以及注意力窗口，对第n-1个输入特征图进行编码，得到第n个输出特征图，2≤n≤N；
将通过第N个子编码器编码得到的第N个输出特征图作为所述目标特征图。
6.根据权利要求5所述的方法，其特征在于，所述将所述混合图像转换成指定维度的输入向量，包括：
将拼接成所述混合图像的多个图像块进行通道展开与线性变换，得到序列向量；
将所述混合图像对应的位置编码向量嵌入所述序列向量中，得到输入向量，其中，所述位置编码向量用于指示所述多个图像块各自在所述两个样本图像中的位置信息，不同样本图像中的图像块所采用的位置编码向量不同。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像，包括：
根据编码所述目标特征图时所采用的注意力掩码，将所述目标特征图拆解为两个子特征图；
利用所述解码器对所述两个子特征图进行解码，得到解码出的两个重建图像。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述两个样本图像包括第一样本图像与第二样本图像，所述获取混合图像，包括：
根据所述第一样本图像与预设的掩码图，确定从所述第一样本图像中抽取的第一图像块；
根据所述第二样本图像与所述掩码图对应的反向掩码图，确定从所述第二样本图像中抽取的第二图像块；
将所述第一图像块与所述第二图像块进行拼接，得到所述混合图像。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述两个样本图像包括第一样本图像与第二样本图像，所述两个重建图像包括所述第一样本图像对应的第一重建图像以及所述第二样本图像对应的第二重建图像，
其中，所述根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器，包括：
确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异；
根据所述第一图像差异与所述第二图像差异，确定所述损失，并根据所述损失，训练所述图像重建模型，以得到训练后的目标编码器。
10.根据权利要求9所述的方法，其特征在于，所述确定所述第一重建图像与所述第一样本图像之间的第一图像差异，以及所述第二重建图像与所述第二样本图像之间的第二图像差异，包括：
根据从所述第二样本图像中抽取图像块时所采用的反向掩码图，确定所述第一重建图像与所述第一样本图像之间的第一图像差异；
根据从所述第一样本图像中抽取图像块时所采用的掩码图，确定所述第二重建图像与所述第二样本图像之间的第二图像差异；
其中，所述掩码图与所述反向掩码图对应相反。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述目标编码器应用于下游任务的网络模型中，所述下游任务包括目标检测、图像补全、图像分割、图像分类中的至少一种。
12.一种模型训练装置，其特征在于，包括：
获取模块，用于获取混合图像，所述混合图像是通过将两个样本图像中的图像块拼接而成的图像；
编码模块，用于通过预设的图像重建模型中的编码器对所述混合图像进行编码，得到所述混合图像的目标特征图；
解码模块，用于通过所述图像重建模型中的解码器对所述目标特征图进行解码，得到解码出的两个重建图像；
训练模块，用于根据所述两个重建图像与所述两个样本图像之间的损失，训练所述图像重建模型，以得到训练后的目标编码器。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至11中任意一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。
CN202210583591.4A 2022-05-25 2022-05-25 模型训练方法及装置、电子设备和存储介质 Pending CN114926338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210583591.4A CN114926338A (zh) 2022-05-25 2022-05-25 模型训练方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210583591.4A CN114926338A (zh) 2022-05-25 2022-05-25 模型训练方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114926338A true CN114926338A (zh) 2022-08-19

Family

ID=82810261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210583591.4A Pending CN114926338A (zh) 2022-05-25 2022-05-25 模型训练方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114926338A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294400A (zh) * 2022-08-23 2022-11-04 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115346074A (zh) * 2022-09-02 2022-11-15 北京百度网讯科技有限公司 训练方法、图像处理方法、装置、电子设备以及存储介质
CN116188431A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于CNN与Transformer的髋关节分割方法及装置
CN116258939A (zh) * 2023-02-27 2023-06-13 阿里巴巴达摩院(杭州)科技有限公司 图像处理模型的模型训练方法及装置
CN116778006A (zh) * 2023-06-25 2023-09-19 北京百度网讯科技有限公司 图片编码器的建模方法、装置、电子设备及存储介质
CN117011650A (zh) * 2023-10-07 2023-11-07 腾讯科技（深圳）有限公司 一种图像编码器的确定方法及相关装置
CN117057605A (zh) * 2023-08-15 2023-11-14 广州地铁设计研究院股份有限公司 风险评估模型训练方法、风险评估方法及相关设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294400A (zh) * 2022-08-23 2022-11-04 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115294400B (zh) * 2022-08-23 2023-03-31 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115346074A (zh) * 2022-09-02 2022-11-15 北京百度网讯科技有限公司 训练方法、图像处理方法、装置、电子设备以及存储介质
CN116188431A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于CNN与Transformer的髋关节分割方法及装置
CN116188431B (zh) * 2023-02-21 2024-02-09 北京长木谷医疗科技股份有限公司 基于CNN与Transformer的髋关节分割方法及装置
CN116258939A (zh) * 2023-02-27 2023-06-13 阿里巴巴达摩院(杭州)科技有限公司 图像处理模型的模型训练方法及装置
CN116778006A (zh) * 2023-06-25 2023-09-19 北京百度网讯科技有限公司 图片编码器的建模方法、装置、电子设备及存储介质
CN116778006B (zh) * 2023-06-25 2024-04-02 北京百度网讯科技有限公司 图片编码器的建模方法、装置、电子设备及存储介质
CN117057605A (zh) * 2023-08-15 2023-11-14 广州地铁设计研究院股份有限公司 风险评估模型训练方法、风险评估方法及相关设备
CN117011650A (zh) * 2023-10-07 2023-11-07 腾讯科技（深圳）有限公司 一种图像编码器的确定方法及相关装置
CN117011650B (zh) * 2023-10-07 2023-12-08 腾讯科技（深圳）有限公司 一种图像编码器的确定方法及相关装置

Similar Documents

Publication Publication Date Title
CN114926338A (zh) 模型训练方法及装置、电子设备和存储介质
US10713818B1 (en) Image compression with recurrent neural networks
CN110443266B (zh) 对象预测方法及装置、电子设备和存储介质
CN114973049B (zh) 一种统一卷积与自注意力的轻量视频分类方法
CN112270200B (zh) 一种文本信息的翻译方法、装置、电子设备和存储介质
CN114363615B (zh) 数据处理方法及装置、电子设备和存储介质
CN116342884B (zh) 图像分割及模型训练的方法、服务器
CN116166271A (zh) 代码生成方法、装置、存储介质及电子设备
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN116862847A (zh) 一种红外图像电力设备交互式分割方法和系统
CN114071141A (zh) 一种图像处理方法及其设备
CN114463769A (zh) 表格识别方法、装置、可读介质和电子设备
Zhou et al. Ristra: Recursive image super-resolution transformer with relativistic assessment
CN116980541B (zh) 视频编辑方法、装置、电子设备以及存储介质
Joy et al. Modelling of depth prediction algorithm for intra prediction complexity reduction
CN115760607A (zh) 图像修复方法、装置、可读介质以及电子设备
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN116956953A (zh) 翻译模型的训练方法、装置、设备、介质及程序产品
CN115546236A (zh) 基于小波变换的图像分割方法及装置
CN114998694A (zh) 图像处理模型的训练方法、装置、设备、介质和程序产品
CN112884144A (zh) 网络量化方法及装置、电子设备和存储介质
CN116824308B (zh) 图像分割模型训练方法与相关方法、装置、介质及设备
CN117788981A (zh) 基于多模态的零样本图像分割模型训练方法及装置
CN116309151A (zh) 图片去压缩失真网络的参数生成方法、装置和存储介质
CN118155270A (zh) 模型训练方法、人脸识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination