CN117746191B - 以图搜图模型训练方法和以图搜图方法 - Google Patents

Abstract

本发明公开了一种以图搜图模型训练方法和以图搜图方法，涉及图像处理技术领域，包括：利用预设模型中的目标检测子网络提取待训练数据的原始特征图；待训练数据具有标注框和标注类型；利用预设模型中的特征匹配子网络提取原始特征图中标注框对应的区域，得到感兴趣特征图；根据待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；并根据目标损失函数，训练特征匹配子网络，得到以图搜图模型。本方案通过提取感兴趣特征图的方式消除了大量背景噪音对特征匹配的影响，提高了特征匹配准确性。进而通过感兴趣特征图和标注类型确定的目标损失函数来训练模型，可以提高得到的以图搜图模型的识别准确性。

Description

以图搜图模型训练方法和以图搜图方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种以图搜图模型训练方法和以图搜图方法。

背景技术

在海量的包裹x射线图片中，靠人工对比图片找到包含对应违禁品的包裹，工作量十分巨大。因此，实现违禁品自动搜索可以极大降低人工工作量。

相关技术中，通过以图搜图（object-level image search）的方式实现违禁品自动搜索。具体的，将图像数据库中图像的特征与种子图像的特征进行匹配，并计算相似度，进而找到与种子图像中的目标对象相似的图像。

但是，上述方式中图像数据库中的图像存在大量背景噪音，易使违禁品特征被噪音特征淹没，致使违禁品匹配失败。

发明内容

本发明提供了一种以图搜图模型训练方法和以图搜图方法，以解决相关技术中的以图搜图方式中图像数据库中的图像存在大量背景噪音，易使违禁品特征被噪音特征淹没，致使违禁品匹配失败的问题。

根据本发明的一方面，提供了一种以图搜图模型训练方法，包括：

利用预设模型中的目标检测子网络提取待训练数据的原始特征图；所述待训练数据具有标注框和标注类型；

利用预设模型中的特征匹配子网络提取所述原始特征图中所述标注框对应的区域，得到感兴趣特征图；

根据所述待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；并根据所述目标损失函数，训练所述特征匹配子网络，得到以图搜图模型。

根据本发明的另一方面，提供了一种以图搜图方法，包括：

利用以图搜图模型中的目标检测子网络对目标图像进行特征提取，得到原始特征图，并对所述目标图像进行目标检测，得到目标框；

利用所述以图搜图模型中的特征匹配子网络提取所述原始特征图中所述目标框对应的区域，得到感兴趣特征图；将目标图像的感兴趣特征图与种子图像的感兴趣特征图进行特征匹配，并根据匹配结果确定以图搜图结果；

其中，所述以图搜图模型根据待训练数据的标注类型和感兴趣特征图确定的目标损失函数，训练预设模型得到。

根据本发明的另一方面，提供了一种以图搜图模型训练装置，包括：

特征提取单元，用于利用预设模型中的目标检测子网络提取待训练数据的原始特征图；所述待训练数据具有标注框和标注类型；

感兴趣特征提取单元，用于利用预设模型中的特征匹配子网络提取所述原始特征图中所述标注框对应的区域，得到感兴趣特征图；

训练单元，用于根据所述待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；根据所述目标损失函数，训练所述特征匹配子网络，得到以图搜图模型。

根据本发明的另一方面，提供了一种以图搜图装置，包括：

目标检测单元，用于利用以图搜图模型中的目标检测子网络对目标图像进行特征提取，得到原始特征图，并对所述目标图像进行目标检测，得到目标框；

感兴趣特征提取单元，用于利用所述以图搜图模型中的特征匹配子网络提取所述原始特征图中所述目标框对应的区域，得到感兴趣特征图；

特征匹配单元，用于将目标图像的感兴趣特征图与种子图像的感兴趣特征图进行特征匹配，并根据匹配结果确定以图搜图结果；

其中，所述以图搜图模型根据待训练数据的标注类型和感兴趣特征图确定的目标损失函数，训练预设模型得到。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的方法。

本发明实施例的技术方案，通过提取感兴趣特征图的方式消除了大量背景噪音对特征匹配的影响，提高了特征匹配准确性。进而通过感兴趣特征图和标注类型确定的目标损失函数来训练模型，可以提高得到的以图搜图模型的识别准确性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种以图搜图模型训练方法的流程图；

图2是根据本发明实施例二提供的一种以图搜图模型训练方法的流程图；

图3是根据本发明实施例二提供的一种以图搜图模型的结构示意图；

图4是根据本发明实施例三提供的一种以图搜图方法的流程图；

图5是根据本发明实施例四提供的一种以图搜图模型训练装置的结构示意图；

图6是根据本发明实施例五提供的一种以图搜图装置的结构示意图；

图7是实现本发明实施例的方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“原始”、“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是根据本发明实施例一提供的一种以图搜图模型训练方法的流程图，本实施例可适用于以图搜图模型训练场景，该方法可以由电子设备来执行。如图1所示，该方法包括：

步骤101，利用预设模型中的目标检测子网络提取待训练数据的原始特征图；待训练数据具有标注框和标注类型。

其中，待训练数据可以为图像数据。待训练数据具有标注框，标注框中的对象具有标注类型。

其中，目标检测子网络可以是预先训练好的网络。例如，该目标检测网络可以为用于解决开放世界中目标检测问题的Open-world检测网络。Open-world检测网络可以包括主干网络、特征融合网络和检测头。其中，可以利用主干网络提取待训练数据的特征，得到原始特征图。

具体的，可以先对待训练数据进行数据预处理，以增加模型训练的样本数量，然后再对处理后数据进行特征提取操作。其中，数据预处理可以包括旋转、光线增强、光线减弱、翻转等操作。

步骤102，利用预设模型中的特征匹配子网络提取原始特征图中标注框对应的区域，得到感兴趣特征图。

具体的，可以将原始特征图中标注框对应的区域，从原始特征图中分割出来，并将该区域确定为感兴趣特征图。

步骤103，根据待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；并根据目标损失函数，训练特征匹配子网络，得到以图搜图模型。

具体的，我们希望同种标注类型对应的感兴趣特征图之间的差异尽量小，并且不同标注类型对应的感兴趣特征图之间的差异尽量大，以此来训练预设模型，以提高得到的以图搜图模型的识别准确性。因此，可以采用这种构思，根据待训练数据的标注类型以及感兴趣特征图，确定目标损失函数。进而根据目标损失函数，进行反向传播，优化特征匹配子网的参数，直至损失值保持在预设范围内，或者迭代次数达到迭代次数阈值，则停止模型训练，得到以图搜图模型。

本发明实施例提供的技术方案，通过提取感兴趣特征图的方式消除了大量背景噪音对特征匹配的影响，提高了特征匹配准确性。进而通过感兴趣特征图和标注类型确定的目标损失函数来训练模型，可以提高得到的以图搜图模型的识别准确性。

实施例二

图2是根据本发明实施例二提供的一种以图搜图模型训练方法的流程图，本实施例细化了实施例一中的步骤102和步骤103。如图2所示，该方法包括：

步骤201，利用预设模型中的目标检测子网络提取待训练数据的原始特征图；待训练数据具有标注框和标注类型。

具体的，可以利用预设模型中的目标检测子网络提取待训练数据的至少两个原始特征图，其中，各原始特征图包含待训练数据的不同属性的特征。

具体的，可以利用目标检测子网络包括的主干网络对待训练数据进行特征提取，取主干网络n个阶段的特征图作为n个原始特征图。

步骤202，利用预设模型中的特征匹配子网络叠加待训练数据的至少两个原始特征图，得到叠加后特征图；其中，各原始特征图包含待训练数据的不同属性的特征。

具体的，可以将至少两个原始特征图按通道进行叠加，得到叠加后特征图。

在一种可实现方式中，利用特征匹配子网络中的空洞卷积层对原始特征图进行处理，将原始特征图的尺寸变换至预设尺寸；叠加尺寸变换后的原始特征图，得到叠加后特征图。

例如，假设总共有四个原始特征图，分别为第一阶段特征图、第二阶段特征图、第三阶段特征图和第四阶段特征图。可以利用空洞卷积层分别对第二阶段特征图、第三阶段特征图和第四阶段特征图进行处理，分别将第二阶段特征图、第三阶段特征图和第四阶段特征图的尺寸变换至与第一阶段特征图相同的尺寸。然后将尺寸变换后的第二阶段特征图、第三阶段特征图和第四阶段特征图，以及第一阶段特征图按通道进行叠加，得到叠加后特征图。

可选的，也可以利用上采样方式对原始特征图进行尺寸变换。

具体的，各属性的原始特征图包含了待训练数据不同维度的信息，利用多个属性的原始特征图进行模型训练，可以提高得到的以图搜图模型的识别准确性。

步骤203，提取叠加后特征图中标注框对应的区域，得到感兴趣特征图。

具体的，可以将叠加后特征图中标注框对应的区域，从叠加后特征图中分割出来，并将该区域确定为感兴趣特征图。

在一种可实现方式中，首先，利用特征匹配子网络中的上下文注意力层和通道注意力层，对叠加后特征图进行处理，得到全局注意力特征图。

具体的，通过利用特征匹配子网络中的上下文注意力层和通道注意力层，对叠加后特征图进行上下文注意力机制处理和通道注意力机制处理，得到全局注意力特征图，利于将叠加后特征图中目标对象的特征增强，并减小叠加后特征图中的噪音干扰，提高以图搜图的识别准确性。

可选的，对叠加后特征图中第i个通道的特征图进行全局平均池化处理，并根据处理结果确定第i个通道的特征图的通道注意力权重。

具体的，可以通过如下公式确定叠加后特征图中第i个通道的特征图的通道注意力权重。

其中，表示叠加后特征图中第i个通道的特征图的通道注意力权重；Relu表示Relu激活函数；/>表示叠加后特征图中第i个通道的特征图；表示对/>做全局平均池化处理。

具体的，可以首先对叠加后特征图中每个通道的特征图进行全局平均池化处理，然后进行1*1*N的卷积，得到N维特征，最后进行Relu处理进而得到每个通道的通道注意力权重。

将叠加后特征图的第i个通道的特征图中第j个特征值，与该第i个通道的总特征值之间的比例，确定为该第j个特征值的上下文注意力权重。

具体的，可以通过如下公式确定叠加后特征图的第i个通道的特征图中第j个特征值的上下文注意力权重。

其中，表示叠加后特征图的第i个通道的特征图中第j个特征值的上下文注意力权重；/>表示第i个通道的特征图中特征值的总数量；/>表示第i个通道的特征图中第m个特征值；/>表示第i个通道的特征图中第j个特征值。

具体的，可以针对每个通道的特征图中的每个特征值计算上下文关系，再进行归一化，以降低特征值之间的差距，提高模型的泛化能力。

根据通道注意力权重和上下文注意力权重，对叠加后特征图进行注意力机制处理，得到全局注意力特征图。

具体的，可以通过如下公式确定全局注意力特征图。

其中，表示全局注意力特征图；Sigmoid表示Sigmoid激活函数；BatchNormer表示归一化；Feature_Map表示叠加后特征图；/>表示叠加后特征图中第i个通道的特征图的通道注意力权重；/>表示叠加后特征图的第i个通道的特征图中第j个特征值的上下文注意力权重。

具体的，可以通过上述方式方便快捷的对叠加后特征图进行上下文注意力机制处理和通道注意力机制处理。

然后，提取全局注意力特征图中标注框对应的区域，得到感兴趣特征图。

具体的，可以将全局注意力特征图中标注框对应的区域，从全局注意力特征图中分割出来，并将该区域确定为感兴趣特征图。

步骤204，利用特征匹配子网络中的多头注意力层对感兴趣特征图进行处理，得到多个特征向量；组合多个特征向量得到特征序列。

具体的，可以利用预设方式对感兴趣特征图进行尺寸扩大或缩小处理，使感兴趣特征图的尺寸变换至预设尺寸。其中，预设方式可以包括二插值法。

然后，再利用特征匹配子网络中的多头注意力层对尺寸变换后的感兴趣特征图处理成多个特征向量。组合多个特征向量得到特征序列。各特征向量包含待训练数据的不同属性的特征。

步骤205，确定相同标注类型的特征序列的内部相关性之间的差异。

其中，特征序列的内部相关性，指特征序列中包含的待训练数据的不同属性的特征之间的相关性。

在一种可实现方式中，确定待训练数据的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定待训练数据的特征序列的第一内部相关性；确定与待训练数据的标注类型相同类型的其他待训练数据对应的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定该其他待训练数据的特征序列的第二内部相关性；根据第一内部相关性和所第二内部相关性，确定相同标注类型的特征序列的内部相关性之间的差异。

具体的，可以先确定待训练数据的特征序列中不同特征向量之间差值的绝对值，然后将各绝对值的和，作为特征序列的内部相关性。

确定与待训练数据的标注类型相同类型的其他待训练数据对应的特征序列中不同特征向量之间差值的绝对值，然后将各绝对值的和，作为其他待训练数据的特征序列的内部相关性。

具体的，可以通过如下公式确定相同标注类型的特征序列的内部相关性之间的差异。

；

；

其中，M为一次迭代中待训练数据包括的感兴趣特征图的数量；表示一次迭代所有感兴趣特征图内部相关性损失均值；表示除第k个感兴趣特征图其他相同标注类型不同感兴趣特征图的数量；表示第k个感兴趣特征图的特征序列的内部相关性，与相同标注类型的第f个感兴趣特征图的特征序列的内部相关性之间的差异；N表示特征序列中特征向量的总数量；/>表示第k个感兴趣特征图对应的特征序列的第i个特征向量；/>表示第k个感兴趣特征图对应的特征序列的第j个特征向量；/>表示第f个感兴趣特征图对应的特征序列的第i个特征向量；/>表示第f个感兴趣特征图对应的特征序列的第j个特征向量。

具体的，可以通过上述方式比较便捷的确定相同标注类型的特征序列的内部相关性之间的差异。

步骤206，根据内部相关性之间的差异、和相同标注类型的特征序列之间的差异、以及不同标注类型的特征序列之间的差异，确定目标损失函数。

具体的，可以通过如下公式确定相同标注类型的特征序列之间的差异。

其中，表示第k个感兴趣特征图对应的特征序列，与相同标注类型的其他感兴趣特征图对应的特征序列之间的差异；/>表示第k个感兴趣特征图对应的特征序列；/>表示除第k个感兴趣特征图之外的相同标注类型的第i个其他感兴趣特征图对应的特征序列；/>表示与第k个感兴趣特征图的标注类型相同的其他感兴趣特征图的数量；

具体的，可以通过如下公式确定不同标注类型的特征序列之间的差异。

其中，表示第k个感兴趣特征图对应的特征序列，与不相同标注类型的其他感兴趣特征图对应的特征序列之间的差异；/>表示第k个感兴趣特征图对应的特征序列；/>表示与第k个感兴趣特征图不同标注类型的第j个其他感兴趣特征图对应的特征序列；/>表示与第k个感兴趣特征图的标注类型不同的其他感兴趣特征图的数量；具体的，可以通过如下公式确定目标损失函数。

；

；

其中，loss表示目标损失函数，表示一次迭代的损失函数的总和计算，由相同类型的特征序列内部相关性差异和特征序列的差异组成；表示一次迭代所有感兴趣特征图内部相关性损失均值；M为一次迭代中待训练数据包括的感兴趣特征图的数量；/>表示第k个感兴趣特征图对应的特征序列，与相同标注类型的其他感兴趣特征图对应的特征序列之间的差异；/>表示第k个感兴趣特征图对应的特征序列，与不相同标注类型的其他感兴趣特征图对应的特征序列之间的差异；Sigmoid表示Sigmoid激活函数，利用Sigmoid可以防止损失过大易造成的模型训练爆炸，让损失值限制在可控范围内和让损失变化更加灵敏，提高模型在训练过程学习效率。

具体的，通过特征序列之间的差异确定的目标损失函数进行模型训练，可以提高得到的以图搜图模型的鲁棒性和准确性。

步骤207，根据目标损失函数，训练特征匹配子网络，得到以图搜图模型。

在一种可实现方式中，采用第一模型识别无标定数据中目标物的预测框，并提取无标定数据的特征序列；并根据特征序列，确定无标定数据的预测类型；利用无标定数据的预测框和预测类型，训练第一模型，得到目标模型；其中，第一模型由上述实施例提供的的模型训练方法训练得到。

具体的，基于图3提供的模型，本发明还提供了一种基于半监督的以图搜图模型训练方法，该方法具体过程如下所示：

第一部分：有监督的模型训练。

获取具有标注框和标注类型的待训练数据。对待训练数据进行数据预处理，得到处理后数据。参考图3，将处理后数据输入至主干网络（backbone），通过四个阶段，包括阶段1（Stage1）、阶段2（Stage2）、阶段3（Stage3）和阶段4（Stage4），得到四个阶段特征图，然后采用不同的空洞卷积组合将后三个阶段特征图的尺寸调整为与第一阶段特征图相同的尺寸。继而将处理后的各阶段特征图按通道叠加，得到叠加后特征图。采用上下文注意力机制和通道注意力机制对叠加后特征图进行处理，得到全局注意力特征图。提取全局注意力特征图中标注框对应的部分，得到感兴趣特征图。对感兴趣特征图进行多头注意力机制（transform）操作，得到多个特征向量，组合多个特征向量得到特征序列。根据待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；并根据目标损失函数，训练模型，得到第一模型。其中，open-word检测网络包括主干网络、特征融合网络和检测头，为预先训练好的网络，因此冻结open-word检测网络的参数，只更新open-word检测网络之外网络的参数。

第二部分：为无标定数据确定伪标签。

获取无标定数据，并将无标定数据输入至第一模型中，经过第一模型中的open-word检测网络得到目标的位置，即预测框。通过第一模型得到无标定数据的特征序列。计算各无标定数据的特征序列之间的余弦相似度，并采用聚类方法，对无标定数据进行分类，继而得到无标定数据的预测类型。将预测框和预测类型作为无标定数据的伪标签。

第三部分：半监督的模型训练。

将待训练数据和伪标签进行预处理，并将处理后的数据输入第一模型中。通过第一模型的open-word检测网络得到候选框，除去得分低的候选框，例如除去概率小于阈值的候选框，该阈值可以为0.3。将候选框与伪标签进行匹配，保留IOU（Intersection overUnion）大于阈值的候选框，该阈值可以为0.5。提取全局注意力特征图中候选框对应的部分，得到感兴趣特征图。根据待训练数据的标签以及感兴趣特征图，确定目标损失函数；并根据目标损失函数，训练模型，得到以图搜图模型模型，即目标模型。其中，open-word检测网络包括主干网络、特征融合网络和检测头，为预先训练好的网络，因此冻结open-word检测网络的参数，只更新open-word检测网络之外网络的参数。

具体的，先对数量较少的标注数据进行有监督学习，再对数量较大的无标定数据进行半监督学习，可以减少人工标注标签的工作量。

并且，本方案的以图搜图模型包括open-world检测网络，因此利用本方案的以图搜图模型不仅可以搜索到与种子图片中目标对象相似的图片，还可以定位到与目标对象相似的目标的位置。

实施例三

图4是根据本发明实施例三提供的一种以图搜图方法的流程图。如图1所示，该方法包括：

步骤401，利用以图搜图模型中的目标检测子网络对目标图像进行特征提取，得到原始特征图，并对目标图像进行目标检测，得到目标框。

步骤402，利用以图搜图模型中的特征匹配子网络提取原始特征图中目标框对应的区域，得到感兴趣特征图。

步骤403，将目标图像的感兴趣特征图与种子图像的感兴趣特征图进行特征匹配，并根据匹配结果确定以图搜图结果；其中，以图搜图模型根据待训练数据的标注类型和感兴趣特征图确定的目标损失函数，训练预设模型得到。

本实施例的实现过程参见上述实施例，不再赘述。

实施例四

图5是根据本发明实施例四提供的一种以图搜图模型训练装置的结构示意图。如图5所示，该装置500包括：

特征提取单元510，用于利用预设模型中的目标检测子网络提取待训练数据的原始特征图；待训练数据具有标注框和标注类型；

感兴趣特征提取单元520，用于利用预设模型中的特征匹配子网络提取原始特征图中标注框对应的区域，得到感兴趣特征图；

训练单元530，用于根据待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；根据目标损失函数，训练特征匹配子网络，得到以图搜图模型。

训练单元530，具体用于利用特征匹配子网络中的多头注意力层对感兴趣特征图进行处理，得到多个特征向量；组合多个特征向量得到特征序列；

确定相同标注类型的特征序列的内部相关性之间的差异；

根据内部相关性之间的差异、和相同标注类型的特征序列之间的差异、以及不同标注类型的特征序列之间的差异，确定目标损失函数。

训练单元530，具体用于确定待训练数据的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定待训练数据的特征序列的第一内部相关性；

确定与待训练数据的标注类型相同类型的其他待训练数据对应的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定该其他待训练数据的特征序列的第二内部相关性；

根据第一内部相关性和所第二内部相关性，确定相同标注类型的特征序列的内部相关性之间的差异。

感兴趣特征提取单元520，具体用于叠加待训练数据的至少两个原始特征图，得到叠加后特征图；其中，各原始特征图包含待训练数据的不同属性的特征；

提取叠加后特征图中标注框对应的区域，得到感兴趣特征图。

感兴趣特征提取单元520，具体用于利用特征匹配子网络中的上下文注意力层和通道注意力层，对叠加后特征图进行处理，得到全局注意力特征图；

提取全局注意力特征图中标注框对应的区域，得到感兴趣特征图。

感兴趣特征提取单元520，具体用于对叠加后特征图中第i个通道的特征图进行全局平均池化处理，并根据处理结果确定第i个通道的特征图的通道注意力权重；

将叠加后特征图的第i个通道的特征图中第j个特征值，与该第i个通道的总特征值之间的比例，确定为该第j个特征值的上下文注意力权重；

根据通道注意力权重和上下文注意力权重，对叠加后特征图进行注意力机制处理，得到全局注意力特征图。

感兴趣特征提取单元520，具体用于利用特征匹配子网络中的空洞卷积层对原始特征图进行处理，将原始特征图的尺寸变换至预设尺寸；

叠加尺寸变换后的原始特征图，得到叠加后特征图。

本发明实施例所提供的以图搜图模型训练装置可执行本发明任意实施例所提供的以图搜图模型训练方法，具备执行以图搜图模型训练方法相应的功能模块和有益效果。

实施例五

图6是根据本发明实施例五提供的一种以图搜图装置的结构示意图。如图6所示，该装置600包括：

目标检测单元610，用于利用以图搜图模型中的目标检测子网络对目标图像进行特征提取，得到原始特征图，并对目标图像进行目标检测，得到目标框；

感兴趣特征提取单元620，用于利用以图搜图模型中的特征匹配子网络提取原始特征图中目标框对应的区域，得到感兴趣特征图；

特征匹配单元630，用于将目标图像的感兴趣特征图与种子图像的感兴趣特征图进行特征匹配，并根据匹配结果确定以图搜图结果；

其中，以图搜图模型根据待训练数据的标注类型和感兴趣特征图确定的目标损失函数，训练预设模型得到。

本发明实施例所提供的以图搜图装置可执行本发明任意实施例所提供的以图搜图方法，具备执行以图搜图方法相应的功能模块和有益效果。

实施例六

图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如以图搜图模型训练方法和以图搜图方法。

在一些实施例中，上述任一种以图搜图模型训练方法和以图搜图方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的任一种以图搜图模型训练方法和以图搜图方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行上述任一种以图搜图模型训练方法和以图搜图方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种以图搜图模型训练方法，其特征在于，包括：

利用预设模型中的目标检测子网络提取待训练数据的原始特征图；所述待训练数据具有标注框和标注类型；

利用预设模型中的特征匹配子网络提取所述原始特征图中所述标注框对应的区域，得到感兴趣特征图；

根据所述待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；并根据所述目标损失函数，训练所述特征匹配子网络，得到以图搜图模型；

所述根据所述待训练数据的标注类型以及感兴趣特征图，确定目标损失函数，包括：

利用所述特征匹配子网络中的多头注意力层对所述感兴趣特征图进行处理，得到多个特征向量；组合所述多个特征向量得到特征序列；

确定相同标注类型的特征序列的内部相关性之间的差异；

根据所述内部相关性之间的差异、和相同标注类型的特征序列之间的差异、以及不同标注类型的特征序列之间的差异，确定目标损失函数；

所述确定相同标注类型的特征序列的内部相关性之间的差异，包括：

确定所述待训练数据的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定所述待训练数据的特征序列的第一内部相关性；

确定与所述待训练数据的标注类型相同类型的其他待训练数据对应的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定该其他待训练数据的特征序列的第二内部相关性；

根据所述第一内部相关性和所第二内部相关性，确定相同标注类型的特征序列的内部相关性之间的差异。

2.根据权利要求1所述的方法，其特征在于，所述提取所述原始特征图中所述标注框对应的区域，得到感兴趣特征图，包括：

叠加所述待训练数据的至少两个原始特征图，得到叠加后特征图；其中，各所述原始特征图包含所述待训练数据的不同属性的特征；

提取所述叠加后特征图中所述标注框对应的区域，得到感兴趣特征图。

3.根据权利要求2所述的方法，其特征在于，所述提取所述叠加后特征图中所述标注框对应的区域，得到感兴趣特征图，包括：

利用所述特征匹配子网络中的上下文注意力层和通道注意力层，对所述叠加后特征图进行处理，得到全局注意力特征图；

提取所述全局注意力特征图中所述标注框对应的区域，得到感兴趣特征图。

4.根据权利要求3所述的方法，其特征在于，所述利用所述特征匹配子网络中的上下文注意力层和通道注意力层，对所述叠加后特征图进行处理，得到全局注意力特征图，包括：

对所述叠加后特征图中第i个通道的特征图进行全局平均池化处理，并根据处理结果确定所述第i个通道的特征图的通道注意力权重；

将所述叠加后特征图的第i个通道的特征图中第j个特征值，与该第i个通道的总特征值之间的比例，确定为该第j个特征值的上下文注意力权重；

根据所述通道注意力权重和所述上下文注意力权重，对所述叠加后特征图进行注意力机制处理，得到全局注意力特征图。

5.根据权利要求2所述的方法，其特征在于，所述叠加所述待训练数据的至少两个原始特征图，得到叠加后特征图，包括：

利用所述特征匹配子网络中的空洞卷积层对所述原始特征图进行处理，将所述原始特征图的尺寸变换至预设尺寸；

叠加尺寸变换后的原始特征图，得到叠加后特征图。

6.一种以图搜图方法，其特征在于，包括：

利用以图搜图模型中的目标检测子网络对目标图像进行特征提取，得到原始特征图，并对所述目标图像进行目标检测，得到目标框；

利用所述以图搜图模型中的特征匹配子网络提取所述原始特征图中所述目标框对应的区域，得到感兴趣特征图；将目标图像的感兴趣特征图与种子图像的感兴趣特征图进行特征匹配，并根据匹配结果确定以图搜图结果；

其中，所述以图搜图模型由权利要求1-5任一项所述的方法训练得到。

7.一种以图搜图模型训练装置，其特征在于，包括：

特征提取单元，用于利用预设模型中的目标检测子网络提取待训练数据的原始特征图；所述待训练数据具有标注框和标注类型；

感兴趣特征提取单元，用于利用预设模型中的特征匹配子网络提取所述原始特征图中所述标注框对应的区域，得到感兴趣特征图；

训练单元，用于根据所述待训练数据的标注类型以及感兴趣特征图，确定目标损失函数；根据所述目标损失函数，训练所述特征匹配子网络，得到以图搜图模型；

所述训练单元具体用于：利用所述特征匹配子网络中的多头注意力层对所述感兴趣特征图进行处理，得到多个特征向量；组合所述多个特征向量得到特征序列；

确定相同标注类型的特征序列的内部相关性之间的差异；

根据所述内部相关性之间的差异、和相同标注类型的特征序列之间的差异、以及不同标注类型的特征序列之间的差异，确定目标损失函数；

所述训练单元具体用于：确定所述待训练数据的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定所述待训练数据的特征序列的第一内部相关性；

确定与所述待训练数据的标注类型相同类型的其他待训练数据对应的特征序列中不同特征向量之间差值的绝对值；并根据该绝对值确定该其他待训练数据的特征序列的第二内部相关性；

根据所述第一内部相关性和所第二内部相关性，确定相同标注类型的特征序列的内部相关性之间的差异。

8.一种以图搜图装置，其特征在于，包括：

目标检测单元，用于利用以图搜图模型中的目标检测子网络对目标图像进行特征提取，得到原始特征图，并对所述目标图像进行目标检测，得到目标框；

感兴趣特征提取单元，用于利用所述以图搜图模型中的特征匹配子网络提取所述原始特征图中所述目标框对应的区域，得到感兴趣特征图；

特征匹配单元，用于将目标图像的感兴趣特征图与种子图像的感兴趣特征图进行特征匹配，并根据匹配结果确定以图搜图结果；

其中，所述以图搜图模型由权利要求1-5任一项所述的方法训练得到。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的方法。