CN115205555A - 确定相似图像的方法、训练方法、信息确定方法及设备 - Google Patents

Abstract

本公开提供了确定相似图像的方法、训练方法、信息确定方法及设备，涉及人工智能技术领域，尤其涉及大数据、深度学习技术领域。具体实现方案为：获取待比对图像，待比对图像包括：第一图像和第二图像；对待比对图像进行全局特征提取，得到待比对图像中目标区域对应的目标全局特征；以及根据第一图像中第一区域的第一全局特征和第二图像中第二区域的第二全局特征，确定第一图像和第二图像之间的相似性比较结果；其中，第一区域的类别与第二区域的类别相同，目标全局特征包括：第一全局特征和第二全局特征，目标区域包括：第一区域和第二区域。

Description

确定相似图像的方法、训练方法、信息确定方法及设备

技术领域

本公开涉及人工智能技术领域，尤其涉及大数据、深度学习技术领域，具体地，涉及一种确定相似图像的方法、训练方法、信息确定方法及设备。

背景技术

信息获取是指围绕目标对象，在一定范围内，通过一定的技术手段和方式方法获得目标对象的原始信息的活动和过程。图像是客观对象的一种相似性的、生动性的描述或写真。图像作为社会活动中较为常用的信息载体，可以描述客观对象的有关信息。

发明内容

本公开提供了一种确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法、装置、电子设备、存储介质以计算机程序产品。

根据本公开的一方面，提供了一种确定相似图像的方法，包括：获取待比对图像，所述待比对图像包括：第一图像和第二图像；对所述待比对图像进行全局特征提取，得到所述待比对图像中目标区域对应的目标全局特征；以及根据所述第一图像中第一区域的第一全局特征和所述第二图像中第二区域的第二全局特征，确定所述第一图像和所述第二图像之间的相似性比较结果；其中，所述第一区域的类别与所述第二区域的类别相同，所述目标全局特征包括：所述第一全局特征和所述第二全局特征，所述目标区域包括：所述第一区域和所述第二区域。

根据本公开的另一方面，提供了一种深度学习模型的训练方法，其中，所述深度学习模型包括目标检测模块和对比模块；所述方法包括：将样本图像输入所述目标检测模块，得到所述样本图像中预测目标区域对应的预测目标检测结果，其中，所述预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，所述样本图像具有检测框标签、区域类别标签和置信度标签；将所述样本图像输入所述对比模块，得到所述预测目标区域对应的预测全局特征信息；以及根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息、所述预测置信度信息和所述预测全局特征信息，训练所述深度学习模型，得到经训练的深度学习模型。

根据本公开的另一方面，提供了一种对象信息确定方法，包括：获取针对目标对象采集到的多个目标图像；利用根据本公开所述的确定相似图像的方法，确定所述多个目标图像中的目标相似图像；以及根据所述目标相似图像，确定与所述目标相似图像相关的目标对象的对象信息。

根据本公开的另一方面，提供了一种确定相似图像的装置，包括：第一获取模块，用于获取待比对图像，所述待比对图像包括：第一图像和第二图像；第一获得模块，用于对所述待比对图像进行全局特征提取，得到所述待比对图像中目标区域对应的目标全局特征；以及第一确定模块，用于根据所述第一图像中第一区域的第一全局特征和所述第二图像中第二区域的第二全局特征，确定所述第一图像和所述第二图像之间的相似性比较结果；其中，所述第一区域的类别与所述第二区域的类别相同，所述目标全局特征包括：所述第一全局特征和所述第二全局特征，所述目标区域包括：所述第一区域和所述第二区域。

根据本公开的另一方面，提供了一种深度学习模型的训练装置，其中，所述深度学习模型包括目标检测模块和对比模块；所述装置包括：第二获得模块，用于将样本图像输入所述目标检测模块，得到所述样本图像中预测目标区域对应的预测目标检测结果，其中，所述预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，所述样本图像具有检测框标签、区域类别标签和置信度标签；第三获得模块，用于将所述样本图像输入所述对比模块，得到所述预测目标区域对应的预测全局特征信息；以及训练模块，用于根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息、所述预测置信度信息和所述预测全局特征信息，训练所述深度学习模型，得到经训练的深度学习模型。

根据本公开的另一方面，提供了一种对象信息确定装置，包括：第二获取模块，用于获取针对目标对象采集到的多个目标图像；第二确定模块，用于利用根据本公开所述的确定相似图像的装置，确定所述多个目标图像中的目标相似图像；以及第三确定模块，用于根据所述目标相似图像，确定与所述目标相似图像相关的目标对象的对象信息。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现本公开的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法中的至少一种方法及相应装置的示例性系统架构；

图2示意性示出了根据本公开实施例的确定相似图像的方法的流程图；

图3示意性示出了根据本公开实施例的全局特征提取方法的流程图；

图4A示意性示出了根据本公开实施例的根据第一全局特征和第二全局特征确定第一待比对图像和第二待比对图像之间的相似性比较结果的方法的流程图；

图4B示意性示出了根据本公开实施例的根据两个目标全局特征和匹配对中的至少一个确定相似图像的流程图；

图5示意性示出了根据本公开实施例的在堆头场景中根据局部特征和全局特征的融合特征确定属于同一堆头的图像的示意图；

图6示意性示出了根据本公开实施例的在堆头场景中根据局部特征和全局特征的融合特征确定不属于同一堆头的图像的示意图；

图7示意性示出了根据本公开实施例的深度学习模型的训练方法的示意图；

图8示意性示出了根据本公开实施例的深度学习模型的结构图；

图9示意性示出了根据本公开实施例的对象信息确定方法的流程图；

图10示意性示出了根据本公开实施例的确定相似图像的装置的框图；

图11示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；

图12示意性示出了根据本公开实施例的对象信息确定装置的框图；以及

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

获取信息的方式多种多样。根据需要不同，获取信息的方式可以包括如音频、视频、图像等获取方式。

例如，在与零售行业相关的场景中，堆头是一种常见的生动化陈列方式，用于更好的产品促销。为了更好的制定未来经营决策，需要进行市场考核，获取销售费用投放情况以及拉动销量执行情况。针对堆头场景，堆头的周长、面积、SKU(Stock keeping Unit，库存进出计量的单位)排面等是重要考核指标。通过采集图像获取相关指标成为一种可选择的方法。

发明人在实现本公开构思的过程中发现，基于图像进行指标信息的确定时，要获取整个堆头的SKU排面，需要获取对应于堆头多个面的多个图像信息。对于异形堆头，从堆头的不同方向进行拍摄时，由于没有重复区域或重复区域较小，难以捕捉相似区域，导致无法将几个方向的图片进行关联，难以从一堆图片中将属于同一个堆头的图片进行分组，会影响堆头相关指标的计算，无法保证根据图像确定的指标数据的真实性、准确性。

本公开提供了一种确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法、装置、电子设备、存储介质以计算机程序产品。确定相似图像的方法包括：获取待比对图像，待比对图像包括：第一图像和第二图像。对待比对图像进行全局特征提取，得到待比对图像中目标区域对应的目标全局特征。根据第一图像中第一区域的第一全局特征和第二图像中第二区域的第二全局特征，确定第一图像和第二图像之间的相似性比较结果。第一区域的类别与第二区域的类别相同。目标全局特征包括：第一全局特征和第二全局特征。目标区域包括：第一区域和第二区域。

图1示意性示出了根据本公开实施例的可以应用确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法中的至少一种方法及相应装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用内容处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法中的至少一种方法及相应装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual PrivateServer″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

需要说明的是，本公开实施例所提供的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法中的至少一种方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的确定相似图像的装置、深度学习模型的训练装置、对象信息确定装置中的至少一种装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法中的至少一种方法一般也可以由服务器105执行。相应地，本公开实施例所提供的确定相似图像的装置、深度学习模型的训练装置、对象信息确定装置中的至少一种装置一般可以设置于服务器105中。本公开实施例所提供的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法中的至少一种方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的确定相似图像的装置、深度学习模型的训练装置、对象信息确定装置中的至少一种装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，在需要确定相似图像时，终端设备101、102、103可以获取待比对图像，待比对图像包括：第一图像和第二图像。然后，将获取的待比对图像发送给服务器105，由服务器105对待比对图像进行全局特征提取，得到待比对图像中目标区域对应的目标全局特征，并根据第一图像中第一区域的第一全局特征和第二图像中第二区域的第二全局特征，确定第一图像和第二图像之间的相似性比较结果。其中，第一区域的类别和第二区域的类别相同，目标全局特征包括：第一全局特征和第二全局特征，目标区域包括：第一区域和第二区域。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对待比对图像进行分析，并实现确定相似性比较结果。

例如，在需要训练深度学习模型时，终端设备101、102、103可以获取样本图像，然后将获取的样本图像发送给服务器105，由服务器105将样本图像输入目标检测模块，得到样本图像中预测目标区域对应的预测目标检测结果，预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，样本图像具有检测框标签、区域类别标签和置信度标签，将样本图像输入对比模块，得到预测目标区域对应的预测全局特征信息，并根据检测框标签、区域类别标签、置信度标签、预测检测框信息、预测区域类别信息、预测置信度信息和预测全局特征信息，训练深度学习模型，得到经训练的深度学习模型。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对样本图像进行分析，并实现得到经训练的深度学习模型。

例如，在需要确定对象信息时，终端设备101、102、103可以获取针对目标对象采集到的多个目标图像，然后将获取的多个目标图像发送给服务器105，由服务器105利用根据本公开实施例的确定相似图像的方法，确定多个目标图像中的目标相似图像，并根据目标相似图像，确定与目标相似图像相关的目标对象的对象信息。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对多个目标图像进行分析，并实现确定目标对象的对象信息。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的确定相似图像的方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，获取待比对图像，待比对图像包括：第一图像和第二图像。

在操作S220，对待比对图像进行全局特征提取，得到待比对图像中目标区域对应的目标全局特征。

在操作S230，根据第一图像中第一区域的第一全局特征和第二图像中第二区域的第二全局特征，确定第一图像和第二图像之间的相似性比较结果，第一区域的类别与第二区域的类别相同，目标全局特征包括：第一全局特征和第二全局特征，目标区域包括：第一区域和第二区域。

根据本公开的实施例，待比对图像可以包括针对同一个对象从多个角度分别采集得到的多个图像，以及针对多个不同对象分别采集得到的多个图像等其中至少之一。待比对图像中的至少一个目标区域可以表征至少一种类别的区域内容，使得至少一个目标区域各自具有相应的类别。目标全局特征可以包括待比对图像的全图特征以及与该全局特征相对应的目标区域的区域特征等。

根据本公开的实施例，第一图像和第二图像可以为多个图像中的任意两个图像。第一图像和第二图像中可以存在类别相同的第一区域和第二区域，也可以不存在类别相同的区域。

根据本公开的实施例，根据第一图像中第一区域的第一全局特征和第二图像中第二区域的第二全局特征，确定第一图像和第二图像之间的相似性比较结果的方式可以包括：对第一全局特征和第二全局特征进行比较，得到第一图像和第二图像之间的相似性比较结果。对第一图像中包括的区域的类别和第二图像中包括的区域的类别进行比较，并结合第一全局特征和第二全局特征的比较结果，确定第一待比对图像和第二待比对图像之间的相似性比较结果。

需要说明的是，在第一图像和第二图像中不存在类别相同的区域的情况下，上述确定相似性比较结果的方法还可以包括：可以通过对第一图像中包括的区域的类别和第二图像中包括的区域的类别进行比较，得到第一图像和第二图像之间的相似性比较结果。

根据本公开的实施例，相似性比较结果可以用于确定第一图像和第二图像的相似度信息和分组信息。根据相似度信息可以确定第一图像和第二图像是否是针对同一个对象采集到的相似图像。在确定第一图像和第二图像是相似图像的情况下，可以确定第一图像和第二图像属于同一组。

需要说明的是，操作S210～S230可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，结合全局特征提取的方式，提取得到待比对图像中的目标区域和目标全局特征，可以提高特征提取过程的计算效率和计算精度等性能，从而可有效提升相似图像确定结果的准确性。此外，结合待比对图像中区域的类别和全局特征来确定相似图像，可进一步提升相似度判断结果的准确性，实现在多个待比对图像的重复区域较少时也能确定相似图片。

下面结合具体实施例，对图2所示的方法做进一步说明。

图3示意性示出了根据本公开实施例的全局特征提取方法的流程图。

如图3所示，图2所示的操作S220进一步可以包括操作S310～S330。

在操作S310，对待比对图像进行目标检测，得到目标区域对应的目标检测结果，目标检测结果包括：用于确定目标位置的检测框信息和用于确定目标分类的类别信息。

在操作S320，对待比对图像进行特征提取，得到特征图信息。

在操作S330，根据检测框信息、类别信息和特征图信息，确定目标全局特征。

根据本公开的实施例，实现目标检测的方法例如可以包括以下至少一项：Anchor-based(基于锚节点)、Anchor-Free(不基于锚节点)等系列目标检测算法以及pp-yolo(一种目标检测模型)等。

根据本公开的实施例，特征图信息可以包括与待比对图像中的像素相关的全局特征信息。

根据本公开的实施例，在确定待比对图像的目标检测结果和特征图信息之后，可以根据特征图信息和检测框信息确定待比对文件中部分像素的全局特征，根据该部分像素的全局特征可以确定该检测框信息所表征的目标区域的全局特征。

根据本公开的实施例，在需要根据检测框信息确定目标区域的全局特征的情况下，可以根据检测框信息所表征的目标区域中任意一个像素对应的全局特征，确定该目标区域的全局特征。也可以根据检测框所表征的目标区域中任意多个像素各自对应的全局特征的预定义计算结果，确定该目标区域的全局特征。

需要说明的是，操作S310～S330可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，结合目标检测和特征提取全局特征的方式，可以高效确定各目标区域的全局特征，并可有效提高全局特征提取准确率。

根据本公开的实施例，图3所示的操作S330进一步可以包括：根据检测框信息，确定检测框信息表征的检测框对应的中心点信息。根据特征图信息和中心点信息，确定中心点信息表征的像素对应的特征向量。根据特征向量，确定目标全局特征。

例如，假设groud-truth(正确的数据标注)标注的矩形框区域的中心点为(Cx，Cy)，主干网络的卷积步长stride为s，则在经由特征提取得到的特征图上，(Cx/s，Cy/s)对应的特征向量可以作为该矩形框区域的目标全局特征。

需要说明的是，操作S330对应的上述方法可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，基于检测框所对应的中心点信息，从特征图信息中确定检测框对应的目标区域的目标全局特征，可以有效提高提取的全局特征的准确率。

图4A示意性示出了根据本公开实施例的根据第一全局特征和第二全局特征确定第一图像和第二图像之间的相似性比较结果的流程图。

如图4A所示，图2所示的操作S230进一步可以包括操作S410～S430。

在操作S410，对第一图像和第二图像进行局部特征提取，分别得到第一局部特征集和第二局部特征集，第一局部特征集包括第一图像中像素对应的第一局部特征，第二局部特征集包括第二图像中像素对应的第二局部特征。

在操作S420，对第一局部特征和第二局部特征进行特征匹配，得到特征匹配对。

在操作S430，根据第一全局特征、第二全局特征和特征匹配对中的至少一个特征，确定相似性比较结果。

根据本公开的实施例，局部特征提取的方法可以包括以下至少一项：基于SIFT(尺度不变特征转换)等手工设计特征进行特征提取，基于深度网络的super-point(一种提取特征点和描述子的网络)等特征进行特征提取等。特征匹配的方法可以包括以下至少一项：KNN(K-Nearest Neighbor，K-近邻算法)、ANN(Approximate Nearest Neighbor，近似最近邻算法)系列，基于深度学习的super-glue(一种特征匹配网络)模型等。

需要说明的是，操作S410～S430可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

图4B示意性示出了根据本公开实施例的根据第一全局特征、第二全局特征和特征匹配对中的至少一个特征确定相似图像的流程图。

如图4B所示，图4所示的操作S430进一步可以包括操作S431～S436。

在操作S431，获取与第一图像和第二图像相关的特征匹配对，以及针对特征匹配对的数量定义的第一预设阈值。

在操作S432，获取第一全局特征和第二全局特征，以及针对第一全局特征和第二全局特征的相似度定义的第二预设阈值。

在操作S433，判断特征匹配对的数量是否大于或等于第一预设阈值？若是，则执行操作S435；若否，则执行操作S434～S436。

在操作S434，判断第一全局特征和第二全局特征的相似度是否大于或等于第二预设阈值？若是，则执行操作S435；若否，则执行操作S436。

在操作S435，确定第一图像和第二图像属于相似图像。

在操作S436，确定第一图像和第二图像不属于相似图像。

根据本公开的实施例，第一预设阈值的取值可以包括针对待比对图像全图的匹配情况定义，也可以包括针对待比对图像中不同类别的区域中的匹配情况分别定义。第二预设阈值的取值包括针对待比对图像中不同类别的区域中的匹配情况分别定义。在第一预设阈值和第二预设阈值均为对应于不同的区域定义的取值不同的情况下，可以针对每个类别的区域分别进行如操作S431～S436的过程。

需要说明的是，操作S431～S436可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，结合局部特征的旋转不变性等特性，以及全局特征融合图像上下文信息的高层语义表达，从多个维度对待比对图像进行联合相似度判断，可以进一步提升相似度判断的准确性。

根据本公开的实施例，目标区域可以包括以下至少一项：与实体对象相关的区域、与背景相关的区域。

根据本公开的实施例，待比对图像例如可以包括针对堆头采集到的图像，待比对图像中与实体相关的区域可以包括堆头区域、不属于堆头的其他物料区域、堆头底座区域等其中至少之一。与背景相关的区域可以包括堆头周围的环境区域等。

图5示意性示出了根据本公开实施例的在堆头场景中根据局部特征和全局特征的融合特征确定属于同一堆头的图像的示意图。

如图5所示，图像510中包括堆头底座区域511、堆头产品区域512和其他物料区域513，图像520中包括堆头底座区域521、堆头产品区域522和其他物料区域523，且堆头底座区域511、521的底座类别相同，堆头产品区域512、522的产品类别相同，其他物料区域513、523的物料类别相同。

根据本公开的实施例，实线和虚线可以用于确定特征匹配对，实线可以表征相应的特征匹配对在全局特征和局部特征两个方面均能实现成功匹配，虚线可以表征相应的特征匹配对仅能在局部特征或全局特征任意一个方面实现成功匹配。

根据本公开的实施例，针对图像510、520，经过基于上述确定相似图像的方法的操作，可以得到如图5中由实线或虚线连接的多个特征匹配对。根据图5的匹配结果，可以得到在图像510、520中的堆头底座区域511、521、堆头产品区域512、522和其他物料区域513、523均具有较多的全局特征和局部特征均能匹配成功的特征匹配对，且特征匹配对的相关信息可以满足上述确定相似图像的任意一个条件，可以据此确定图像510、520为针对同一堆头采集到的相似图像。

图6示意性示出了根据本公开实施例的在堆头场景中根据局部特征和全局特征的融合特征确定不属于同一堆头的图像的示意图。

如图6所示，图像610中包括堆头产品区域611、其他物料区域612和环境背景区域613，图像620中包括堆头产品区域621、其他物料区域622、环境背景区域623和堆头底座区域624，且堆头产品区域611、621的产品类别不同，其他物料区域612、622的物料类别不同。

根据本公开的实施例，针对图像610、620，经过基于上述确定相似图像的方法的操作，可以得到如图6中由实线或虚线连接的多个特征匹配对。根据图6的匹配结果，可以得到在图像610、620中的堆头产品区域611、621和其他物料区域612、622具有较多的仅有局部特征能匹配成功的特征匹配对，并可确定与该些特征匹配对所对应的像素的全局特征不能成功匹配，且该些特征匹配对的相关信息未能满足上述确定相似图像的任意一个条件，可以据此确定图像610、620为针对不同堆头采集到的图像。

需要说明的是，上述堆头场景仅是示例性实施例，但不限于此，还可以包括各类其他场景，只要能够基于图像进行信息采集即可。

通过本公开的上述实施例，结合局部特征和融合图像上下文信息的全局特征，可以更为准确的表达每个区域各自的表征信息。基于此，对于存在区域纹理较少、成功匹配的局部特征较少的区域的图像，可以更为准确且有效的确定其相似性比较结果，适用于各类应用场景。

根据本公开的实施例，上述实现对待比对图像进行全局特征提取，得到待比对图像中目标区域对应的目标全局特征的过程可以通过训练深度学习模型来完成。深度学习模型可以表征为目标检测+特征提取集成的模型，用于实现在同一个模型里端到端的进行部件的定位、分类以及全局特征的提取。深度学习模型例如可以包括目标检测模块和对比模块。

图7示意性示出了根据本公开实施例的深度学习模型的训练方法的示意图。

如图7所示，该方法可以包括操作S710～S730。

在操作S710，将样本图像输入目标检测模块，得到样本图像预测目标区域对应的预测目标检测结果，其中，预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，样本图像具有检测框标签、区域类别标签和置信度标签。

在操作S720，将样本图像输入对比模块，得到预测样本区域对应的预测全局特征信息。

在操作S730，根据检测框标签、区域类别标签、置信度标签、预测检测框信息、预测区域类别信息、预测置信度信息和预测全局特征信息，训练深度学习模型，得到经训练的深度学习模型。

根据本公开的实施例，样本图像中的预测目标区域可以包括如下中的至少之一：与实体对象相关的区域以及与背景相关的区域。预测置信度信息可以表征预测目标存在的概率。置信度标签例如可以为0或1，表征目标不存在或存在的情况。

根据本公开的实施例，可以基于各类目标检测模型，在其中增加一个对比分支，构成上述深度学习模型。对比分支的channel(通道)可以为特征维度，用于编码每个像素的高层语义特征，即全局特征。对比模块可以为该对比分支的表征。

例如，在针对堆头采集到的图像进行相似性判断时，可以首先通过目标检测模块获取图像的感兴趣区域，如堆头产品区域、POSM(Point of Sales Materials，辅助销售物料)区域、堆头底座区域以及环境背景区域等。然后，可以基于局部特征提取及匹配的方式，对环境背景区域、堆头底座区域、堆头产品区域、POSM区域4个区域维度进行相似度匹配分析，并可以结合高层语义信息提取周围环境区域、堆头底座区域等局部特征较少的区域的全局特征，进行相似度识别，以确定每两张图片中的堆头是否为同一堆头。

需要说明的是，操作S710～S730可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，提出了一种目标检测+特征提取的深度学习模型，端到端的实现目标的检测以及全局表征特征的提取。避免目标检测和特征提取两步法带来的性能降低，以及累积误差。训练过程中通过多维度，结合全局+局部特征融合的方法，可有效提升重叠区域较小、变换角度较大场景的图像的相似识别能力。此外，通过局部特征提取以及特征匹配，获取图像像素之间的匹配关系，获取4个维度的特征匹配关系。针对环境背景、堆头底座等特征点较不密集的区域，提出基于全局高层语义特征提取，以进行相似性判断。基于全局+局部特征联合判断，可进一步提升相似度判断的准确性。

图8示意性示出了根据本公开实施例的深度学习模型的结构图。

如图8所示，深度学习模型800可以包括主干网络810、目标检测模块820和对比模块830。目标检测模块820中可以包括分类子模块821、定位子模块822和目标检测子模块823。每个模块或子模块具有相应的用于训练深度学习模型800的损失函数，如分类子模块821可以对应有分类损失函数，定位子模块822可以对应有定位损失函数，目标检测子模块823可以对应有置信度损失函数，对比模块830可以对应有对比损失函数。在训练阶段，可以基于样本图像、标签等信息，结合该些损失函数，完成对深度学习模型800的训练。

根据本公开的实施例，图7所示的操作S710进一步可以包括：将样本图像输入分类子模块，得到与样本图像中的预测目标区域相对应的预测区域类别信息。将样本图像输入定位子模块，得到与样本图像中的预测目标区域相对应的预测检测框信息。将样本图像输入目标检测子模块，得到与样本图像中的预测目标区域相对应的预测置信度信息。根据预测区域类别信息、预测检测框信息和预测置信度信息，确定预测目标检测结果。

根据本公开的实施例，图7所示的操作S730进一步可以包括：根据检测框标签、区域类别标签、置信度标签、预测检测框信息、预测区域类别信息和预测置信度信息，得到第一损失值。根据检测框标签、区域类别标签和预测全局特征信息，确定正样本对信息和负样本对信息中的至少一个样本对信息。根据正样本对信息和负样本对信息中的至少一个样本对信息，得到第二损失值。根据第一损失值和第二损失值，对深度学习模型的参数进行调整。

根据本公开的实施例，可以根据预测检测框信息和检测框标签，结合定位损失函数，以及根据预测区域类别信息和区域类别标签，结合分类损失函数，以及根据预测置信度信息和置信度标签，结合置信度损失函数，确定第一损失值。

根据本公开的实施例，正样本对信息可以包括特征表现相同的全局特征信息，负样本对信息均可以包括特征表现不同的全局特征信息。根据正样本对信息和负样本对信息，结合对比损失函数，可以确定第二损失值。

需要说明的是，上述训练深度学习模型的方法可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，结合包括目标检测模块和对比模块的深度学习模型，可以端到端的实现部件的检测以及表征特征的提取，其表征特征不仅融合上下文全局信息，也具备表达自身的表征能力。相比于目标检测和特征提取的两阶段法，能端到端训练，可有效提升模型的性能和效果。

根据本公开的实施例，样本图像可以包括第一样本子图像、第二样本子图像和第三样本子图像。第二样本子图像可以是通过对第一样本子图像进行数据增强得到的。根据检测框标签、区域类别标签和预测全局特征信息，确定正样本对信息和负样本对信息中的至少一个样本对信息可以包括以下至少一项：将第一样本子图像中第三区域对应的预测全局特征信息和第一样本子图像中第四区域对应的预测全局特征信息确定为负样本对信息，第三区域对应的区域类别标签与第四区域对应的区域类别标签不同。将第一样本子图像中第三区域对应的预测全局特征信息和第二样本子图像中第五区域对应的预测全局特征信息确定为正样本对信息，第三区域对应的区域类别标签与第五区域对应的区域类别标签相同。将第一样本子图像中第三区域对应的预测全局特征信息和第三样本子图像中第六区域对应的预测全局特征信息确定为负样本对信息。

根据本公开的实施例，第一样本子图像和第三样本子图像可以包括针对不同的对象采集到的图像。

根据本公开的实施例，将第一样本子图像中第三区域对应的预测全局特征信息和第一样本子图像中第四区域对应的预测全局特征信息确定为负样本对信息，可以使得同一张图像中不同区域的全局特征尽可能彼此不相似，使得每个区域学到一些独有的信息。将第一样本子图像中第三区域对应的预测全局特征信息和第二样本子图像中第五区域对应的预测全局特征信息确定为正样本对信息，可以使得原图M和经过data augmentation(数据增强)之后生成的图像M1中类别相同的区域的全局特征尽可能相似。将第一样本子图像中第三区域对应的预测全局特征信息和第三样本子图像中第六区域对应的预测全局特征信息确定为负样本对信息，可以使得不同图像之间对应的全局特征尽可能彼此不同。

需要说明的是，上述确定正样本对信息和负样本对信息中的至少一个的方法可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，通过配置正样本对信息和负样本对信息，并结合深度学习模型中的对比模块，可以使得针对不同对象采集到的各个图像的特征的欧氏距离尽可能大，使得针对不同对象采集到的各个图像的全局特征差异尽可能大，可有效提高模型训练效果。

图9示意性示出了根据本公开实施例的对象信息确定方法的流程图。

如图9所示，该方法可以包括操作S910～S930。

在操作S910，获取针对目标对象采集到的多个目标图像。

在操作S920，利用上述确定相似图像的方法，确定多个目标图像中的目标相似图像。

在操作S930，根据目标相似图像，确定与目标相似图像相关的目标对象的对象信息。

根据本公开的实施例，目标对象例如可以包括多个堆头。多个目标图像可以包括从各个堆头的不同方向采集的多个堆头图像。基于上述确定相似图像的方法可以首先对属于同一堆头的图片进行分组，获取到堆头图像的分组信息，根据分组信息可以从采集到的多个堆头图像中确定与每个推销相对应的图像集，该图像集中可以包括堆头各个面的正面拍摄图。然后，可以调用对象识别模型首先获取SKU检测框位置，通过构建检测框之间的空间位置关系，得到每一层SKU排列情况，将长度最宽的那一层作为基准层，按照每个SKU实际的产品宽度以及SKU数量，得到实际的堆头宽度。针对每个堆头图像采用相同的前述计算方式，可以得到堆头的实际周长、面积、SKU排面等信息。。

根据本公开的实施例，在通过确定相似图像的方法获取到对应于各个堆头的图像集之后，也可以首先预定义第四预设阈值，对图像集中的图像进行相似度比较，滤除相似度大于第四预设阈值的图像，得到数据量较少的图像集。然后，可以针对数据量较少的图像集执行如上所述的方法，得到堆头的实际周长、面积、SKU排面等信息。

需要说明的是，操作S910～S930可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。

通过本公开的上述实施例，可以将基于全局+局部特征融合的确定相似图像的方法应用于实际场景中，通过对采集到的图像进行相似性判断、分组，并结合对象识别+检测框空间关系构建，可以有效提高对象信息确定结果的准确性。

图10示意性示出了根据本公开实施例的确定相似图像的装置的框图。

如图10所示，确定相似图像的装置1000，包括：第一获取模块1010、第一获得模块1020和第一确定模块1030。

第一获取模块1010，用于获取待比对图像，待比对图像包括：第一图像和第二图像。

第一获得模块1020，用于对待比对图像进行全局特征提取，得到待比对图像中目标区域对应的目标全局特征。

第一确定模块1030，用于根据第一图像中第一区域的第一全局特征和第二图像中第二区域的第二全局特征，确定第一图像和第二图像之间的相似性比较结果。其中，第一区域的类别和第二区域的类别相同，目标全局特征包括：第一全局特征和第二全局特征。目标区域包括：第一区域和第二区域。

根据本公开的实施例，第一获得模块包括：第一获得子模块、第二获得子模块和第一确定子模块。

第一获得子模块，用于对待比对图像进行目标检测，得到与目标区域对应的目标检测结果，目标检测结果包括：用于确定目标位置的检测框信息和用于确定目标分类的类别信息。

第二获得子模块，用于对待比对图像进行特征提取，得到特征图信息。

第一确定子模块，用于根据检测框信息、类别信息和特征图信息，确定目标全局特征。

根据本公开的实施例，第一确定子模块包括：第一确定单元、第二确定单元和第三确定单元。

第一确定单元，用于根据检测框信息，确定检测框信息表征的检测框对应的中心点信息。

第二确定单元，用于根据特征图信息和中心点信息，确定中心点信息表征的像素对应的特征向量。

第三确定单元，用于根据特征向量，确定目标全局特征。

根据本公开的实施例，第一确定模块包括：第三获得子模块、第四获得子模块和第二确定子模块。

第三获得子模块，用于对第一图像和第二图像进行局部特征提取，分别得到第一局部特征集和第二局部特征集，第一局部特征集包括第一图像中像素对应的第一局部特征，第二局部特征集包括第二图像中像素对应的第二局部特征。

第四获得子模块，用于对第一局部特征和第二局部特征进行特征匹配，得到特征匹配对。

第二确定子模块，用于根据第一全局特征、第二全局特征和特征匹配对中的至少一个特征，确定相似性比较结果。

根据本公开的实施例，第二确定子模块包括：第四确定单元。

第四确定单元，用于响应于确定特征匹配对的数量大于或等于第一预设阈值，确定第一图像和第二图像为相似图像。

根据本公开的实施例，第二确定子模块还包括：第五确定单元和第六确定单元。

第五确定单元，用于响应于确定特征匹配对的数量小于第一预设阈值，确定第一区域和第二区域均对应的第二预设阈值。

第六确定单元，用于响应于确定第一全局特征和第二全局特征之间的相似度大于或等于第二预设阈值，确定第一图像和第二图像为相似图像。

根据本公开的实施例，目标区域包括以下至少一项：与实体对象相关的区域、与背景相关的区域。

图11示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。

如图11所示，深度学习模型包括目标检测模块和对比模块。深度学习模型的训练装置1100，包括：第二获得模块1110、第三获得模块1120和训练模块1130。

第二获得模块1110，用于将样本图像输入目标检测模块，得到样本图像中预测目标区域对应的预测目标检测结果，其中，预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，样本图像具有检测框标签、区域类别标签和置信度标签。

第三获得模块1120，用于将样本图像输入对比模块，得到预测目标区域对应的预测全局特征信息。

训练模块1130，用于根据检测框标签、区域类别标签、置信度标签、预测检测框信息、预测区域类别信息、预测置信度信息和预测全局特征信息，训练深度学习模型，得到经训练的深度学习模型。

根据本公开的实施例，训练模块包括：第五获得子模块、第三确定子模块、第六获得子模块和调整子模块。

第五获得子模块，用于根据检测框标签、区域类别标签、置信度标签、预测检测框信息、预测区域类别信息和预测置信度信息，得到第一损失值。

第三确定子模块，用于根据检测框标签、区域类别标签和预测全局特征信息，确定正样本对信息和负样本对信息中的至少一个样本对信息。

第六获得子模块，用于根据正样本对信息和负样本对信息中的至少一个样本对信息，得到第二损失值。

调整子模块，用于根据第一损失值和第二损失值，对深度学习模型的参数进行调整。

根据本公开的实施例，样本图像包括第一样本子图像、第二样本子图像和第三样本子图像，其中第二样本子图像是通过对第一样本子图像进行数据增强得到的；第三确定子模块包括以下至少一项：第七确定单元、第八确定单元和第九确定单元。

第七确定单元，用于将第一样本子图像中第三区域对应的预测全局特征信息和第一样本子图像中第四区域对应的预测全局特征信息确定为负样本对信息，第三区域对应的区域类别标签与第四区域对应的区域类别标签不同。

第八确定单元，用于将第一样本子图像中第三区域对应的预测全局特征信息和第二样本子图像中第五区域对应的预测全局特征信息确定为正样本对信息，第三区域对应的区域类别标签与第五区域对应的区域类别标签相同。

第九确定单元，用于将第一样本子图像中第三区域对应的预测全局特征信息和第三样本子图像中第六区域对应的预测全局特征信息确定为负样本对信息。

图12示意性示出了根据本公开实施例的对象信息确定装置的框图。

如图12所示，对象信息确定装置1200，包括：第二获取模块1210、第二确定模块1220和第三确定模块1230。

第二获取模块1210，用于获取针对目标对象采集到的多个目标图像。

第二确定模块1220，用于利用根据本公开实施例的确定相似图像的装置，确定多个目标图像中的目标相似图像。

第三确定模块1230，用于根据目标相似图像，确定与目标相似图像相关的目标对象的对象信息。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序在被处理器执行时实现本公开的方法。

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法。例如，在一些实施例中，确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行确定相似图像的方法、深度学习模型的训练方法、对象信息确定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种确定相似图像的方法，包括：

获取待比对图像，所述待比对图像包括：第一图像和第二图像；

对所述待比对图像进行全局特征提取，得到所述待比对图像中目标区域对应的目标全局特征；以及

根据所述第一图像中第一区域的第一全局特征和所述第二图像中第二区域的第二全局特征，确定所述第一图像和所述第二图像之间的相似性比较结果；

其中，所述第一区域的类别与所述第二区域的类别相同，所述目标全局特征包括：所述第一全局特征和所述第二全局特征，所述目标区域包括：所述第一区域和所述第二区域。

2.根据权利要求1所述的方法，其中，所述对所述待比对图像进行全局特征提取，得到所述待比对图像中目标区域对应的目标全局特征，包括：

对所述待比对图像进行目标检测，得到所述目标区域对应的目标检测结果，所述目标检测结果包括：用于确定目标位置的检测框信息和用于确定目标分类的类别信息；

对所述待比对图像进行特征提取，得到特征图信息；以及

根据所述检测框信息、所述类别信息和所述特征图信息，确定所述目标全局特征。

3.根据权利要求2所述的方法，其中，所述根据所述检测框信息、所述类别信息和所述特征图信息，确定所述目标全局特征，包括：

根据所述检测框信息，确定所述检测框信息表征的检测框对应的中心点信息；

根据所述特征图信息和所述中心点信息，确定所述中心点信息表征的像素对应的特征向量；以及

根据所述特征向量，确定所述目标全局特征。

4.根据权利要求1所述的方法，其中，所述根据所述第一图像中第一区域的第一全局特征和所述第二图像中第二区域的第二全局特征，确定所述第一图像和所述第二图像之间的相似性比较结果，包括：

对所述第一图像和所述第二图像进行局部特征提取，分别得到第一局部特征集和第二局部特征集，所述第一局部特征集包括所述第一图像中像素对应的第一局部特征，所述第二局部特征集包括所述第二图像中像素对应的第二局部特征；

对所述第一局部特征和所述第二局部特征进行特征匹配，得到特征匹配对；以及

根据所述第一全局特征、所述第二全局特征和所述特征匹配对中的至少一个特征，确定所述相似性比较结果。

5.根据权利要求4所述的方法，其中，所述根据所述第一全局特征、所述第二全局特征和所述特征匹配对中的至少一个特征，确定所述相似性比较结果，包括：

响应于确定所述特征匹配对的数量大于或等于第一预设阈值，确定所述第一图像和所述第二图像为相似图像。

6.根据权利要求5所述的方法，其中，所述根据所述第一全局特征、所述第二全局特征和所述特征匹配对中的至少一个特征，确定所述相似性比较结果，还包括：

响应于确定所述数量小于所述第一预设阈值，确定所述第一区域和所述第二区域均对应的第二预设阈值；以及

响应于确定所述第一全局特征和所述第二全局特征之间的相似度大于或等于所述第二预设阈值，确定所述第一图像和所述第二图像为相似图像。

7.根据权利要求1-6中任一项所述的方法，其中，所述目标区域包括以下至少一项：与实体对象相关的区域、与背景相关的区域。

8.一种深度学习模型的训练方法，其中，所述深度学习模型包括目标检测模块和对比模块；所述方法包括：

将样本图像输入所述目标检测模块，得到所述样本图像中预测目标区域对应的预测目标检测结果，其中，所述预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，所述样本图像具有检测框标签、区域类别标签和置信度标签；

将所述样本图像输入所述对比模块，得到所述预测目标区域对应的预测全局特征信息；以及

根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息、所述预测置信度信息和所述预测全局特征信息，训练所述深度学习模型，得到经训练的深度学习模型。

9.根据权利要求8所述的方法，其中，所述根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息、所述预测置信度信息和所述预测全局特征信息，训练所述深度学习模型包括：

根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息和所述预测置信度信息，得到第一损失值；

根据所述检测框标签、所述区域类别标签和所述预测全局特征信息，确定正样本对信息和负样本对信息中的至少一个样本对信息；

根据所述正样本对信息和所述负样本对信息中的至少一个样本对信息，得到第二损失值；以及

根据所述第一损失值和所述第二损失值，对所述深度学习模型的参数进行调整。

10.根据权利要求9所述的方法，其中，所述样本图像包括第一样本子图像、第二样本子图像和第三样本子图像，其中第二样本子图像是通过对所述第一样本子图像进行数据增强得到的；所述根据所述检测框标签、所述区域类别标签和所述预测全局特征信息，确定正样本对信息和负样本对信息中的至少一个样本对信息包括以下至少一项：

将所述第一样本子图像中第三区域对应的预测全局特征信息和所述第一样本子图像中第四区域对应的预测全局特征信息确定为所述负样本对信息，所述第三区域对应的区域类别标签与所述第四区域对应的区域类别标签不同；

将所述第一样本子图像中第三区域对应的预测全局特征信息和所述第二样本子图像中第五区域对应的预测全局特征信息确定为所述正样本对信息，所述第三区域对应的区域类别标签与所述第五区域对应的区域类别标签相同；以及

将所述第一样本子图像中第三区域对应的预测全局特征信息和所述第三样本子图像中第六区域对应的预测全局特征信息确定为所述负样本对信息。

11.一种对象信息确定方法，包括：

获取针对目标对象采集到的多个目标图像；

利用如权利要求1-7中任一项所述的确定相似图像的方法，确定所述多个目标图像中的目标相似图像；以及

根据所述目标相似图像，确定与所述目标相似图像相关的目标对象的对象信息。

12.一种确定相似图像的装置，包括：

第一获取模块，用于获取待比对图像，所述待比对图像包括：第一图像和第二图像；

第一获得模块，用于对所述待比对图像进行全局特征提取，得到所述待比对图像中目标区域对应的目标全局特征；以及

第一确定模块，用于根据所述第一图像中第一区域的第一全局特征和所述第二图像中第二区域的第二全局特征，确定所述第一图像和所述第二图像之间的相似性比较结果；

其中，所述第一区域的类别与所述第二区域的类别相同，所述目标全局特征包括：所述第一全局特征和所述第二全局特征，所述目标区域包括：所述第一区域和所述第二区域。

13.根据权利要求12所述的装置，其中，所述第一获得模块包括：

第一获得子模块，用于对所述待比对图像进行目标检测，得到所述目标区域对应的目标检测结果，所述目标检测结果包括：用于确定目标位置的检测框信息和用于确定目标分类的类别信息；

第二获得子模块，用于对所述待比对图像进行特征提取，得到特征图信息；以及

第一确定子模块，用于根据所述检测框信息、所述类别信息和所述特征图信息，确定所述目标全局特征。

14.根据权利要求13所述的装置，其中，所述第一确定子模块包括：

第一确定单元，用于根据所述检测框信息，确定所述检测框信息表征的检测框对应的中心点信息；

第二确定单元，用于根据所述特征图信息和所述中心点信息，确定所述中心点信息表征的像素对应的特征向量；以及

第三确定单元，用于根据所述特征向量，确定所述目标全局特征。

15.根据权利要求12所述的装置，其中，所述第一确定模块包括：

第三获得子模块，用于对所述第一图像和所述第二图像进行局部特征提取，分别得到第一局部特征集和第二局部特征集，所述第一局部特征集包括所述第一图像中像素对应的第一局部特征，所述第二局部特征集包括所述第二图像中像素对应的第二局部特征；

第四获得子模块，用于对所述第一局部特征和所述第二局部特征进行特征匹配，得到特征匹配对；以及

第二确定子模块，用于根据所述第一全局特征、所述第二全局特征和所述特征匹配对中的至少一个特征，确定所述相似性比较结果。

16.根据权利要求15所述的装置，其中，所述第二确定子模块包括：

第四确定单元，用于响应于确定所述特征匹配对的数量大于或等于第一预设阈值，确定所述第一图像和所述第二图像为相似图像。

17.根据权利要求16所述的装置，其中，所述第二确定子模块还包括：

第五确定单元，用于响应于确定所述数量小于所述第一预设阈值，确定所述第一区域和所述第二区域均对应的第二预设阈值；以及

第六确定单元，用于响应于确定所述第一全局特征和所述第二全局特征之间的相似度大于或等于所述第二预设阈值，确定所述第一图像和所述第二图像为相似图像。

18.根据权利要求12-17中任一项所述的装置，其中，所述目标区域包括以下至少一项：与实体对象相关的区域、与背景相关的区域。

19.一种深度学习模型的训练装置，其中，所述深度学习模型包括目标检测模块和对比模块；所述装置包括：

第二获得模块，用于将样本图像输入所述目标检测模块，得到所述样本图像中预测目标区域对应的预测目标检测结果，其中，所述预测目标检测结果包括：预测检测框信息、预测区域类别信息和预测置信度信息，所述样本图像具有检测框标签、区域类别标签和置信度标签；

第三获得模块，用于将所述样本图像输入所述对比模块，得到所述预测目标区域对应的预测全局特征信息；以及

训练模块，用于根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息、所述预测置信度信息和所述预测全局特征信息，训练所述深度学习模型，得到经训练的深度学习模型。

20.根据权利要求19所述的装置，其中，所述训练模块包括：

第五获得子模块，用于根据所述检测框标签、所述区域类别标签、所述置信度标签、所述预测检测框信息、所述预测区域类别信息和所述预测置信度信息，得到第一损失值；

第三确定子模块，用于根据所述检测框标签、所述区域类别标签和所述预测全局特征信息，确定正样本对信息和负样本对信息中的至少一个样本对信息；

第六获得子模块，用于根据所述正样本对信息和所述负样本对信息中的至少一个样本对信息，得到第二损失值；以及

调整子模块，用于根据所述第一损失值和所述第二损失值，对所述深度学习模型的参数进行调整。

21.根据权利要求20所述的装置，其中，所述样本图像包括第一样本子图像、第二样本子图像和第三样本子图像，其中第二样本子图像是通过对所述第一样本子图像进行数据增强得到的；所述第三确定子模块包括以下至少一项：

第七确定单元，用于将所述第一样本子图像中第三区域对应的预测全局特征信息和所述第一样本子图像中第四区域对应的预测全局特征信息确定为所述负样本对信息，所述第三区域对应的区域类别标签与所述第四区域对应的区域类别标签不同；

第八确定单元，用于将所述第一样本子图像中第三区域对应的预测全局特征信息和所述第二样本子图像中第五区域对应的预测全局特征信息确定为所述正样本对信息，所述第三区域对应的区域类别标签与所述第五区域对应的区域类别标签相同；以及

第九确定单元，用于将所述第一样本子图像中第三区域对应的预测全局特征信息和所述第三样本子图像中第六区域对应的预测全局特征信息确定为所述负样本对信息。

22.一种对象信息确定装置，包括：

第二获取模块，用于获取针对目标对象采集到的多个目标图像；

第二确定模块，用于利用如权利要求12-18中任一项所述的确定相似图像的装置，确定所述多个目标图像中的目标相似图像；以及

第三确定模块，用于根据所述目标相似图像，确定与所述目标相似图像相关的目标对象的对象信息。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7或8-10或11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7或8-10或11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据权利要求1-7或8-10或11中任一项所述的方法。

Images