CN115731407A - 图像比对方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提供一种图像比对方法、装置、计算机设备和存储介质，方法包括：获取第一图像和第二图像；分别对第一图像和第二图像进行特征提取，得到第一图像和第二图像的初始语义特征序列和初始纹理特征序列；对得到的特征序列进行配准处理，得到第一图像和第二图像的配准语义特征序列以及配准纹理特征序列；进而根据第一图像以及第二图像的配准语义特征序列和配准纹理特征序列，计算第一图像与第二图像之间的距离值，进而根据第一图像与第二图像间的距离值，确定第一图像与第二图像间的相似关系。采用本方法能够有效提高图像比对的精度及准确度。

Description

图像比对方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像比对方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的不断发展，图像比对技术在图像处理领域所占的比重越来越大。图像比对技术是指对不同图像或不同图像中的主体对象间相似程度进行判断，图像比对技术作为计算机视觉的一个重要分支，被广泛地应用到不同领域中，例如视频监控、图像检索等。但是，图像的光照条件、图像质量等因素均会影响图像比对结果，在复杂图像比对的场景下，图像比对技术存在精度低、图像比对结果准确性差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种图像比对方法、装置、计算机设备和存储介质，用以提高不同图像间的图像比对准确性。

第一方面，本申请提供一种图像比对方法，包括：

获取第一图像以及第二图像；

分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列和第一初始纹理特征序列、以及第二图像的第二初始语义特征序列和第二初始纹理特征序列；

对第一初始语义特征序列以及第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对第二初始语义特征序列以及第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列；

根据第一图像的第一配准语义特征序列和第一配准纹理特征序列以及第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取第一图像与第二图像之间的距离值；

根据距离值，确定第一图像与第二图像间的相似关系。

在本申请一些实施例中，对第一初始语义特征序列以及第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对第二初始语义特征序列以及第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列，包括：拼接第一初始语义特征序列以及第一初始纹理特征序列，获取第一图像的第一初始图像特征序列，并拼接第二初始语义特征序列以及第二初始纹理特征序列，获取第二图像的第二初始图像特征序列；使用预设训练后的特征配准模型，分别对第一初始图像特征序列以及第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列；分别对第一目标图像特征序列以及第二目标图像特征序列进行回归处理，得到与第一初始语义特征序列以及第一初始纹理特征序列对应的第一配准参数、以及与第二初始语义特征序列以及第二初始纹理特征序列对应的第二配准参数；根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列；根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列。

在本申请一些实施例中，第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列，包括：计算第一语义特征权重系数与第一初始语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一初始纹理特征序列的乘积，得到第一配准纹理特征序列；根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列的步骤，包括：计算第二语义特征权重系数与第二初始语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二初始纹理特征序列的乘积，得到第二配准纹理特征序列。

在本申请一些实施例中，使用预设训练后的特征配准模型，分别对第一初始图像特征序列以及第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列，包括：分别基于第一初始图像特征序列以及第二初始图像特征序列，获取第一初始图像特征序列在各个通道上的第一注意力权重信息、以及第二初始图像特征序列在各个通道上的第二注意力权重信息；分别基于第一注意力权重信息、以及第二注意力权重信息，确定第一目标图像特征序列以及第二目标图像特征序列。

在本申请一些实施例中，第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列，包括：基于第一初始语义特征序列以及第一初始纹理特征序列在第一初始图像特征序列的位置，从第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列；计算第一语义特征权重系数与第一目标语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一目标纹理特征序列的乘积，得到第一配准纹理特征序列；根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列的步骤，包括：基于第二初始语义特征序列以及第二初始纹理特征序列在第二初始图像特征序列的位置，从第二目标图像特征序列中确定第二目标语义特征序列以及第二目标纹理特征序列；计算第二语义特征权重系数与第二目标语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二目标纹理特征序列的乘积，得到第二配准纹理特征序列。

在本申请一些实施例中，获取第一图像以及第二图像，包括：获取待比对的目标图像以及参考图像；分别对目标图像以及参考图像进行对象检测，在目标图像确定第一目标区域以及在参考图像中确定第二目标区域，第一目标区域以及第二目标区域均包含图像主体对象；对目标图像中的第一目标区域进行图像裁剪得到第一图像，对参考图像中的第二目标区域进行图像裁剪得到第二图像；对第一图像以及第二图像进行尺寸调整，得到尺寸一致的第一图像以及第二图像。

在本申请一些实施例中，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列以及第二图像的第二初始语义特征序列，包括：使用预先训练的语义信息提取网络，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义信息以及第二图像的第二初始语义信息；分别将第一初始语义信息以及第二初始语义信息输入至预先训练的语义信息融合网络，并对语义信息融合网络中不同预设网络层所输出的特征信息进行拼接，得到第一图像的第一目标语义信息以及第二图像的第二目标语义信息；分别对第一目标语义信息以及第二目标语义信息进行归一化处理，得到第一初始语义特征序列以及第二初始语义特征序列。

在本申请一些实施例中，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列以及第二图像的第二初始语义特征序列，包括：分别对第一图像以及第二图像进行直方图均衡处理，得到像素灰度值均匀分布的第一图像以及像素灰度值均匀分布的第二图像；根据像素灰度值均匀分布的第一图像中落入到不同灰度值区间的像素点总量，以及第一图像的像素点总量，获取第一图像的第一初始纹理特征序列；根据像素灰度值均匀分布的第二图像中落入到不同灰度值区间的像素点总量，以及第二图像的像素点总量，获取第二图像的第二初始纹理特征序列。

第二方面，本申请提供一种图像比对装置，包括：

图像获取模块，用于获取第一图像以及第二图像；

特征提取模块，用于分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列和第一初始纹理特征序列、以及第二图像的第二初始语义特征序列和第二初始纹理特征序列；

特征配准模块，用于对第一初始语义特征序列以及第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对第二初始语义特征序列以及第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列；

距离获取模块，用于根据第一图像的第一配准语义特征序列和第一配准纹理特征序列以及第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取第一图像与第二图像之间的距离值；

相似关系获取模块，用于根据距离值，确定第一图像与第二图像间的相似关系。

第三方面，本申请还提供一种计算机设备，计算机设备包括：

一个或多个处理器；

存储器；以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现的图像比对方法。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行的图像比对方法中的步骤。

第五方面，本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面提供的方法。

上述图像比对方法、装置、计算机设备和存储介质，通过在获取第一图像的第一初始语义特征序列和第一初始纹理特征序列，以及第二图像的第二初始语义特征序列和第二初始纹理特征序列后，对第一图像的第一初始语义特征序列和第一初始纹理特征序列进行配准处理，以及对第二图像的第二初始语义特征序列和第二初始纹理特征序列进行配准处理，然后利用第一图像以及第二图像配准后的语义特征序列和纹理特征序列，计算第一图像与第二图像间的距离值，进而确定第一图像与第二图像间的相似关系。其中，语义特征序列保留了图像中的语义信息，而纹理特征序列强调图像的纹理分布规律，本申请在进行图像比对时，在引入语义特征序列以及纹理特征序列对图像中的特征信息进行多方面的描述的同时，还对语义特征序列和纹理特征序列进行配准处理，因而能有效提高图像比对的精度及图像比对结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中图像比对方法的场景示意图；

图2是本申请实施例中图像比对方法的流程示意图；

图3是本申请实施例中语义特征序列提取步骤的流程示意图；

图4是本申请实施例中另一个语义特征序列提取步骤的示意图；

图5是本申请实施例中纹理特征序列提取获取步骤的流程示意图；

图6是本申请实施例中原始直方图以及均衡直方图的示意图；

图7是本申请实施例中特征配准处理步骤的流程示意图；

图8是本申请实施例中另一个特征配准处理步骤的示意图；

图9是本申请实施例中另一个图像比对方法的流程示意图；

图10是本申请实施例中图像比对装置的结构示意图；

图11是本申请实施例中计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

在本申请实施例中，需要说明的是，本申请提供的图像比对方法由于是在计算机设备中执行，各计算机设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便计算机设备进行处理，具体此处不作赘述。

在本申请实施例中，还需说明的是，本申请实施例提供的图像比对方法，可以应用于如图1所示的图像比对系统中。其中，该图像比对系统包括终端100和服务器200，终端100可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。终端100具体可以是台式终端或移动终端，终端100具体还可以是手机、平板电脑、笔记本电脑等中的一种，又或是安装于监控现场用于信息采集、存储、传输的摄像头。服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(CloudComputing)的大量计算机或网络服务器构成。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个服务器200，可以理解的，该图像比对系统还可以包括一个或多个其他服务器，具体此处不作限定。另外，如图1所示，该图像比对系统还可以包括存储器，用于存储数据，如存储视频数据、图像数据等。

还需说明的是，图1所示图像比对系统的场景示意图仅仅是一个示例，本发明实施例描述的图像比对系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像比对系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

参阅图2，本申请实施例提供了一种图像比对方法，主要以该方法应用于上述图1中的服务器200来举例说明，该方法包括步骤S201至S205，具体如下：

S201，获取第一图像以及第二图像。

其中，第一图像以及第二图像可以是指需要进行图像对比的不同图像，也可以是指包含有待对比的主体对象的不同图像；第一图像以及第二图像，包括但不局限于图片、视频内的视频帧等，视频包括但不局限于短视频、长视频等格式，短视频可以是长度小于10分钟的视频，长视频可以是长度大于10分钟的视频。

具体地，本申请实施例提供的图像比对方法，可应用于需要对不同图像进行比对以获取图像相似程度的应用场景。服务器200执行图像比对任务之前，用户可通过终端100向服务器200发送比对请求，比对请求携带需要待比对的第一图像以及第二图像；服务器200在接收到比对请求之后，即可按照图像比对方法，获取第一图像以及第二图像的相似关系。又或者，服务器200执行图像比对任务之前，服务器200无需获取终端100发送的比对请求，此时的终端100是具有摄像功能的摄像机，终端100定时或实时采集获取到待比对的第一图像之后，即可发送至服务器200中，服务器200在接收到第一图像之后，即可按照图像比对方法，获取第一图像以及与预先存储的第二图像的相似关系。本实施例中涉及的第一图像和第二图像，可依据实际业务场景通过不同的手段获取，具体本申请不做限定。

进一步地，由于图像中的前景或背景往往包含有无用信息，导致图像比对准确性降低，本申请实施例提出的获取第一图像以及第二图像，可以是从待比对的目标图像以及参考图像中截取的图像主体对象所在的区域图像。

在一个实施例中，本步骤包括：获取待比对的目标图像以及参考图像；分别对目标图像以及参考图像进行对象检测，在目标图像确定第一目标区域以及在参考图像中确定第二目标区域，第一目标区域以及第二目标区域均包含图像主体对象；对目标图像中的第一目标区域进行图像裁剪得到第一图像，对参考图像中的第二目标区域进行图像裁剪得到第二图像；对第一图像以及第二图像进行尺寸调整，得到尺寸一致的第一图像以及第二图像。

其中，目标图像可以是指需待进行图像比对的图像，参考图像可以是指在进行图像比对时作为参考标准的图像。第一目标区域是指目标图像中包含图像主体对象的部分区域内所有像素的合集，是目标图像中的部分图像区域；第二目标区域是指参考图像中包含图像主体对象的部分区域内所有像素的合集，是参考图像中的部分图像区域，具体地，第一目标区域以及第二目标区域可以是矩形区域。

具体地，服务器200可以采用图像对象检测方法来对目标图像或参考图像进行主体对象检测，在目标图像或参考图像中确定主体对象所在的目标区域。

更具体地，服务器200可以采用预设训练后的对象检测模型识别目标图像或参考图像中的主体对象检测，并标注所输入图像中主体对象所在的位置信息(即第一目标区域以及第二目标区域)，其中，对象检测模型可以是经过训练的神经网络模型，具体可以是卷积神经网络，标注形式可以是边界框。在获取到目标图像中包含图像主体对象的第一目标区域、以及参考图像中包含图像主体对象的第二目标区域以后，从目标图像中截取第一目标区域以获得第一图像，并从参考图像中截取第二目标区域以获得第二图像，最后，对第一图像以及第二图像进行尺寸调整，将第一图像以及第二图像缩放至高度及宽度均统一的图像尺寸。通过对目标图像以及参考图像进行图像主体对象截取，以获取仅包含目标图像的主体对象的第一图像、以及仅包含参考图像的主体对象的第二图像，可减少目标图像以及参考图像中前景或背景中无用信息对图像比对结果的影响，同时，通过对截取得到的第一图像以及第二图像进行尺寸调整，便于后续图像特征的统一量化提取，提高图像比对的鲁棒性。

需要说明的是，缩放后的图像尺寸可根据服务器200的算力大小选择，以匹配服务器200的算力，使得本申请的图像比对方法即可以部署于算力高的服务器端，同时也可以部署于算力较小的移动端，具备高灵活的平台适应性。

S202，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列和第一初始纹理特征序列、以及第二图像的第二初始语义特征序列和第二初始纹理特征序列。

其中，第一初始语义特征序列是指从第一图像中获取到的高层语义特征信息，第二初始语义特征序列是指从第二图像中获取到的高层语义特征信息；具体地，可以通过神经网络模型获取第一图像的第一初始语义特征序列以及第二图像的第二初始语义特征序列，例如，可以利用卷积神经网络模型对第一图像以及第二图像进行多次卷积处理，以获取第一图像的第一初始语义特征序列以及第二图像的第二初始语义特征序列。

其中，第一初始纹理特征序列是指从第一图像中获取到的有关边缘信息、纹理信息的特征序列；第二初始纹理特征信息是指从第二图像中获取到的有关边缘信息、纹理信息的特征序列。具体地，可以通过灰度共生矩阵法、图像的自相关函数等图像纹理特征提取算法获取图像的初始纹理特征序列；也可以通过对图像进行直方图均衡化处理后，获取图像中不同像素点的像素值落入到不同灰度值区间的统计特征作为图像的初始纹理特征序列，可以理解的是，这里阐述的“图像的初始纹理特征序列”，包括第一图像的第一初始纹理特征序列或第二图像的第二初始纹理特征序列。

具体地，本申请实施例提出的图像比对方法，在确定到待比对的第一图像以及第二图像后，通过特征提取分别获取第一图像以及第二图像的语义特征序列以及纹理特征序列，后续利用语义特征序列以及纹理特征序列计算第一图像以及第二图像间的相似程度，其中，语义特征序列保留了图像深层语义信息，纹理特征序列保留了图像纹理分布规律，实现对图像进行多方面的描述，特征信息丰富，应用到复杂图像的比对场景中有效提高图像比对的精度及准确度。本实施例中的语义特征序列提取步骤以及纹理特征序列提取步骤将在下文详细说明。

在一个实施例中，如图3所示，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列以及第二图像的第二初始语义特征序列的步骤，包括：S301，使用预先训练的语义信息提取网络，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义信息以及第二图像的第二初始语义信息；S302，分别将第一初始语义信息以及第二初始语义信息输入至预先训练的语义信息融合网络，并对语义信息融合网络中不同预设网络层所输出的特征信息进行拼接，得到第一图像的第一目标语义信息以及第二图像的第二目标语义信息；S303，分别对第一目标语义信息以及第二目标语义信息进行归一化处理，得到第一初始语义特征序列以及第二初始语义特征序列。

其中，预先训练的语义信息提取网络包括多个卷积层，语义信息提取网络可以通过卷积层对第一图像或第二图像进行特征抽取，以提取出第一图像或第二图像中的语义信息；预先训练的语义信息融合网络包括多个全连接层，例如语义信息融合网络可以是多层感知机网络(Multi-layer perceptron neural networks，MLP)，语义信息融合网络用于对语义信息提取网络所提取到的语义信息进行进一步的特征抽取，以获取更高维度的语义特征信息。

具体地，如图4所示，服务器200在获取到第一图像后，将第一图像输入至预先训练的语义信息提取网络401，通过语义信息提取网络401中的卷积层获取第一图像中的语义信息(即第一初始语义信息)；然后，将第一图像的第一初始语义信息输入至语义信息融合网络402，通过语义信息融合网络402中的全连接层获取第一图像中更高维度的语义信息，其中，语义信息融合网络包括有多层全连接层，每一层的全连接层所输出的特征序列表示不同层级的语义信息，服务器通过抽取语义信息融合网络中不同层级网络所输出的特征信息，并对所抽取出来的特征信息按照通道进行拼接(即concat)后，得到第一目标语义信息；最后，对第一目标语义信息进行归一化处理，得到第一图像的第一初始语义特征序列，具体地，可以通过Sigmoid函数对第一目标语义信息或第二目标语义信息进行归一化处理。需要说明的是，获取第二图像的第二初始语义特征序列的过程与获取第一图像的第一初始语义特征序列的过程是一样的，在此不再赘述。

在一个实施例中，如图5所示，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始纹理特征序列以及第二图像的第二初始纹理特征序列的步骤，包括：S501，分别对第一图像以及第二图像进行直方图均衡处理，得到像素灰度值均匀分布的第一图像以及像素灰度值均匀分布的第二图像；S502，根据像素灰度值均匀分布的第一图像中落入到不同灰度值区间的像素点总量，以及第一图像的像素点总量，获取第一图像的第一初始纹理特征序列；S503，根据像素灰度值均匀分布的第二图像中落入到不同灰度值区间的像素点总量，以及第二图像的像素点总量，获取第二图像的第二初始纹理特征序列。

其中，直方图均衡处理可以是指将由不同灰度值的像素点所构成的图像，转换为不同灰度值的像素点统计的原始直方图，然后再对通过对原始直方图的均衡化处理来修正图像中的像素灰度值，使得图像中落在不同灰度区间的像素点数量尽可能平均、且每个灰度区间内均有像素；其中，均衡化处理后可得到均衡直方图，如图6所示，图6为本申请实施例中原始直方图以及均衡直方图的示意图，直方图均衡处理可增强图像的边缘、纹理等信息特征，并且有效减少光照明暗与反光模糊等对图像比对准确性的影响。

具体地，服务器200对第一图像进行直方图均衡处理，使得第一图像中的落到不同灰度值区间的像素点数均匀分布，然后将灰度值分为N个灰度值区间，进而依次统计经过直方图均衡处理后的第一图像中，落到不同灰度值区间的像素点的个数，再将各个灰度值区间的像素点总量与第一图像的像素点总数量的比值，确定为第一图像的第一初始纹理特征序列。例如，像素点的灰度值取值为0到255，将0到255均匀划分N_stripe为个区间，即得到N_stripe个灰度值区间，然后依次灰度值统计落到N个灰度值区间内的像素点的个数M_i，对于任意一个灰度值区间，其对应的特征信息为M_i/(W/H)(i＝1,2,...,N_stripe)，其中，W为第一图像在宽度上的像素点数量，H为第一图像在高度上的像素点数量，最终得到N_stripe为维度的第一初始纹理特征序列。

进一步地，还可以以色彩通道维度为基准，将第一图像分离为R通道、B通道、以及G通道下的灰度图，进而分别对第一图像的R通道的灰度图、G通道的灰度图、B通道的灰度图进行直方图均衡处理后，分别获取在不同色彩通道下的特征信息，最终获得3*N维度的第一初始纹理特征序列。

可以理解的是，获取第二图像的第二初始纹理特征序列的过程与获取第一图像的第一初始语义特征序列的过程是一样的，在此不再赘述。

S203，对第一初始语义特征序列以及第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对第二初始语义特征序列以及第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列。

其中，第一配准语义特征序列以及第一配准纹理特征序列，可以是指对第一初始语义特征序列以及第一初始纹理特征序列进行配准处理后得到的特征信息；第二配准语义特征序列以及第二配准纹理特征序列，是指对第二初始语义特征序列以及第二初始纹理特征序列进行配准处理后得到的特征信息。

其中，本申请实施例提出的图像比对方法，采用基于图像的语义特征序列以及纹理特征序列的距离度量确定不同图像间相似程度，但是语义特征序列与纹理特征序列这两个特征序列的特征维度不同，描述图像特征信息的语义层级不同，在对第一图像以及第二图像进行图像比对过程中，若直接利用第一配准语义特征序列以及第一配准纹理特征序列与第二初始语义特征序列以及第二初始纹理特征序列进行距离匹配，图像比对结果准确性及鲁棒性差。因此，通过对语义特征序列以及纹理特征序列进行配准，使得两个特征序列在同一语义层级表示图像特征信息，后续通过配准后的第一配准语义信息和第一配准纹理信息以及配准后的第二配准语义信息和第二配准纹理信息进行距离匹配，以确定的第一图像与第二图像间的相似程度，以提高图像比对的准确性及鲁棒性。本实施例中的特征配准处理步骤将在下文详细说明。

具体地，对语义特征序列与纹理特征序列这两个特征序列进行配准，可以理解为对这两个特征序列进行归一化处理，即为语义特征序列与纹理特征序列设置归一化处理的权重参数，但是当其中一种特征序列权重参数设置过大，其所占比例较大时，将有可能丢失另一种特征序列中有助于图像比对的特征信息，所以合适的权重参数是配准的关键参数。

在一个实施例中，如图7所示，本步骤包括：S701，拼接第一初始语义特征序列以及第一初始纹理特征序列获取第一图像的第一初始图像特征序列，并拼接第二初始语义特征序列以及第二初始纹理特征序列获取第二图像的第二初始图像特征序列；S702，使用预设训练后的特征配准模型，分别对第一初始图像特征序列以及第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列；S703，分别对第一目标图像特征序列以及第二目标图像特征序列进行回归处理，得到与第一初始语义特征序列以及第一初始纹理特征序列对应的第一配准参数、以及与第二初始语义特征序列以及第二初始纹理特征序列对应的第二配准参数；S704，根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列；S705，根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列。

其中，预先训练的特征配准模型用于将属于不同语义层级的语义特征序列以及纹理特征序列进行初步配准。具体地，特征配准模型包括多层全连接层，特征配准模型通过全连接层对拼接的语义特征序列以及纹理特征序列进行的特征抽取，并通过抽取到的特征信息增强语义特征序列或纹理特征序列中有助于图像比对的特征信息并抑制图像比对无关的特征信息，使得语义特征序列及纹理特征序列在同一语义层级表达图像信息。

其中，第一配准参数可以包括分别与第一图像的语义特征序列及纹理特征序列对应的权重系数；第二配准参数可以包括分别与第二图像的语义特征序列及纹理特征序列对应的权重系数。具体地，通过第一配准参数对第一初始语义特征序列以及第一初始纹理特征序列进行二次配准，以及通过第二配准参数对第二初始语义特征序列以及第二初始纹理特征序列进行二次配准。

具体地，如图8所示，服务器200可将第一图像的第一初始语义特征序列以及第一初始纹理特征序列输入至一层全连接层801，通过全连接层801对第一初始语义特征序列和第一初始纹理特征序列进行拼接，得到第一初始图像特征序列804，然后将第一初始图像特征序列804输入至预设训练后的特征配准模型802，通过特征配准模型802对拼接得到的第一初始图像特征序列804进行特征配准处理，以获取第一目标图像特征序列806。可以理解的是，获取第二图像的第二目标图像特征序列的过程与获取第一图像的第一目标图像特征序列的过程是一样的，在此不再赘述。在得到第一目标图像特征序列后，通过对第一目标图像特征进行回归处理，以获取第一图像中语义特征序列与纹理特征序列间的第一配准参数，即得到分别与语义特征序列与纹理特征序列对应的权重系数，具体地，如图8所示，可以通过由多层全连接层构成的回归网络803对第一目标图像特征806进行回归处理；更具体地，回归网络803中的全连接层的输出逐层递减，以保证提取到更高维度的语义信息，有效减少参数量，同时避免因模型参数过多而导致的过拟合情况发生。在得到后第一配准参数，可利用第一配准参数对第一初始语义特征序列以及第一初始纹理特征序列进行配准，以第一配准语义特征序列以及第一配准纹理特征序列。可以理解的是，获取第二配准参数的过程与获取第一配准参数的过程是一样的，在此不再赘述。本申请实施例中通过拼接语义特征序列以及纹理特征序列，实现语义特征序列以及纹理特征序列进行整合，后续从整合得到的图像特征序列提取对语义特征序列与纹理特征序列进行配准的参数，该配准参数根据不同图像的图像特征信息进行自适应调整，以适应不同的图像场景、图像的光照条件、图像质量等，使得后续图像比对的精度及鲁棒性大大提高。本实施例中通过特征配准模型特征配准处理的步骤、以及在利用配准参数对语义特征序列以及纹理特征序列进行配准处理的步骤将在下文详细说明。

在一个实施例中，使用预设训练后的特征配准模型，分别对第一初始图像特征序列以及第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列的步骤，包括：分别基于第一初始图像特征序列以及第二初始图像特征序列，获取第一初始图像特征序列在各个通道上的第一注意力权重信息、以及第二初始图像特征序列在各个通道上的第二注意力权重信息；分别基于第一注意力权重信息、以及第二注意力权重信息，确定第一目标图像特征序列以及第二目标图像特征序列。

其中，第一注意力权重信息，表示在第一初始图像特征序列中不同通道的特征信息对图像语义信息的表达能力，即在第一初始图像特征序列中某一通道的第一注意力权重信息的大小，与在第一初始图像特征序列中该通道的特征信息的决策能力有关。也就是说，在第一初始图像特征序列中某一通道的特征信息的决策能力越大，越有助于提高图像比对的准确性及鲁棒性，则在第一初始图像特征序列中该通道的第一注意力权重信息越大。同样的，第二注意力权重信息，表示在第二初始图像特征序列中不同通道的特征信息对图像语义信息的表达能力。在数据表现上，第一注意力权重信息包括第一初始图像特征序列在各个通道上的乘数因子，在第一初始图像特征序列中某一通道的特征信息的决策能力越大，则在第一初始图像特征序列中该通道的乘数因子越大；第二注意力权重信息包括第二初始图像特征序列在各个通道上的乘数因子，在第二初始图像特征序列中某一通道的特征信息的决策能力越大，则在第二初始图像特征序列中该通道的乘数因子越大。

具体地，如图8所示，服务器可以将第一初始图像特征序列804输入至由全连接层构成的特征配准模型中，通过全连接层对第一初始图像特征序804进行特征抽取，以获取与第一目标图像特征序列对应的第一注意力权重信息805。其中，特征配准模型802中输入层与输出层的核的数量与第一初始图像特征序列804的通道数一致，即特征配准模型802中所输出的第一注意力权重信息805的数据维度与第一初始图像特征序列804的数据维度一致。例如，对第一图像进行特征提取得到的第一初始语义特征序列的数据维度为N_semantics，其中，N_semantics≥1，第一初始纹理特征序列的数据维度为N_stripe，其中，N_stripe≥1；两者拼接后得到的第一初始图像特征序列的维度为N_semantics与N_stripe的和值，则第一注意力权重信息的数据维度也是N_semantics与N_stripe的和值，第一目标图像特征序列的数据维度也是N_semantics与N_stripe的和值。后续，将第一注意力权重信息中各个通道的乘数因子，与第一初始图像特征序列中对应通道的特征信息进行相乘，使得第一初始图像特征序列中部分通道的特征信息得到不同程度的增强，而其余通道的特征信息得到不同程度的抑制，即最终得到的第一目标图像特征序列中更能表达第一图像中的特征信息，使得后续的数据处理更关注于重要且具有决策意义的数据段的目的。

在一个实施例中，第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列，包括：计算第一语义特征权重系数与第一初始语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一初始纹理特征序列的乘积，得到第一配准纹理特征序列；根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列的步骤，包括：计算第二语义特征权重系数与第二初始语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二初始纹理特征序列的乘积，得到第二配准纹理特征序列。

具体地，服务器确定到第一配准参数中的第一语义特征权重系数以及第一纹理特征权重系数后，可通过第一语义特征权重系数以及第一纹理特征权重系数对第一初始语义特征序列以及第一初始纹理特征序列进行配准，同样的，在确定到第二配准参数中的第二语义特征权重系数以及第二纹理特征权重系数，通过第二语义特征权重系数以及第二纹理特征权重系数对第二初始语义特征序列以及第二初始纹理特征序列进行配准。利用语义特征序列以及纹理特征对应的权重系数对语义特征序列以及纹理特征序列进行归一化处理，使得两个特征序列在同一语义层级表示图像特征信息，后续通过配准后的语义信息以及纹理信息进行距离匹配，以确定的不同图像间的相似程度，有效提高图像比对结果准确性及鲁棒性。

在一个实施例中，根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列，包括：基于第一初始语义特征序列以及第一初始纹理特征序列在第一初始图像特征序列的位置，从第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列；计算第一语义特征权重系数与第一目标语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一目标纹理特征序列的乘积，得到第一配准纹理特征序列；根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列的步骤，包括：基于第二初始语义特征序列以及第二初始纹理特征序列在第二初始图像特征序列的位置，从第二目标图像特征序列中确定第二目标语义特征序列以及第二目标纹理特征序列；计算第二语义特征权重系数与第二目标语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二目标纹理特征序列的乘积，得到第二配准纹理特征序列。

其中，如上所述，特征配准模型中所输出的第一注意力权重信息的数据维度与第一初始图像特征序列的数据维度一致，后续第一目标图像特征序列通过第一注意力权重信息中各个通道的乘数因子与第一初始图像特征序列中对应通道的特征信息进行相乘而获得，即第一目标图像特征序列的数据维度与第一初始图像特征序列的数据维度也是一致的。因而，服务器200可基于第一初始语义特征序列以及第一初始纹理特征序列在第一初始图像特征序列的位置，从第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列；同时，第一目标图像特征序列中更能表达第一图像的特征信息的数据段得到增强，而与第一图像的特征无关的数据段得到抑制，即从第一目标图像特征序列中获取的第一目标语义特征序列以及第一目标纹理特征序列得到初步配准。同样的，从第二目标图像特征序列中获取的定第二目标语义特征序列以及第二目标纹理特征序列得到初步配准。

具体地，在服务器200从第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列后，通过第一语义特征权重系数以及第一纹理特征权重系数对第一目标语义特征序列以及第一目标纹理特征序列进行二次配准，得到第一配准语义特征序列以及第一配准纹理特征序列，使得两个特征序列在同一语义层级表示图像特征信息，有效提高图像比对结果准确性及鲁棒性。可以理解的是，获取第二配准语义特征序列以及第二配准纹理特征序列的过程与获取第一配准语义特征序列以及第一配准纹理特征序列的过程是一样的，在此不再赘述。

S204，根据第一图像的第一配准语义特征序列和第一配准纹理特征序列以及第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取第一图像与第二图像之间的距离值。

具体地，服务器200可以获取第一配准语义特征序列与第二配准语义特征序列间的距离值以及第一配准纹理特征序列与第二配准纹理特征序列间的距离值，然后根据语义特征间的距离值与纹理特征间的距离值，确定第一图像与第二图像之间的距离值。

进一步地，服务器200可以通过下述公式获取任意第一图像I_i与第二图像I_j的距离值：

其中，S_comparison表示第一图像I_i与第二图像I_j间的距离值，F_{integrated_tics-Ii}表示N_semantics维度的第一图像的第一配准语义特征序列，F_{integrated_semantics-Ij}表示N_semantics维度的第二图像的第二配准语义特征序列，F_{integrated_stripe-Ii}表示N_stripe维度的第一图像的第一配准纹理特征序列，F_{integrated_stripe-Ij}表示N_stripe维度的第二图像的第二配准纹理特征序列。

更进一步地，服务器200可以通过下述公式获取任意第一图像I_i与第二图像I_j的距离值：

其中，S_comparison表示第一图像I_i与第二图像I_j间的距离值，F_semantics-Ii表示N_semantics维度的第一图像I_i的第一目标语义特征序列，F_semantics-Ij表示N_semantics维度的第二图像I_j的第二目标语义特征序列，F_stripe-Ii表示N_stripe维度的第一图像I_i的第一目标纹理特征序列，F_stripe-Ij表示N_stripe维度的第二图像I_j的第二目标纹理特征序列，α_i表示第一图像I_i的第一语义特征权重系数，α_j表示第二图像I_j的第二语义特征权重系数，β_i表示第一图像I_i的第一纹理特征权重系数，β_j表示第二图像I_j的第二纹理特征权重系数。

S205，根据距离值，确定第一图像与第二图像间的相似关系。

其中，距离值越小，第一图像与第二图像间的相似度越高，距离值越大，第一图像与第二图像间的相似度越小。服务器200获取到第一图像与第二图像间的距离值后，根据该距离值确定第一图像以第二图像间的相似关系，具体地，可以预先设置相似阈值，当第一图像与第二图像间的距离值小于或等于相似阈值，则第一图像与第二图像为相似图像，当第一图像与第二图像间的距离值大于相似阈值，则第一图像与第二图像为不相似图像。

上述图像比对方法中，在获取第一图像的第一初始语义特征序列和第一初始纹理特征序列以及第二图像的第二初始语义特征序列和第二初始纹理特征序列后，对第一图像的第一初始语义特征序列和第一初始纹理特征序列进行配准处理，以及对第二图像的第二初始语义特征序列和第二初始纹理特征序列进行配准处理，然后利用第一图像以及第二图像配准后的语义特征序列和纹理特征序列，计算第一图像与第二图像间的距离值，进而确定第一图像与第二图像间的相似关系。其中，语义特征序列保留了图像中的语义信息，而纹理特征序列强调图像的纹理分布规律，本申请在进行图像比对时，在引入语义特征序列以及纹理特征序列对图像中的特征信息进行多方面的描述的同时，还对携带不同层级信息的语义特征序列以及纹理特征序列进行配准处理，有效提高图像比对的精度及图像比对结果的准确性。

在一个实施例中，如图9所示，图像比对方法包括：

S901，获取待比对的目标图像以及参考图像；

S902，分别对目标图像以及参考图像进行对象检测，在目标图像确定第一目标区域以及在参考图像中确定第二目标区域，第一目标区域以及第二目标区域均包含图像主体对象；

S903，对目标图像中的第一目标区域进行图像裁剪得到第一图像，对参考图像中的第二目标区域进行图像裁剪得到第二图像；

S904，对第一图像以及第二图像进行尺寸调整，得到尺寸一致的第一图像以及第二图像；

S905，使用预先训练的语义信息提取网络，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义信息以及第二图像的第二初始语义信息；

S906，分别将第一初始语义信息以及第二初始语义信息输入至预先训练的语义信息融合网络，并对语义信息融合网络中不同预设网络层所输出的特征信息进行拼接，得到第一图像的第一目标语义信息以及第二图像的第二目标语义信息；

S907，分别对第一目标语义信息以及第二目标语义信息进行归一化处理，得到第一初始语义特征序列以及第二初始语义特征序列；

S908，分别对第一图像以及第二图像进行直方图均衡处理，得到像素灰度值均匀分布的第一图像以及像素灰度值均匀分布的第二图像；

S909，根据像素灰度值均匀分布的第一图像中落入到不同灰度值区间的像素点总量，以及第一图像的像素点总量，获取第一图像的第一初始纹理特征序列；

S910，根据像素灰度值均匀分布的第二图像中落入到不同灰度值区间的像素点总量，以及第二图像的像素点总量，获取第二图像的第二初始纹理特征序列；

S911，拼接第一初始语义特征序列以及第一初始纹理特征序列获取第一图像的第一初始图像特征序列，并拼接第二初始语义特征序列以及第二初始纹理特征序列获取第二图像的第二初始图像特征序列；

S912，分别基于第一初始图像特征序列以及第二初始图像特征序列，获取第一初始图像特征序列在各个通道上的第一注意力权重信息、以及第二初始图像特征序列在各个通道上的第二注意力权重信息；

S913，分别基于第一注意力权重信息、以及第二注意力权重信息，确定第一目标图像特征序列以及第二目标图像特征序列；

S914，分别对第一目标图像特征序列以及第二目标图像特征序列进行回归处理，得到与第一初始语义特征序列以及第一初始纹理特征序列对应的第一配准参数、以及与第二初始语义特征序列以及第二初始纹理特征序列对应的第二配准参数；

其中，第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；

S915，基于第一初始语义特征序列以及第一初始纹理特征序列在第一初始图像特征序列的位置，从第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列；

S916，计算第一语义特征权重系数与第一目标语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一目标纹理特征序列的乘积，得到第一配准纹理特征序列；

S917，基于第二初始语义特征序列以及第二初始纹理特征序列在第二初始图像特征序列的位置，从第二目标图像特征序列中确定第二目标语义特征序列以及第二目标纹理特征序列；

S918，计算第二语义特征权重系数与第二目标语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二目标纹理特征序列的乘积，得到第二配准纹理特征序列；

S919，根据第一图像的第一配准语义特征序列和第一配准纹理特征序列以及第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取第一图像与第二图像之间的距离值；

S920，根据距离值，确定第一图像与第二图像间的相似关系。

以本实施例应用到图像检索场景为例，参考图像可以为待进行图像检索的图像，目标图像为图像数据库中的图像。服务器200获取到用户输入的参考图像后，通过图像比对方法获取参考图像与服务器图像数据库中的目标图像间的相似关系，以便从服务器中图像数据库中查找与参考图像相似的图像。例如，用户可输入一张老虎图像至服务器中，服务器200获取到用户输入的老虎图像后，将该老虎图像作为参考图像，通过图像比对方法获取该老虎图像与服务器图像数据库中的不同图像间的相似关系，其中，服务器图像数据库中的图像可以是不同的动物图像，最终，服务器可输出服务器图像数据库中包含有“老虎”的图像，作为用户可输入的老虎图像的检索结果。

具体地，服务器200在获取到参考图像以及目标图像后，分别从参考图像以及目标图像中截取包含有图像主体对象的第二图像以及第一图像，以减少参考图像以及目标图像中前景信息或背景信息对图像比对结果的影响。然后，分别获取第二图像以及第一图像的语义特性序列以及纹理特征序列，同时，通过对每张图像的语义特性序列以及纹理特征序列进行自适应配准，以获取配准后的语义特性序列以及纹理特征序列，进而根据配准后的语义特性序列以及纹理特征序列计算第一图像与第二图像间的距离值，获取第一图像与以及第二图像间的相似关系。

可以理解的是，第一图像与以及第二图像间的相似关系，即目标图像间参考图像间的相似关系，最后根据该相似关系，从服务器中图像数据库中查找得到与参考图像相似的目标图像。由此，与现有技术中的基于HOG特征的图像匹配方法相比，现有技术的基于特征点进行图像比对方法是对图像计算方向梯度直方图，形成特征序列后进行特征匹配的方案，而本申请实施例中在进行图像比对时，引入语义特征序列以及纹理特征序列对图像中的特征信息进行多方面的描述，能够有效提高图像比对的精度及图像比对结果的准确性。同时，现有技术是利用局部图像特征检测与描述算子进行图像纹理特征之间的匹配，只适用于具有二维平移变换的图像比对，且对光线明暗、图像反光与模糊等因素敏感，鲁棒性差。

上述图像比对方法，服务器通过在进行图像比对时，在引入语义特征序列以及纹理特征序列对图像中的特征信息进行多方面的描述的同时，还对携带不同层级信息的语义特征序列以及纹理特征序列进行配准处理，能够有效减少光照明暗与反光模糊等对图像比对准确性的影响，进而有效提高图像比对的精度及鲁棒性。

为了更好实施本申请实施例提供的图像比对方法，在本申请实施例所提图像比对方法的基础之上，本申请实施例中还提供一种图像比对装置，如图10所示，图像比对装置1000包括：

图像获取模块1001，用于获取第一图像以及第二图像；

特征获取模块1002，用于分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义特征序列和第一初始纹理特征序列、以及第二图像的第二初始语义特征序列和第二初始纹理特征序列；

特征匹配模块1003，用于对第一初始语义特征序列以及第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对第二初始语义特征序列以及第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列；

距离获取模块1004，用于根据第一图像的第一配准语义特征序列和第一配准纹理特征序列以及第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取第一图像与第二图像之间的距离值；

相似关系获取模块1005，用于根据距离值，确定第一图像与第二图像间的相似关系。

在本申请一些实施例中，特征匹配模块1003还用于拼接第一初始语义特征序列以及第一初始纹理特征序列获取第一图像的第一初始图像特征序列，并拼接第二初始语义特征序列以及第二初始纹理特征序列获取第二图像的第二初始图像特征序列；使用预设训练后的特征配准模型，分别对第一初始图像特征序列以及第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列；分别对第一目标图像特征序列以及第二目标图像特征序列进行回归处理，得到与第一初始语义特征序列以及第一初始纹理特征序列对应的第一配准参数、以及与第二初始语义特征序列以及第二初始纹理特征序列对应的第二配准参数；根据第一配准参数、第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列；根据第二配准参数、第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列。

在本申请一些实施例中，第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；特征匹配模块1003还用于：计算第一语义特征权重系数与第一初始语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一初始纹理特征序列的乘积，得到第一配准纹理特征序列；计算第二语义特征权重系数与第二初始语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二初始纹理特征序列的乘积，得到第二配准纹理特征序列。

在本申请一些实施例中，特征匹配模块1003还用于：分别基于第一初始图像特征序列以及第二初始图像特征序列，获取第一初始图像特征序列在各个通道上的第一注意力权重信息、以及第二初始图像特征序列在各个通道上的第二注意力权重信息；分别基于第一注意力权重信息、以及第二注意力权重信息，确定第一目标图像特征序列以及第二目标图像特征序列。

在本申请一些实施例中，第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；特征匹配模块1003还用于：基于第一初始语义特征序列以及第一初始纹理特征序列在第一初始图像特征序列的位置，从第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列；计算第一语义特征权重系数与第一目标语义特征序列的乘积，得到第一配准语义特征序列，计算第一纹理特征权重系数与第一目标纹理特征序列的乘积，得到第一配准纹理特征序列；基于第二初始语义特征序列以及第二初始纹理特征序列在第二初始图像特征序列的位置，从第二目标图像特征序列中确定第二目标语义特征序列以及第二目标纹理特征序列；计算第二语义特征权重系数与第二目标语义特征序列的乘积，得到第二配准语义特征序列，计算第二纹理特征权重系数与第二目标纹理特征序列的乘积，得到第二配准纹理特征序列。

在本申请一些实施例中，图像获取模块1001还用于获取待比对的目标图像以及参考图像；分别对目标图像以及参考图像进行对象检测，在目标图像确定第一目标区域以及在参考图像中确定第二目标区域，第一目标区域以及第二目标区域均包含图像主体对象；对目标图像中的第一目标区域进行图像裁剪得到第一图像，对参考图像中的第二目标区域进行图像裁剪得到第二图像；对第一图像以及第二图像进行尺寸调整，得到尺寸一致的第一图像以及第二图像。

在本申请一些实施例中，特征获取模块1002还用于使用预先训练的语义信息提取网络，分别对第一图像以及第二图像进行特征提取，得到第一图像的第一初始语义信息以及第二图像的第二初始语义信息；分别将第一初始语义信息以及第二初始语义信息输入至预先训练的语义信息融合网络，并对语义信息融合网络中不同预设网络层所输出的特征信息进行拼接，得到第一图像的第一目标语义信息以及第二图像的第二目标语义信息；分别对第一目标语义信息以及第二目标语义信息进行归一化处理，得到第一初始语义特征序列以及第二初始语义特征序列。

在本申请一些实施例中，特征获取模块1002还用于分别对第一图像以及第二图像进行直方图均衡处理，得到像素灰度值均匀分布的第一图像以及像素灰度值均匀分布的第二图像；根据像素灰度值均匀分布的第一图像中落入到不同灰度值区间的像素点总量，以及第一图像的像素点总量，获取第一图像的第一初始纹理特征序列；根据像素灰度值均匀分布的第二图像中落入到不同灰度值区间的像素点总量，以及第二图像的像素点总量，获取第二图像的第二初始纹理特征序列。

上述实施例中，在进行图像比对时，在引入语义特征序列以及纹理特征序列对图像中的特征信息进行多方面的描述的同时，还对携带不同层级信息的语义特征序列以及纹理特征序列进行配准处理，有效提高图像比对的精度及图像比对结果的准确性。

在本申请一些实施例中，图像比对装置1000可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像比对装置1000的各个程序模块，比如，图10所示的图像获取模块1001、特征获取模块1002、特征匹配模块1003、距离获取模块1004以及相似关系获取模块1005。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像比对方法中的步骤。

例如，图11所示的计算机设备可以通过如图10所示的图像比对装置1000中的图像获取模块1001执行步骤S201。计算机设备可通过特征获取模块1002执行步骤S202。计算机设备可通过特征匹配模块1003执行步骤S203。计算机设备可通过距离获取模块1004执行步骤S204。计算机设备可通过相似关系获取模块1005执行步骤S205。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种图像比对方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请一些实施例中，提供了一种计算机设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述图像比对方法的步骤。此处图像比对方法的步骤可以是上述各个实施例的图像比对方法中的步骤。

在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行上述图像比对方法的步骤。此处图像比对方法的步骤可以是上述各个实施例的图像比对方法中的步骤。

本邻域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上对本申请实施例所提供的一种图像比对方法、装置、计算机设备和质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像比对方法，其特征在于，包括：

获取第一图像以及第二图像；

分别对所述第一图像以及所述第二图像进行特征提取，得到所述第一图像的第一初始语义特征序列和第一初始纹理特征序列、以及所述第二图像的第二初始语义特征序列和第二初始纹理特征序列；

对所述第一初始语义特征序列以及所述第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对所述第二初始语义特征序列以及所述第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列；

根据所述第一图像的第一配准语义特征序列和第一配准纹理特征序列以及所述第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取所述第一图像与所述第二图像之间的距离值；

根据所述距离值，确定所述第一图像与所述第二图像间的相似关系。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一初始语义特征序列以及所述第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对所述第二初始语义特征序列以及所述第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列，包括：

拼接所述第一初始语义特征序列以及所述第一初始纹理特征序列，获取所述第一图像的第一初始图像特征序列，并拼接所述第二初始语义特征序列以及所述第二初始纹理特征序列，获取所述第二图像的第二初始图像特征序列；

使用预设训练后的特征配准模型，分别对所述第一初始图像特征序列以及所述第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列；

分别对所述第一目标图像特征序列以及所述第二目标图像特征序列进行回归处理，得到与所述第一初始语义特征序列以及第一初始纹理特征序列对应的第一配准参数、以及与所述第二初始语义特征序列以及第二初始纹理特征序列对应的第二配准参数；

根据所述第一配准参数、所述第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列；

根据所述第二配准参数、所述第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列。

3.根据权利要求2所述的方法，其特征在于，所述第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，所述第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；

所述根据所述第一配准参数、所述第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列，包括：

计算所述第一语义特征权重系数与所述第一初始语义特征序列的乘积，得到第一配准语义特征序列，计算所述第一纹理特征权重系数与所述第一初始纹理特征序列的乘积，得到第一配准纹理特征序列；

所述根据所述第二配准参数、所述第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列的步骤，包括：

计算所述第二语义特征权重系数与所述第二初始语义特征序列的乘积，得到第二配准语义特征序列，计算所述第二纹理特征权重系数与所述第二初始纹理特征序列的乘积，得到第二配准纹理特征序列。

4.根据权利要求2所述的方法，其特征在于，所述使用预设训练后的特征配准模型，分别对所述第一初始图像特征序列以及所述第二初始图像特征序列进行特征配准处理，得到第一目标图像特征序列以及第二目标图像特征序列，包括：

分别基于所述第一初始图像特征序列以及所述第二初始图像特征序列，获取所述第一初始图像特征序列在各个通道上的第一注意力权重信息、以及所述第二初始图像特征序列在各个通道上的第二注意力权重信息；

分别基于所述第一注意力权重信息、以及所述第二注意力权重信息，确定所述第一目标图像特征序列以及所述第二目标图像特征序列。

5.根据权利要求4所述的方法，其特征在于，所述第一配准参数包括第一语义特征权重系数以及第一纹理特征权重系数，所述第二配准参数包括第二语义特征权重系数以及第二纹理特征权重系数；

所述根据所述第一配准参数、所述第一初始语义特征序列以及第一初始纹理特征序列，获取第一配准语义特征序列以及第一配准纹理特征序列，包括：

基于所述第一初始语义特征序列以及所述第一初始纹理特征序列在所述第一初始图像特征序列的位置，从所述第一目标图像特征序列中确定第一目标语义特征序列以及第一目标纹理特征序列；

计算所述第一语义特征权重系数与所述第一目标语义特征序列的乘积，得到第一配准语义特征序列，计算所述第一纹理特征权重系数与所述第一目标纹理特征序列的乘积，得到第一配准纹理特征序列；

所述根据所述第二配准参数、所述第二初始语义特征序列以及第二初始纹理特征序列，获取第二配准语义特征序列以及第二配准纹理特征序列的步骤，包括：

基于所述第二初始语义特征序列以及所述第二初始纹理特征序列在所述第二初始图像特征序列的位置，从所述第二目标图像特征序列中确定第二目标语义特征序列以及第二目标纹理特征序列；

计算所述第二语义特征权重系数与所述第二目标语义特征序列的乘积，得到第二配准语义特征序列，计算所述第二纹理特征权重系数与所述第二目标纹理特征序列的乘积，得到第二配准纹理特征序列。

6.根据权利要求1所述的方法，其特征在于，所述获取第一图像以及第二图像，包括：

获取待比对的目标图像以及参考图像；

分别对所述目标图像以及所述参考图像进行对象检测，在所述目标图像确定第一目标区域以及在所述参考图像中确定第二目标区域，所述第一目标区域以及所述第二目标区域均包含图像主体对象；

对所述目标图像中的第一目标区域进行图像裁剪得到第一图像，对所述参考图像中的第二目标区域进行图像裁剪得到第二图像；

对所述第一图像以及所述第二图像进行尺寸调整，得到尺寸一致的第一图像以及第二图像。

7.根据权利要求1所述的方法，其特征在于，所述分别对所述第一图像以及所述第二图像进行特征提取，得到所述第一图像的第一初始语义特征序列以及所述第二图像的第二初始语义特征序列，包括：

使用预先训练的语义信息提取网络，分别对所述第一图像以及所述第二图像进行特征提取，得到所述第一图像的第一初始语义信息以及所述第二图像的第二初始语义信息；

分别将所述第一初始语义信息以及所述第二初始语义信息输入至预先训练的语义信息融合网络，并对所述语义信息融合网络中不同预设网络层所输出的特征信息进行拼接，得到所述第一图像的第一目标语义信息以及所述第二图像的第二目标语义信息；

分别对所述第一目标语义信息以及第二目标语义信息进行归一化处理，得到第一初始语义特征序列以及第二初始语义特征序列。

8.根据权利要求1所述的方法，其特征在于，分别对所述第一图像以及第二图像进行特征提取，得到所述第一图像的第一初始语义特征序列以及所述第二图像的第二初始语义特征序列，包括：

分别对所述第一图像以及所述第二图像进行直方图均衡处理，得到像素灰度值均匀分布的第一图像以及像素灰度值均匀分布的第二图像；

根据所述像素灰度值均匀分布的第一图像中落入到不同灰度值区间的像素点总量，以及所述第一图像的像素点总量，获取所述第一图像的第一初始纹理特征序列；

根据所述像素灰度值均匀分布的第二图像中落入到不同灰度值区间的像素点总量，以及所述第二图像的像素点总量，获取所述第二图像的第二初始纹理特征序列。

9.一种图像比对装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一图像以及第二图像；

特征提取模块，用于分别对所述第一图像以及所述第二图像进行特征提取，得到所述第一图像的第一初始语义特征序列和第一初始纹理特征序列、以及所述第二图像的第二初始语义特征序列和第二初始纹理特征序列；

特征配准模块，用于对所述第一初始语义特征序列以及所述第一初始纹理特征序列进行配准处理，得到第一配准语义特征序列以及第一配准纹理特征序列，并对所述第二初始语义特征序列以及所述第二初始纹理特征序列进行配准处理，得到第二配准语义特征序列以及第二配准纹理特征序列；

距离获取模块，用于根据所述第一图像的第一配准语义特征序列和第一配准纹理特征序列以及所述第二图像的第二配准语义特征序列和第二配准纹理特征序列，获取所述第一图像与所述第二图像之间的距离值；

相似关系获取模块，用于根据所述距离值，确定所述第一图像与所述第二图像间的相似关系。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至8中任一项所述的图像比对方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8中任一项所述的图像比对方法中的步骤。

Images