CN106407891A - 基于卷积神经网络的目标匹配方法及装置 - Google Patents

Abstract

本发明涉及机器视觉技术领域，尤其是涉及一种基于卷积神经网络的目标匹配方法及装置。该目标匹配方法包括：获取第一图像和第二图像；计算第一图像中目标区域的池化特征；基于池化特征对第二图像进行遍历匹配，得到对应的匹配分值图；根据匹配分值图确定第二图像中的目标区域，其采用第一图像的池化特征对第二图像进行遍历匹配，匹配的准确度较佳、效率也较高。

Description

基于卷积神经网络的目标匹配方法及装置

技术领域

本发明涉及机器视觉技术领域，具体而言，涉及一种基于卷积神经网络的目标匹配方法及装置。

背景技术

随着智慧城市建设的不断深入，视频监控市场继续保持快速增长的态势。目前，视频监控主要通过设置捕获环境信息的摄像机来捕获视频图像，并将捕获到的视频图像传输至控制平台以对其进行分析处理，例如对视频图像中目标的跟踪。对于目标跟踪，其一般过程是：目标进入视频监控区域后，由于目标是运动的，将系统捕获到目标在当前帧的图像作为模板，在视频图像的下一帧通过目标匹配找到目标移动后的位置。可见，如何精确地进行目标匹配是视频图像跟踪的关键。另外，目标匹配也是图像识别、图像检索、图像标注等技术的核心。

其中，目标匹配也就是指，对前后视频帧或者预先选定的多个图像帧进行关联，从后一图像帧中找到与前一图像帧中的目标相匹配的匹配目标。其关联的方法主要通过特征进行关联。

在现有技术中，一般采用点特征模板匹配、线特征模板匹配和面特征模板匹配等目标匹配的方法。然而，点特征匹配方法在目标对比度较低，或没有明显的焦点特征时，匹配准确度较差；线特征匹配方法在目标边缘不明显，或目标产生较大变形时，匹配的准确度也较差；面特征匹配方法虽然提高了匹配的准确度，但是其运算量较大，效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种基于卷积神经网络的目标匹配方法及装置，采用池化特征进行遍历匹配，匹配的准确度和效率均较高。

第一方面，本发明实施例提供了一种基于卷积神经网络的目标匹配方法，所述方法包括：

获取第一图像和第二图像；

计算所述第一图像中目标区域的池化特征；

基于所述池化特征对所述第二图像进行遍历匹配，得到对应的匹配分值图；

根据所述匹配分值图确定所述第二图像中的目标区域。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述计算所述第一图像中目标区域的池化特征，包括：

基于预先获取的卷积神经网络CNN提取所述第一图像的第一基础特征层；

根据所述第一图像中目标区域的位置和所述CNN的降维比率，计算所述第一基础特征层中相对于目标区域的第一窗口的位置；

基于预设的池化参数和所述第一窗口的位置，确定所述第一基础特征层的第二窗口的位置；

将所述第二窗口的第一基础特征层输入至所述池化参数对应的池化层进行特征提取，得到池化特征。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于预设的池化参数和所述第一窗口的位置，确定所述第一基础特征层的第二窗口的位置，包括：

根据预设的池化层的最小窗口尺寸和所述第一窗口的位置，计算池化层的第一输出尺寸；

根据预设的池化层的最大输出尺寸和所述第一输出尺寸，计算所述池化层的第二输出尺寸；

根据所述第二输出尺寸和所述第一窗口的位置，计算所述池化层的窗口尺寸；

根据所述第二输出尺寸和所述窗口尺寸，计算所述第一基础特征层的第二窗口的位置。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于所述池化特征对所述第二图像进行遍历匹配，得到对应的匹配分值图，包括：

基于预先获取的卷积神经网络CNN提取所述第二图像的第二基础特征层；

为所述第二基础特征层分别配置匹配卷积层和模值卷积层；其中，所述匹配卷积层和所述模值卷积层使用的卷积核均为取自所述第一图像的归一化池化特征，所述归一化池化特征是对所述池化特征进行归一化处理得到的；

根据所述匹配卷积层的输出和所述模值卷积层的输出之间的比值关系，得出所述第二图像的每个待匹配区域相对于第一图像的目标区域的匹配分值图。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述基于预先获取的卷积神经网络CNN提取所述第二图像的第二基础特征层，包括：

按照所述第一图像对所述第二图像进行缩放处理，得到缩放处理后的第二图像；

基于预先获取的卷积神经网络CNN提取所述缩放处理后的第二图像的第二基础特征层。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，为所述第二基础特征层配置匹配卷积层，包括：

基于所述池化层的窗口尺寸和窗口遍历颗粒度为所述第二基础特征层配置待匹配池化层，以根据所述待匹配池化层对第二基础特征层的输出按照所述池化层的窗口尺寸进行池化处理；

根据所述归一化池化特征为所述待匹配池化层配置匹配卷积层，以根据所述匹配卷积层对待匹配池化层的输出按照所述归一化池化特征进行卷积处理；

为所述第二基础特征层配置模值卷积层，包括：

基于模值运算对所述待匹配池化层配置模值计算层，以根据所述模值计算层对所述待匹配池化层的输出进行归一化处理；

根据所述归一化池化特征为所述模值计算层配置模值卷积层，以根据所述模值卷积层对模值计算层的输出按照归一化池化特征进行卷积处理。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述归一化池化特征为所述待匹配池化层配置匹配卷积层，包括：

根据所述池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对所述归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

根据所述加孔处理后的归一化池化特征为所述待匹配池化层配置匹配卷积层。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述根据所述归一化池化特征为所述模值计算层配置模值卷积层，包括：

根据所述池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对所述归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

根据所述加孔处理后的归一化池化特征为所述模值计算层配置模值卷积层。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述根据所述匹配分值图确定所述第二图像中的目标区域，包括：

选取匹配分值图中的最高分值对应的待匹配区域作为第二图像中的目标区域。

第二方面，本发明实施例还提供了一种基于卷积神经网络的目标匹配装置，所述装置包括：

获取模块，用于获取第一图像和第二图像；

计算模块，用于计算所述第一图像中目标区域的池化特征；

生成模块，用于基于所述池化特征对所述第二图像进行遍历匹配，得到对应的匹配分值图；

确定模块，用于根据所述匹配分值图确定所述第二图像中的目标区域。

本发明实施例提供的基于卷积神经网络的目标匹配方法及装置，与现有技术中的点特征匹配方法和线特征匹配方法的准确度较差，且面特征匹配方法的效率较低相比，其首先获取第一图像和第二图像，其次对第一图像中的目标区域进行池化特征的计算，再次基于上述计算得到的池化特征对第二图像进行遍历匹配，最后根据遍历匹配得到的匹配分值图确定第二图像中的目标区域，其采用第一图像的池化特征对第二图像进行遍历匹配，匹配的准确度较佳、效率也较高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种基于卷积神经网络的目标匹配方法的流程图；

图2示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图3示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图4示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图5示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图6示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图7示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图8示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图9示出了本发明实施例所提供的一种基于卷积神经网络的目标匹配方法中卷积核加孔后的匹配示意图；

图10示出了本发明实施例所提供的另一种基于卷积神经网络的目标匹配方法的流程图；

图11示出了本发明实施例所提供的一种基于卷积神经网络的目标匹配装置的结构示意图。

主要元件符号说明：

11、获取模块；22、计算模块；33、生成模块；44、确定模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中的点特征匹配方法在目标对比度较低，或没有明显的焦点特征时，匹配准确度较差；线特征匹配方法在目标边缘不明显，或目标产生较大变形时，匹配的准确度也较差；面特征匹配方法虽然提高了匹配的准确度，但是其运算量较大，效率较低。基于此，本发明实施例提供了一种基于卷积神经网络的目标匹配方法及装置，其通过池化特征的遍历匹配，目标匹配的准确度和效率均较高。

参见图1所示的本发明实施例提供的基于卷积神经网络的目标匹配方法的流程图，所述方法具体包括如下步骤：

S101、获取第一图像和第二图像；

具体的，考虑到本发明实施例所提供的基于卷积神经网络的目标匹配方法的体应用场景，本发明实施例提供的基于卷积神经网络的目标匹配方法需要对第一图像和第二图像进行获取。另外，本发明实施例所提供的基于卷积神经网络的目标匹配方法不仅可以应用于图像检索中，还可以应用于图像跟踪中。对于图像检索系统而言，第一图像为用户输入的查询图像，第二图像为库内的所有图像；对于目标跟踪系统而言，第一图像为初始帧或当前帧图像，第二图像为下一帧图像。

S102、计算第一图像中目标区域的池化特征；

具体的，首先对获取的上述第一图像进行目标区域的框选，然后再对框选的目标区域进行池化特征的计算。其中，上述目标区域的框选可以通过手工的方式还可以通过相关的计算机程序进行目标区域的确定，且本发明实施例中优选的将目标区域选择为矩形。该目标区域主要包括人、人脸、物体等用户较为感兴趣的区域。上述池化特征的计算主要通过深度神经网络对各个计算层进行对应的窗口确定，以根据确定后的窗口的池化特征作为第一图像中目标区域的图像池化特征。对于目标区域而言同时，在后续的匹配过程中，将以该图像池化特征作为卷积核进行第二图像的遍历匹配。

S103、基于池化特征对第二图像进行遍历匹配，得到对应的匹配分值图；

S104、根据匹配分值图确定第二图像中的目标区域。

具体的，对于第一图像计算得到的池化特征而言，其将作为第二图像的卷积核，且在第二图像的池化层输出的特征层上进行卷积，得到各个待匹配区域相对第一图像的目标区域的匹配分值，最后根据对应的匹配分值图从待匹配区域中确定第二图像中的目标区域。

本发明实施例提供的基于卷积神经网络的目标匹配方法，与现有技术中的点特征匹配方法和线特征匹配方法的准确度较差，且面特征匹配方法的效率较低相比，其首先获取第一图像和第二图像，其次对第一图像中的目标区域进行池化特征的计算，再次基于上述计算得到的池化特征对第二图像进行遍历匹配，最后根据遍历匹配得到的匹配分值图确定第二图像中的目标区域，其采用第一图像的池化特征对第二图像进行遍历匹配，匹配的准确度较佳、效率也较高。

为了更好的计算第一图像中目标区域的池化特征，上述S102的计算过程，具体通过如下步骤实现，参见图2所示的流程图，所述方法还包括：

S201、基于预先获取的卷积神经网络CNN提取第一图像的第一基础特征层；

S202、根据第一图像中目标区域的位置和CNN的降维比率，计算第一基础特征层中相对于目标区域的第一窗口的位置；

具体的，本发明实施例所提供的基于卷积神经网络的目标匹配方法将第一图像作为输入层输入预先训练的CNN(Convolutional Neural Networks，卷积神经网络)，以CNN输出作为基础特征层。本发明实施例是根据第一图像中目标区域的位置和CNN的降维比率，计算第一基础特征层中相对于目标区域的第一窗口的位置，接下来给出一种具体的实施方式。假设第一图像的尺寸为[W1_0，H1_0],卷积神经网络的降维比率为R，且第一图像中框选的矩形目标区域的左上角点坐标为(X0_lt,Y0_lt)，右下角点坐标为(X0_rb,Y0_rb)，则第一图像的基础特征层的尺寸为[W1,H1]＝[Floor(W1_0/R)，Floor(H1_0/R)](其中，Floor为向下取整)，对应的第一基础特征层的第一窗口的位置为：

左上点坐标为(X1_lt,Y1_lt)＝(Floor(X0_lt/R)，Floor(Y0_lt/R)),

右下点坐标为(X1_rb,Y1_rb)＝(Floor(X0_rb/R)，Floor(Y0_rb/R))。

另外，随着大数据时代的到来，只有比较复杂的模型，或者说表达能力强的模型，才能充分发掘海量数据中蕴藏的丰富信息，所以，本发明实施例中预先训练的CNN是可以对目标区域进行特征的深度学习的神经网络，由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。

S203、基于预设的池化参数和所述第一窗口的位置，确定第一基础特征层的第二窗口的位置；

为了更好根据第一基础特征层的第一窗口的位置确定第一基础特征层的第二窗口的位置，参见图3，上述第二窗口的位置的确定过程，具体通过如下步骤实现：

S2031、根据预设的池化层的最小窗口尺寸和第一窗口的位置，计算池化层的第一输出尺寸；

S2032、根据预设的池化层的最大输出尺寸和第一输出尺寸，计算池化层的第二输出尺寸；

S2033、根据第二输出尺寸和第一窗口的位置，计算池化层的窗口尺寸；

S2034、根据第二输出尺寸和窗口尺寸，计算第一基础特征层的第二窗口的位置。

具体的，本发明实施例所提供的基于卷积神经网络的目标匹配方法对于第一基础特征层的第二窗口的确定是基于预设的池化参数和上述第一窗口的位置。本发明实施例的一个具体实施例如下：

首先，根据预设的池化层的最小窗口尺寸和第一窗口的位置，计算池化层的第一输出尺寸。假设：池化层的最小窗口尺寸为[MinPoolX,MinPoolY]，由上述计算的第一基础特征层的第一窗口的左上点坐标(X1_lt,Y1_lt)和右下点坐标(X1_rb,Y1_rb)，可知，池化层的第一输出尺寸[PoolOutX_1,PoolOutY_1]为：

[Floor((X1_rb-X1_lt)/MinPoolX),Floor((Y1_rb-Y1_lt)/MinPoolY)]。

其次，根据预设的池化层的最大输出尺寸和第一输出尺寸，计算池化层的第二输出尺寸。假设：池化层的最大输出尺寸为[MaxPoolOutX,MaxPoolOutY]，由上述第一输出尺寸[PoolOutX_1,PoolOutY_1]，可知，池化层的第二输出尺寸[PoolOutX_2,PoolOutY_2]为：

[Max(PoolOutX_1,MaxPoolOutX),Max(PoolOutY_1,MaxPoolOutU)]。

再次，根据第二输出尺寸和第一窗口的位置，计算池化层的窗口尺寸。由上述第二输出尺寸[PoolOutX_2,PoolOutY_2]和第一基础特征层的第一窗口的左上点坐标(X1_lt,Y1_lt)和右下点坐标(X1_rb,Y1_rb)，可知：池化层的窗口尺寸[PoolSizeX,PoolSizeY]为：

[Floor((X1_rb-X1_lt)/PoolOutX_2),Floor((Y1_rb-Y1_lt)/PoolOutY_2)]。

最后，根据第二输出尺寸和窗口尺寸，计算第一基础特征层的第二窗口的位置。由上述第二输出尺寸[PoolOutX_2,PoolOutY_2]和池化层的窗口尺寸[PoolSizeX,PoolSizeY]，可知：第一基础特征层的第二窗口的位置为：

左上点坐标为：(X2_lt,Y2_lt)＝(X1_lt,Y1_lt)，

右下点坐标为：(X1_rb,Y1_rb)＝(X1_lt+PoolOutX_2*PoolSizeX,Y1_lt+PoolOutY_2*PoolSizeY)。

其中，本发明实施例所提供的基于卷积神经网络的目标匹配方法还将池化层的池化步长设置为与池化窗口尺寸相同的值。

S204、将第二窗口的第一基础特征层输入至池化参数对应的池化层进行特征提取，得到池化特征。

具体的，根据上述各个池化参数来配置池化层，以第二窗口中的第一基础特征层作为输入，产生池化特征。设基础特征层包含C个通道，则局域池化特征的维度为[PoolOutX,PoolOutY,C]。

考虑到本发明实施例所提供的基于卷积神经网络的目标匹配方法采用的是遍历匹配的方式实现第二图像对第一图像的目标匹配，而本发明实施例遍历匹配后得到的是匹配分值图，即对第二图像中的待匹配区域进行遍历匹配，以得到每个待匹配区域与第一图像中的目标区域的相关度信息。参见图4，上述匹配分值图的生成过程，具体通过如下步骤实现，所述方法还包括：

S301、基于预先获取的卷积神经网络CNN提取第二图像的第二基础特征层；

为了更好的进行第二图像和第一图像的匹配，在对第二图像进行特征提取之前，本发明实施例所提供的基于卷积神经网络的目标匹配方法将对第二图像进行缩放处理，因此，参见图5，上述对第二图像的特征提取具体通过如下步骤实现：

S3011、按照第一图像对第二图像进行缩放处理，得到缩放处理后的第二图像；

S3012、基于预先获取的卷积神经网络CNN提取缩放处理后的第二图像的第二基础特征层。

具体的，首先将第二图像缩放到与第一图像相对应的尺寸，对于图像检索而言，上述第二图像的尺寸与第一图像应相近，而对于图像跟踪而言，上述第二图像和第一图像的尺寸相同；然后再利用与第一图像相同的CNN提取缩放处理后的第二图像的第二基础特征层。

S302、为第二基础特征层分别配置匹配卷积层和模值卷积层；其中，匹配卷积层和模值卷积层使用的卷积核均为取自第一图像的归一化池化特征，归一化池化特征是对池化特征进行归一化处理得到的；

S303、根据匹配卷积层的输出和模值卷积层的输出之间的比值关系，得出第二图像的每个待匹配区域相对于第一图像的目标区域的匹配分值图。

具体的，本发明实施例所提供的基于卷积神经网络的目标匹配方法为第二基础特征层配置匹配卷基层和模值卷积层分别建立在配置的待匹配池化层和配置的模值计算层的基础之上，其中，上述为第二基础特征层配置匹配卷积层，参见图6，具体通过如下步骤实现：

S401、基于池化层的窗口尺寸和窗口遍历颗粒度为第二基础特征层配置待匹配池化层，以根据待匹配池化层对第二基础特征层的输出按照池化层的窗口尺寸进行池化处理；

S402、根据归一化池化特征为待匹配池化层配置匹配卷积层，以根据匹配卷积层对待匹配池化层的输出按照归一化池化特征进行卷积处理。

具体的，本发明实施例所提供的基于卷积神经网络的目标匹配方法首先在第二基础特征层之上配置一个待匹配池化层。其中，该待匹配池化层的窗口尺寸与第一图像池化层的池化窗口尺寸相同。另外，待匹配池化层的池化步长[PoolStepX2,PoolStepY2]代表窗口遍历的颗粒度，因此步长可为预设值，也可为随池化窗口尺寸增大而增大的整数。步长的取值范围在1到池化窗口尺寸之间。本发明实施例不做具体的限制，以满足不同用户的不同需求。

另外，本发明实施例在上述待匹配池化层上述还配置有匹配卷积层。该匹配卷积层以第一图像提取的归一化池化特征作为第二图像的匹配卷积层的卷积核，维度为[PoolOutX,PoolOutY,C]。设第二图像的待匹配池化层输出的维度为[W2,H2,C]，则匹配卷积层输出的维度为[W2,H2,1]，每个空间位置代表一个与第一图像局部特征的匹配值。

其中，上述归一化池化特征是对池化特征进行归一化处理得到的结果，而本发明实施例通过如下步骤进行归一化：首先计算池化特征在空间维度[PoolOutX,PoolOutY]中每个位置的C维向量的模，并将每个位置的模累加。然后再将池化特征除以累加模值得到归一化的池化特征。

另外，上述为第二基础特征层配置模值卷积层，参见图7，具体通过如下步骤实现：

S501、基于模值运算对待匹配池化层配置模值计算层，以根据模值计算层对待匹配池化层的输出进行归一化处理；

S502、根据归一化池化特征为模值计算层配置模值卷积层，以根据模值卷积层对模值计算层的输出按照归一化池化特征进行卷积处理。

具体的，首先通过模值计算层计算每个位置的C维特征的模值，输出维度为[PoolOutX,PoolOutY,1]的模值。然后在上述模值计算层上配置模值卷积层，该卷积层的卷积核尺寸、卷积步长等参数与匹配卷积层相同，输入及输出通道数为1，卷积核值全部为1，偏移量为0。设第二图像基础特征层的维度为[W2,H2,C]，则模值卷积层输出的维度为[W2,H2,1]。

本发明实施例所提供的基于卷积神经网络的目标匹配方法根据上述配置后的匹配卷基层和模值卷积层的输出的两个标量图像点对点相除，得出第一图像中目标区域的池化特征在第二图像中各个待匹配区域的匹配分值图。

为了保证对第二图像进行卷积处理所采用的卷积核的各个像素的作用域与第一图像的目标区域的作用域相同，参见图8，本发明实施例所提供的基于卷积神经网络的目标匹配方法中的匹配卷积层的配置过程具体通过如下步骤实现：

S601、根据池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

S602、根据加孔处理后的归一化池化特征为待匹配池化层配置匹配卷积层。

具体的，本发明实施例所提供的基于卷积神经网络的目标匹配方法是将第一图像的归一化池化特征作为第二图像的匹配卷积层的卷积核，且对该卷积核加孔，孔的维数为预匹配池化层池化窗口尺寸减去预匹配池化层的池化步长(即窗口遍历颗粒度)，即[PoolSizeX-PoolStepX2,PoolSizeY-PoolStepY2]。然后再根据上述加孔处理后的归一化池化特征对待匹配池化层配置匹配卷积层，匹配卷积层的偏移量为0，卷积步长为1。

其中，所谓加孔，可以等效为将原卷积核每隔一个像素间填充若干个0，填充后等效的卷积核尺寸为[PoolOutX+PoolSizeX-PoolStepX2,PoolOutY+PoolSizeY-PoolStepY2]，而实际卷积运算时程序可跳过充0位置的计算因而不会增加运算量。

参见图9，本发明实施例提供了一个卷积核加孔后的匹配示意图，图中卷积核尺寸为[2,2]，孔的尺寸为[1,1]。点阵代表基础特征层。第一图像(图9(a))中池化层的池化窗口尺寸、池化步长、池化输出尺寸均为[2,2]。第二图像(图9(b))的待匹配池化层的池化窗口尺寸为[2,2]，池化步长为[1,1]。第二图像的匹配卷积层卷积核尺寸为[2,2]。当不加孔时，[2,2]卷积核各像素的作用域(如细线框所示)存在重叠，与第一图像局部特征不同；当加[1,1]的孔时，卷积核作用域(如粗线框所示)与第一图像局部特征相同。

另外，参见图10，本发明实施例所提供的基于卷积神经网络的目标匹配方法中的模值卷积层的配置过程具体通过如下步骤实现：

S701、根据池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

S702、根据加孔处理后的归一化池化特征为模值计算层配置模值卷积层。

具体的，本发明实施例中的模值卷积层的卷积核尺寸、卷积步长、及加孔等参数与匹配卷积层均相同，同样的，上述加孔处理的过程也类型，在此不再赘述。然后再根据加孔处理后的上述加孔处理后的归一化池化特征对模值计算层配置模值卷积层。

对于遍历匹配得到的匹配分值图而言，为了更好的确定第二图像相对第一图像的目标区域，上述S104的确定过程，具体通过如下步骤实现，所述方法还包括：

选取匹配分值图中的最高分值对应的待匹配区域作为第二图像中的目标区域。

具体的，对于生成的匹配分值图而言，该匹配分值图是指遍历第二图像的每个待匹配区域相对于第一图像的目标区域的匹配相关度，对应像素点的匹配分值越高，则说明该待匹配区域与第一图像的目标区域越相似，本发明实施例选择匹配分值图的最高分值对应的待匹配区域作为第二图像中的目标区域。

本发明实施例提供的基于卷积神经网络的目标匹配方法，与现有技术中的点特征匹配方法和线特征匹配方法的准确度较差，且面特征匹配方法的效率较低相比，其首先获取第一图像和第二图像，其次对第一图像中的目标区域进行池化特征的计算，再次基于上述计算得到的池化特征对第二图像进行遍历匹配，最后根据遍历匹配得到的匹配分值图确定第二图像中的目标区域，其采用第一图像的池化特征对第二图像进行遍历匹配，匹配的准确度较佳、效率也较高。

本发明实施例还提供了一种基于卷积神经网络的目标匹配装置，所述装置用于执行上述基于卷积神经网络的目标匹配方法，参见图11，所述装置包括：

获取模块11，用于获取第一图像和第二图像；

计算模块22，用于计算第一图像中目标区域的池化特征；

生成模块33，用于基于池化特征对第二图像进行遍历匹配，得到对应的匹配分值图；

确定模块44，用于根据匹配分值图确定第二图像中的目标区域。

为了更好的计算第一图像中目标区域的池化特征，上述计算模块22包括：

第一提取子模块，用于基于预先获取的卷积神经网络CNN提取第一图像的第一基础特征层；

计算子模块，用于根据第一图像中目标区域的位置和CNN的降维比率，计算第一基础特征层中相对于目标区域的第一窗口的位置；

确定子模块，用于基于预设的池化参数和第一窗口的位置，确定第一基础特征层的第二窗口的位置；

第一生成子模块，用于将第二窗口的第一基础特征层输入至池化参数对应的池化层进行特征提取，得到池化特征。

为了更好根据第一基础特征层的第一窗口的位置确定第一基础特征层的第二窗口的位置，上述确定子模块包括：

第一计算单元，用于根据预设的池化层的最小窗口尺寸和第一窗口的位置，计算池化层的第一输出尺寸；

第二计算单元，用于根据预设的池化层的最大输出尺寸和第一输出尺寸，计算池化层的第二输出尺寸；

第三计算单元，用于根据第二输出尺寸和第一窗口的位置，计算池化层的窗口尺寸；

第四计算单元，用于根据第二输出尺寸和窗口尺寸，计算第一基础特征层的第二窗口的位置。

考虑到本发明实施例所提供的基于卷积神经网络的目标匹配装置采用的是遍历匹配的方式实现第二图像对第一图像的目标匹配，而本发明实施例遍历匹配后得到的是匹配分值图，即对第二图像中的待匹配区域进行遍历匹配，以得到每个待匹配区域与第一图像中的目标区域的相关度信息。本发明实施例所提供的基于卷积神经网络的目标匹配装置还包括生成模块33，上述生成模块33包括：

第二提取子模块，用于基于预先获取的卷积神经网络CNN提取第二图像的第二基础特征层；

配置子模块，用于为第二基础特征层分别配置匹配卷积层和模值卷积层；其中，匹配卷积层和模值卷积层使用的卷积核均为取自第一图像的归一化池化特征，归一化池化特征是对池化特征进行归一化处理得到的；

第二生成单元子模块，用于根据匹配卷积层的输出和模值卷积层的输出之间的比值关系，得出第二图像的每个待匹配区域相对于第一图像的目标区域的匹配分值图。

为了更好的进行第二图像和第一图像的匹配，在对第二图像进行特征提取之前，本发明实施例所提供的基于卷积神经网络的目标匹配装置将对第二图像进行缩放处理，因此，上述第二提取子模块包括：

缩放单元，用于按照第一图像对第二图像进行缩放处理，得到缩放处理后的第二图像；

提取单元，用于基于预先获取的卷积神经网络CNN提取缩放处理后的第二图像的第二基础特征层。

其中，本发明实施例所提供的基于卷积神经网络的目标匹配装置法为第二基础特征层配置匹配卷基层和模值卷积层分别建立在配置的待匹配池化层和配置的模值计算层的基础之上，其中，上述配置子模块包括：

第一配置单元，用于基于池化层的窗口尺寸和窗口遍历颗粒度为第二基础特征层配置待匹配池化层，以根据待匹配池化层对第二基础特征层的输出按照池化层的窗口尺寸进行池化处理；

第二配置单元，用于根据归一化池化特征为待匹配池化层配置匹配卷积层，以根据匹配卷积层对待匹配池化层的输出按照归一化池化特征进行卷积处理。

第三配置单元，用于基于模值运算对待匹配池化层配置模值计算层，以根据模值计算层对待匹配池化层的输出进行归一化处理；

第四配置单元，用于根据归一化池化特征为模值计算层配置模值卷积层，以根据模值卷积层对模值计算层的输出按照归一化池化特征进行卷积处理。

为了保证对第二图像进行卷积处理所采用的卷积核的各个像素的作用域与第一图像的目标区域的作用域相同，本发明实施例所提供的基于卷积神经网络的目标匹配装置中的第二配置单元包括：

第一加孔子单元，用于根据池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

第一配置子单元，用于根据加孔处理后的归一化池化特征为待匹配池化层配置匹配卷积层。

另外，本发明实施例所提供的基于卷积神经网络的目标匹配装置中的第四配置单元包括：

第二加孔子单元，用于根据池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

第二配置子单元，用于根据加孔处理后的归一化池化特征为模值计算层配置模值卷积层。

对于遍历匹配得到的匹配分值图而言，为了更好的确定第二图像相对第一图像的目标区域，上述确定模块44，还用于选取匹配分值图中的最高分值对应的待匹配区域作为第二图像中的目标区域。

本发明实施例提供的基于卷积神经网络的目标匹配装置，与现有技术中的点特征匹配方法和线特征匹配方法的准确度较差，且面特征匹配方法的效率较低相比，其首先获取第一图像和第二图像，其次对第一图像中的目标区域进行池化特征的计算，再次基于上述计算得到的池化特征对第二图像进行遍历匹配，最后根据遍历匹配得到的匹配分值图确定第二图像中的目标区域，其采用第一图像的池化特征对第二图像进行遍历匹配，匹配的准确度较佳、效率也较高。

另外，本发明实施例所提供的基于卷积神经网络的目标匹配方法及装置还可以应用于图像检索和图像跟踪中，其中，应用于图像检索中，能够带来如下技术效果：

1.采用深度学习技术提高了滑框法定位目标的鲁棒性；

2.提出了一种运算效率高且便于并行化的滑窗遍历方法。

应用于图像跟踪中，还能够带来如下技术效果：

1.基于深度学习技术，提高了跟踪的成功率和稳定性；

2.跟踪初始阶段和跟踪过程中不需要对神经网络进行训练，大幅缩减了单目标跟踪耗时；

3.多目标跟踪时，各跟踪共享基础特征层，相比于基础特征层的运算量，每个跟踪单独的运算量非常小，因此适合实现视频实时多目标跟踪。

本发明实施例所提供的进行基于卷积神经网络的目标匹配的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的基于卷积神经网络的目标匹配的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.基于卷积神经网络的目标匹配方法，其特征在于，包括：

获取第一图像和第二图像；

计算所述第一图像中目标区域的池化特征；

基于所述池化特征对所述第二图像进行遍历匹配，得到对应的匹配分值图；

根据所述匹配分值图确定所述第二图像中的目标区域。

2.根据权利要求1所述的方法，其特征在于，所述计算所述第一图像中目标区域的池化特征，包括：

基于预先获取的卷积神经网络CNN提取所述第一图像的第一基础特征层；

根据所述第一图像中目标区域的位置和所述CNN的降维比率，计算所述第一基础特征层中相对于目标区域的第一窗口的位置；

基于预设的池化参数和所述第一窗口的位置，确定所述第一基础特征层的第二窗口的位置；

将所述第二窗口的第一基础特征层输入至所述池化参数对应的池化层进行特征提取，得到池化特征。

3.根据权利要求2所述的方法，其特征在于，所述基于预设的池化参数和所述第一窗口的位置，确定所述第一基础特征层的第二窗口的位置，包括：

根据预设的池化层的最小窗口尺寸和所述第一窗口的位置，计算池化层的第一输出尺寸；

根据预设的池化层的最大输出尺寸和所述第一输出尺寸，计算所述池化层的第二输出尺寸；

根据所述第二输出尺寸和所述第一窗口的位置，计算所述池化层的窗口尺寸；

根据所述第二输出尺寸和所述窗口尺寸，计算所述第一基础特征层的第二窗口的位置。

4.根据权利要求3所述的方法，其特征在于，所述基于所述池化特征对所述第二图像进行遍历匹配，得到对应的匹配分值图，包括：

基于预先获取的卷积神经网络CNN提取所述第二图像的第二基础特征层；

为所述第二基础特征层分别配置匹配卷积层和模值卷积层；其中，所述匹配卷积层和所述模值卷积层使用的卷积核均为取自所述第一图像的归一化池化特征，所述归一化池化特征是对所述池化特征进行归一化处理得到的；

根据所述匹配卷积层的输出和所述模值卷积层的输出之间的比值关系，得出所述第二图像的每个待匹配区域相对于第一图像的目标区域的匹配分值图。

5.根据权利要求4所述的方法，其特征在于，所述基于预先获取的卷积神经网络CNN提取所述第二图像的第二基础特征层，包括：

按照所述第一图像对所述第二图像进行缩放处理，得到缩放处理后的第二图像；

基于预先获取的卷积神经网络CNN提取所述缩放处理后的第二图像的第二基础特征层。

6.根据权利要求4所述的方法，其特征在于，为所述第二基础特征层配置匹配卷积层，包括：

基于所述池化层的窗口尺寸和窗口遍历颗粒度为所述第二基础特征层配置待匹配池化层，以根据所述待匹配池化层对第二基础特征层的输出按照所述池化层的窗口尺寸进行池化处理；

根据所述归一化池化特征为所述待匹配池化层配置匹配卷积层，以根据所述匹配卷积层对待匹配池化层的输出按照所述归一化池化特征进行卷积处理；

为所述第二基础特征层配置模值卷积层，包括：

基于模值运算对所述待匹配池化层配置模值计算层，以根据所述模值计算层对所述待匹配池化层的输出进行归一化处理；

根据所述归一化池化特征为所述模值计算层配置模值卷积层，以根据所述模值卷积层对模值计算层的输出按照归一化池化特征进行卷积处理。

7.根据权利要求6所述的方法，其特征在于，所述根据所述归一化池化特征为所述待匹配池化层配置匹配卷积层，包括：

根据所述池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对所述归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

根据所述加孔处理后的归一化池化特征为所述待匹配池化层配置匹配卷积层。

8.根据权利要求6所述的方法，其特征在于，所述根据所述归一化池化特征为所述模值计算层配置模值卷积层，包括：

根据所述池化层的窗口尺寸和窗口遍历颗粒度之间的差值运算结果对所述归一化池化特征进行加孔处理，得到加孔处理后的归一化池化特征；

根据所述加孔处理后的归一化池化特征为所述模值计算层配置模值卷积层。

9.根据权利要求4所述的方法，其特征在于，所述根据所述匹配分值图确定所述第二图像中的目标区域，包括：

选取匹配分值图中的最高分值对应的待匹配区域作为第二图像中的目标区域。

10.基于卷积神经网络的目标匹配装置，其特征在于，包括：

获取模块，用于获取第一图像和第二图像；

计算模块，用于计算所述第一图像中目标区域的池化特征；

生成模块，用于基于所述池化特征对所述第二图像进行遍历匹配，得到对应的匹配分值图；

确定模块，用于根据所述匹配分值图确定所述第二图像中的目标区域。