CN111062400A - 目标匹配方法及装置 - Google Patents

Abstract

本申请实施例提供一种目标匹配方法及装置，应用于电子设备。目标匹配方法包括：从目标图像中获取目标的多个关键特征区域。将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量。基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果。由此，能够避免在车辆匹配过程中由于车身非关键部件特征的影响而导致的匹配效率和匹配准确率低的问题，提高了车辆匹配准确率与辨识过程中的抗干扰性，同时也减少了匹配过程中的计算量，提高了车辆匹配的速度。

Description

目标匹配方法及装置

技术领域

本申请涉及车辆匹配领域，具体而言，涉及一种目标匹配方法及装置。

背景技术

在安防领域，车辆匹配一般利用安防摄像头以一定的角度拍摄待匹配车辆获得车辆图像，并对车辆图像进行全局特征提取，再根据全局特征提取结果对车辆进行匹配，这种目标匹配方法在特征提取的计算量较大，在待匹配车辆较多的情况时会导致匹配效率下降，此外对车辆图像进行全局特征提取，非关键特征区域会干扰训练结果，使非关键特征区域的权重较大，导致过拟合，降低车辆的匹配效率和匹配准确率。

申请内容

有鉴于此，本申请的目的在于提供一种目标匹配方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种目标匹配方法，应用于电子设备，所述方法包括：

从目标图像中获取目标的多个关键特征区域。

将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量。

基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果。

可选地，所述从目标图像中获取目标的多个关键特征区域的步骤，包括：

从所述目标图像中获取所述目标对应的目标图像区域。

从目标图像中获取所述目标的定位点。

根据所述定位点对所述目标图像进行矫正，得到矫正后的图像区域。

根据预设的提取区域划定标准，从所述矫正后的图像区域中获取所述目标的多个关键特征区域。

可选地，所述定位点包括至少四个基准点，所述根据所述定位点对所述目标图像进行矫正，得到矫正后的图像区域的步骤，包括：

根据所述至少四个基准点与每个基准点对应的定位点约束条件生成对应的仿射变换矩阵，其中，每个所述仿射变换矩阵对应四个所述基准点。

基于所述仿射变换矩阵对所述目标图像区域进行矫正，得到矫正后的目标图像区域。

可选地，所述深度网络模型包括由多个卷积层组成的卷积层组，所述将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量的步骤，包括：

对于所述多个关键特征区域，将该关键特征区域输入到所述深度网络模型，依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像，并将最后一个卷积层提取得到的该关键特征区域的特征图像作为该关键特征区域的特征向量，以得到各个关键特征区域的特征向量。

可选地，所述卷积层组包括具有采样功能的卷积层，所述依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像的步骤，包括：

在当前进行特征提取的卷积层为所述具有采样功能的卷积层时，通过该具有采样功能的卷积层对上一层卷积层提取得到的特征图像的每个通道图像进行采样，以改变每个通道图像的尺寸，并同时对该特征图像进行特征提取，以输出对应的该关键特征区域的特征图像。

可选地，所述卷积层组包括按照预设顺序排列的点卷积层和深度卷积层，所述依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像的步骤，包括：

在当前进行特征提取的卷积层为所述点卷积层时，通过该点卷积层对上一层卷积层对应的特征图像中的每个通道图像进行组合特征提取，并根据特征提取结果获得组合特征提取后的通道图像，以输出对应的该关键特征区域的特征图像。

在当前进行特征提取的卷积层为所述深度卷积层时，通过该深度卷积层对上一层卷积层对应的特征图像中的每个通道图像进行对应特征提取，并根据特征提取结果更新每个通道图像，以输出对应的该关键特征区域的特征图像。

可选地，所述从目标图像中获取目标的多个关键特征区域的步骤之前，所述方法还包括：

训练所述深度网络模型。

所述训练所述深度网络模型的方式，包括：

建立深度网络训练模型，所述深度网络训练模型包括依次连接的卷积层组、全连接层和交叉熵损失计算层，所述卷积层组包括多个卷积层，每个卷积层包括依次连接的用于提取所述目标图像的特征的卷积核、用于对所述卷积核的特征提取结果进行归一化操作的归一化函数、用于对所述归一化函数的输出结果进行非线性映射的激活函数。

响应用户操作，对所述深度网络训练模型的网络参数进行初始化，其中，所述网络参数包括每个卷积层的网络参数。

获取训练样本，并从训练样本集中的每个训练样本图像中提取对应的多个关键特征区域。

针对每个训练样本图像中的每个关键特征区域，将该关键特征区域输入到所述深度网络训练模型中，通过所述卷积层组提取得到该关键特征区域的特征向量，以得到每个关键特征区域对应的特征向量，并将所述每个关键特征区域对应的特征向量输入到所述全连接层，并将所述全连接层的处理结果输入到所述交叉熵损失计算层得到该关键特征区域的损失函数值，其中，所述训练样本集包括标记有目标的多个关键特征区域的多个训练样本图像。

根据该关键特征区域的损失函数值计算对应的反向梯度值，并根据所述反向梯度值，利用链式导数传导法计算所述深度网络训练模型的网络参数的偏导数，基于所述偏导数通过所述全连接层更新所述深度网络训练模型的网络参数。

重复上述步骤，并判断每次训练得到的目标匹配网络模型是否达到训练终止条件，在判定满足训练终止条件时，输出满足所述训练终止条件的目标匹配网络模型。

可选地，所述基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果的步骤，包括：

针对所述待检索数据集中的每个待检索目标，计算该待检索目标的每个特征向量与所述目标的对应特征向量之间的特征向量相似度。

根据各个特征向量相似度得到该待检索目标与所述目标的整体相似度，以得到所述待检索数据集中每个待检索目标与所述目标之间的整体相似度。

基于每个待检索目标与所述目标之间的目标相似度从所述待检索数据集中获取与所述目标匹配的待检索目标，生成匹配结果。

可选地，所述基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果的步骤，包括：

根据所述各个关键特征区域的特征向量生成所述目标的整体特征向量。

对于所述待检索数据集中的每个待检索目标，计算该待检索目标的整体特征向量和所述目标的整体特征向量的整体相似度，以得到所述待检索数据集中每个待检索目标与所述目标之间的整体相似度。

根据每个待检索目标与所述目标之间的整体相似度从所述待检索数据集中获取与所述目标匹配的待检索目标，生成匹配结果。

第二方面，本申请实施例还提供一种目标匹配装置，所述目标匹配装置包括：

关键特征区域提取模块，用于从目标图像中获取目标的多个关键特征区域。

特征提取模块，用于将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量。

以及匹配模块，用于基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果。

相比现有技术，本申请提供的有益效果是：

本申请实施例提供的目标匹配方法及装置，能够避免在车辆匹配过程中由于车身非关键部件特征的影响而导致的匹配效率和匹配准确率低的问题，提高了车辆匹配准确率与辨识过程中的抗干扰性，同时也减少了匹配过程中的计算量，提高了车辆匹配的速度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的用于实现目标匹配方法的电子设备的结构示意框图；

图2为本申请实施例提供的目标匹配装置的功能模块图；

图3为本申请实施例提供的目标匹配方法的流程示意图；

图4为图3中所示的步骤S310包括的各个子步骤的一种流程示意图；

图5为本申请实施例提供的车辆区域图像的一种矫正效果图；

图6为本申请实施例提供的深度网络训练模型的训练流程示意图。

图标：100-电子设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-目标匹配装置；210-关键特征区域提取模块；220-特征提取模块；230-匹配模块。

具体实施方式

车辆匹配是智能监控系统中的一个重要组成部分，也同时在其他领域有着广泛的应用。可以应用在嫌疑人追踪、丢失车辆查找等的实际场景中，同时在其他领域也有者广泛的应用，例如看图识车。然而，车辆匹配一般利用安防摄像头以一定的角度拍摄待匹配车辆获得车辆图像，并对车辆图像进行全局特征提取，再根据全局特征提取结果对车辆进行匹配，这种目标匹配方法在特征提取的计算量较大，不适用于待匹配车辆较多的情况，此外对车辆图像进行全局特征提取，非关键特征区域会干扰训练结果，使非关键特征区域的权重较大，导致过拟合，降低车辆的匹配效率和匹配准确率。

针对上述问题，本申请发明人发现预先设置车辆关键特征区域并对车辆关键特征区域进行特征提取，能有效避免车辆非关键区域对匹配结果的影响，避免过拟合，同时减少特征提取过程的计算量。

以上现有技术中的方案所存在的缺陷，均是申请人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是申请人在本申请过程中对本申请做出的贡献。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的关键可以相互组合。

请参阅图1，为本申请实施例提供的用于实现下述目标匹配方法的电子设备100的结构示意框图。本实施例中，电子设备100可以用于对小区门禁、街道监控等实际场景进行监控，也可以用于其它任意具有计算处理能力的设备进行车辆辨识。其中该电子设备100为监控设备时，可以由前端设备和后端设备这两大部分组成，前端设备通常由摄像机、手动或电动镜头、云台、防护罩、监听器、报警探测器和多功能解码器等部件组成，它们各司其职，并通过有线、无线或光纤传输媒介与中心控制系统的各种设备建立相应的联系(传输视/音频信号及控制、报警信号)。在实际的监控系统中，这些前端设备不一定同时使用，但实现监控现场图像采集的摄像机和镜头是必不可少的。后端设备可进一步分为中心控制设备和分控制设备。

如图1所示，电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，电子设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，电子设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，电子设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图1中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于电子设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

处理器120可执行下述实施例，具体地，存储介质130中可以存储有目标匹配装置200，处理器120可以用于执行目标匹配装置200。

在一种实施方式中，请参阅图2，为本申请实施例提供的上述目标匹配装置200的功能模块图，目标匹配装置200可包括：

关键特征区域提取模块210，用于从目标图像中获取目标的多个关键特征区域。

特征提取模块220，用于将多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量。

匹配模块230，用于基于各个关键特征区域的特征向量从待检索数据集中获取匹配结果。

该目标匹配装置200能够避免在车辆匹配过程中由于车身非关键部件特征的影响而导致的匹配效率和匹配准确率低的问题，提高了车辆匹配准确率与辨识过程中的抗干扰性，同时也减少了匹配过程中的计算量，提高了车辆匹配的速度。

进一步地，请参阅图3，为本申请实施例提供的目标匹配方法的一种流程示意图，本实施例中，目标匹配方法由图1中所示的电子设备100执行，下面结合图3对图2中所示的目标匹配装置200进行详细阐述。所应说明的是，本申请实施例提供的目标匹配方法不以图3及以下的具体顺序为限制。方法的具体流程如下：

步骤S310，从目标图像中获取目标的多个关键特征区域。

本实施例中，请参阅图4，步骤S310可以通过以下子步骤实现：

子步骤S311，从目标图像中获取目标对应的目标图像区域。

作为一种实施方式，子步骤S311可以通过目前常用的目标检测模型获取目标图像中车辆的定位边界，并根据定位边界从目标图像中剪切得到车辆图像区域，其中，目标检测模型可以通过FasterR-CNN模型、R-FCN模型和SSD模型实现，目标检测模型可以在ImageNet分类数据集上训练。

子步骤S312，从目标图像中获取目标的定位点。

作为一个实施方式，本步骤可以通过级联回归CNN网络实现，通过预先训练的级联回归CNN网络可以得到车辆的每个定位点坐标，其中，该级联回归CNN网络在训练时可以采用标有定位点的车辆数据集训练得到。示例性地，定位点可以包括挡风玻璃的四个角点、左右大灯、左右雾灯，也即共8个定位点，其中，挡风玻璃的左上角点可以为第一角点，其余角点按顺时针方向分别划分为第二角点、第三角点以及第四角点。可以理解的是，上述定位点仅为示例，本领域技术人员在实际实施时也可以根据需求增加或者减少上述定位点。

子步骤S313，根据定位点对目标图像进行矫正，得到矫正后的图像区域。

作为一种实施方式，定位点可以包括至少四个基准点，子步骤S313可以包括以下子步骤：

首先，根据至少四个基准点与每个基准点对应的定位点约束条件生成对应的仿射变换矩阵，其中，每个仿射变换矩阵对应四个基准点。

本实施例中，基准点约束条件可以包括对对应的基准点的位置的约束条件，例如，用于限定挡风玻璃各个角点的位置的约束条件，或者各个基准点与其他基准点之间的位置关系的约束条件，例如，针对挡风玻璃的各个角点，可以约束挡风玻璃的第一角点与第二角点所在直线与第二角点与第三角点所在直线垂直。

根据上述约束条件，可以生成多个基准点对应的仿射变换矩阵，在一种实施方式中，仿射变换矩阵可以根据四个基准点以及这四个基准点的基准点约束条件得出，例如，可以根据挡风玻璃四个角点和这四个角点对应的约束条件，生成挡风玻璃四个角点的仿射变换矩阵。

可以理解，约束条件还可包括图像尺寸限定，以使矫正后的车辆图像区域为预设的固定大小。

然后，基于仿射变换矩阵对目标图像区域进行矫正，得到矫正后的车辆图像区域。

可选地，对车辆图像区域进行矫正的方式可以包括但不限于：平移变换、缩放变换、错切变换以及旋转变化中的至少一种，上述生成的仿射变化矩阵可以包括对车辆图像区域的矫正信息。

在实施时，的可以是依次根据各个仿射变换矩阵包括的矫正信息对车辆图像区域进行矫正，例如，可以首先根据挡风玻璃四个角点对应的仿射变换矩阵进行矫正，再根据挡风玻璃第三角点、第四角点以及左右雾灯对应的仿射变换矩阵进行矫正，再根据左右雾灯以及左右大灯对应的仿射变换矩阵进行矫正，以得到矫正后的车辆图像区域。例如，请参阅图5，左图为矫正前的车辆图像区域，右图为矫正后的车辆图像区域，可以看出通过上述矫正，可以更有效地提取车辆图像区域，提高后续车辆匹配的准确性。

可以理解，上述图像矫正过程以提取关键特征区域为主要目的，矫正后的车辆图像区域可能与真实车辆图像区域有所不同。

基于上述设计，对车辆图像区域进行了规范化操作，通过提取定位点，降低了直接提取关键特征区域的计算量，也进一步提高了通过关键特征区域进行车辆匹配的准确率。

作为另一种实施方式，上述的仿射变换矩阵可以不限于四个基准点，可以根据至少两个的基准点生成，例如，一个仿射变换矩阵可以对应两个基准点，在实施时，两个基准点可以形成一个定位向量，根据定位向量与预设的限制条件可以生成仿射变换矩阵，例如，第一角点与第二角点可以形成一个向量，其对应的预设的限制条件可以为，该向量的起点的坐标为(X,Y)并要求该向量与默认水平面平行。

可选地，在进行矫正时，每个仿射变换矩阵对应的基准点数量可以进行变换，例如，第一仿射变换矩阵可以对应第一角点、第二角点、第三角点以及第四角点，第二仿射变换矩阵可以对应左雾灯以及右雾灯，在矫正时灵活变换基准点数量，可以通过较小的计算量达到较好的矫正效果。

子步骤S314，根据预设的提取区域划定标准，根据预设的提取区域划定标准，从矫正后的图像区域中获取目标的多个关键特征区域。

本实施例中，关键特征区域可以为用户预先设定的在车辆匹配过程中的用于后续车辆匹配的特定区域，其中，对于每个车辆来说，该特定区域与其它不同类型的车辆的特定区域之间一般存在较大差异，例如，关键特征区域可以包括车窗四个角、车发动机盖、车前脸，共6个关键特征区域。

通过上述子步骤提取的车辆的多个关键特征区域，避免了只能依靠特定角度的车辆图片才能进行车辆匹配，提高了目标匹配方法的泛用性。

可选地，上述预设的提取区域划定标准可以包括各个关键特征区域与上述各个定位点之间的对应关系，然后，可以该对应关系和上述各个定位点在矫正后的车辆图像区域的坐标从而确定关键特征区域，例如，可以以挡风玻璃第一角点为中心，选取该第一角点周围像素为129×129的图像区域作为挡风玻璃的第一特征区域。

可以理解，提取区域划定标准也可以根据矫正后的车辆图像区域的位置划定，例如，可以选取矫正后的车辆图像区域的左上角点作为坐标原点，垂直向下的方向为X轴正方向，水平向右的方向为Y轴正方向，则可以选取在点(10,10)与(74,74)之间的图像为特征图像区域。

通过上述方法，对车辆图像区域进行了规范化操作，通过提取定位点，降低了直接提取关键特征区域的计算量，也进一步提高了通过关键特征区域进行车辆匹配的准确率。

接着，请再次参阅图3，步骤S320，将多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量。

本实施例中，在将多个关键特征区域输入到预先训练的深度网络模型之前，还可以对多个关键特征区域进行归一化操作，例如，可以通过旋转、缩放、彩色变换的方法将每个关键特征区域规范到同一尺寸并输入到该预先训练的深度网络模型中。

作为一种实施方式，深度网络模型可以包括由多个卷积层组成的卷积层组，步骤S320可以通过以下过程实现：

首先，对于每个关键特征区域，将该关键特征区域输入到深度网络模型，依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像，并将最后一个卷积层提取得到的该关键特征区域的特征图像作为该关键特征区域的特征向量，以得到各个关键特征区域的特征向量。

其中，每个关键特征区域可以包括至少一个尺寸相同的通道图像，每个卷积层对应的特征图像也包括至少一个尺寸相同的通道图像，各个关键特征区域的特征向量包括尺寸为1的多个通道图像，可选地，上述图像的尺寸可以通道图像长×通道图像宽×通道图像数量的方式标记。

作为一种实施方式，可以通过卷积层组中具有采样功能的卷积层修改关键特征区域的各个通道图像的尺寸，具体实施方式可以为以下步骤：

在当前进行特征提取的卷积层为具有采样功能的卷积层时，通过该具有采样功能的卷积层对上一层卷积层提取得到的特征图像的每个通道图像进行采样，以改变每个通道图像的尺寸，并同时对该特征图像进行特征提取，以输出对应的该关键特征区域的特征图像。

由此，通过具有采样功能的卷积层实现了池化采样与特征提取的同步执行，实现了在特征提取的过程中平均池化，避免引入池化层。

作为一种实施方式，卷积层可以通过点卷积层和深度卷积层来实现特征提取操作，其中，点卷积层和深度卷积层按照预设顺序排列，例如，点卷积层和深度卷积层可以组合使用作为一个卷积层组成对出现，也可以单独使用。

具体实施方式可以为以下步骤：

在当前进行特征提取的卷积层为深度卷积层时，可以通过该深度卷积层对上一层卷积层对应的特征图像中的每个通道图像进行对应特征提取，并根据特征提取结果更新每个通道图像，以输出对应的该关键特征区域的特征图像。

其中，每个深度卷积层包括多个尺寸相同的卷积核，卷积核的数量和当前进行采样的特征图像的通道图像数量一致，深度卷积层的尺寸可以表述为卷积核长×卷积核宽×卷积核数量(输入的特征图像的通道图像数量)，其中各个卷积核与当前进行采样的特征图像的通道图像一一对应。

对应特征提取可以由以下步骤实现：

各个卷积核对对应的通道图像进行卷积，得到卷积后的通道图像；

将特征图谱中的通道图像替换为对应的卷积后的通道图像，以对应特征提取后的特征图像。

因此，相对于输入的特征图像，深度卷积层输出新的特征图像的通道图像数量不变。

此外，在当前进行特征提取的卷积层为点卷积层时，可以通过该点卷积层对上一层卷积层对应的特征图像中的每个通道图像进行组合特征提取，并根据特征提取结果获得组合特征提取后的通道图像，以输出对应的该关键特征区域的特征图像。

其中，每个点卷积层多个数量相同的卷积核组，其中，每组卷积核的数量和当前进行采样的特征图像的通道数量一致，点卷积层的尺寸可以表述为卷积核长×卷积核宽×每组卷积核数量(输入的特征图像的通道图像数量)×组数(输出的特征图像的通道图像数量)。

组合特征提取可以由以下步骤实现：

对于每组卷积核组，将该卷积核组通道图像进行对应特征提取，得到该卷积核组的对应特征提取后的通道图像组；

将对应特征提取后的通道图像组叠加，得到该卷积核组组合特征提取后的特征图像，以得到各个积核组组合特征提取的特征图像，并将各个积核组组合特征提取的特征图像作为该点券基层组合特征提取后的特征图像。

可以理解，点卷积层和深度卷积层可以与具有采样功能的卷积层结合，以卷积核卷积时的采样步长控制输出的特征图像的通道图像的尺寸，以实现平均池化。

作为一种实施方式，关键特征区域的尺寸可以为64×64×1，特征向量的尺寸可以为1×1×64，相对应的卷积层组包括54个卷积层，卷积层租的结构如下：

其中，为保持输出特征图像和输出特征图像的对应关系，除最后一个深度卷积层外，其他深度卷积层和第一个点卷积层在输入特征图像的每个通道图像四周填充0元素。

相对于现有技术中的多通道CNN神经网络，本实施例提供的深度网络模型将多通道特征提取的操作拆分为点卷积层和深度卷积层，减少了计算量，提高了特征提取网络的工作效率。

步骤S330，基于各个关键特征区域的特征向量从待检索数据集中获取匹配结果。

作为一种实施方式，步骤S330可以通过以下子步骤实现：

首先，根据各个关键特征区域的特征向量生成目标的目标特征向量。

可选地，可以直接将各个关键特征区域的特征向量连接生成目标特征向量，例如，将车前脸、车发动机盖、车窗四个角经特征提取生成的6个1×1×64的特征向量依次连接，生成1×1×384的目标特征向量。

发明人在研究中发现，由于每个关键特征区域包含的有效信息量不同，为了提高匹配准确率，可以通过加权的方式将各个关键特征区域的特征向量连接得到带有权重的目标特征向量，例如，在实际匹配中，车前脸和车发动机盖信息量较大，在连接成目标特征向量时，向量内的每个元素乘权重1，车窗上两个角点有一定的信息量，在连接成目标特征向量时，向量内的每个元素乘权重0.7，车窗下两个角点信息量较小，在连接成目标特征向量时，向量内的每个元素乘权重0.5，以生成车俩特征向量。

可选地，为使关键特征部位对应的特征向量的权重更有效，深度网络模型还可以包括用于将向量连接的权重连接层，权重连接层可以随深度网络模型一同训练，从而提高车辆匹配时的准确率。

然后，对于待检索数据集中的每个待检索目标，计算该待检索目标的目标特征向量和目标的目标特征向量的整体相似度，以得到待检索数据集中每个待检索目标与目标之间的整体相似度。

其中，相似度的计算方式可以为欧氏距离、曼哈顿距离、切比雪夫距离等向量距离的计算方法。

最后，根据每个待检索目标与目标之间的整体相似度从待检索数据集中获取与目标匹配的待检索目标，生成匹配结果。

可以理解，匹配过程可以为整体相似度排序中设定的前几个车辆或车辆相似度超过阈值的车辆。

基于上述设计，通过各个关键特征区域的特征向量生成目标特征向量，使目标特征向量与目标一一匹配，存储目标特征向量时只需要一个指针，不需要将特征向量分类储存，在存储与读取时更加方便。

此外，作为另一种实施方式，步骤S330还可以通过以下子步骤实现：

首先，针对待检索数据集中的每个待检索目标，计算该待检索目标的每个特征向量与目标的对应特征向量之间的特征向量相似度。

可选地，本实施例可以计算目标与该待检索目标的车前脸对应的特征向量的特征向量相似度，并依次得到车发动机盖与车窗四个角点的相似度，其中，相似度的计算方式可以为欧氏距离、曼哈顿距离、切比雪夫距离等向量距离的计算方法。

然后，根据各个特征向量相似度得到该待检索目标与目标的整体相似度，以得到待检索数据集中每个待检索目标与目标之间的整体相似度。

可以理解，根据各个特征向量相似度得到该待检索目标与目标的整体相似度可以直接将各个特征向量相似度求和，也可以以加权的方式得到整体相似度。

最后，基于每个待检索目标与目标之间的整体相似度从待检索数据集中获取与目标匹配的待检索目标，生成匹配结果。

可以理解，匹配结果可以为整体相似度排序中设定的前几个车辆或整体相似度超过阈值的车辆。

基于上述设计，通过各个关键特征区域的特征向量生成对应的相似度，在根据对应的相似度得到总体相似度的过程中，可以直接更改每个关键特征区域对应的相似度的权重，根据更改后的权重对整体相似度的排序更为方便。

值得说明的是，当提取特征向量的步骤计算量较大时，为减少特征提取步骤的计算量，在得到关键特征区域的特征向量后，可以直接计算该关键特征区域的特征向量与待检索目标对应的特征向量的相似度，如果最大的相似度大于阈值，继续提取下一个关键特征区域，否则直接返回无匹配结果的信息。

可选地，步骤S310之前还可包括训练深度网络模型的步骤，作为一种实施方式，深度网络模型可以通过如下方式训练：

首先，建立深度网络训练模型。

请参阅图6，提供了一种深度网络训练模型的网络结构，深度网络训练模型可以包括依次连接的卷积层组、全连接层和交叉熵损失计算层。

卷积层组包括多个卷积层，每个卷积层包括依次连接的用于提取目标图像的特征的卷积核、用于对卷积核的特征提取结果进行归一化操作的归一化函数、用于对归一化函数的输出结果进行非线性映射的激活函数。

在本实施例中，归一化函数利用批规范化函数与测度函数实现，使卷积核的特征提取结果的均值为0，方差为1。激活函数采用线性整流函数(Rectified Linear Unit，ReLU)。

然后，响应用户操作，对深度网络训练模型的网络参数进行初始化，其中，网络参数包括每个卷积层的网络参数。

接着，获取训练样本，并从训练样本集中的每个训练样本图像中提取对应的多个关键特征区域。

接着，针对每个训练样本图像中的每个关键特征区域，将该关键特征区域输入到深度网络训练模型中，通过卷积层组提取得到该关键特征区域的特征向量，以得到每个关键特征区域对应的特征向量，并将每个关键特征区域对应的特征向量输入到全连接层，并将全连接层的处理结果输入到交叉熵损失计算层得到该关键特征区域的损失函数值，其中，训练样本集包括标记有车辆的多个关键特征区域的多个训练样本图像。

在本实施例中，交叉熵损失计算层的损失函数采用交叉熵损失函数(SoftmaxWithLoss)。

接着，根据该关键特征区域的损失函数值计算对应的反向梯度值，并根据反向梯度值，利用链式导数传导法计算深度网络训练模型的网络参数的偏导数，基于偏导数通过全连接层更新深度网络训练模型的网络参数。

最后，重复上述步骤，并判断每次训练得到的目标匹配网络模型是否达到训练终止条件，在判定满足训练终止条件时，输出满足训练终止条件的目标匹配网络模型。

通过上述训练过程，可以得到较为精准的深度网络模型，此外，通过归一化层的设置加快了训练过程。

可以理解，作为另一种实施方式，步骤S320中的深度网络模型还包括与卷积层组连接的特征连接层，将各个关键特征区域的特征向量以加权的方式连接成目标特征向量，以代替子步骤S335，特征连接层与深度网络模型一同训练，加权参数更准确。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本关键的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种目标匹配方法，其特征在于，应用于电子设备，所述方法包括：

从目标图像中获取目标的多个关键特征区域；

将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量；

基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果。

2.根据权利要求1所述的目标匹配方法，其特征在于，所述从目标图像中获取目标的多个关键特征区域的步骤，包括：

从所述目标图像中获取所述目标对应的目标图像区域；

从目标图像中获取所述目标的定位点；

根据所述定位点对所述目标图像进行矫正，得到矫正后的图像区域；

根据预设的提取区域划定标准，从所述矫正后的图像区域中获取所述目标的多个关键特征区域。

3.根据权利要求2所述的目标匹配方法，其特征在于，所述定位点包括至少四个基准点，所述根据所述定位点对所述目标图像进行矫正，得到矫正后的图像区域的步骤，包括：

根据所述至少四个基准点与每个基准点对应的定位点约束条件生成对应的仿射变换矩阵，其中，每个所述仿射变换矩阵对应四个所述基准点；

基于所述仿射变换矩阵对所述目标图像区域进行矫正，得到矫正后的目标图像区域。

4.根据权利要求1所述的目标匹配方法，其特征在于，所述深度网络模型包括由多个卷积层组成的卷积层组，所述将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量的步骤，包括：

对于所述多个关键特征区域，将该关键特征区域输入到所述深度网络模型，依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像，并将最后一个卷积层提取得到的该关键特征区域的特征图像作为该关键特征区域的特征向量，以得到各个关键特征区域的特征向量。

5.根据权利要求4所述的目标匹配方法，其特征在于，所述卷积层组包括具有采样功能的卷积层，所述依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像的步骤，包括：

在当前进行特征提取的卷积层为所述具有采样功能的卷积层时，通过该具有采样功能的卷积层对上一层卷积层提取得到的特征图像的每个通道图像进行采样，以改变每个通道图像的尺寸，并同时对该特征图像进行特征提取，以输出对应的该关键特征区域的特征图像。

6.根据权利要求4所述的目标匹配方法，其特征在于，所述卷积层组包括按照预设顺序排列的点卷积层和深度卷积层，所述依次经过每个卷积层特征提取得到每个卷积层对应的该关键特征区域的特征图像的步骤，包括：

在当前进行特征提取的卷积层为所述点卷积层时，通过该点卷积层对上一层卷积层对应的特征图像中的每个通道图像进行组合特征提取，并根据特征提取结果获得组合特征提取后的通道图像，以输出对应的该关键特征区域的特征图像；

在当前进行特征提取的卷积层为所述深度卷积层时，通过该深度卷积层对上一层卷积层对应的特征图像中的每个通道图像进行对应特征提取，并根据特征提取结果更新每个通道图像，以输出对应的该关键特征区域的特征图像。

7.根据权利要求1-6中任意一项所述的目标匹配方法，其特征在于，所述从目标图像中获取目标的多个关键特征区域的步骤之前，所述方法还包括：

训练所述深度网络模型；

所述训练所述深度网络模型的方式，包括：

建立深度网络训练模型，所述深度网络训练模型包括依次连接的卷积层组、全连接层和交叉熵损失计算层，所述卷积层组包括多个卷积层，每个卷积层包括依次连接的用于提取所述目标图像的特征的卷积核、用于对所述卷积核的特征提取结果进行归一化操作的归一化函数、用于对所述归一化函数的输出结果进行非线性映射的激活函数；

响应用户操作，对所述深度网络训练模型的网络参数进行初始化，其中，所述网络参数包括每个卷积层的网络参数；

获取训练样本，并从训练样本集中的每个训练样本图像中提取对应的多个关键特征区域；

针对每个训练样本图像中的每个关键特征区域，将该关键特征区域输入到所述深度网络训练模型中，通过所述卷积层组提取得到该关键特征区域的特征向量，以得到每个关键特征区域对应的特征向量，并将所述每个关键特征区域对应的特征向量输入到所述全连接层，并将所述全连接层的处理结果输入到所述交叉熵损失计算层得到该关键特征区域的损失函数值，其中，所述训练样本集包括标记有目标的多个关键特征区域的多个训练样本图像；

根据该关键特征区域的损失函数值计算对应的反向梯度值，并根据所述反向梯度值，利用链式导数传导法计算所述深度网络训练模型的网络参数的偏导数，基于所述偏导数通过所述全连接层更新所述深度网络训练模型的网络参数；

重复上述步骤，并判断每次训练得到的目标匹配网络模型是否达到训练终止条件，在判定满足训练终止条件时，输出满足所述训练终止条件的目标匹配网络模型。

8.根据权利要求1所述的目标匹配方法，其特征在于，所述基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果的步骤，包括：

针对所述待检索数据集中的每个待检索目标，计算该待检索目标的每个特征向量与所述目标的对应特征向量之间的特征向量相似度；

根据各个特征向量相似度得到该待检索目标与所述目标的整体相似度，以得到所述待检索数据集中每个待检索目标与所述目标之间的整体相似度；

基于每个待检索目标与所述目标之间的目标相似度从所述待检索数据集中获取与所述目标匹配的待检索目标，生成匹配结果。

9.根据权利要求1所述的目标匹配方法，其特征在于，所述基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果的步骤，包括：

根据所述各个关键特征区域的特征向量生成所述目标的整体特征向量；

对于所述待检索数据集中的每个待检索目标，计算该待检索目标的整体特征向量和所述目标的整体特征向量的整体相似度，以得到所述待检索数据集中每个待检索目标与所述目标之间的整体相似度；

根据每个待检索目标与所述目标之间的整体相似度从所述待检索数据集中获取与所述目标匹配的待检索目标，生成匹配结果。

10.一种目标匹配装置，其特征在于，所述目标匹配装置包括：

关键特征区域提取模块，用于从目标图像中获取目标的多个关键特征区域；

特征提取模块，用于将所述多个关键特征区域输入到预先训练的深度网络模型中，得到各个关键特征区域的特征向量；以及

匹配模块，用于基于所述各个关键特征区域的特征向量从待检索数据集中获取匹配结果。

Images