CN110781911B - 一种图像匹配方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像匹配方法、装置、计算机设备及存储介质，在该方案中，计算机设备获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；如果匹配，则确定所述目标图像与所述候选图像匹配。本申请提出的计算机视觉技术，能够提取到足量有效特征，且深度神经网络提取的深度特征块可表征深层语义特征，基于足量有效特征且具备了深层次的语义特征，如此基于深度特征描述子进行特征匹配，便可大大地提升特征匹配的准确率。

Description

一种图像匹配方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种图像匹配方法、装置、计算机设备及存储介质。

背景技术

图像匹配(image matching)，通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，寻求相似影像目标的方法。图像匹配在图像检索、物体识别、医学图像的三维重现等领域中被广泛应用。

在目前的图像特征对比方案中，基于提取到的特征点获得描述子进行匹配判断。但是目前常见的这些特征，在诸如交通标志匹配等匹配应用场景中的效果一般，往往存在匹配准确率不高的问题。而在交通标志匹配的具体应用场景下，图像匹配对快速筛选获取准确可靠的地图道路信息至关重要。

综上所述，如何有效地提高图片匹配准确率等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本申请的目的是提供一种图像匹配方法、装置、设备及存储介质，以通过深度特征来表征图像特征，并基于深度特征描述子进行图像匹配，可使得图像的特征匹配更为准确。

为实现上述目的，一方面，本申请提供了一种图像匹配方法，包括：

获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

如果匹配，则确定所述目标图像与所述候选图像匹配。

又一方面，本申请提供了一种图像匹配装置，包括：

深度特征提取模块，用于获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

深度特征描述子获取模块，用于对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

特征描述子匹配判断模块，用于判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

图像匹配确定模块，用于若所述深度特征描述子集合与所述候选图像的深度特征描述子集合匹配，则确定所述目标图像与所述候选图像匹配。

又一方面，本申请提供了一种计算机设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述图像匹配方法。

又一方面，本申请提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像匹配方法。

可见，在本申请实施例中，计算机设备在本方法提出利用深度网络提取图像的深度特征块，并对深度特征块进行融合处理，获得特征图，基于特征图获得深度特征描述子。如此，便可保障能够提取到足量的有效特征，且深度神经网络提取的深度特征块表征了深层次的语义特征，基于足量有效特征且该有效特征具备了深层次的语义特征，如此基于深度特征描述子进行特征匹配，便可大大地提升特征匹配的准确率。

相应地，本申请实施例还提供了与上述图像匹配方法相对应的图像匹配装置、设备和存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例的一种图像匹配方法所适用的硬件组成框架示意图；

图2示出了本申请实施例的另一种图像匹配方法所适用的硬件组成框架示意图；

图3示出了本申请实施例的一种图像匹配方法的一种流程示意图；

图4示出了本申请实施例的一种图像匹配方法的另一种流程示意图；

图5示出了本申请实施例中一种图像匹配方法中深度特征块融合处理示意图；

图6示出了本申请实施例中一种图像匹配方法中对交通标志牌照片提取获得的目标特征图进行去燥的示意图；

图7示出了本申请实施例的一种图像匹配方法又一个实施例的流程示意图；

图8示出了现有的图像匹配方法的匹配效果示意图；

图9示出了应用本申请实施例的一种图像匹配方法的匹配效果示意图；

图10示出了本申请实施例的一种图像匹配装置一个实施例的组成结构示框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，先对本申请的图像匹配方法对应的方案所适用的硬件组成框架进行介绍。可以参见图1，图1其示出了本申请一种图像匹配方法所适用的硬件组成框架示意图。

由图1可知，该硬件组成框架可以包括：计算机设备10，其中，计算机设备10可以包括：处理器11、存储器12、通信接口13、图像采集单元14和显示器15和通信总线16。

处理器11、存储器12、通信接口13、图像采集单元14、显示器15、均通过通信总线16完成相互间的通信。

在本申请实施例中，该处理器11，可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。该处理器可以调用存储器12中存储的程序。具体的，处理器可以执行以下图像匹配方法的实施例中计算机设备侧所执行的操作。

存储器12中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：

获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

如果匹配，则确定所述目标图像与所述候选图像匹配。

在一种可能的实现方式中，该存储器12可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如声音播放功能、图像播放功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据，比如，用户数据、用户访问数据以及音视频数据等等。

此外，存储器12也可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

该通信接口13可以为通信模块的接口，如GSM模块的接口。

本申请还可以包括图像采集单元14和显示器15等等。

当然，图1所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定，在实际应用中计算机设备可以包括比图1所示的更多或更少的部件，或者组合某些部件。

其中，图1中的计算机设备10可以为终端(如手机、平板电脑等移动终端，或PC机等固定终端)、服务器、智能电子设备(如智能摄像机)。

在本申请实施例中，计算机设备10可以根据通信接口13利用网络接收外界其他设备发送的目标图像、候选图像以及对应的深度特征描述子集合；也可以通过自身的图像采集单元14(如自身摄像头等)，或与外部摄像头或设备(存有图像的存储介质或可传输图像的电子设备)具有通信连接的功能组件。

相应的，计算机设备10中处理器11可以通过通信总线16从通信接口13或者图像采集单元14拍摄图像，并调用存储器12中存储的程序对目标图像进行处理获得深度特征描述子集合，并判断深度特征描述子集合与候选图像的深度特征描述子集合是否匹配，最终确定目标图像与候选图像是否匹配，从而实现提高图像匹配效率的目的。

在一种可能的情况中，为了保证结合不同的深度尺度的深度特征块。计算机设备10还可以将多个所述深度特征块进行归一化；融合归一化后的多个所述深度特征块，获得所述目标特征图。这样，目标特征图便可表征不同深度尺存的特征。

在又一种可能的情况中，使计算机设备10融合多个深度特征块，可采用求和、取均值和加权求和等方式进行融合。在本申请实施例中，计算机设备10对归一化后的多个所述深度特征块进行求和、加权求和取均值的任意一种融合方式进行处理，获得所述目标特征图。

在又一种可能的情况中，为便于融合，可使计算机设备10归一化多个深度特征块后进行。在本申请实施例中，计算机设备10所述将多个所述深度特征块进行归一化，包括：利用线性插值或反卷积对多个所述深度特征块进行归一化。

在一种可能的情况中，为了获得深度特征描述子集合。计算机设备10可从所述目标特征图中选取多个特征点；利用多个所述特征点，获得所述深度特征描述子集合。

在一种可能的情况中，为了获得更为精简的深度特征描述子集合，以便提高图像匹配速率。计算机设备10可对多个所述特征点进行筛选，并利用筛选后的特征点获得所述深度特征描述子集合。

在一种可能的情况中，为了获得表征效果更佳的特征点。计算机设备10可从所述特征图中选取出视觉显著性大于指定阈值的像素点，将所述像素点作为所述特征点。

在一种可能的情况中，为了快速获得深度特征描述子集合。计算机设备10可直接将每个所述特征点在深度特征中对应的向量分别作为一个深度特征描述子，获得所述深度特征描述子集合。

在一种可能的情况中，为了获得更便于比对匹配处理的深度特征描述子集合。计算机设备10按照特征描述子构建算法对多个所述特征点分别进行处理，获得多个深度特征描述子；将多个所述深度特征描述子添加至所述深度特征描述子集合。

在一种可能的情况中，为确定目标图像与待选图像是否匹配。计算机设备10可将所述深度特征描述子集合中的深度特征描述子与所述候选图像的深度特征描述子集合中的深度特征描述子进行描述对匹配；在匹配的描述子对数量达到预设阈值时，确定所述深度特征描述子集合与候选图像的深度特征描述子集合匹配。

可以理解的是，在不同的匹配应用场景下，计算机设备10为了适应不同的场景需求，在获得图像匹配结果后。计算机设备10的处理方式会各不相同。计算机设备10在图像去重筛选过程中，若所述目标图像与所述候选图像不匹配，则保留所述目标图像；或，在图像检索过程中，若所述目标图像与所述候选图像匹配，则将所述候选图像作为检索结果输出。

在一种可能的情况中，为了筛选地图众包数据。计算机设备10在获取目标图像时，可获取道路众包图像数据；利用路网差分去除所述道路众包图像数据中无交通要素图像，获得所述目标图像。

可以理解的是，本申请实施例中并不对计算机设备的数量进行限定，其可以是多个计算机设备共同协作完成图像匹配功能。在一种可能的情况中，请参考图2。由图2可知，该硬件组成框架可以包括：第一计算机设备101、第二计算机设备102。第一计算机设备101与第二计算机设备102之间通过网络103实现通信连接。

在本申请实施例中，第一计算机设备101与第二计算机设备102的硬件结构可以参考图1中计算机设备10，可以理解为本实施例中具有两个计算机设备10，两者进行数据交互，实现图像匹配功能。进一步，本申请实施例中并不对网络103的形式进行限定，如，网络103可以是无线网络(如WIFI、蓝牙等)，也可以是有线网络。其中，网络103仅为实现第一计算机设备和第二计算机设备之间的通信交互，网络103还可为直接替换为通信总线或直接数据线。

其中，第一计算机设备101和第二计算机设备102可以是同一种计算机设备，如第一计算机设备101和第二计算机设备102均为服务器；也可以是不同类型的计算机设备，如，第一计算机设备101可以是终端或智能电子设备，第二计算机设备102可以服务器。在又一种可能的情况中，可以利用计算能力强的服务器作为第二计算机设备102来提高数据处理效率及可靠性，进而提高图像匹配效率。同时利用成本低，应用范围广的终端或智能电子设备作为第一计算机设备101，用于实现第二计算机设备102与用户之间的交互。

进一步，为了便于用户查阅图片匹配处理进度，第一计算机设备101还可以在获得到目标图像时，将该目标图像输出。本申请实施例并不限定第一计算机设备101输出形式，如，可以利用显示器输出目标图像，也可以通过外接投影设备输出该目标图像。

举例说明，请参考图3，终端在获取到目标图像后，将该目标图像通过网络发送给服务器。服务器在接收到目标图像后，对目标图像进行特征提取，并根据提取的深度特征描述子集合与待选图像的深度特征描述子集合进行比对，确定目标图像与待选图像是否匹配。服务器在确定目标图像与待选图像是否匹配之后，可将匹配结果发送给终端。以便用户通过终端设备了解匹配结果。

结合以上共性，参见图4，示出了本申请实施例的一种图像匹配方法的另一种流程示意图，本实施例的方法可以包括：

S101、获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块。

其中，目标图像即为待匹配的图像。具体的，若在图像检索中进行图像匹配，则目标图像即可为用户上传或输入的待检索相似图像的检索图；若在图像去重处理中进行图像匹配，则目标图像即可为待进行去重处理的任意一副图像。例如，目标图像可具体为人物照片(如人脸)、风景图片、物体图片(如交通标志照片，商品图)、医学图(如断层扫描图)等常见图像。

可通过诸如摄像头的图像采集设备直接进行拍摄获得目标图像；也可通过与其他设备进行通信交互，接收来自其他设备的发送的图像；也可以直接从预先存储的可读存储介质中读取图像的方式获得目标图像。本申请实施例对如何获取目标图像，以及所获取的目标图像的具体场景以及其所包含的图像内容并不限定。

优选地，为了进一步提高图像匹配准确率，在获得目标图像之后，可对目标图像进行尺寸变换，去噪声等预处理。在诸如图像筛选的具体场景下，可对大量图像根据需求进行简单筛选后，确定出目标图像。例如，当在图像检索中应用本申请所提供的图像匹配方法时，可首先对用户输入的图像进行检索，对图像的清晰度、完整性等进行筛选，将满足清晰度要求且完成的图像作为目标图像。

在获得目标图像之后，便可利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块。其中，深度网络可采用能够提取目标图像的深度特征的深度网络即可。例如，可采用YOLO(YOLO(You Only Look Once：Unified，Real-Time ObjectDetection，一种基于单个神经网络的目标检测系统)，Inception V3(一种深度学习之图像分类模型)等深度网络提取目标图像的深度特征块。

需要说明的是，所提取到的深度特征块的数量和用于提取深度特征块的深度网络相关。例如，若目标图像为宽为W，高为H的图像，利用深度网络对目标图像进行特征提取之后，可获得不同的尺寸的深度特征块，其中深度特征块的尺寸可用w*h*d表示；其中，w为宽度，其值可为W的0.5，0.25、0.125倍等数值；h为宽度，其值可为H的0.5，0.25、0.125倍等数值；其中，d为深度维数，深度维数d的数值与归一化宽高的算法相关，如可为256，512，1024等数值，其值可固定不便，也可变化。

对于同一目标图像，利用不同的深度网络进行特征提取，其对应的深度特征块的数量会与深度网络匹配。例如，深度网络1对目标图像进行特征提取时，获得的深度特征块数量为a；而深度网络2对目标图像进行特征提取时，获得的深度特征块的数量为b，a与b可相同也可不同。在实际应用中，可仅利用一种深度网络对目标图像进行特征提取，也可采用多种深度网络对目标图像进行特征提取，获得若干种深度网络分别提取的多个深度特征块。例如，若仅采用深度网络1对目标图像进行特征提取，则深度特征块数据为a；若同时采用深度网络1和深度网络2对目标图像进行特征提取，则深度特征块数据为a+b。

需要说明的是，当采用一种深度网络对目标图像进行特征提取，以获得深度特征描述子集合时，相应地，提取候选图像的特征所采用的深度网络也应当与提取目标图像的深度网络相同。当采用多种深度网络对目标图像进行特征提取，以获得深度特征描述子集合时，相应地，提取候选图像的特征所采用的深度网络也应当为与提取目标图像对应的多种深度网络。

S102、对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合。

为了使得最终进行图像匹配的特征描述子集合能够具备不同尺寸的深度特征块的特征数据，可获得的多个深度特征块进行融合处理，得到目标特征图。

在一种具体实现方式中，融合多个深度特征块的具体实现过程可包括：

步骤一、对多个所述深度特征块进行归一化处理；

步骤二、对归一化后的多个所述深度特征块进行融合，获得所述目标特征图。

其中，对多个深度特征块进行归一化，即将深度特征块的尺寸进行统一。例如，若存在若干个深度特征块：w1*h1*d，w2*h2*d，w3*h3*d，w4*h4*d，归一化深度特征块，即将尺寸统一至某一个固定数值，如W*H*d。融合归一化后的多个深度特征块，得到目标特征图。如此，该目标特征图即为包括了多个不同尺寸对应的深度特征的特征图。

在一种具体实现方式中，上述步骤一可具体为利用线性插值或反卷积对多个所述深度特征块进行归一化处理。

其中，线性插值是指插值函数为一次多项式的插值方式，其在插值节点上的插值误差为零。线性插值相比其他插值方式，如抛物线插值，具有简单、方便的特点。线性插值的几何意义即原函数上的两点之间的直线来近似表示原函数。线性插值可以用来近似代替原函数，也可以用来计算得到查表过程中表中没有的数值。

其中，反卷积的目的是找到一个形似的卷积方程的解：f*h＝g，通常，h可为深度特征块，f是希望归一化后的深度特征块，在记录h之前已经与其他一些信号g卷积。通过反卷积可以对h进行归一化处理，得到归一化后的f。

在一种具体实现方式中，请参考图5，左侧部分为归一化后的多个深度特征块示意内容，右侧部分为融合后的目标特征图，中间的箭头表示融合算法为求和计算。上述步骤二可具体为对归一化后的多个所述深度特征块进行融合计算，获得所述目标特征图；其中，所述融合计算为求和、取均值或加权求和。具体的，求和即为对归一化后的多个深度特征块的相同位置的像素点对应的向量进行累加，将累加结果作为目标特征图中对应像素点的向量；取均值即为对多个深度特征块相同位置的像素点的向量进行累加后求其均值，并将均值作为目标特征图中对应像素点的向量；加权求和可具体为预先为不同尺度的特征块设置不同的权值，对归一化后多个深度特征块相同位置的像素点对应的向量进行按照预设权值进行加权累加，将加权累加结果作为目标特征图对应像素点的向量。其中，向量还可具体化为像素值。

得到目标特征图之后，便可从目标特征图中选取出深度特征描述子集合。

优选地，在从目标特征图中选取深度特征描述子集合时，还可根据实际应用场景的需求，对目标特征图进行进一步处理。如图6所示，图6左侧示意内容为交通标志牌照片的特征提取后获得的目标特征图，图6右侧示意内容为去燥后的目标特征图。去燥依据为，当目标图像为交通标志牌照片时，为满足安全、设置醒目、清晰、明亮等要求，通常交通标志牌中绘制的交通标志(如禁止停车、掉头、左转、非机动车道等交通标志)不会设置在标志牌的边缘，因此如图6左侧示意部分的左上角的小区域明显内容应当是不存在的，基于此，可将位于目标特征图边缘的噪声去除。

其中，深度特征描述子集合即为包括多个深度特征描述子的集合。

S103、判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配。

需要说明的是，在本申请实施例中，可预先对候选图像进行深度特征提取，并采用与上述步骤S101至步骤S102的处理方式，获得并存储候选图像的深度特征描述子集合，以便实现目标图像与候选图像的特征匹配。也就是说，候选图像的深度特征描述子集合的获取过程，包括：

步骤一、获取候选图像，并利用深度网络对所述候选图像进行特征提取，获得不同尺寸的多个深度特征块；

步骤二、对多个深度特征块进行融合处理获得候选目标特征图，并从候选目标特征图中选取出候选图像的深度特征描述子集合。

上述步骤一和步骤二的具体实现过程可参见本文中的步骤S101和S102，在此不再一一赘述。

当然，若目标图像和候选图像均为实时采集获取的图像时(如对CT断层扫描图进行结节检测时，判断两个图像是否相同时)，则可在获取到和目标图像候选图像时，分别对目标图像和候选图像进行特征提取，获得各自对应的深度特征描述子集合。

在本申请实施例中，候选图像可以为一个也可以为多个，进行匹配判断时，即判断目标图像的深度特征描述子集合分别与每一个候选图像的深度特征描述子集合进行匹配。当为多个候选图像时，每两个深度特征描述子集合之间的匹配判断可依次进行，也可以并行进行。

举例说明，当存在3个候选图像(若在地图的道路众包图像数据处理时，候选图像可具体为与目标图像的GPS定位相同的前期图片(即旧图)或同期图片)时，若目标图像的深度特征描述子集合为A，3个候选图像的深度特征描述子集合分别为B、C和D，则分别对A和B，A和C，A和D进行匹配判断。

在一种具体实现方式中，判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配，包括：

步骤一、将所述深度特征描述子集合中的深度特征描述子与所述候选图像的深度特征描述子集合中的深度特征描述子进行描述对匹配；

步骤二、在匹配的描述子对数量达到预设阈值时，确定所述深度特征描述子集合与候选图像的深度特征描述子集合匹配。

即，判断深度特征描述子集合与候选图像的深度特征描述子集合是否匹配，即通过对两个深度特征描述子集合中的深度特征描述子进行匹配，根据匹配的深度特征描述子对的数量或比例确定两个深度特征描述对是否匹配。

举例说明，如何判断两个深度特征描述子集合是否匹配。假设集合A＝{a1，c2，c1，e3，f2，h1}表示目标图像的深度特征描述子集合，其中，a1，c2，c1，e3，f2，h1分别为深度特征描述子；集合B＝{a1，e2，h1，l2，y1}表示待选图像的深度特征描述子集合，其中a1，e2，h1，l2，y1分别为深度特征描述子。判断集合A与集合B是否匹配，即可判断A和B集合中相同的深度特征描述子的配对情况是否满足预设阈值，其中预设阈值可为3，其中，A集合中的a1与B集合中的a1匹配，A集合中的e3与B集合中的e2匹配，A集合中的h1与B集合中的h1匹配，可见A集合与B集合中存在3对匹配的深度特征描述子，此时达到预设阈值，可认为A集合与B集合匹配。当然，在本申请的具体实例中，还可在深度特征描述对在两个深度特征描述子集合中的比例达到指定数值(如80％，90％等数值)时，确认两个深度特征描述子集合匹配。

若目标图像的深度特征描述子集合与待选图像的深度特征描述子集合匹配，则执行步骤S104的操作；若目标图像的深度特征描述子集合与待选深度特征描述子集合不匹配，则执行步骤S105的操作。

S104、确定所述目标图像与所述候选图像匹配。

在图像对应的深度特征描述子集合满足匹配条件时，则可直接认定目标图像与候选图像匹配。

需要说明的是，当仅有一个候选图像时，则直接确定目标图像与该候选图像匹配；当存在多个候选图像时，则将深度特征描述子集合与目标图像的深度特征描述子集合匹配的一个或多个候选图像确定匹配。

举例说明，当仅有一个候选图像时，在两个深度特征描述子集合匹配时，则该候选图像与目标图像匹配；当存在5个候选图像时，且这5个候选图像中仅有一个候选图像的深度特征描述子集合与目标特征描述子集合匹配，则将这一个候选图像确定与目标图像匹配。

S105、确定所述目标图像与所述候选图像不匹配。

当目标图像的深度特征描述子集合与所有的后续图像对应的深度特征描述子集合均不匹配时，则确定目标图像与候选图像不匹配。

需要说明的是，当本申请实施例所提供的图像匹配方法应用在不同的具体使用场景下时，其具体实现步骤可根据具体的应用场景进行微调或进行适应性调整。在一种可能的情况下，将本申请实施例所提供的图像匹配方法，应用到道路地图众包图像数据处理中时，获取目标图像即可调整为：

步骤一、获取道路众包图像数据；

步骤二、利用路网差分去除所述道路众包图像数据中无交通要素图像，获得所述目标图像。

其中，道路众包图像数据即为将地图道路图片数据采集的任务，交给大众网络后，用户通过手机或者行车记录仪等，采集指定道路图片。

其中，路网差分指提取图片中的信息，将图片中包含的语义信息(如图像识别算法检测出图片中有限速20)与地图数据中，该位置的语义信息进行比对，将比对结果一致的过滤掉。

在现有的图像特征匹配方案中，在诸如交通标志匹配的具体应用场景下效果一般，其主要原因有，待匹配图像的需被匹配的内容占整个图像的比例较小，例如，交通标志匹配中待匹配的交通标志牌站整个图像的比例很小(大约占10-50像素左右)，并且有的交通标志还比较模糊，因此采用现有的特征比对方案能够提取到的有效特征非常少甚至没有。另一方面，现有的特征描述主要是依赖于边、角、梯度信息这些低层次的特征，并没有高层次的语义特征，相比于深度特征来说，这些特征描述子的性能会相对差一些。也就是说，现有的图像特征匹配方案中，能够提取到的有效特征较少，且标注能力较低，导致图像特征匹配难以满足实际应用需求。

基于此，在本方法提出利用深度网络提取图像的深度特征块，并对深度特征块进行融合处理，获得特征图，基于特征图获得深度特征描述子。如此，便可保障能够提取到足量的有效特征，且深度神经网络提取的深度特征块表征了深层次的语义特征，基于足量有效特征且该有效特征具备了深层次的语义特征，如此基于深度特征描述子进行特征匹配，便可大大地提升特征匹配的准确率。

在一种可能的情况中，为了获得更具表征能力的深度特征描述子集合，提升匹配准确率，还可对特征点的选取和处理过程进行微调或优化。请参见图7，其示出了本申请一种图像匹配方法又一个实施例的流程示意图，本实施例的方法可以包括：

S201、获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块。

S202、对多个所述深度特征块进行融合处理获得目标特征图。

S203、从所述目标特征图中选取多个特征点。

选取特征点时，为了使得特征点更具备代表性，可选地，可从所述特征图中选取出视觉显著性大于指定阈值的像素点，将所述像素点作为所述特征点。

其中，视视觉显示性(Visual Attention Mechanism，VA，即视觉注意机制)，为在计算机视觉中，引入人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力的视觉注意机制。可利用视觉显著性检测模型对目标特征图进行处理，以选取多个特征点。其中，视觉显著性检测模块是通过计算机视觉算法去预测目标特征图中的哪些信息更受到视觉注意的。其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

计算出视觉显著性之后，便可根据视觉显著性选取多个特征点。具体的，可预先设置一个指定阈值P，该阈值P的可为设置为目标特征图上所有点的平均值的倍数；或设定需要选取的特征点个数，对各个像素点的视觉显著性进行排序后自上而下的选择指定个数的特征点。

S204、利用多个所述特征点，获得所述深度特征描述子集合。

为了进一步提高特征点的代表性，减少比对深度特征描述子的耗时，还可对多个所述特征点进行筛选，并利用筛选后的特征点获得所述深度特征描述子集合。例如，可从多个特征点中筛选出局部极值点，并基于筛选出的局部极值点获得深度特征描述子集合。

在一种可能的情况中，还可以根据具体的应用场景选择合适的深度特征描述子，或者将多个深度特征描述子组合。例如，当目标图像为交通标志牌照片时，为满足安全、设置醒目、清晰、明亮等要求，通常交通标志牌中绘制的交通标志(如禁止停车、掉头、左转、非机动车道等交通标志)不会设置在标志牌的边缘，基于此，可将位于目标特征图边缘的特征点删除；交通标志牌鲜少存在小面积或者小区域的颜色突变，基于此，对于相对孤立的特征点，也可将其剔除。

在利用多个特征点获得深度特征描述子集合时，还可根据不同的应用需求，采用不同的方式进行。可选方式包括但不限于以下方式：

方式一、将每个所述特征点在深度特征中对应的向量分别作为一个深度特征描述子，获得所述深度特征描述子集合。直接将特征点的向量作为深度描述特征子。例如，特征点的向量为f，则可直接将向量f作为深度特征描述子。

方式二、按照特征描述子构建算法对多个所述特征点分别进行处理，获得多个深度特征描述子；将多个所述深度特征描述子添加至所述深度特征描述子集合。

可选地，特征描述子构建算法可选用诸如SIFT(Scale-invariant featuretransform，尺度不变特征转换)和HOG等特征描述子构建算法。其中，SIFT用于图像处理领域的一种描述子，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子；HOG(histogram of gradient，梯度方向直方图)，HOG特征主要是用于目标检测等图像任务中，它能够提取图像中有意义的部分，进而用于分类等任务。

S205、判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配。

如果匹配，则进入步骤S206；如果不匹配，则进入步骤S207。

S206、确定所述目标图像与所述候选图像匹配。

S207、确定所述目标图像与候选图像不匹配。

在一种可能的情况中，确定目标图像与候选图像是否匹配之后，可根据匹配结果进行相应处理。本实施例的方法还可以包括：

在图像去重筛选过程中，若所述目标图像与所述候选图像不匹配，则保留所述目标图像；

或，在图像检索过程中，若所述目标图像与所述候选图像匹配，则将所述候选图像作为检索结果输出。

图像去重筛选在图像存储、样本选取过程中往往会涉及到将相似或相同图片进行筛选，以使得筛选得到的图像非重复且无相似图像。在图像去重筛选过程中，若目标图像与候选图像不匹配，则表明目标图像与候选图像既不相同也不相似，此时可保留目标图像。相应地，若目标图像与候选图像匹配，则表明目标图像与候选图像可能存在相同或相似情况，此时可去除目标图像，以保障筛选得到的图像非重复且无相似图像。

图像检索在查找相似图像或识别技术中被广泛应用。在图像检索过程中，若目标图像与候选图像匹配，此时可认为候选图像即为需要检索或查询的图像，可将该候选图像作为检索结果输出。

为便于本领域技术人员更好地理解本申请实施例所提供的图像匹配方法，下面以在道路众包图像数据处理为例，对本申请实施例所提供的图像匹配方法在具体的应用场景下的实现过程进行详细说明。

众包指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。道路众包图像数据采集的目的是为了发现地图数据发生变化的位置，进而更新地图数据。大众网络反馈的道路图像往往存在无交通要素的图像或新上传的道路图像与其他用户或以前上传的道路图像中的交通要素无变化。为了减少人工查看图片量，提升效率，往往会通过各种技术手段，过滤掉没有信息的图片以及所带信息与现有地图数据一致不变的图片。

为了对道路图像进行筛选，采用图图差分和路网差分，可去除无交通要素的图像，以及与现有地图数据一致的图片。其中，图图差分指将新采集的图片信息(整幅图及图片中的图像识别结果)与以前采集并且处理过的旧图片信息(整幅图及图片中的图像识别结果)，进行比对，如果新图片的信息与旧图片一致，则过滤掉；如果新图片的信息与旧图片的信息不一致，则可将新图片存到数据库中，该数据库可称之为base库。其中，新图片与旧图片为GPS定位相同或GPS定位在指定区域范围内(如间隔距离在10米内)的新旧图片。

在采用现有的图像匹配方法实现图图差分时，要将新旧图片信息进行比对，一般的流程：整图比对转换为要素语义比对和图像特征比对，当图像特征比对和单独要素都比对一致，则认为是同一物理要素，从而过滤掉。

由于单要素语义信息，即通过图像识别得到的要素类别及置信度，准确率有限，单独依靠语义信息会造成很多比对错误，因而对单要素的图像特征比对是至关重要的。

常见的图像特征比对方案，大致分为以下三步：

1、特征点提取，找到图片中有明显特征的点，例如角点等，常见方法包括sift，surf，orb，fast等；

2、特征描述，对1中提取的特征点提取特征描述子，特征描述与1中所述特征点相对应；

3、特征匹配，对新旧图像中的特征点及描述子进行匹配。当能够匹配上的点对足够多，且满足一系列的规则(如满足几何约束等)，那么就认为这两个图像匹配成功。

请参考图8，图8为现有方案中的匹配示意图，其中连接的线条为匹配的特征描述子对，小圆为特征描述子。可见，在现有的图像特征比对方案中，前两步特征点提取和描述子是整个匹配的基础，但是目前常见的这些特征，在交通标志匹配的场景效果一般，往往无法将具有相同交通要素的图片匹配识别出。其主要原因有，在地图的道路众包图像数据处理中，要匹配的交通标志牌大部分都很小(如10-50像素左右)并且交通标志牌还比较模糊，因此现有的特征提取方法能够提取到的有效特征非常少甚至没有。另一方面，现有的特征描述主要是依赖于边、角、梯度信息这些低层次的特征，并没有高层次的语义特征，这些特征描述子的性能差。

因此，在交通标志牌的匹配中，如果仅仅现有的图像匹配方法，会导致本应该匹配上的相同的标志牌，有很多都无法匹配上，导致过滤比例降低。进一步无法有效的筛选图像。

利用本申请实施例所提供的图像匹配方法进行图像匹配，可克服上述特征点提取和描述困难的问题。具体的，比对新图片与旧图片，即确定新图片与旧图片是否匹配，可采用本申请实施例所提供的图像匹配方法进行对比，新图片即可视为上述实施例中的目标图像，旧图片即可视为上述实施例中的候选图像；当然也可将新图片视为候选图像，而将旧图片视为候选图像。

在道路众包图像数据处理过程中，还会采用深度网络对图像的进行深度特征提取，以实现标志牌分类。也就是说，在应用本申请实施例所提供的图像匹配方法时，还直接借助标志牌分类过程中提取到的深度特征，来实现图像匹配。具体实现过程包括：将这些深度特征，在深度方向进行加和，最终得到目标特征图。在这个特征图上，每一个像素点位置的特征值的大小，表征了这个点的显著性(区分能力)，也就是表征了这个点对于当前交通标志牌匹配的贡献度。

在特征图上，按照指定规则选取特征点，必要条件是要选择显著性大于指定阈值p(p可设置为特征图上所有点的平均值的倍数)的，在此基础上，可以对选出来的特征点集合做进一步筛选，例如要求是局部极值等。

通过这样的方案选取出的特征点，这个点在深度特征中对应的向量，可以直接构成一个深度特征描述子。此外，对于选取出的特征点，还可以进一步进行特征描述子提取，获得深度特征描述子。当然，还可根据实际应用场景选择合适的描述子，或者多个描述子组合。

在道路众包图像数据处理中，可借助图像识别方法来定位图中的交通要素并且进行精细的分类，去除无有效交通要素的图片。在此基础上，利用本申请实施例所提供的图像匹配方法，对具有有效交通要素的图片，进行图图差分，进一步过滤掉与旧的地图数据相同的图片，来减少人工作业量，提高生产效率。

为便于理解，下面对采用本申请实施例所提供的图像匹配方法中的关键步骤进行详细说明。

目标特征图获取过程：提取深度特征的深度网络可为YOLO，Inception V3等可提取图像深度特征的网络。特征提取过程可具体为：对于一张宽为W，高为H的目标图像，深度网络在对目标图像进行特征提取后，会在不同的层产生不同尺寸的特征块，尺寸可用w*h*d表示，w一般是W的0.5，0.25，0.125倍等，类似的，h是H的0.5，0.25，0.125倍等，d为与深度网络的特征提取算法相关的深度维数。将这些不同尺寸的特征块，宽高尺寸统一采用线性插值或反卷积等算法归一化到W*H，深度维数d依赖于归一化宽高的算法，可变可不变。将这些特征块按深度方向进行加和，可得到一个W*H*1的目标特征图，该目标特征图即可用于提取特征点。

选取特征点的过程：在目标特征图上，选择满足条件的点：显著性大于指定阈值p。通过这样的方案选取出的特征点，在深度特征中对应的向量，可以直接构成一个深度的特征描述子。此外，对于选取出的特征点，还可以进行传统特征描述子的提取。根据实际应用场景选择合适的描述子，或者多个描述子组合。例如，考虑到大于指定阈值p的特征点，有时候会比较密集，因此可以在用阈值选取出的特征点集合上，应用其他规则，例如要求是极值点，或者对特征点集合进行降采样等，来对特征点进行进一步筛选。

请参考图9，图9为在交通标志牌照片匹配中应用本申请的图像匹配方法的匹配效果示意图，其中连接的线条为匹配的特征描述子对，小圆为特征描述子。显然的，采用了本申请的图像匹配方法后，特征描述子的数量相较于现有匹配方案更多，进一步的特征描述子对的数量也相应增大。即，在地图道路总包图像数据进行筛选处理过程中，应用本申请实施例所提供的图像匹配方法，基于该方法可以得到更好的匹配效果，从而可以在图图差分步骤过滤掉更多的信息一致的图片，可提升作业效率，减少人工作业。

另一方面，本申请还提供了一种图像匹配装置。请参见图10，示出了本申请实施例的一种图像匹配装置一个实施例的组成结构示框图，本实施例的装置可以应用于如上实施例中的计算机设备，该装置包括：

深度特征提取模块301，用于获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

深度特征描述子获取模块302，用于对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

特征描述子匹配判断模块303，用于判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

图像匹配确定模块304，用于若所述深度特征描述子集合与所述候选图像的深度特征描述子集合匹配，则确定所述目标图像与所述候选图像匹配。

在本申请的一种具体实施方式中，深度特征描述子获取模块302，包括：

归一化单元，用于对多个所述深度特征块进行归一化处理；

融合单元，用于对归一化后的多个所述深度特征块进行融合，获得所述目标特征图。

在本申请的一种具体实施方式中，融合单元，具体用于对归一化后的多个所述深度特征块进行融合计算，获得所述目标特征图；其中，所述融合计算为求和、取均值或加权求和。

在本申请的一种具体实施方式中，归一化单元，具体用于利用线性插值或反卷积对多个所述深度特征块进行归一化处理。

在本申请的一种具体实施方式中，深度特征描述子获取模块302，包括：

特征点选取单元，用于从所述目标特征图中选取多个特征点；

描述单元，用于利用多个所述特征点，获得所述深度特征描述子集合。

在本申请的一种具体实施方式中，特征点选取单元，具体用于从所述特征图中选取出视觉显著性大于指定阈值的像素点，将所述像素点作为所述特征点。

在本申请的一种具体实施方式中，描述单元，具体用于对多个所述特征点进行筛选，并利用筛选后的特征点获得所述深度特征描述子集合。

在本申请的一种具体实施方式中，描述单元，具体用于将每个所述特征点在深度特征中对应的向量分别作为一个深度特征描述子，获得所述深度特征描述子集合。

在本申请的一种具体实施方式中，描述单元，具体用于按照特征描述子构建算法对多个所述特征点分别进行处理，获得多个深度特征描述子；将多个所述深度特征描述子添加至所述深度特征描述子集合。

在本申请的一种具体实施方式中，特征描述子匹配判断模块303，具体用于将所述深度特征描述子集合中的深度特征描述子与所述候选图像的深度特征描述子集合中的深度特征描述子进行描述对匹配；在匹配的描述子对数量达到预设阈值时，确定所述深度特征描述子集合与候选图像的深度特征描述子集合匹配。

在本申请的一种具体实施方式中，还包括：

去重处理模块，用于在图像去重筛选过程中，若所述目标图像与所述候选图像不匹配，则保留所述目标图像；

或，图像检索响应模块，用于在图像检索过程中，若所述目标图像与所述候选图像匹配，则将所述候选图像作为检索结果输出。

在本申请的一种具体实施方式中，深度特征提取模块301，具体用于获取道路众包图像数据；利用路网差分去除所述道路众包图像数据中无交通要素图像，获得所述目标图像。

另一方面，本申请还提供了一种计算机设备，该计算机设备可以包括处理器和存储器。该计算机设备中处理器和存储器之间的关系可以参考图1。

其中，计算机设备的处理器用于执行所述存储器中存储的程序；

计算机设备的存储器用于存储程序，所述程序至少用于：

获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

如果匹配，则确定所述目标图像与所述候选图像匹配。

当然，该计算机设备还可以包含通信接口、显示单元以及输入装置等，具体在此不加以限制。

另一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，用于实现如上任意一个实施例中所描述的图像匹配方法。

该存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本申请的范围。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种图像匹配方法，其特征在于，包括：

获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

如果匹配，则确定所述目标图像与所述候选图像匹配；

从所述目标特征图中选取出深度特征描述子集合，包括：

从所述特征图中选取出视觉显著性大于指定阈值的像素点，将所述像素点作为特征点；

利用多个所述特征点，获得所述深度特征描述子集合。

2.根据权利要求1所述的图像匹配方法，其特征在于，所述对多个所述深度特征块进行融合处理获得目标特征图，包括：

对多个所述深度特征块进行归一化处理；

对归一化后的多个所述深度特征块进行融合，获得所述目标特征图。

3.根据权利要求2所述的图像匹配方法，其特征在于，所述对归一化后的多个所述深度特征块进行融合，获得所述目标特征图，包括：

对归一化后的多个所述深度特征块进行融合计算，获得所述目标特征图；其中，所述融合计算为求和、取均值或加权求和。

4.根据权利要求1所述的图像匹配方法，其特征在于，所述利用多个所述特征点，获得所述深度特征描述子集合，包括：

将每个所述特征点在深度特征中对应的向量分别作为一个深度特征描述子，获得所述深度特征描述子集合。

5.根据权利要求1至4任一项所述的图像匹配方法，其特征在于，还包括：

在图像去重筛选过程中，若所述目标图像与所述候选图像不匹配，则保留所述目标图像；

或，在图像检索过程中，若所述目标图像与所述候选图像匹配，则将所述候选图像作为检索结果输出。

6.根据权利要求1至4任一项所述的图像匹配方法，其特征在于，所述获取目标图像，包括：

获取道路众包图像数据；

利用路网差分去除所述道路众包图像数据中无交通要素图像，获得所述目标图像。

7.一种图像匹配装置，其特征在于，包括：

深度特征提取模块，用于获取目标图像，并利用深度网络对所述目标图像进行特征提取，获得不同尺寸的多个深度特征块；

深度特征描述子获取模块，用于对多个所述深度特征块进行融合处理获得目标特征图，并从所述目标特征图中选取出深度特征描述子集合；

特征描述子匹配判断模块，用于判断所述深度特征描述子集合与候选图像的深度特征描述子集合是否匹配；

图像匹配确定模块，用于若所述深度特征描述子集合与所述候选图像的深度特征描述子集合匹配，则确定所述目标图像与所述候选图像匹配；

所述深度特征描述子获取模块具体用于：

从所述特征图中选取出视觉显著性大于指定阈值的像素点，将所述像素点作为特征点；

利用多个所述特征点，获得所述深度特征描述子集合。

8.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述图像匹配方法。

9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像匹配方法。

Images