CN110309335A - 一种图片匹配方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种图片匹配方法、装置、设备及存储介质；该方法包括：对待匹配图片进行局部特征提取，得到待匹配局部特征；从预设种子图片库中，确定与待匹配局部特征匹配的种子图片；获取与确定的种子图片中已标注的关键区域所对应的关键全局特征；从待匹配图片中，确定与已标注的关键区域对应的待匹配关键区域；将关键全局特征与待匹配关键区域进行匹配，得到图片匹配结果。通过本发明实施例，能够提升图片匹配的准确度。

Description

一种图片匹配方法、装置、设备及存储介质

技术领域

本发明涉及计算机领域中的图片处理技术，尤其涉及一种图片匹配方法、装置、设备及存储介质。

背景技术

在图片检索等图片匹配的应用场景中，需要从预设种子图片库中确定与待匹配图片匹配的目标图片。一般来说，通常基于图片的局部特征进行相似度的计算，以根据相似度和预设相似度阈值确定与待匹配图片匹配的目标图片。然而，在上述确定与待匹配图片匹配的目标图片中，存在局部区域与待匹配图片相似，但该目标图片与待匹配图片毫无关联的情况，从而，基于局部特征获取到的图片匹配结果不准确，因此，图片匹配的准确度低。

发明内容

本发明实施例提供一种图片匹配方法、装置、设备及存储介质，能够提高图片匹配的准确度。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图片匹配方法，包括：

对待匹配图片进行局部特征提取，得到待匹配局部特征；

从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片；

获取与确定的种子图片中已标注的关键区域所对应的关键全局特征；

从所述待匹配图片中，确定与所述已标注的关键区域对应的待匹配关键区域；

将所述关键全局特征与所述待匹配关键区域进行匹配，得到图片匹配结果。

本发明实施例提供一种图片匹配装置，包括：

局部特征提取模块，用于对待匹配图片进行局部特征提取，得到待匹配局部特征；

局部特征匹配模块，用于从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片；

区域获取模块，用于获取与确定的种子图片中已标注的关键区域所对应的关键全局特征；

区域确定模块，用于从所述待匹配图片中，确定与所述已标注的关键区域对应的待匹配关键区域；

全局特征匹配模块，用于将所述关键全局特征与所述待匹配关键区域进行匹配，得到图片匹配结果。

本发明实施例提供一种图片匹配设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的方法。

本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的方法。

本发明实施例具有以下有益效果：在采用局部特征从预设种子图片库中确定出与待匹配图片匹配的种子图片之后，进一步将确定的种子图片对应关键区的全局特征与待匹配图片对应的关键区进行匹配，实现了一种通过二次匹配从预设种子图片库中，准确地确定出与待匹配图片对应的图片匹配结果的技术方案，提高了图片匹配的准确度。

附图说明

图1是本发明实施例提供的一种示例性的图片匹配结果示意图；

图2是本发明实施例提供的图片匹配系统100的一个可选的架构示意图；

图3是本发明实施例提供的图片匹配服务器400的结构示意图；

图4是本发明实施例提供的图片匹配方法的一个可选的流程示意图；

图5是本发明实施例提供的一种示例性的子关键区域的标注示意图；

图6是本发明实施例提供的一种示例性地获取图片匹配结果的流程示意图；

图7是本发明实施例提供的获取预设种子图片库的一个可选的流程示意图；

图8是本发明实施例提供的获取图片局部特征的一个可选的流程示意图；

图9是本发明实施例提供的获取关键全局特征的一个可选的流程示意图；

图10是本发明实施例提供的获取与待匹配局部特征匹配的种子图片的一个可选的流程示意图；

图11是本发明实施例提供的一种示例性地获取候选种子图片的流程示意图；

图12是本发明实施例提供的一个示例性的图片匹配流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)图片的局部特征，是指从图片局部区域中抽取的特征，比如，边缘、角点、线、曲线和特别属性的区域等。

2)图片的全局特征，是指能够表征整幅图片的特征，即图片的整体属性；用于描述图片的颜色特征、纹理特征和形状特征等整体特征，比如强度直方图、HOG(Histogram ofOriented Gradients，方向梯度直方图)等。

3)种子图片，指图片库中存储的作为标准的图片，用于与待匹配图片进行匹配。

在进行图片匹配的过程中，涉及类别匹配和同源匹配两种类型。对于类别匹配，指进行图片语义和/或内容上的匹配；一般利用大量存在标注的训练数据，进行分类模型的训练，并利用该分类模型对待匹配图片进行类别匹配，以从图片库中确定出与待匹配图片类别相似的图片，这种图片匹配方式适用于类别信息和图像特征比较明显且容易归类的图片；比如，当待匹配图片表征一张关于猫的图片时，则通过分类模型确定该待匹配图片的类型为动物猫，从而从图片库中匹配出类型为动物猫的目标图片。

对于同源匹配，指同源图片的匹配，是一种比类别匹配更为精准的匹配类型；示例性地，当待匹配图片表征一张关于猫的图片时，经过同源图片匹配，则能够从数据库中匹配出与该待匹配图片属于同源的图片，比如该待匹配图片的原图，或者该待匹配图片的原图对应的经过裁剪、拼接和缩放等图像变换后的图片。另外，同源匹配时，可以通过图片的全局特征和图片的局部特征来实现。

需要说明的是，采用图片的全局特征从图片库中进行待匹配图片的匹配时，不能匹配出发生裁剪、拼接等变换后的图像，存在漏过待匹配图片的同源图片的问题，不能准确地匹配出待匹配图片的同源图片。而采用图片的局部特征从图片库中进行待匹配图片的匹配时，虽然能够匹配出发生裁剪、拼接等变换后的图像，但存在种子图片的误命中问题。尤其当种子图像中包含常见的预设模式的图片时，误命中率更高；参见图1，图1是本发明实施例提供的一种示例性的图片匹配结果示意图，如图1所示：左侧图为待匹配图片11，右侧图为与待匹配图片匹配的目标图片12；在左侧图11中，包括期望匹配区域11_1和键盘区域11_2；在右侧图12中，包括其他区域12_1和键盘区域12_2；该匹配结果中，键盘区域11_2和键盘区域12_2中显示的为匹配的关键点，即键盘区域11_2和键盘区域12_2的局部特征的相似度高使得待匹配图片11和目标图片12相匹配的关键点，而待匹配图片11中期望匹配区域11_1和目标图片12却无关。因此，基于局部特征获取到的目标图片与待匹配图片的关联性低，因此，图片匹配的准确度低。

另外，如果将种子图片中期望匹配的区域裁剪出来作为种子图片，由于有的种子图片中期望匹配的区域所包含的局部特征数量小于预设特征数量值，不能构成有效的局部特征，因此，依然存在漏过待匹配图片的同源图片的问题，仍然不能准确地匹配出待匹配图片的同源图片。

基于此，本发明实施例提供一种图片匹配方法、装置、设备和存储介质，能够解决同源图片匹配的准确度低的技术问题，下面说明本发明实施例提供的图片匹配设备的示例性应用，本发明实施例提供的设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，还可以实施为服务器，也可以实施为服务器集群。下面，将说明设备实施为服务器时的示例性应用。

参见图2，图2是本发明实施例提供的图片匹配系统100的一个可选的架构示意图，为实现支撑一个图片匹配应用，图片匹配服务器400通过网络300连接终端200，网络300可以是广域网或者局域网，又或者是二者的组合。其中，终端200用于将待匹配图片通过网络300发送至图片匹配服务器400，图片匹配服务器400用于，通过网络300从终端200(示例性示出了终端200-1和终端200-2)中获取待匹配图片，从而将待匹配图片与预设种子图片库中的种子图片进行匹配得到图片匹配结果，并根据图片匹配结果确定对待匹配图片的处理操作信息。

参见图3，图3是本发明实施例提供的图片匹配服务器400的结构示意图，图3所示的图片匹配服务器400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。图片匹配服务器400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；

显示模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本发明实施例提供的图片匹配装置可以采用软件方式实现，图3示出了存储在存储器450中的图片匹配装置455，其可以是程序和插件等形式的软件，包括以下软件模块：局部特征提取模块4551、局部特征匹配模块4552、区域获取模块4553、区域确定模块4554、全局特征匹配模块4555、图片收集模块4556、检索信息建立模块4557、图片库建立模块4558、位置获取模块4559、更新模块45510和处理操作模块45511，将在下文中说明各个模块的功能。

在另一些实施例中，本发明实施例提供的图片匹配装置可以采用硬件方式实现，作为示例，本发明实施例提供的图片匹配装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图片匹配方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

下面，将结合本发明实施例提供的图片匹配服务器的示例性应用和实施，说明本发明实施例提供的图片匹配方法。另外，需要说明的是，本发明实施例提供的图片匹配方法的步骤中，执行主体为前文的图片匹配设备。

参见图4，图4是本发明实施例提供的图片匹配方法的一个可选的流程示意图，将结合图4示出的步骤进行说明。

S101、对待匹配图片进行局部特征提取，得到待匹配局部特征。

在本发明实施例中，由于对待匹配图片进行检测时，是先通过待匹配图片的局部特征进行图片匹配的，因此，此时首先根据预设局部特征提取算法，对待匹配图片的局部特征进行提取，从而获得待匹配图片对应的待匹配局部特征，也就是说，待匹配局部特征表征待匹配图片的局部特征。

需要说明的是，预设局部特征提取算法用于对图片进行局部特征提取，比如，尺度不变特征变换(Scale Invariant Feature Transform，SIFT)，ORB(Oriented FAST andRotated BRIEF)特征检测和提取算法等。另外，待匹配局部特征包括一个或多个子待匹配局部特征，比如，待匹配局部特征包括90个子待匹配局部特征。

另外，对待匹配图片进行局部特征提取之前，还包括获取待匹配图片的过程；这里，当对线上传播或投放的图片进行检测时，获取线上传播的图片，也就获得了待匹配图片，故待匹配图片即线上传播或投放的图片；待匹配图片还可以是携带在图片匹配请求中的图片，当接收到图片匹配请求时，直接从该图片匹配请求中获取待匹配图片；本发明实施例对此不作具体限定。

S102、从预设种子图片库中，确定与待匹配局部特征匹配的种子图片。

在本发明实施例中，图片匹配服务器中预先存储有预设种子图片库，该预设种子图片库中表征以每张种子图片对应的图片局部特征为索引建立的图片集合。当将待匹配图片的待匹配局部特征，与预设种子图片库进行匹配时，是将待匹配局部特征与预设种子图片库中各种子图片对应的图片局部特征一一匹配，并将匹配成功的图片局部特征所对应的种子图片，作为与待匹配局部特征匹配的种子图片；也就是说，确定的种子图片表征通过图片的局部特征进行图片匹配所获得的关于待匹配图片和预设种子图片库匹配的结果。

需要说明的是，图片局部特征表征每张种子图片的局部特征，并且，图片局部特征中包括至少一个或多个子局部特征，比如，图片局部特征包括90个子局部特征。

S103、获取与确定的种子图片中已标注的关键区域所对应的关键全局特征。

在本发明实施例中，由于预设种子图片库中存储的每张种子图片上对应标注着关键区域，因此，当获得了确定的种子图片之后，就能够从预设种子图片库中获取到该确定的种子图片中已标注的关键区域。而在获得了确定的种子图片的已标注的关键区域之后，如果预设种子图片库中存储有每张种子图片上标注的关键区域的关键特征，则可以直接从预设种子图片库中获得与确定的种子图片中已标注的关键区域所对应的关键全局特征；还可以采用预设全局特征提取算法，对已标注的关键区域中的图片部分进行全局特征的提取，得到关键全局特征。

需要说明的是，已标注的关键区域为确定的种子图片上期望匹配的区域；而关键全局特征为与确定的种子图片中已标注的关键区域所对应的图片部分的全局特征；预设全局特征提取算法用于对图片进行全局特征提取，比如，HOG，离散余弦变换(DiscreteCosine Transform，DCT)等。

另外，各已标注的关键区域中包括一个或多个子关键区域，也就是说，每张种子图片中可包括一个或多个子关键区域；并且，子关键区域可以为矩形、圆形或不规则图形等形状；而当子关键区域为矩形时，子关键区域可通过矩形的任一个顶点的坐标位置、矩形的第一边长度和第二边长度来表示，这里，第一边长度表征矩形的两对长度相等的边中的一对边的长度，第二边长度表征矩形的两对长度相等的边中的另一对边的长度，还可采用其他表示方式，本发明实施例不作具体限定。

示例性地，参见图5，图5是本发明实施例提供的一种示例性的子关键区域的标注示意图，如图5所示：在种子图片5_1上，标注有一个矩形样式的子关键区域5_11，并且，子关键区域5_11的左上角顶点的坐标位置信息为(x，y)，矩形的宽为第一边长度w，矩形的长为第二边长度h，从而该子关键区域5_11可表示为(x，y，w，h)。

S104、从待匹配图片中，确定与已标注的关键区域对应的待匹配关键区域。

在本发明实施例中，当获得了确定的种子图片中已标注的关键区域之后，由于每张确定的种子图片是与待匹配图片在局部特征上匹配成功的图片，从而确定的种子图片与待匹配图片在局部特征上存在特征映射关系，基于该特征映射关系，以及确定的种子图片的已标注的关键区域，就能够在待匹配图片中确定与确定的种子图片的已标注的关键区域所对应的待匹配关键区域。

需要说明的是，各待匹配关键区域与各已标注的关键区域一一对应，并且，当各已标注的关键区域中包括一个或多个子关键区域时，各待匹配关键区域中也对应包括一个或多个子待匹配关键区域。S105、将关键全局特征与待匹配关键区域进行匹配，得到图片匹配结果。

在本发明实施例中，当获得了与确定的种子图片中已标注的关键区域所对应的关键全局特征和待匹配图片的待匹配关键区域之后，将各关键全局特征与各待匹配关键区域对应一一匹配，从而得到图片匹配结果。

需要说明的是，图片匹配结果表征待匹配图片与预设种子图片库的各种子图片的匹配结果，用于确定预设种子图片库中是否存在与待匹配图片匹配的图片；可以理解的是，该图片匹配结果可以表征预设种子图片库中存在与待匹配图片匹配的图片，也可以表征预设种子图片库中不存在与待匹配图片匹配的图片；并且，该图片匹配结果可以指各关键全局特征与各待匹配关键区域是否匹配的匹配结果，还可以指预设种子图片库中与待匹配图片匹配的目标图片，本发明实施例对此不作具体限定。

在本发明实施例中，当图片匹配结果指预设种子图片库中与待匹配图片匹配的目标图片时，S105中将关键全局特征与待匹配关键区域进行匹配，得到图片匹配结果，包括：对待匹配关键区域的图片部分进行全局特征提取，得到待匹配关键全局特征；将关键全局特征和待匹配关键全局特征进行匹配，得到全局特征匹配结果；从全局特征匹配结果中，确定满足预设匹配条件的目标全局特征匹配结果；在已确定的种子图片中，将与目标全局特征匹配结果对应的种子图片，作为图片匹配结果。这里，各全局特征匹配结果与各关键全局特征，以及各待匹配关键区域一一对应。

也就是说，在将关键全局特征与待匹配关键区域进行匹配时，是将关键全局特征与待匹配关键区域对应的待匹配关键全局特征进行匹配，并且是将各关键全局特征与各待匹配关键全局特征对应一一匹配。另外，这里，目标图片表征从预设种子图片库中匹配出的与待匹配图片匹配的相似度满足预设匹配条件的种子图片，数量为一个或多个；而预设匹配条件用于判定各关键全局特征是否达到了目标图片与待匹配图片匹配的条件。

示例性地，当关键全局特征与待匹配关键全局特征均是采用HOG获得时，全局特征匹配结果为各关键全局特征与各待匹配关键全局特征之间对应的欧式距离。此时，预设匹配条件可以根据实际应用情况设置为欧式距离小于100，从而判定各欧式距离中哪些欧式距离小于100，并在已确定的种子图片中，将各欧式距离中小于100的欧式距离(目标全局特征匹配结果)所对应的种子图片作为目标图片，也就得到了图片匹配结果。

在本发明实施例中，将关键全局特征与待匹配关键全局特征匹配，得到全局特征匹配结果时，包括：获取待匹配关键全局特征与关键全局特征的初始全局特征匹配结果；根据预设匹配结果值确定初始全局特征匹配结果对应的匹配结果策略；根据确定的匹配结果策略和初始全局特征匹配结果确定全局特征匹配结果。这里，全局特征匹配结果表征关键全局特征与待匹配关键全局特征的相似度。

示例性地，参见图6，图6是本发明实施例提供的一种示例性地获取图片匹配结果的流程示意图，如图6所示，基于DCT，分别获得待匹配图片a的待匹配关键全局特征h1_a，以及确定的种子图片b的关键全局特征h1_b之后，首先，计算待匹配关键全局特征h1_a和关键全局特征h1_b的汉明距离dis_h(初始全局特征匹配结果)。然后，判断汉明距离dis_h是否在预设距离范围[10,20](预设匹配结果值)内，当汉明距离dis_h不在预设距离范围[10,20]内时，根据汉明距离和相似度转换策略，将汉明距离dis_h转换为待匹配图片a和确定的种子图片b的全局特征匹配结果p，即一种匹配结果策略；而当汉明距离dis_h在预设距离范围[10,20]内时，分别对待匹配关键全局特征h1_a和关键全局特征h1_b进行径向投影操作，获得待匹配转换关键全局特征h2_a和转换关键全局特征h2_b，进而计算待匹配转换关键全局特征h2_a和转换关键全局特征h2_b的负载均衡值pcc，并根据负载均衡值pcc和汉明距离dis_h，得到待匹配图片a和确定的种子图片b的全局特征匹配结果p，即另一种匹配结果策略。最后，根据全局特征匹配结果p判断确定的种子图片b是否为属于待匹配图片a的目标图片，也就得到了图片匹配结果。

可以理解的是，基于待匹配图片的局部特征与种子图片的局部特征完成同源图片匹配之后，再对期望匹配的关键区域(已标注的关键区域和待匹配关键区域)进行全局特征的同源图片匹配，能够准确地召回待匹配图片的同源图片(目标图片)，解决了非期望匹配区域的匹配导致的同源图片误命中问题，提升了同源图片匹配的准确度。

参见图7，图7是本发明实施例提供的获取预设种子图片库的一个可选的流程示意图，将结合图7示出的步骤进行说明。另外，还需要说明的是，该获取预设种子图片库的过程是S101之前的步骤。

S106、获取已标注关键区域的种子图片；关键区域与预设图片主题对应。

在本发明实施例中，在建立预设种子图片库时，是基于预设图片主题进行种子图片的收集的；并且，在每张种子图片上，标注有与预设图片主题对应的关键区域。而对每张种子图片进行关键区域的标注时，可以是人工标注的，还可以是通过对每张种子图片的语义和/或内容进行识别，从而将每张种子图片的语义和/或内容中，与预设图片主题的关联度满足预设关联阈值的对应区域，作为每张种子图片上与预设图片主题对应的关键区域，从而实现每张种子图片的关键区域的标注。

这里，预设图片主题，可以是根据预设需求和/或预设目的确定的，比如，不允许在线上传播的图片主题。

S107、对每张种子图片进行局部特征提取，得到每张种子图片分别对应的图片局部特征。

在本发明实施例中，收集到种子图片之后，由于图片的局部特征是图片中像素点所表征出的特征信息，因此，采用上文提及到的预设局部特征提取算法对每张种子图片进行局部特征提取，就能够获得与每张种子图片分别对应的图片局部特征。

需要说明的是，图片局部特征是通过描述用于表征每张种子图片的局部特征的像素点的特征获得的。另外，图片局部特征与待匹配局部特征属于相同类型。

更进一步地，参见图8，图8是本发明实施例提供的获取图片局部特征的一个可选的流程示意图，如图8所示，在一些实施例中，S107中对每张种子图片进行局部特征提取，得到每张种子图片分别对应的图片局部特征，包括S1071-S1075：

S1071、检测每张种子图片中的局部特征点，得到每张种子图片分别对应的初始局部特征点。

在本发明实施例中，利用预设局部特征提取算法对每张种子图片的局部特征点进行检测，从而也就获得了初始局部特征点；这里，初始局部特征点表征每张种子图片中的局部特征点所构成的集合，而局部特征点为能够表征图片的局部特征的像素点。

示例性地，当采用SIFT算法(预设局部特征提取算法)对每张种子图片进行SIFT关键点(局部特征点)检测时，所检测到的SIFT关键点即为初始局部特征点。

需要说明的是，在对每张种子图片进行局部特征点检测之前，还可以对每张种子图片进行规格变换，从而在规格变换后的每张种子图片上进行局部特征点检测。比如，将每张种子图片按照长宽比不变，将种子图片短边缩放到400像素后再进行SIFT关键点检测。

S1072、将每张种子图片等分为第一预设数量的子图片。

在本发明实施例中，为了避免提取的种子图片的图片局部特征集中在局部区域(比如，当种子图片中存在二维码时，为了避免提取的图片局部特征集中在二维码上)，这里，从初始局部特征点中筛选图片局部特征点时，对每张种子图片进行了等分。

需要说明的是，第一预设数量为实际应用中设置的数值，比如，将每张种子图片等分为3*3的9张子图片。

S1073、从初始局部特征点中，确定各子图片分别对应的子初始局部特征点。

在本发明实施例中，当获得了每张种子图片对应的初始局部特征点，又获得了等分后的各子图片之后，就能够根据各子图片的等分，将初始局部特征点对应划分在各子图片中，此时，也就从初始局部特征点中，确定出了各子图片分别对应的子初始局部特征点。

S1074、从各子初始局部特征点信息中，分别选择第二预设数量个局部特征点，得到图片局部特征点。

在本发明实施例中，确定了各子图片分别对应的子初始局部特征点之后，基于局部特征点的信息值，分别从各子初始图片局部特征点中最多筛选出第二预设数量个局部特征点，也就获得了与每张种子图片对应的图片局部特征点。

示例性地，当第二预设数量为10时，如果子初始局部特征点中包含20个SIFT关键点(局部特征点)，则从20个SIFT关键点中选取10个极值响应(局部特征点的信息值)最大的10个SIFT关键点作为子局部特征点。再比如，如果对于一些平坦区域(比如纯色区域或颜色渐变非常缓和的区域)子初始局部特征点中包含6个SIFT关键点，则直接将该6个SIFT关键点作为子局部特征点。也就是说，子局部特征点中最多包含第二预设数量个局部特征点。这里，所有的子局部特征点也就构成了图标局部特征点。

S1075、获取图片局部特征点的特征，得到图片局部特征。

在本发明实施例中，当获得了图片局部特征点后，提取图片局部特征点的特征(比如，特征描述子)，也就获得了与每张种子图片对应的图片局部特征，从而完成了对每张种子图片的局部特征的提取。

示例性地，当图片局部特征点为SIFT关键点时，获取SIFT关键点的特征描述子，即获得了图片局部特征。

需要说明的是，本发明实施例还提供了另一种提取每张种子图片的局部特征的方法，包括：将每张种子图片等分为第一预设数量的子种子图片；根据第二预设数量，对每张子种子图片进行局部特征点检测，得到子局部特征点，从而得到与每张种子图片对应的图片局部特征点；获取图片局部特征点的特征，得到图片局部特征。

也就是说，S1071-S1075描述了先获取整幅种子图片的局部特征点，再通过将种子图片等分来分别筛选局部特征点，以获得在种子图片上均匀分布的图片局部特征点。另外，还可以先将种子图片等分后再进行图片局部特征点的提取，本发明实施例对此不作具体限定。

还需要说明的是，待匹配局部特征和图片局部特征可以为相同类型的特征，当待匹配局部特征和图片局部特征为相同类型的特征时，可以通过采用相同类型的预设局部特征提取算法来实现。

S108、根据图片局部特征和种子图片，建立图片检索信息。

在本发明实施例中，当获得了已标注关键区域的种子图片和每张种子图片的图片局部特征之后，以图片局部特征为索引建立与种子图片的快速索引，也就得到了图片检索信息。

S109、基于图片检索信息和种子图片，构建预设种子图片库。

在本发明实施例中，当获得了图片检索信息后，将该图片检索信息与种子图片的对应关系进行存储，也就得到了预设种子图片库，完成了预设种子图片库的构建。

进一步地，当获得了预设种子图片库之后，还包括对预设种子图片库更新的过程，即S110。

S110、获取已标注关键区域的新的种子图片；并根据新的种子图片更新预设种子图片库，得到更新后的预设种子图片库。

需要说明的是，当获取到已标注关键区域的新的种子图片之后，这里，对新的种子图片采用类似于S106-S109的处理方法获取新的种子图片对应的新的图片局部特征，并以新的图片全局特征和新的种子图片，建立新的图片检索信息，将新的图片检索信息和新的种子图片存储至预设种子图片库，完成对预设种子图片库的更新，得到更新后的预设种子图片库。

相应地，S102中从预设种子图片库中，确定与待匹配局部特征匹配的种子图片，包括：从更新后的预设种子图片库中，确定与待匹配局部特征匹配的种子图片。也就是说，对待匹配图片进行检测，是采用实时更新的预设种子图片库进行的。

可以理解的是，通过对预设种子图片库的更新，保证了利用实时更新的预设种子图片库对待匹配图片进行图片匹配时，能够召回更多的与待匹配图片的同源图片，提升了图片匹配的效果。

进一步地，参见图9，图9是本发明实施例提供的获取关键全局特征的一个可选的流程示意图，如图9所示，在S103中，获取与确定的种子图片中已标注的关键区域所对应的关键全局特征，包括S1031-S1034：

S1031、从预设种子图片库中，获取确定的种子图片对应的已标注的关键区域。

在本发明实施例中，由于预设种子图片库中存储的每张种子图片上均对应标注着关键区域，因此，当获得了确定的种子图片之后，就能够从预设种子图片库中获取到该确定的种子图片中已标注的关键区域。

需要说明的是，在获得了确定的种子图片的已标注的关键区域之后，可以从预设种子图片库中获得与确定的种子图片中已标注的关键区域所对应的关键全局特征；还可以采用预设全局特征提取算法，对已标注的关键区域中的图片部分进行全局特征的提取，得到关键全局特征。下面，将以采用预设全局特征提取算法获得关键全局特征为例进行说明；另外，即使是从预设种子图片库中获得的关键全局特征，仍然是采用预设全局特征提取算法对每张种子图片上的关键区域的图片部分进行全局特征提取，将提取到的全局特征存储在预设种子图片中，进而从预设种子图片库中，获得确定的种子图片的已标注的关键区域所对应的关键全局特征。

S1032、对各已标注的关键区域的图片部分进行预设规格变换，得到各已标注的关键区域分别对应的关键图片。

在本发明实施例中，在对各已标注的关键区域中的图片部分进行全局特征提取之前，需先按照预设规格信息进行规格变化。

示例性地，当要获取的关键全局特征为HOG特征时，这里的预设规格变换可以是将各已标注的关键区域缩放到固定大小128*128(像素)。

S1033、将每个关键图片等分为第三预设数量的子关键图片。

在本发明实施例中，通过对每个关键图片进行等分后再进行全局特征的提取，以保证所提取到的全局特征的整体性和均匀性；这里，将每个关键图片等分为了第三预设数量的子关键图片，从而以第三预设数量的子关键图片中的每个子关键图片为单位进行全局特征的提取。

S1034、对每个关键图片的各子关键图片分别进行全局特征提取，得到与已标注的关键区域对应的关键全局特征。

在本发明实施例中，将对每个关键图片的各子关键图片分别进行全局特征提取，所提取到的全局特征也就组合为了关键全局特征。这里，关键全局特征为已标注的关键区域对应的全局特征。

示例性地，当预设规格变换为缩放到固定大小128*128(像素)时，将每张已确定的种子图片缩放到128*128，从而得到各关键图片；将各关键图片等分为4*4(第三预设数量)个子块，每个子块即子关键图片；而预设全局特征提取算法为HOG时，若每个子关键图片的HOG特征的维数为36维，则能够获得576(4*4*36)维HOG特征，每个关键图片的各子关键图片中所提取到的各576维HOG特征也就构成了关键全局特征。

还需要说明的是，待匹配关键全局特征和关键全局特征可以为相同类型的特征，当待匹配关键全局特征和关键全局特征为相同类型的特征时，可以通过采用相同类型的预设全局特征提取算法来实现。

进一步地，预设种子图片库还包括每张种子图片分别对应的局部特征点位置信息，从而在S1074之后，该图片匹配方法还包括：获取图片局部特征点对应的局部特征点位置信息。这里，局部特征点位置信息为用于表征每张种子图片的局部特征的像素点所对应的位置信息。

相应地，S109中基于图片检索信息和种子图片，构建预设种子图片库，包括：基于图片检索信息、局部特征点位置信息和种子图片，构建预设种子图片库。也就是说，预设种子图片库中还包括每张种子图片的局部特征点位置信息。

进一步地，参见图10，图10是本发明实施例提供的获取与待匹配局部特征匹配的种子图片的一个可选的流程示意图，如图10所示，S102中从预设种子图片库中，确定与待匹配局部特征匹配的种子图片，包括S1021-S1025：

S1021、从预设种子图片库中，确定与待匹配局部特征初始匹配的第四预设数量张候选种子图片。

在本发明实施例中，从预设种子图片库中确定与待匹配图片的待匹配局部特征匹配的种子图片时，是先从预设种子图片库的种子图片中，确定与待匹配局部特征初始匹配的第四预设数量张候选种子图片，进而基于第四预设数量张候选种子图片获得确定的种子图片的。

进一步地，获取第四预设数量张候选种子图片的过程包括：将各图片局部特征组合为子局部特征组合；从子局部特征组合中，确定与待匹配局部特征中每个子待匹配局部特征分别匹配的目标子局部特征；从预设种子图片库中，确定与各目标子局部特征分别对应的初始候选种子图片组合；从各初始候选种子图片组合中，确定出现次数最多的第四预设数量张候选种子图片。

需要说明的是，每张种子图片的图片局部特征包括一个或多个子局部特征，子局部特征组合为每张种子图片分别对应的一个或多个子局部特征构成的集合。而待匹配图片的待匹配局部特征包括的子待匹配局部特征的数量，与图片局部特征包括的子局部特征的数量相等。

示例性地，当初始匹配为局部特征点特征对应的近邻匹配时，预设种子图片库中有5000张种子图片(A1,A2,…,A5000)，由于每张种子图片提取了90个子局部特征，故预设种子图片库中共有450000(5000*90)个子局部特征(子局部特征组合)；而待匹配图片B的待匹配局部特征包括90个子待匹配局部特征，对B的第一个子待匹配局部特征，在上述450000个子局部特征中，以400为特征阈值进行K(128)近邻匹配，获得最近的128个子局部特征(与第一个子待匹配局部特征对应的单个目标子局部特征)，如果这128个子局部特征分别属于A12、A29，A530，…，A2476，A4683，则A12、A29，A530，…，A2476，A4683(与第一个子待匹配局部特征对应的单个初始候选种子图片组合)分别被命中了1次；继续进行近邻匹配，B的第二个子待匹配局部特征，也会获得最近的128个子局部特征，这次128个子局部特征分别属于A12、(若后面的这127个子局部特征跟第一个子待匹配特征命中的种子图片均不一样)A129，A330，…，A463，A3563，则A12被命中2次，其他如A29，A530，…，A2476，A4683，还有A129，A330，…，A463，A3563，等均被命中1次，5000张种子图片除去上面已经提到的种子图片，其他种子图片被命中0次，以此类推，最终获得5000张种子图片中每张种子图片对应的命中次数，从中选取命中次数最多(出现次数最多)的N(第四预设数量，比如3)张候选种子图片。

S1022、从预设种子图片库中，获取每张候选种子图片分别对应的目标局部特征点位置信息。

在本发明实施例中，由于预设种子图片库中存储有每张种子图片分别对应的局部特征点位置信息，而每张候选种子图片为预设种子图片库中的种子图片，从而，能够从预设种子图片库中获得每张候选种子图片分别对应的目标局部特征点位置信息。

S1023、获取待匹配局部特征对应的待匹配局部特征点位置信息。

需要说明的是，待匹配局部特征点位置信息为用于表征待匹配图片的局部特征的像素点所对应的位置信息，其获取过程同每张种子图片的局部特征点位置信息的获取过程一致，本发明实施例在此不再赘述。

S1024、根据待匹配局部特征点位置信息和各目标局部特征点位置信息，分别计算待匹配图片与每张候选种子图片之间的投影矩阵。

需要说明的是，投影矩阵表征每张候选种子图片与待匹配图片在局部特征上存在的特征映射关系，并且该特征映射关系可以基于预设计算算法，并根据待匹配局部特征点位置信息和各目标局部特征点位置信息来获得。这里的预设计算算法，比如为ransac(Random sample consensus，随机采样一致性)。

S1025、基于各投影矩阵，确定与待匹配局部特征匹配的种子图片。

在本发明实施例中，当获得了待匹配图片与每张候选种子图片之间投影矩阵之后，就能够根据各投影矩阵、预先设置的预设区域和预设差条件，从第四预设数量张候选种子图片中筛选出与待匹配局部特征匹配的种子图片，包括：将各投影矩阵与预设区域相乘，得到各投影矩阵分别对应的投影差区域；并从各投影差区域中，确定满足预设差条件的目标投影差区域；在各候选种子图片中，将与目标投影差区域对应的候选种子图片，确定为与待匹配局部特征匹配的种子图片。

需要说明的是，预设差条件表征不超过待匹配图片与每张确定的种子图片之间的最大变换差别；也就是说，预设差条件指待匹配图片与各确定的种子图片之间的形变信息。

示例性地，当采用几何校验从第四预设数量张候选种子图片中筛选与待匹配局部特征匹配的种子图片时，若获得的待匹配图片与每张候选种子图片的投影矩阵为H，预设区域为100*100(像素)的正方形A，则目标投影差区域B为A*H；若预设差条件为：1)B的4个内角均在[80°,100°]范围内；2)B的任意相邻两边的长度比在[0.5,2]范围内；3)B与A的面积比在[0.2,5]范围内。当B满足上述预设差条件则确定该张候选种子图片为一张与待匹配局部特征匹配的种子图片；最终得到与待匹配局部特征匹配的种子图片。

参见图11，图11是本发明实施例提供的一种示例性地获取候选种子图片的流程示意图，如图11所示，基于SIFT，分别对待匹配图片a和种子图片c进行局部特征点检测，得到对应的待匹配局部特征SIFT1_a和图片局部特征SIFT1_b；将待匹配局部特征SIFT1_a和图片局部特征SIFT1_b进行匹配，得到待匹配图片a和种子图片c的局部匹配结果Q，从而依据局部匹配结果Q确定种子图片c是否为待匹配图片a的候选种子图片。

进一步地，S104从待匹配图片中，确定与已标注的关键区域对应的待匹配关键区域，包括S1041-S1042：

S1041、从各投影矩阵中，确定与每张确定的种子图片分别对应的目标投影矩阵。

需要说明的是，通过从S1024获得的各投影矩阵中，确定与每张确定的种子图片对应的一个投影矩阵，也就获得了与每张确定的种子图片分别对应的目标投影矩阵。

S1042、分别将各目标投影矩阵和各已标注的关键区域对应相乘，得到与已标注的关键区域对应的待匹配关键区域。

需要说明的是，各目标投影矩阵与各已标注的关键区域分别对应，从而通过分别将各目标投影矩阵和各已标注的关键区域对应相乘，也就获得了与已标注的关键区域对应的待匹配关键区域。

示例性地，当每张确定的种子图片的各已标注的关键区域为矩形(x，y，w，h)时，矩形(x，y，w，h)对应的4个顶点分别为p1＝(x,y),p2＝(x+w,y),p3＝(x,y+h),p4(x+w,y+h)；此时，通过将p1’＝p1*M、p2’＝p2*M、p3’＝p3*M和p4’＝p4*M，获得由p1’，p2’，p3’和p4’得到一个最大外接矩形，即为每张确定的种子图片的关键区域在待匹配图片中的对应的待匹配关键区域，M为目标投影矩阵。

进一步地，S105中将关键全局特征与待匹配关键区域进行匹配，得到图片匹配结果之后，该图片匹配方法还包括S111：根据图片匹配结果，确定待匹配图片的处理操作信息。

在本发明实施例中，由于图片匹配结果表征待匹配图片与预设种子图片库中的种子图片是否匹配成功的结果，又由于预设种子图片库是根据预设图片主题收集到的种子图片集合；因此，当待匹配图片与预设种子图片库中的种子图片匹配成功时，则表明待匹配图片中也包含了与预设图片主题对应的信息，进而根据预设图片主题所表征的信息对待匹配图片进行送审、拦截或过滤等处理操作；而当待匹配图片与预设种子图片库中的种子图片未匹配成功时，则表明待匹配图片中不包含与预设图片主题对应的信息，进而对待匹配图片的进行审核通过提示等处理操作。也就是说，处理操作信息表征根据预设图片主题确定的比如送审、拦截、过滤或审核通过提示等处理操作。因此，本发明实施例所提供的图片匹配能够应用于图片检索和图片过滤的应用中。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

参见图12，图12是本发明实施例提供的一个示例性的图片匹配流程示意图，如图12所示：

首先，图片匹配服务器400收集网络上包含不允许传播信息(预设图片主题)的种子图片，并采用SIFT对每张种子图片提取局部特征，也就得到了每张种子图片的图片局部特征；将种子图片上不允许传播信息所对应的区域作为关键区域进行标注，并利用HOG获取该关键区域的全局特征，也就得到了每张种子图片上的关键区域的全局特征。以及，利用FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻搜索包)、FAISS检索库等公开库，对每张种子图片分别对应的图片局部特征建立局部特征快速索引(图片检索信息)，再将图片检索信息与标注有关键区域的种子图片的对应关系进行存储，也就得到的预设种子图片库。

其次，当用户500在终端200上进行图片600的传播时，图片匹配服务器400通过网络300从终端200获取图片600，将图片600作为待匹配图片。对图片600提取与种子图片的图片局部特征类型相同的局部特征，即同样采用SIFT进行图片600的局部特征的提取，得到待匹配局部特征。

然后，利用待匹配局部特征在预设种子图片库中进行局部特征的检索和匹配，如果不存在任何种子图片被匹配上，则判断图片600在预设种子图片库中未命中，也就说明了图片600为允许传播的图片；如果存在种子图片被匹配上，此时就确定了与待匹配局部特征匹配的种子图片，即确定的种子图片。

最后，从预设种子图片库中获取确定的种子图片对应的已标注的关键区域，以及已标注的关键区域对应的关键全局特征；根据各已标注的关键区域，获取在图片600上对应的待匹配关键区域；对该待匹配关键区域提取与确定的种子图片上的已标注的关键区域所对应的关键全局特征类型相同的全局特征，即同样采用HOG进行图片600上的待匹配关键区域的全局特征的提取，得到待匹配关键全局特征。接下来，将各待匹配关键全局特征与各关键全局特征进行对应对比，如果对比结果不满足预设匹配条件，则确定该确定的种子图片与图片600不匹配，同样也说明了图片600为允许传播的图片。而如果对比结果中存在满足预设匹配条件的目标全局特征匹配结果，则将确定种子图片中与目标全局特征匹配结果对应的种子图片作为目标图片，也就说明了图片600为不允许传播的图片。此时，也就完成了待匹配图片的同源匹配，而基于上述匹配流程生成的处理操作信息，通过网络300发送至终端200。

下面继续说明本发明实施例提供的图片匹配装置455的实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器440的图片匹配装置455中的软件模块可以包括：

局部特征提取模块4551，用于对待匹配图片进行局部特征提取，得到待匹配局部特征；

局部特征匹配模块4552，用于从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片；

区域获取模块4553，用于获取与确定的种子图片中已标注的关键区域所对应的关键全局特征；

区域确定模块4554，用于从所述待匹配图片中，确定与所述已标注的关键区域对应的待匹配关键区域；

全局特征匹配模块4555，用于将所述关键全局特征与所述待匹配关键区域进行匹配，得到图片匹配结果。

进一步地，所述图片匹配装置455还包括：图片收集模块4556、检索信息建立模块4557和图片库建立模块4558：

所述图片收集模块4556，用于获取已标注关键区域的种子图片；所述关键区域与预设图片主题对应；

所述局部特征匹配模块4552，还用于对每张种子图片进行局部特征提取，得到每张种子图片分别对应的图片局部特征；

所述检索信息建立模块4557，用于根据所述图片局部特征和所述种子图片，建立图片检索信息；

所述图片库建立模块4558，用于基于所述图片检索信息和所述种子图片，构建所述预设种子图片库。

进一步地，所述局部特征匹配模块4552，还用于检测每张种子图片中的局部特征点，得到每张种子图片分别对应的初始局部特征点；将每张种子图片等分为第一预设数量的子图片；从所述初始局部特征点中，确定各子图片分别对应的子初始局部特征点；从各子初始局部特征点中，分别选择第二预设数量个局部特征点，得到图片局部特征点；获取所述图片局部特征点的特征，得到所述图片局部特征。

进一步地，所述区域获取模块4553，还用于从所述预设种子图片库中，获取所述确定的种子图片对应的所述已标注的关键区域；对各已标注的关键区域的图片部分进行预设规格变换，得到各已标注的关键区域分别对应的关键图片；将每个关键图片等分为第三预设数量的子关键图片；对每个关键图片的各子关键图片分别进行全局特征提取，得到与所述已标注的关键区域对应的所述关键全局特征。

进一步地，所述预设种子图片库还包括每张种子图片分别对应的局部特征点位置信息，所述图片匹配装置455还包括：位置获取模块4559，所述位置获取模块4559，用于获取所述图片局部特征点对应的局部特征点位置信息。

相应地，所述图片库建立模块4558，还用于基于所述图片检索信息、所述局部特征点位置信息和所述种子图片，构建所述预设种子图片库。

进一步地，所述局部特征匹配模块4552，还用于从所述预设种子图片库中，确定与所述待匹配局部特征初始匹配的第四预设数量张候选种子图片；从所述预设种子图片库中，获取每张候选种子图片分别对应的目标局部特征点位置信息；获取所述待匹配局部特征对应的待匹配局部特征点位置信息；根据所述待匹配局部特征点位置信息和各目标局部特征点位置信息，分别计算所述待匹配图片与每张候选种子图片之间的投影矩阵；基于各投影矩阵，确定与所述待匹配局部特征匹配的种子图片。

进一步地，所述局部特征匹配模块4552，还用于将各图片局部特征组合为子局部特征组合；从所述子局部特征组合中，确定与所述待匹配局部特征中每个子待匹配局部特征分别匹配的目标子局部特征；从所述预设种子图片库中，确定与各目标子局部特征分别对应的初始候选种子图片组合；从各初始候选种子图片组合中，确定出现次数最多的所述第四预设数量张候选种子图片。

进一步地，所述局部特征匹配模块4552，还用于将各投影矩阵与预设区域相乘，得到各投影矩阵分别对应的投影差区域；从各投影差区域中，确定满足预设差条件的目标投影差区域；所述预设差条件指所述待匹配图片与各确定的种子图片之间的形变信息；在各候选种子图片中，将与所述目标投影差区域对应的候选种子图片，确定为与所述待匹配局部特征匹配的种子图片。

进一步地，所述区域确定模块4554，还用于从各投影矩阵中，确定与每张确定的种子图片分别对应的目标投影矩阵；分别将各目标投影矩阵和各已标注的关键区域对应相乘，得到与所述已标注的关键区域对应的所述待匹配关键区域。

进一步地，所述全局特征匹配模块4555，还用于对所述待匹配关键区域的图片部分进行全局特征提取，得到待匹配关键全局特征；将所述关键全局特征和所述待匹配关键全局特征进行匹配，得到全局特征匹配结果；从所述全局特征匹配结果中，确定满足预设匹配条件的目标全局特征匹配结果；在所述已确定的种子图片中，将与所述目标全局特征匹配结果对应的种子图片，作为所述图片匹配结果。

进一步地，所述图片匹配装置455还包括：更新模块45510，所述更新模块45510，用于获取已标注关键区域的新的种子图片；根据所述新的种子图片更新所述预设种子图片库，得到更新后的预设种子图片库。

相应地，所述局部特征匹配模块4552，还用于从所述更新后的预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片。

进一步地，所述图片匹配装置455还包括：处理操作模块45511，所述处理操作模块45511，用于根据所述图片匹配结果，确定所述待匹配图片的处理操作信息。

本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图12示出的方法。

在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过本发明实施例，在采用局部特征从预设种子图片库中确定出与待匹配图片匹配的种子图片之后，进一步将确定的种子图片对应关键区的全局特征与待匹配图片对应的关键区进行匹配，实现了一种通过二次匹配从预设种子图片库中，准确地确定出与待匹配图片对应的图片匹配结果的技术方案，提高了图片匹配的准确度。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种图片匹配方法，其特征在于，所述方法包括：

对待匹配图片进行局部特征提取，得到待匹配局部特征；

从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片；

获取与确定的种子图片中已标注的关键区域所对应的关键全局特征；

从所述待匹配图片中，确定与所述已标注的关键区域对应的待匹配关键区域；

将所述关键全局特征与所述待匹配关键区域进行匹配，得到图片匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片之前，所述方法还包括：

获取已标注关键区域的种子图片；所述关键区域与预设图片主题对应；

对每张种子图片进行局部特征提取，得到每张种子图片分别对应的图片局部特征；

根据所述图片局部特征和所述种子图片，建立图片检索信息；

基于所述图片检索信息和所述种子图片，构建所述预设种子图片库。

3.根据权利要求2所述的方法，其特征在于，所述对每张种子图片进行局部特征提取，得到每张种子图片分别对应的图片局部特征，包括：

检测每张种子图片中的局部特征点，得到每张种子图片分别对应的初始局部特征点；

将每张种子图片等分为第一预设数量的子图片；

从所述初始局部特征点中，确定各子图片分别对应的子初始局部特征点；

从各子初始局部特征点中，分别选择第二预设数量个局部特征点，得到图片局部特征点；

获取所述图片局部特征点的特征，得到所述图片局部特征。

4.根据权利要求2所述的方法，其特征在于，所述获取与确定的种子图片中已标注的关键区域所对应的关键全局特征，包括：

从所述预设种子图片库中，获取所述确定的种子图片对应的所述已标注的关键区域；

对各已标注的关键区域的图片部分进行预设规格变换，得到各已标注的关键区域分别对应的关键图片；

将每个关键图片等分为第三预设数量的子关键图片；

对每个关键图片的各子关键图片分别进行全局特征提取，得到与所述已标注的关键区域对应的所述关键全局特征。

5.根据权利要求3所述的方法，其特征在于，所述预设种子图片库还包括每张种子图片分别对应的局部特征点位置信息，所述从各子初始局部特征点中，分别选择第二预设数量个局部特征点，得到图片局部特征点之后，所述方法还包括：

获取所述图片局部特征点对应的局部特征点位置信息；

相应地，所述基于所述图片检索信息和所述种子图片，构建所述预设种子图片库，包括：

基于所述图片检索信息、所述局部特征点位置信息和所述种子图片，构建所述预设种子图片库。

6.根据权利要求5所述的方法，其特征在于，所述从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片，包括：

从所述预设种子图片库中，确定与所述待匹配局部特征初始匹配的第四预设数量张候选种子图片；

从所述预设种子图片库中，获取每张候选种子图片分别对应的目标局部特征点位置信息；

获取所述待匹配局部特征对应的待匹配局部特征点位置信息；

根据所述待匹配局部特征点位置信息和各目标局部特征点位置信息，分别计算所述待匹配图片与每张候选种子图片之间的投影矩阵；

基于各投影矩阵，确定与所述待匹配局部特征匹配的种子图片。

7.根据权利要求6所述的方法，其特征在于，所述从所述预设种子图片库中，确定与所述待匹配局部特征初始匹配的第四预设数量张候选种子图片，包括：

将各图片局部特征组合为子局部特征组合；

从所述子局部特征组合中，确定与所述待匹配局部特征中每个子待匹配局部特征分别匹配的目标子局部特征；

从所述预设种子图片库中，确定与各目标子局部特征分别对应的初始候选种子图片组合；

从各初始候选种子图片组合中，确定出现次数最多的所述第四预设数量张候选种子图片。

8.根据权利要求6所述的方法，其特征在于，所述基于各投影矩阵，确定与所述待匹配局部特征匹配的种子图片，包括：

将各投影矩阵与预设区域相乘，得到各投影矩阵分别对应的投影差区域；

从各投影差区域中，确定满足预设差条件的目标投影差区域；所述预设差条件指所述待匹配图片与各确定的种子图片之间的形变信息；

在各候选种子图片中，将与所述目标投影差区域对应的候选种子图片，确定为与所述待匹配局部特征匹配的种子图片。

9.根据权利要求6所述的方法，其特征在于，所述从所述待匹配图片中，确定与所述已标注的关键区域对应的待匹配关键区域，包括：

从各投影矩阵中，确定与每张确定的种子图片分别对应的目标投影矩阵；

分别将各目标投影矩阵和各已标注的关键区域对应相乘，得到与所述已标注的关键区域对应的所述待匹配关键区域。

10.根据权利要求1所述的方法，其特征在于，所述将所述关键全局特征与所述待匹配关键区域进行匹配，得到图片匹配结果，包括：

对所述待匹配关键区域的图片部分进行全局特征提取，得到待匹配关键全局特征；

将所述关键全局特征和所述待匹配关键全局特征进行匹配，得到全局特征匹配结果；

从所述全局特征匹配结果中，确定满足预设匹配条件的目标全局特征匹配结果；

在所述已确定的种子图片中，将与所述目标全局特征匹配结果对应的种子图片，作为所述图片匹配结果。

11.根据权利要求2所述的方法，其特征在于，所述基于所述图片检索信息和所述种子图片，构建所述预设种子图片库之后，所述方法还包括：

获取已标注关键区域的新的种子图片；

根据所述新的种子图片更新所述预设种子图片库，得到更新后的预设种子图片库；

相应地，所述从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片，包括：

从所述更新后的预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片。

12.根据权利要求1所述的方法，其特征在于，所述将所述关键全局特征与所述待匹配图片进行匹配，得到图片匹配结果之后，所述方法包括：

根据所述图片匹配结果，确定所述待匹配图片的处理操作信息。

13.一种图片匹配装置，其特征在于，所述图片匹配装置包括：

局部特征提取模块，用于对待匹配图片进行局部特征提取，得到待匹配局部特征；

局部特征匹配模块，用于从预设种子图片库中，确定与所述待匹配局部特征匹配的种子图片；

区域获取模块，用于获取与确定的种子图片中已标注的关键区域所对应的关键全局特征；

区域确定模块，用于从所述待匹配图片中，确定与所述已标注的关键区域对应的待匹配关键区域；

全局特征匹配模块，用于将所述关键全局特征与所述待匹配关键区域进行匹配，得到图片匹配结果。

14.一种图片匹配设备，其特征在于，所述图片匹配设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。

15.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。