CN111931794B - 一种基于草图的图像匹配方法 - Google Patents

Abstract

本申请适用于多媒体信息检索技术领域，提供了一种基于草图的图像匹配方法、装置及计算机可读存储介质，所述图像匹配方法包括：对样本图像进行特征边缘提取，得到样本图像的第一方向梯度直方图特征；其中，样本图像为基于原始图像进行高斯模糊得到；第一方向梯度直方图特征为样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；图像边缘像素集为基于样本图像进行边缘提取得到；基于第一方向梯度直方图特征从预设图像库中确定出目标图像集。上述图像匹配方法在对样本图像进行特征边缘提取时，可以得到样本图像更多的边缘细节，使得样本图像的第一方向梯度直方图特征能够充分的表示样本图像的边缘特征信息，进而提高了图像匹配的准确率。

Description

一种基于草图的图像匹配方法

技术领域

本申请属于多媒体信息检索技术领域，尤其涉及一种基于草图的图像匹配方法、装置及计算机可读存储介质。

背景技术

图像匹配是一种通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，寻求目标图像的方法。在图像匹配中，图像检索是其关键技术之一。图像检索是一种基于对图像的文本特征（如关键字、注释等）或者图像的视觉特征（如纹理、颜色、形状等）进行检索的技术。目前，由于带有触摸屏功能的终端设备的广泛使用，用户希望终端设备可以根据用户在终端设备上绘制的简单图像匹配出用户想要的目标图像，因此，基于草图的图像检索（Sketch-based Image Retrieval，SBIR）方法应运而生。

基于草图的图像检索方法是一种根据用户按照自身印象绘制出目标图像的大致草图在海量图库中检索出与它近似的自然图像的图像检索方法。然而，现有的基于草图的图像匹配方法由于采用的是传统的基于草图的图像检索方法，而绘制的草图一般都是线条比较简单、色彩单一的图像，因此，在进行边缘特征提取时，提取的特征边缘无法表示图像的边缘细节，从而无法详细地描述草图的边缘特征信息，进而降低了图像匹配的准确率。

发明内容

本申请实施例提供了一种基于草图的图像匹配方法、装置及计算机可读存储介质，可以解决现有的基于草图的图像匹配方法无法表示图像的边缘细节，从而无法详细地描述草图的边缘特征信息，进而降低图像匹配的准确率的问题。

第一方面，本申请实施例提供了一种基于草图的图像匹配方法，包括：

对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征；其中，所述样本图像为基于原始图像进行高斯模糊得到；所述第一方向梯度直方图特征为所述样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；所述图像边缘像素集为基于所述样本图像进行边缘提取得到；

基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集。

进一步的，所述对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征，包括：

基于预设边缘检测算子对所述样本图像进行边缘提取，得到所述样本图像的图像边缘像素集；

基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征。

进一步的，在所述对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征的步骤之前，还包括：

对原始图像进行预设次数的高斯模糊，得到所述样本图像。

进一步的，所述基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征，包括：

基于预设要求确定所述图像边缘像素集中的目标像素点集；

确定所述目标像素点集的重心；

对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征。

进一步的，所述对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征，包括：

获取所述目标像素点集中每个像素点的灰度值和所述每个像素点在所述样本图像中的坐标信息；

根据所述灰度值和所述坐标信息确定所述每个像素点和所述重心对应的第一方向梯度直方图特征。

进一步的，所述根据所述灰度值和所述坐标信息确定所述每个像素点和所述重心对应的第一方向梯度直方图特征，包括：

根据所述灰度值计算所述每个像素点的梯度值，并根据所述坐标信息确定所述重心的坐标信息；

根据所述每个像素点的梯度值确定所述每个像素点的角度值，并根据所述每个像素点的角度值确定所述每个像素点对应的第一方向梯度直方图；

根据所述重心的坐标信息和所述每个像素点的坐标信息确定所述重心与所述每个像素点之间的角度值，并根据所述重心与所述每个像素点之间的角度值确定所述重心对应的第二方向梯度直方图；

对所述第一方向梯度直方图和所述第二方向梯度直方图进行归一化处理，得到所述第一方向梯度直方图对应的第二方向梯度直方图特征和所述第二方向梯度直方图对应的第三方向梯度直方图特征；

将所述第二方向梯度直方图特征和所述第三方向梯度直方图特征进行组合，得到所述第一方向梯度直方图特征。

进一步的，所述预设图像库中包括多个预设方向梯度直方图特征和与所述预设方向梯度直方图特征相对应的预设图像；所述基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集，包括：

根据所述第一方向梯度直方图特征和所述预设方向梯度直方图特征确定所述样本图像与所述预设图像之间的图像相似度；

将所述预设图像按照所述图像相似度从高到低的顺序进行排序，并将排在前预设张数的预设图像确定为所述目标图像集。

第二方面，本申请实施例提供了一种基于草图的图像匹配装置，包括：

第一提取单元，用于对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征；其中，所述样本图像为基于原始图像进行高斯模糊得到；所述第一方向梯度直方图特征为所述样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；所述图像边缘像素集为基于所述样本图像进行边缘提取得到；

第一确定单元，用于基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集。

第三方面，本申请实施例提供了一种基于草图的图像匹配装置，包括：

存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，上述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的图像匹配方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的图像匹配方法的步骤。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像匹配方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例提供的一种基于草图的图像匹配方法，通过对样本图像进行特征边缘提取，得到样本图像的第一方向梯度直方图特征；其中，样本图像为基于原始图像进行高斯模糊得到；第一方向梯度直方图特征为样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；图像边缘像素集为基于样本图像进行边缘提取得到；基于第一方向梯度直方图特征从预设图像库中确定出目标图像集。上述图像匹配方法中，由于样本图像为基于原始图像进行高斯模糊得到的，因此，在对样本图像进行特征边缘提取时，可以得到样本图像更多的边缘细节，使得样本图像的第一方向梯度直方图特征能够充分的表示样本图像的边缘特征信息，进而提高了图像匹配的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于草图的图像匹配方法的实现流程图；

图2是本申请另一实施例提供的一种基于草图的图像匹配方法的实现流程图；

图3是本申请再一实施例提供的一种基于草图的图像匹配方法的实现流程图；

图4是本申请又一实施例提供的一种基于草图的图像匹配方法的实现流程图；

图5是本申请实施例提供的一种像素点的坐标信息的示意图；

图6是本申请又一实施例提供的一种基于草图的图像匹配方法的实现流程图；

图7是本申请又一实施例提供的一种基于草图的图像匹配方法的实现流程图；

图8是本申请实施例提供的一种基于草图的图像匹配装置的结构示意图；

图9是本申请实施例提供的一种计算设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

请参阅图1，图1是本申请实施例提供的一种基于草图的图像匹配方法的实现流程图。本申请实施例中，该图像匹配方法的执行主体为基于草图的图像匹配装置。该图像匹配装置可以包括终端或服务器，还可以是终端内的芯片或者服务器内的处理器。这里，终端与服务器可以是智能手机、平板电脑或台式电脑等。如图1所示，本申请实施例提供的一种基于草图的图像匹配方法可以包括S101~S102，详述如下：

在S101中，对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征；其中，所述样本图像为基于原始图像进行高斯模糊得到；所述第一方向梯度直方图特征为所述样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；所述图像边缘像素集为基于所述样本图像进行边缘提取得到。

在本申请实施例中，当图像匹配装置需要进行图像匹配时，可以获取样本图像。其中，样本图像为基于原始图像进行高斯模糊得到的图像。原始图像可以是用户根据自身印象绘制的草图，也可以是线条简单、色彩单一的简单图像。

在实际应用中，高斯模糊也被称为高斯平滑。在图像处理过程中，高斯模糊可以理解成对图像中的每个像素值都取周边像素值的平均值，使处理之后的图像产生了模糊的效果。因此，使用高斯模糊能够模拟人眼的视觉特性，即模拟用户在接收到视觉信号由模糊到清晰的这一人眼适应过程，从而使图像匹配装置在对样本图像进行边缘提取时，提取出的边缘更加接近人脑所能感知的结果，也就是说，对经过高斯模糊的样本图像进行边缘提取，能够获得更多的边缘细节。

在本申请实施例的一种实现方式中，图像匹配装置可以从其他终端设备中获取到对原始图像进行高斯模糊得到的样本图像。

在本申请实施例的另一种实现方式中，图像匹配装置可以预先对输入的原始图像进行高斯模糊，得到样本图像，当图像匹配装置需要进行图像匹配时，直接从图像匹配装置中获取到该样本图像。

基于此，在本申请的一个实施例中，为了获取样本图像更多的边缘细节，图像匹配装置可以对原始图像进行预设次数的高斯模糊，得到样本图像。其中，预设次数可以根据实际需要设置，此处不作限制。

本申请实施例中，图像匹配装置在得到样本图像后，可以对该样本图像进行特征边缘提取，得到该样本图像的第一方向梯度直方图特征。其中，该第一方向梯度直方图特征为该样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征。

需要说明的是，样本图像的图像边缘像素集是对该样本图像进行边缘提取得到的。

在本申请的一个实施例中，图像边缘像素集中的部分像素点可以是对该图像边缘像素集进行随机采样得到的预设数目个边缘像素点。预设数目可以根据实际需要确定，此处不作限制。

需要说明的是，在本申请实施例中，图像匹配装置预先设置了图像库。其中，图像库用于存储预设图像和与预设图像相对应的预设方向梯度直方图（Histogram ofOriented Gradient， HOG）特征。

HOG特征是一种在图像处理中用来进行物体检测的特征描述符。它通过计算和统计图像局部区域的方向梯度直方图来构成特征。

在本申请实施例中，与每张预设图像相对应的预设方向梯度直方图特征可以是一个或多个。

在本申请的另一个实施例中，图像匹配装置具体可以通过如图2所示的步骤S201~S202得到样本图像的第一方向梯度直方图特征，详述如下：

在S201中，基于预设边缘检测算子对所述样本图像进行边缘提取，得到所述样本图像的图像边缘像素集。

在实际应用中，通常图像边缘是一幅图像中灰度发生急剧变化的区域，因此，边缘提取保留了图像重要的结构属性，剔除了冗余信息。基于此，图像匹配装置可以基于预设边缘检测算子对样本图像进行边缘提取，得到该样本图像的图像边缘像素集。

本实施例中，预设边缘检测算子可以根据实际需要确定，此处不作限制，示例性的，预设边缘检测算子可以是Canny算子。

在本申请的一个实施例中，由于图像匹配装置对原始图像进行了预设次数的高斯模糊，因此，图像匹配装置可以对每经过一次高斯模糊的原始图像都进行边缘提取，从而得到样本图像的预设数目个第一边缘像素集。其中，预设数目的值与预设次数的值相同。

基于此，图像匹配装置可以对预设数目个第一边缘像素集进行组合，得到样本图像的图像边缘像素集，使得图像匹配装置在对样本图像进行边缘提取后，能够获得该样本图像更多的边缘细节。

本实施例中，图像匹配装置对预设数目个第一边缘像素集进行组合的方式可以是：求取预设数目个第一边缘像素集的并集。

在S202中，基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征。

在本申请的一个实施例中，图像匹配装置具体可以通过如图3所示的步骤S301~S303得到样本图像对应的第一方向梯度直方图特征，详述如下：

在S301中，基于预设要求确定所述图像边缘像素集中的目标像素点集。

在实际应用中，由于图像匹配装置基于图像边缘像素集中的每个像素点对样本图像进行特征提取时，耗时长，因此，本实施例中，图像匹配装置可以基于预设要求确定图形边缘像素集中的目标像素点集。其中，目标像素点集指图像边缘像素集中满足预设要求的部分像素点。作为示例而非限定，预设要求可以是：对图像边缘像素集中的边缘像素点进行随机采样。

在S302中，确定所述目标像素点集的重心。

本实施例中，由于像素点集的重心拥有对边缘轮廓信息的把控功能，因此，图像匹配装置在确定目标像素点集后，可以根据目标像素点集中的每个像素点的位置信息确定该目标像素点集的重心，从而对样本图像的边缘轮廓信息进行把控。其中，位置信息指坐标信息。

在S303中，对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征。

在本申请的另一个实施例中，图像匹配装置具体可以通过如图4所示的步骤S401~S402得到目标像素点集和该目标像素点集的重心对应的第一方向梯度直方图特征，详述如下：

在S401中，获取所述目标像素点集中每个像素点的灰度值和所述每个像素点在所述样本图像中的坐标信息。

本实施例中，图像匹配装置可以从样本图像中获取目标像素点集中每个像素点的灰度值和每个像素点在样本图像中的坐标信息。

需要说明的是，目标像素点集中每个像素点的坐标信息是以样本图像对应的第一坐标系为基准的。示例性的，如图5所示，图像匹配装置可以以样本图像50的端点O为原点，以样本图像50的左竖边51所在的直线为X轴，以样本图像50的下横边52所在的直线为Y轴建立第一坐标系。基于此，目标像素点集中每个像素点的坐标信息指该每个像素点在第一坐标系中的坐标信息。例如，假设目标像素点集中的某个像素点A在第一坐标系中的坐标信息可以表示为：(x1,y1)，则该像素点A在样本图像中的坐标信息为：(x1,y1)。

在S402中，根据所述灰度值和所述坐标信息确定所述每个像素点和所述重心对应的第一方向梯度直方图特征。

在本申请的一个实施例中，图像匹配装置具体可以通过如图6所示的步骤S601~S605确定每个像素点和所述重心对应的第一方向梯度直方图特征，详述如下：

在S601中，根据所述灰度值计算所述每个像素点的梯度值，并根据所述坐标信息确定所述重心的坐标信息。

在S602中，根据所述每个像素点的梯度值确定所述每个像素点的角度值，并根据所述每个像素点的角度值确定所述每个像素点对应的第一方向梯度直方图。

本实施例中，图像匹配装置在获取了目标像素点集中每个像素点在样本图像中的坐标信息后，可以根据该坐标信息确定目标像素点集的重心的坐标信息。具体地，图像匹配装置可以根据以下公式确定目标像素点集的重心的坐标信息：

其中，

表示目标像素点集的重心的横坐标，

表示目标像素点集的重心的纵坐标，

表示目标像素点中第i个像素点的横坐标，

表示目标像素点中第i个像素点的纵坐标，m表示目标像素点集中包含的像素点的总数。

需要说明的是，本实施例中，图像匹配装置可以以目标像素点集中任意一个像素点为中心，构建一个第一矩形区域。其中，第一矩形区域的第一边长和第二边长可以相同也可以不同。图像匹配装置可以在第一矩形区域中设置第二矩形区域，并控制第二矩形区域基于预设规则在第一矩形区域中移动。其中，第二矩形区域的第一边长和第二边长可以相同也可以不同，第二矩形区域的第一边长第二边长均小于第一矩形区域的第一边长和第二边长。作为示例而非限定，预设规则可以是：第二矩形区域按照第一方向依次移动第一预设长度，按照第二方向依次移动第二预设长度。第一预设长度和第二预设长度可以根据实际需要设置，此处不作限制。第一方向和第二方向为不同的方向，第一方向可以是从上至下的方向，第二方向可以是从左至右的方向。

需要说明的是，图像匹配装置控制第二矩阵区域移动的次数可以根据以下公式确定：

其中，

表示第二矩阵区域移动的次数，M表示第一矩形区域的第一边长，m表示第二矩形区域的第一边长，N表示第一矩形区域的第二边长，n表示第二矩形区域的第二边长，

表示第二矩阵区域沿第一方向移动时，每次移动的第一预设长度，

表示第二矩阵区域沿第二方向移动时，每次移动的第二预设长度。

图像匹配装置在控制第二矩阵区域移动时，每移动一次，可以将当前第二矩形区域所占的区域确定为第三矩形区域，并根据该第三矩形区域中每个像素点的灰度值计算第三矩形区域中每个像素点的梯度值。具体的，图像匹配装置可以根据以下公式计算第三矩形区域中每个像素点的梯度值：

其中，

表示第三矩形区域中第i个像素点的坐标信息，

表示第i个像素点在水平方向的梯度分量，

表示第i个像素点在垂直方向的梯度分量，

表示第i个像素点的梯度值，

表示第i个像素点的灰度值。

基于此，图像匹配装置可以根据以下公式确定第三矩形区域中每个像素点的角度值：

其中，

表示目标像素点集中第i个像素点的角度值。

由于图像匹配装置每控制第二矩形区域移动一次，就会确定此时第二矩形区域所占的第三矩形区域中每个像素点的梯度值和角度值，因此，图像匹配装置可以确定以目标像素点中任意一个像素点为中心，构建的第一矩形区域中每个像素点的梯度值和角度值，图像匹配装置再根据第一矩形区域中每个像素点的梯度值和角度值确定目标像素点集中该像素点对应的第一方向梯度直方图，直至目标像素点集中每个像素点对应的第一方向梯度直方图均被确定。

需要说明的是，本实施例中，由于角度值的取值范围为：[0,180]，因此，图像匹配装置可以将第一方向梯度直方图分为9个区间，每个区间间隔20。每个像素点的梯度值可以表示为该像素点所在区间的频率。例如，假设某个像素点的角度值为23，梯度值为2，则该像素点落在第二个区间，且第二个区间的频率加2。

在S603中，根据所述重心的坐标信息和所述每个像素点的坐标信息确定所述重心与所述每个像素点之间的角度值，并根据所述重心与所述每个像素点之间的角度值确定所述重心对应的第二方向梯度直方图。

本实施例中，图像匹配装置在确定目标像素点集中的重心的坐标信息后，可以根据目标像素点集中每个像素点的坐标信息和该重心的坐标信息，确定该重心与目标像素点集中每个像素点的角度值，进而可以得到该重心对应的第二方向梯度直方图。

在S604中，对所述第一方向梯度直方图和所述第二方向梯度直方图进行归一化处理，得到所述第一方向梯度直方图对应的第二方向梯度直方图特征和所述第二方向梯度直方图对应的第三方向梯度直方图特征。

本实施例中，由于梯度值是根据像素点的灰度值计算得到的，导致梯度值的变化范围非常大，因此，图像匹配装置在得到第一方向梯度直方图和第二方向梯度直方图后，可以对第一方向梯度直方图和第二方向梯度直方图中的梯度值进行归一化处理，从而得到第一方向梯度直方图对应的第二方向梯度直方图特征和第二方向梯度直方图对应的第三方向梯度直方图特征。

在S605中，将所述第二方向梯度直方图特征和所述第三方向梯度直方图特征进行组合，得到所述第一方向梯度直方图特征。

本实施例中，第二方向梯度直方图特征和第三方向梯度直方图特征组合方式可以根据实际需求进行确定，此处不做限制。示例性的，图像匹配装置可以按照第二方向梯度直方图特征在前第三方向梯度直方图特征在后的组合方式，将第一方向梯度直方图的对应的第二方向梯度直方图特征和第二方向梯度直方图对应的第三方向梯度直方图特征进行组合，例如，若第二方向梯度直方图特征为X1，第三方向梯度直方图特征为X2，则按照第二方向梯度直方图特征在前第三方向梯度直方图特征在后的组合方式组合得到的第一方向梯度直方图特征为[X1,X2]。

在S102中，基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集。

本申请实施例中，图像匹配装置在得到样本图像的第一方向梯度直方图特征后，可以将第一方向直方图特征与预设图像库中的各个预设方向梯度直方图特征进行比较，从而确定样本图像对应的目标图像集。具体的，图像匹配装置可以根据如图7所示的步骤S701~S702确定样本图像对应的目标图像集，详述如下：

在S701中，根据所述第一方向梯度直方图特征和所述预设方向梯度直方图特征确定所述样本图像与所述预设图像之间的图像相似度。

本实施例中，由于目标像素点集中每个像素点都对应一个方向梯度直方图，每个方向梯度直方图进行归一化处理后都能得到一个与之对应的方向梯度直方图特征，因此，图像匹配装置需要将目标像素点集中每个像素点对应的方向梯度直方图特征与预设方向梯度直方图特征进行一一对比，从而确定样本图像与该预设方向梯度直方图特征对应的预设图像之间的相似度。

示例性的，假设目标像素点集中有5个像素点，即样本图像有5个第一方向梯度直方图特征，某张预设图像也有5个预设方向梯度直方图特征，因此，图像匹配装置可以将5个第一方向梯度直方图特征与5个预设方向梯度直方图特征进行一一对比，若5个第一方向梯度直方图特征与5个预设方向梯度直方图特征之间的相似度均大于或等于预设相似度阈值，则确定样本图像与该预设方向梯度直方图特征对应的预设图像之间的图像相似度为1；若5个第一方向梯度直方图特征与其中4个预设方向梯度直方图特征之间的相似度均大于或等于预设相似度阈值，则确定样本图像与该预设方向梯度直方图特征对应的预设图像之间的图像相似度为0.8；若5个第一方向梯度直方图特征与5个预设方向梯度直方图特征之间的相似度均小于预设相似度阈值，则确定样本图像与该预设方向梯度直方图特征对应的预设图像之间的图像相似度为0。

在S702中，将所述预设图像按照所述图像相似度从高到低的顺序进行排序，并将排在前预设张数的预设图像确定为所述目标图像集。

本实施例中，图像匹配装置在确定样本图像和预设图像库中所有预设图像之间的图像相似度后，将所有预设图像按照图像相似度从高到低的顺序依次排列，并将排在前预设张数的预设图像确定为目标图像集。其中，预设张数可以根据实际需要确定，此处不作限制。

以上可以看出，本实施例提供的一种基于草图的图像匹配方法，通过对样本图像进行特征边缘提取，得到样本图像的第一方向梯度直方图特征；其中，样本图像为基于原始图像进行高斯模糊得到；第一方向梯度直方图特征为样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；图像边缘像素集为基于样本图像进行边缘提取得到；基于第一方向梯度直方图特征从预设图像库中确定出目标图像集。上述图像匹配方法中，由于样本图像为基于原始图像进行高斯模糊得到的，因此，在对样本图像进行特征边缘提取时，可以得到样本图像更多的边缘细节，使得样本图像的第一方向梯度直方图特征能够充分的表示样本图像的边缘特征信息，进而提高了图像匹配的准确率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的一种基于草图的图像匹配方法，图8示出了本申请实施例提供的一种基于草图的图像匹配装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。参照图8，该图像匹配装置800包括：第一提取单元81和第一确定单元82。其中：

第一提取单元81用于对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征；其中，所述样本图像为基于原始图像进行高斯模糊得到；所述第一方向梯度直方图特征为所述样本图像的图像边缘像素集中部分像素点的方向梯度直方图特征；所述图像边缘像素集为基于所述样本图像进行边缘提取得到。

第一确定单元82用于基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集。

在本申请的一个实施例中，第一提取单元82具体可以包括：边缘提取单元和特征提取单元。其中：

边缘提取单元用于基于预设边缘检测算子对所述样本图像进行边缘提取，得到所述样本图像的图像边缘像素集。

特征提取单元用于基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征。

在本申请的一个实施例中，图像匹配装置800还包括：高斯模糊单元。

高斯模糊单元用于对原始图像进行预设次数的高斯模糊，得到所述样本图像。

在本申请的一个实施例中，特征提取单元具体可以包括：第二确定单元、第三确定单元及第二提取单元。其中：

第二确定单元用于基于预设要求确定所述图像边缘像素集中的目标像素点集。

第三确定单元用于确定所述目标像素点集的重心。

第二提取单元用于对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征。

在本申请的一个实施例中，第二提取单元具体可以包括：获取单元和第四确定单元。其中：

获取单元用于获取所述目标像素点集中每个像素点的灰度值和所述每个像素点在所述样本图像中的坐标信息。

第四确定单元用于根据所述灰度值和所述坐标信息确定所述每个像素点和所述重心对应的第一方向梯度直方图特征。

在本申请的一个实施例中，第四确定单元具体可以包括：第一计算单元、第五确定单元、第六确定单元、处理单元及组合单元。其中：

第一计算单元用于根据所述灰度值计算所述每个像素点的梯度值，并根据所述坐标信息确定所述重心的坐标信息。

第五确定单元用于根据所述每个像素点的梯度值确定所述每个像素点的角度值，并根据所述每个像素点的角度值确定所述每个像素点对应的第一方向梯度直方图。

第六确定单元用于根据所述重心的坐标信息和所述每个像素点的坐标信息确定所述重心与所述每个像素点之间的角度值，并根据所述重心与所述每个像素点之间的角度值确定所述重心对应的第二方向梯度直方图。

处理单元用于对所述第一方向梯度直方图和所述第二方向梯度直方图进行归一化处理，得到所述第一方向梯度直方图对应的第二方向梯度直方图特征和所述第二方向梯度直方图对应的第三方向梯度直方图特征。

组合单元用于将所述第二方向梯度直方图特征和所述第三方向梯度直方图特征进行组合，得到所述第一方向梯度直方图特征。

在本申请的一个实施例中，所述预设图像库中包括多个预设方向梯度直方图特征和与所述预设方向梯度直方图特征相对应的预设图像；所述第一确定单元82具体包括：第二计算单元和第七确定单元。其中：

第二计算单元用于根据所述第一方向梯度直方图特征和所述预设方向梯度直方图特征确定所述样本图像与所述预设图像之间的图像相似度。

第七确定单元用于将所述预设图像按照所述图像相似度从高到低的顺序进行排序，并将排在前预设张数的预设图像确定为所述目标图像集。

以上可以看出，本申请实施例提供的一种基于草图的图像匹配装置，通过对样本图像进行特征边缘提取，得到样本图像的第一方向梯度直方图特征；其中，样本图像为基于原始图像进行高斯模糊得到；基于第一方向梯度直方图特征从预设图像库中确定出目标图像集。上述图像匹配方法中，由于样本图像为基于原始图像进行高斯模糊得到的，因此，在对样本图像进行特征边缘提取时，可以得到样本图像更多的边缘细节，使得样本图像的第一方向梯度直方图特征能够充分的表示样本图像的边缘特征信息，进而提高了图像匹配的准确率。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图9为本申请一实施例提供的计算设备的结构示意图。如图9所示，该实施例的计算设备9包括：至少一个处理器90（图9中仅示出一个）处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意各个图像匹配方法实施例中的步骤。

所述计算设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等设备。该计算设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是计算设备9的举例，并不构成对计算设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，该处理器90还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91在一些实施例中可以是所述计算设备9的内部存储单元，例如计算设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述计算设备9的外部存储设备，例如所述计算设备9上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器91还可以既包括所述计算设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算设备上运行时，使得计算设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的图像匹配装置和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术

Claims (8)

1.一种基于草图的图像匹配方法，其特征在于，包括：

对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征；其中，所述样本图像为基于原始图像进行高斯模糊得到；

基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集；

其中，所述对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征，包括：

基于预设边缘检测算子对所述样本图像进行边缘提取，得到所述样本图像的图像边缘像素集；

基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征；

其中，所述基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征，包括：

基于预设要求确定所述图像边缘像素集中的目标像素点集；

确定所述目标像素点集的重心；

对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征。

2.如权利要求1所述的图像匹配方法，其特征在于，在所述对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征的步骤之前，还包括：

对原始图像进行预设次数的高斯模糊，得到所述样本图像。

3.如权利要求1所述的图像匹配方法，其特征在于，所述对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征，包括：

获取所述目标像素点集中每个像素点的灰度值和所述每个像素点在所述样本图像中的坐标信息；

根据所述灰度值和所述坐标信息确定所述每个像素点和所述重心对应的第一方向梯度直方图特征。

4.如权利要求3所述的图像匹配方法，其特征在于，所述根据所述灰度值和所述坐标信息确定所述每个像素点和所述重心对应的第一方向梯度直方图特征，包括：

根据所述灰度值计算所述每个像素点的梯度值，并根据所述坐标信息确定所述重心的坐标信息；

根据所述每个像素点的梯度值确定所述每个像素点的角度值，并根据所述每个像素点的角度值确定所述每个像素点对应的第一方向梯度直方图；

根据所述重心的坐标信息和所述每个像素点的坐标信息确定所述重心与所述每个像素点之间的角度值，并根据所述重心与所述每个像素点之间的角度值确定所述重心对应的第二方向梯度直方图；

对所述第一方向梯度直方图和所述第二方向梯度直方图进行归一化处理，得到所述第一方向梯度直方图对应的第二方向梯度直方图特征和所述第二方向梯度直方图对应的第三方向梯度直方图特征；

将所述第二方向梯度直方图特征和所述第三方向梯度直方图特征进行组合，得到所述第一方向梯度直方图特征。

5.如权利要求1至4任一项所述的图像匹配方法，其特征在于，所述预设图像库中包括多个预设方向梯度直方图特征和与所述预设方向梯度直方图特征相对应的预设图像；所述基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集，包括：

根据所述第一方向梯度直方图特征和所述预设方向梯度直方图特征确定所述样本图像与所述预设图像之间的图像相似度；

将所述预设图像按照所述图像相似度从高到低的顺序进行排序，并将排在前预设张数的预设图像确定为所述目标图像集。

6.一种基于草图的图像匹配装置，其特征在于，包括：

第一提取单元，用于对样本图像进行特征边缘提取，得到所述样本图像的第一方向梯度直方图特征；其中，所述样本图像为基于原始图像进行高斯模糊得到；

第一确定单元，用于基于所述第一方向梯度直方图特征从预设图像库中确定出目标图像集；

其中，所述第一提取单元具体包括：

边缘提取单元用于基于预设边缘检测算子对所述样本图像进行边缘提取，得到所述样本图像的图像边缘像素集；

特征提取单元用于基于所述图像边缘像素集对所述样本图像进行特征提取，得到所述样本图像对应的第一方向梯度直方图特征；

其中，所述特征提取单元具体包括：

第二确定单元用于基于预设要求确定所述图像边缘像素集中的目标像素点集；

第三确定单元用于确定所述目标像素点集的重心；

第二提取单元用于对所述目标像素点集和所述重心进行特征提取，得到所述目标像素点集和所述重心对应的第一方向梯度直方图特征。

7.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。

Images