CN111950568A - 一种刺绣针法图样特征点提取及匹配方法 - Google Patents

Abstract

本发明公开了一种刺绣针法图样特征点提取及匹配方法，涉及刺绣纹饰图形特征识别技术领域，包括步骤1，输入图像；步骤2，通过导向滤波函数对输入图像进行预处理；步骤3，利用导向滤波作为尺度函数构建图像金字塔；步骤4，定位差分图像金字塔不同尺度的极值点，剔除极值点中不稳定的边缘响应点，得到关键点；步骤5，为每个关键点分配主方向，经过矫正、旋转生成特征描述子；步骤6，对生成的特征描述子进行标识；步骤7，对标识后的特征描述子与模板进行匹配，本发明利用导向滤波替换高斯尺度变换函数提取出了图像中的关键特征点，本发明所提取的不同针法的关键点数据，还可以用来构建针法数据库，为后期的不同针法识别奠定基础。

Description

一种刺绣针法图样特征点提取及匹配方法

技术领域

本发明涉及刺绣纹饰图形特征识别技术领域，具体为一种刺绣针法图样特征点提取及匹配方法。

背景技术

在刺绣工艺的非遗数字化保护研究中，成品绣品图样的保护占据着重要的地位。但实际上刺绣文化的精髓不仅是在图案上，针法与图样的有机结合才能更好地传承少数民族文化特色。因此，寻找一种能够将绣品针法纹样特征进行提取和匹配的方法是刺绣数字化保护亟待解决的问题。

目前，羌绣、苗绣等少数民族刺绣的数字化保护方法大部分都是建立纹样图片数据库。但对于纹样图案本身的针法特征保护并没有太多研究。实际上纹样图案中的针法是组成各种刺绣图案的基础，但是现在很多少数民族刺绣纹样的数字纹样库中并没有对应的针法特征，对于图片中的特征提取方法，国内外已经有很多学者进行了研究。其主要方法分为传统图像分析方法和基于深度学习、人工神经网络的方法。

上述描述的方法确实能够在其应用范围内很好地提取出图像的关键特征信息。但是不同针法之间存在着很小差异，目前现有的传统算法并不能很好的解决这一问题。而深度学习和人工神经网络相关的算法要求需要大量的样本图，这对前期研究造成了很多不便。针对这一问题，现有的专利是通过传统SIFT算法去解决，但是传统的SIFT算法对于目标边缘提取的特征点较少，而边缘往往是分辨目标最重要的特征之一，对于针法而言，各种不同的针法之间表现在绣布上其实就是纹理不同，而纹理最重要的一个特征就是边缘。

发明内容

本发明的目的在于克服现有技术的不足，提供一种刺绣针法图样特征点提取及匹配方法。

本发明的目的是通过以下技术方案来实现的：

一种刺绣针法图样特征点提取及匹配方法，包括以下步骤：

步骤1，输入图像；

步骤2，通过导向滤波函数对输入图像进行预处理；

步骤3，利用导向滤波作为尺度函数构建图像金字塔；

步骤4，定位差分图像金字塔不同尺度的极值点，剔除极值点中不稳定的边缘响应点，得到关键点；

步骤5，为每个关键点分配主方向，经过矫正、旋转生成特征描述子；

步骤6，对生成的特征描述子进行标识；

步骤7，对标识后的特征描述子与模板进行匹配。

优选的，所述步骤2包括以下内容：

设导向图M中的某像素(x,y)在局部领域τ_k内与输出图像O呈线性关系。表示为：

当滤波窗口半径r确定，

两个系数也就被唯一确定，也就是说如果在一个窗口内存在图像边缘，那么滤波之后也能够保证输出图像中含有边缘信息。对(9)两边求梯度得：

因此，为了求出

采用最小二乘法，有：

其中l代表在非边缘区域的输出图像O_i与输入图像I_i的噪声的损失值。实际上，导向滤波的思想就是最小化噪声，(11)中

表示正则化参数，为了防止求得的系数值过大而引入，对(11)式求偏导：

联合计算(12)、(13)两式得：

上述两式中，μ_k和

分别表示导向图M_i在区域τ_k中的均值和方差，|τ|为区域τ_k中像素数量其中

计算表达式为：

优选的，所述步骤3包括以下内容：

在导向滤波中，采用

作为尺度变换因子，

是为了防止计算得出的

过大而引入的因子。从(14)式中可以看出，当

增大时，

的值会减小。从(9)、(15)两式中可以得出，当

减小时，输出图像的像素值也会适当地靠近μ_k，起到了模糊图像的目的，同时，当

减小时，也会模糊边缘区域，由于

的限制作用，会使边缘区域像素模糊速度变慢；

所以最终输出图像O与导向图M的关系就可以表示成：

即：

其中η_ik＝ψ_ik[M(i)-μ_k]，只与导向图M和输入图像I有关。

优选的，所述步骤4包括以下内容：

采用尺度归一化拉普拉斯函数来定位金字塔不同尺度下的极值点。有如下公式：

上式在离散图像中可用差分进行计算，即：

因此，可得出：

为了简化计算，采用差分算子替换拉普拉斯算子，即：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)L(x,y,kσ)-L(x,y,σ) (8)

其中，L代表在某尺度下高斯模糊模板与原图的卷积，而D就是高斯差分图像，表征了该尺度下的DoG轮廓图像，实际上在该过程计算之后，高斯金字塔的尺度模型便进成了DoG高斯差分金字塔，

将(8)式中的高斯函数替换成(19)式中的导向滤波函数，得：

其中Θ表示输入图像与导向滤波核进行卷积后的结果。为了求出式(20)，还需求出O的二阶导数，在(19)式中对

求导得：

在(21)中再次对

求导得：

本发明的有益效果为：本发明基于SIFT特征提取算法，结合人眼从近到远观察物体的特点，提出了利用导向滤波函数替代传统高斯尺度变换函数，提取出了针法图像中的特征点并进行了模板匹配。传统SIFT算法所提取的特征点，由于高斯模糊的作用，导致SIFT算法对目标的边缘响应减弱，从而忽略了部分边缘特征。但实际上人眼在从近到远观察物体时，物体的内部特征会先变得模糊，随后才是物体的边缘模糊。因此本发明利用导向滤波替换高斯尺度变换函数提取出了图像中的关键特征点，最后利用点匹配法检验了本发明算法的匹配效果优于传统SIFT算法，本发明所提取的不同针法的关键点数据，还可以用来构建针法数据库，为后期的不同针法识别奠定基础。

附图说明

图1为本发明高斯金字塔模型示意图；

图2为本发明中不同σ值高斯滤波示意图；

图3为本发明中不同

值导向滤波示意图；

图4为本发明算法特征点示意图；

图5为平针SIFT特征点示意图；

图6为本发明掺针特征点示意图；

图7为掺针SIFT特征点示意图；

图8为SIFT特征点匹配结果示意图；

图9为本发明特征点匹配结果示意图；

图10为本发明错误匹配示意图；

图11为本发明方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

对于图片中的特征提取方法，国内外已经有很多学者进行了研究。其主要方法分为传统图像分析方法和基于深度学习、人工神经网络的方法。

基于传统的图像分析方法主要是从图像本身入手，找寻图中不同对象的特征，然后根据这些不同的特征构建数学模型并求解。如浙江理工大学服装学院的汪会、孙洁等人以织物作为研究对象，利用SIFT、SURF等算法提取纹样的局部特征然后进行模板匹配，最后能够达到87.10％的匹配准确率。但是他们的研究主要是针对织物因不同尺度、旋转、褶皱等因素引起的图像差异，前提是在纹样图案没有太大变化的情况下算法才能达到很好的效果。为了解决这一问题，徐平华、冒海琳等人以织物洗后的外观平整度作为研究对象，利用视觉特征编码与多分类的支持向量机方法提出了一种自动褶皱评级方法。这样一来解决了织物上不同褶皱衣服的识别方法。但是这对细节部分又没有太多处理，不适用于小纹样的特征提取。针对具体纹样特征分类，丁笑君，邹楚杭等人对畲族服饰上的纹样进行尺度不变特征转换方式提取关键点，用各关键点向量间方差大小表征纹理的复杂度，这种方法对畲族服饰的分类起到了一定参考作用。

而基于深度学习和神经网络的特征提取算法，主要是采用卷积逐层提取目标图像的关键特征，最后达到分类匹配的目的。东北林业大学的孙丽萍、陈泓钢等人以9500张树叶样本图片为研究对象，采用深度信念网络进行训练、识别分类，能够达到90％以上的识别正确率。该算法能够解决在大样本情况下的分类问题。同时，河南理工大学的陈志超、张正等人[6]利用光谱影像图的特征采用空间主成分分析的方法进行特征提取和分类，结果文章的算法匹配精度能够达到90％以上。

上述描述的方法确实能够在其应用范围内很好地提取出图像的关键特征信息。但是不同针法之间存在着很小差异，目前现有的传统算法并不能很好的解决这一问题。而深度学习和人工神经网络相关的算法要求需要大量的样本图，这对前期研究造成了很多不便。针对这一问题，本发明利用传统SIFT算法提出并实现了一种基于导向滤波尺度函数的图像特征提取算法。

如图11所示，步骤如下：

步骤1，输入图像；

步骤2，通过导向滤波函数对输入图像进行预处理；

步骤3，利用导向滤波作为尺度函数构建图像金字塔；

步骤4，定位差分图像金字塔不同尺度的极值点，剔除极值点中不稳定的边缘响应点，得到关键点；

步骤5，为每个关键点分配主方向，经过矫正、旋转生成特征描述子；

步骤6，对生成的特征描述子进行标识；

步骤7，对标识后的特征描述子与模板进行匹配。

首先介绍一下SIFT算法原理

尺度不变特征转换(Scale-invariant feature transform，SIFT)算法最早由David Lowe[8]在1999年提出。其主要思想是利用二维高斯函数对图片进行多尺度分割，将分割后的图像排列成金字塔的形式，然后从金字塔不同层(不同尺度)中进行特征和关键点提取，最后将提取出的特征点在某特定的尺度上进行局部表示。所有这些关键点的描述就属于图片中的对象特征。

二维对称Gaussian函数表示为：

式中，σ²为方差。在实际应用中，高斯函数主要作为模糊模板来模糊图像，通过不同的σ值获取不同程度的模糊图像。这些不同的模糊图像构成了一张图像的尺度空间。实际上，SIFT算法就是通过这些不同程度的模糊图像来模拟人眼从不同距离看到事物的实际情况。因此，高斯模糊m×n大小模板上的点(x,y)对应的计算公式就变为：

因此，图像的尺度空间L表示为：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (3)

其中，*代表卷积操作。其中不同σ值得到的图像就是不同尺度下的图像。得到高斯金字塔如下图所示：

通过不同的σ值获取的不同尺度下的图片，并将原始图片不断进行下采样，得到一系列不等大的图像，构成图1所示的金字塔模型。实际上金字塔的层数由原图和顶层图像大小共同决定，其表达式为：

n＝log₂{min(M,N)}-t (4)

其中M,N为原始图像的宽度和高度，t为顶层图像最小维度的对数。在得到高斯金字塔之后，需要采用尺度归一化拉普拉斯函数来定位不同尺度下的特征点。有如下公式：

上式在离散图像中可用差分进行计算，即：

因此，可得出：

G(x,y,kσ)-G(x,y,σ)≈(k-1)σ²▽²G (7)

为了简化计算，提出采用差分算子替换拉普拉斯算子，即：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)

L(x,y,kσ)-L(x,y,σ) (8)

其中，L代表在某尺度下高斯模糊模板与原图的卷积，而D就是高斯差分图像(Difference of Gaussian，DoG)，表征了该尺度下的DoG轮廓图像。实际上在该过程计算之后，高斯金字塔的尺度模型便进成了DoG高斯差分金字塔。

为了提取特征点，需要找出DoG空间的极值点，这些极值点中还掺杂有一些不稳定的边缘响应点，这些不稳定点需要剔除。最后，利用提取出的特征点梯度方向，经过矫正、旋转等操作后生成SIFT特征点(描述子)。

SIFT算法的核心就是利用不同σ值下的高斯函数来模糊原图，以此得到不同“尺度”下的图像。思考的主要思路是利用人眼看实物的远近不同，看到的图像从近到远会逐渐模糊，形成不同尺度下的图像。但是实际上，随着σ值的增大，二维高斯函数会越来越“平坦”，得到的图像整体也会越来越模糊。当σ趋于无穷大的时候，高斯滤波会退化成方框滤波，如下图所示表示在不同σ值下，平针对高斯函数的响应情况。

从图2中可以看出，当σ增大的时候，整张图片都会变得越来越模糊。目标内部纹理和边缘部分同样也会受σ的影响变模糊。

但实际上，人眼在从近至远观察物体时，首先看不清楚的应是物体内部纹理，此时视网膜对物体的外边缘响应增强，随着距离增大，视网膜对物体的边缘响应才会逐渐变弱。因此，本发明在原SIFT算法的基础上，改进了尺度变换的模板函数。尺度函数由高斯函数换成了导向滤波函数。

导向滤波的主要思想是假设导向图(G图)M中的某像素(x,y)在局部领域τ_k内与输出图像O呈线性关系。表示为：

当滤波窗口半径r确定，

两个系数也就被唯一确定。也就是说如果在一个窗口内存在图像边缘，那么滤波之后也能够保证输出图像中含有边缘信息。对(9)两边求梯度得：

因此，为了求出

采用最小二乘法，有：

其中l代表在非边缘区域的输出图像O_i与输入图像I_i的噪声的损失值。实际上，导向滤波的思想就是最小化噪声。(11)中

表示正则化参数，为了防止求得的系数值过大而引入。对(11)式求偏导：

联合计算(12)、(13)两式得：

上述两式中，μ_k和

分别表示导向图M_i在区域τ_k中的均值和方差，|τ|为区域τ_k中像素数量其中

计算表达式为：

为了获取不同尺度下的图像，需要尺度因子，在高斯函数中，采用不同的σ作为尺度变换因子。在导向滤波中，本发明采用

作为尺度变换因子，实际上，

是为了防止计算得出的

过大而引入的因子。从(14)式中可以看出，当

增大时，

的值会减小。从(9)、(15)两式中可以得出，当

减小时，输出图像的像素值也会适当地靠近μ_k，起到了模糊图像的目的。同时，当

减小时，也会模糊边缘区域，由于

的限制作用，会使边缘区域像素模糊速度变慢。因此也就模拟了人眼与物体的距离从近到远移动时，先模糊图像内部，随着距离越远，边缘区域也会逐渐模糊。如下图3所示

从滤波结果可以发现，当

值为0.46的时候，还能够比较清楚地看到平针的外边缘，但是内部针法纹理已经稍有模糊；当

值为0.96时，平针的边缘也被模糊了，内部纹理已经无法分辨；当

值为1.76时，已经无法分辨目标对象。

令：

所以最终输出图像O与导向图M的关系就可以表示成：

即：

其中η_ik＝ψ_ik[M(i)-μ_k]，只与导向图M和输入图像I有关。

于是，将(8)式中的高斯函数替换成(19)式中的导向滤波函数，得：

其中Θ表示输入图像与导向滤波核进行卷积后的结果。为了求出式(20)，还需求出O的二阶导数，在(19)式中对

求导得：

在(21)中再次对

求导得：

本发明已经在windows10企业版64位操作系统中使用Python3.7.4实现全部G-SIFT算法。结果如图4、图5、图6与图7所示：

可以看出，传统的SIFT算法对于目标边缘提取的特征点较少，而边缘往往是分辨目标最重要的特征之一。对于针法而言，各种不同的针法之间表现在绣布上其实就是纹理不同，而纹理最重要的一个特征就是边缘。

本发明前期已经搜集了编针、掺针、打籽绣、倒钩针、结边针、扭针、平针、散针、梭山针、锁针、跳三针和压针绣12种针法，每种针法样本为100张，由7-8人分别进行绣制。本发明在验证针法匹配时，从每种针法的100张中任选取一张作为匹配的“模板”，然后匹配剩下的99张。匹配的示例如图8、图9所示：

从上述匹配结果可以看出，利用高斯函数作为尺度变换函数，得到的匹配结果会有较多的“错误匹配点”存在，而采用导向滤波函数作为尺度变换函数则能够得到非常清晰的匹配结果，如图9所示。

对99张图片进行匹配时，本发明采用匹配点数作为匹配成功指标数，实际上当待匹配的对象与“模板”差异较大时，通过GSIFT算法或SIFT算法匹配的点会很少。如图10所示：

从图中可以看出，虽然完全不同的对象，算法也能检测出一些可以匹配的点。但这些点都是“错误”匹配，经过实验可以发现，这些“错误”匹配的特征点数量很少，几乎都在10以内。因此本发明以匹配的点数作为判定成功的标志，即两张图片匹配的特征点超过10个，就认为被匹配对象属“模板”一类，反之就不属于该“模板”类。如上图8所示右边是掺针，不属于平针一类。然后本发明对12种针法中的样本依次进行了模板匹配，随机从12种针法的每种针法中抽取10张图片(包括“模板”本身，共120张测试图)，进行模板匹配，得出的结果正确率如下表所示：

表1 GSIFT模板匹配成功率

Tab.1 GSIFT template matching

实验结果可以发现，GSIFT算法对编针、掺针、扭针、平针、散针、压针绣等对边缘信息较为敏感的针法提升效果较为明显；而打籽绣、锁针、跳三针等一些对边缘不太敏感的针法提升效果不太明显。但总的说来，GSIFT算法作为特征匹配比SIFT算法更优。

本发明基于SIFT特征提取算法，结合人眼从近到远观察物体的特点，提出了利用导向滤波函数替代传统高斯尺度变换函数，提取出了针法图像中的特征点并进行了模板匹配。传统SIFT算法所提取的特征点，由于高斯模糊的作用，导致SIFT算法对目标的边缘响应减弱，从而忽略了部分边缘特征。但实际上人眼在从近到远观察物体时，物体的内部特征会先变得模糊，随后才是物体的边缘模糊。因此本发明利用导向滤波替换高斯尺度变换函数提取出了图像中的关键特征点，最后利用点匹配法检验了本发明算法的匹配效果优于传统SIFT算法。实际上，本发明所提取的不同针法的关键点数据，可以用来构建针法数据库，为后期的不同针法识别奠定基础。

以上所述仅是本发明的优选实施方式，应当理解所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明并非局限于本发明所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本发明所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (4)

1.一种刺绣针法图样特征点提取及匹配方法，其特征在于，包括以下步骤：

步骤1，输入图像；

步骤2，通过导向滤波函数对输入图像进行预处理；

步骤3，利用导向滤波作为尺度函数构建图像金字塔；

步骤4，定位差分图像金字塔不同尺度的极值点，剔除极值点中不稳定的边缘响应点，得到关键点；

步骤5，为每个关键点分配主方向，经过矫正、旋转生成特征描述子；

步骤6，对生成的特征描述子进行标识；

步骤7，对标识后的特征描述子与模板进行匹配。

2.根据权利要求1所述的一种刺绣针法图样特征点提取及匹配方法，其特征在于，所述步骤2包括以下内容：

设导向图M中的某像素(x,y)在局部领域τ_k内与输出图像O呈线性关系，表示为：

当滤波窗口半径r确定，

两个系数也就被唯一确定，也就是说如果在一个窗口内存在图像边缘，那么滤波之后也能够保证输出图像中含有边缘信息,对(9)两边求梯度得：

因此，为了求出

采用最小二乘法，有：

其中l代表在非边缘区域的输出图像O_i与输入图像I_i的噪声的损失值,(11)中

表示正则化参数，为了防止求得的系数值过大而引入，对(11)式求偏导：

联合计算(12)、(13)两式得：

上述两式中，μ_k和

分别表示导向图M_i在区域τ_k中的均值和方差，|τ|为区域τ_k中像素数量其中

计算表达式为：

3.根据权利要求2所述的一种刺绣针法图样特征点提取及匹配方法，其特征在于：所述步骤3包括以下内容：

在导向滤波中，采用

作为尺度变换因子，

是为了防止计算得出的

过大而引入的因子，从(14)式中可以看出，当

增大时，

的值会减小,从(9)、(15)两式中可以得出，当

减小时，输出图像的像素值也会适当地靠近μ_k，起到了模糊图像的目的，同时，当

减小时，也会模糊边缘区域，由于

的限制作用，会使边缘区域像素模糊速度变慢；

所以最终输出图像O与导向图M的关系就可以表示成：

即：

其中η_ik＝ψ_ik[M(i)-μ_k]，只与导向图M和输入图像I有关。

4.根据权利要求3所述的一种刺绣针法图样特征点提取及匹配方法，其特征在于，所述步骤4包括以下内容：

采用尺度归一化拉普拉斯函数来定位金字塔不同尺度下的极值点，有如下公式：

上式在离散图像中可用差分进行计算，即：

因此，可得出：

为了简化计算，采用差分算子替换拉普拉斯算子，即：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]*I(x,y)L(x,y,kσ)-L(x,y,σ) (8)

其中，L代表在某尺度下高斯模糊模板与原图的卷积，而D就是高斯差分图像，表征了该尺度下的DoG轮廓图像，实际上在该过程计算之后，高斯金字塔的尺度模型便进成了DoG高斯差分金字塔，

将(8)式中的高斯函数替换成(19)式中的导向滤波函数，得：

其中Θ表示输入图像与导向滤波核进行卷积后的结果，为了求出式(20)，还需求出O的二阶导数，在(19)式中对

求导得：

在(21)中再次对

求导得：

Images