CN106557769B - 一种基于路径积分的ms-lbp的特征抽取方法及系统 - Google Patents

Abstract

本发明涉及一种基于路径积分的MS‑LBP的特征抽取方法及系统，该方法包括：构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi‑LBP特征值；对每组特征参数组的所有像素点的pi‑LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。本发明通过构造不同的跨尺度路径和高通滤波器，提取不同尺度间的纹理相关性，解决了LBP编码变化单一的问题，能够通过构造不同的路径和滤波器提取出更多有效地特征，从而提高了特征的识别能力。

Description

一种基于路径积分的MS-LBP的特征抽取方法及系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于路径积分的MS-LBP的特征抽取方法及系统

背景技术

数字图像是信息传递的重要媒介，是人类获取信息的主要途径之一。随着互联网的高速发展，每一刻都会有大量的图像信息被采集，因此需要计算机来帮助人类获取这些图像所承载的信息。为了有效地表达图像的本质信息，需要对原始图像进行特征抽取。特征抽取的好坏，将直接影响图像分析的设计和性能，因此，特征抽取是计算机视觉领域一个关键的问题。

目前抽取的图像特征主要分为全局特征和局部特征。全局特征是对图像的整体特征进行抽取，而局部特征抽取的是图像的局部块特征。相比较而言，局部特征对图像的几何变化、亮度变化等的鲁棒性较高，在计算机视觉分类和识别领域扮演者重要的角色。

局部二值模式(Local Binary Pattern，缩写为LBP)是一个简单而有效的局部特征描述子，由Ojala等人最早提出(如参考文献：T.Ojala,M.and D.Harwood,“A comparative study of texture measures with classification based onfeatured distributions,”Pattern Recognition,vol.29,no.1,pp.51–59,Jan.1996.)。LBP是利用周围相邻像素点间的大小关系来描述图像的局部特征，具有计算简单、灰度不变性、旋转不变性等优点，能够有效地提取出图像的本质特征。近年来，LBP受到了学术界和工业界的广泛关注，被应用于纹理分析、指纹识别和人脸分析等领域。

多尺度LBP(Multi-scale LBP，缩写为MS-LBP)是提高LBP特征识别率的有效方法(如参考文献：T.Ojala,M.and T.“Multiresolution gray-scale and rotation invariant texture classification with local binarypatterns,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.24,no.7,pp.971–987,Jul.2002.)，它是通过特定方式将图像在不同尺度下抽取的LBP特征结合起来，例如：串联特征直方图和多维特征直方图。然而，图像在不同尺度下进行独立LBP编码，损失了跨多尺度的纹理相关性，从而降低了特征的识别能力。并且不同尺度下的图像采取单一的LBP编码方式，无法获取更多有效的图像纹理特征，在一些实际应用场景的表现并不理想。

发明内容

针对上述问题，本发明提供一种基于路径积分的MS-LBP的特征抽取方法及系统，通过构造不同的跨尺度路径和高通滤波器，提取不同尺度间的纹理相关性，解决了LBP编码变化单一的问题，能够通过构造不同的路径和滤波器提取出更多有效地特征，从而提高了特征的识别能力。

本发明的一个方面提出了一种基于路径积分的多尺度局部二值模式MS-LBP的特征抽取方法，其特征在于，包括：

构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；

对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值；

对每组特征参数组的所有像素点的pi-LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。

其中，所述跨尺度路径集中的路径的起点为水平方向。

其中，所述跨尺度路径集中的路径的终点位置与所述路径的起点呈45°角度弯曲。

其中，所述方法还包括：所述每个高通滤波器中包括多个元素，并且所有元素的和为0。

其中，所述对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值，具体包括：

选择任一个像素点作为当前像素点，选择当前一组特征参数值，将当前像素点作为当前特征参数中路径的起始点，构造当前像素点的初始路径；

将所述初始路径以当前像素点为中心旋转预设的角度，得到当前像素点的预设个方向的旋转路径；

对所述初始路径以及每条旋转路径上的像素点分别通过高通滤波器，得到所述当前像素点的滤波值；

将所述滤波值进行二值化，形成所述当前像素点的初始pi-LBP特征值。

其中，所述方法还包括：

将初始pi-LBP特征值进行旋转不变统一模式变换；

提取所述像素点的量化特征，将变换后的初始pi-LBP与所述量化特征进行合并，形成pi-LBP特征值。

其中，所述方法还包括：对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值，具体包括：

使用以下pi-LBP算法提取所述每个像素点的每一组特征参数值对应的pi-LBP特征值：

其中，函数s(x)表示x值的符号，即当x大于等于0时，s(x)＝1，否则，s(x)＝0。f(i)为高通滤波器，g_hi为路径中的像素点的值，k为路径中节点的个数，i为路径中的任一个节点，h为任一条选择路径，P为旋转路径的个数，G₀为选择的路径，其中G₀＝(g_0,1,…,g_0,k)。

根据本发明的另一个方面，提供一种基于路径积分的多尺度局部二值模式MS-LBP的特征抽取方法，其特征在于，包括：

参数构造单元，用于构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；

pi-LBP特征值提取单元，用于对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值；

图像特征值生成单元，用于对每组特征参数组的所有像素点的pi-LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。

本发明的一种基于路径积分的多尺度局部二值模式的特征抽取方法及系统，通过构造不同的跨尺度路径和高通滤波器，可以对多尺度的图像特征进行有效地编码，提取图像的跨尺度纹理相关性。提取不同尺度间的纹理相关性，解决了LBP编码变化单一的问题。同时通过构建多样化的尺度路径集和高通滤波器，灵活地提取出图像中的有用纹理信息，在纹理分类中达到了较高的分辨力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例中一种基于路径积分的多尺度局部二值模式的特征抽取方法的流程图；

图2是本发明的一个实施例的构造的跨尺度路径集的示意图；

图3示出了本发明的一个实施例的构造的高通滤波器的示意图；

图4是本发明的一个实施例的像素点构造路径示意图；

图5是本发明一个实施例中一种基于路径积分的多尺度局部二值模式的特征抽取系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对现有技术中存在的缺陷，提供一种基于路径积分的多尺度局部二值模式的特征抽取方法，可以对多尺度的图像特征进行有效的编码，提取图像的跨尺度纹理相关性，并通过构建多样化的尺度路径集合高通滤波器，灵活地提取出图像中的有用纹理信息，在纹理分类中达到了较高的分辨力。

图1是本发明一个实施例中一种基于路径积分的多尺度局部二值模式的特征抽取方法的流程图；

参照图1，本发明的一个实施例的基于路径积分的多尺度局部二值模式(pathintegral based LBP，缩写为pi-LBP)的特征抽取方法，具体包括：

S1、构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；

本发明的实施例中，路径集的选择应保证pi-LBP的旋转不变性，而高通滤波器则保证了pi-LBP的灰度不变性。通过组合具有相同长度的路径和滤波器，作为第二个步骤中提取pi-LBP特征的一个重要的特征参数组。

对于跨尺度路径集的构造有很多种选择，在一个实施例中，考虑到pi-LBP特征的旋转不变性，本实施例中只选取了一些起点为水平方向的路径集，并为了保证特征提取的多样性，路径可以在终点位置正负45度弯曲。

如在一个具体的实施例中，其具体构造路径集如图2所示，用上述方法共构造出7条路径，其中，包含两个节点的路径一条，包括三个节点的路径三条，包括四个节点的路径三条。相邻路径点之间距离为一个单位像素长度，对于不是完整落在像素点中心的路径点，利用双线性差值的方式求得该点的像素值。

另外，选取的高通滤波器在一个具体的实施例中如图3中罗列出来。为了简单起见，可以选择了一些较为常见的滤波器，并且滤波器中每个元素的求和值为0，这是为了保证抽取pi-LBP特征具有灰度不变性。对于长度相同的跨尺度路径和高通滤波器，可以组合成一组，作为步骤S2中抽取图像pi-LBP特征值的一个重要参数。因此，在上面实施例7条路径的基础上，与高通滤波器阻性可以得到1*1+3*4+3*7＝34组路径和滤波器组合，即可以形成34组特征参数组。

S2、对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值；

具体而言，对于每一个像素，根据选择的特征参数组，首先，第一个方位的路径由输入路径决定，再将该路径绕着像素点为中心逆时针旋转一圈后，得到剩余方位所对应的路径。接着，将各个方位路径的像素点依次通过高通滤波器。最后，将各方位的滤波值二值化后，依次串联起来得到一个二进制串，其对应的十进制形式则为该像素点的pi-LBP特征值。

在一个实施例中，步骤S2具体包括：

选择任一个像素点作为当前像素点，选择当前一组特征参数值，将当前像素点作为当前特征参数中路径的起始点，构造当前像素点的初始路径；

将所述初始路径以当前像素点为中心旋转预设的角度，得到当前像素点的预设个方向的旋转路径；

对所述初始路径以及每条旋转路径上的像素点分别通过高通滤波器，得到所述当前像素点的滤波值；

将所述滤波值进行二值化，形成所述当前像素点的初始pi-LBP特征值。

上述的步骤在一个具体的实施例中，其过程如下。

对于步骤1中每一组跨尺度路径和高通滤波器，可为图像的像素点抽取出一个pi-LBP特征值。严格定义如下，假设跨尺度路径为G₀＝(g_0,1,…,g_0,k)是起始于中心像素点c的位于图像的一条路径，即G₀中的每个元素都是图像的像素值，并且g_0,1＝c；另外假设高通滤波器为f＝(f(1),…,f(k))，并且满足从而保证的pi-LBP特征的灰度不变性。

首先，将路径G₀绕着中心像素点c逆时针旋转(2hπ)/P度，将得到一个新路径G_h＝(g_h,1,…,g_h,k)。对于每个i和h，向量是由旋转(2hπ)/P度得到的。

然后，对每个方向的像素点通过高通滤波器，得到一个滤波值，例如：

最后，将滤波值二值化后，形成pi-LBP对应的P比特的二进制值，其十进制形式即为该像素点的初始pi-LBP特征值。

综上所述，本实施例提出的pi-LBP算法定义如下：

其中，函数s(x)表示x值的符号，即当x大于等于0时，s(x)＝1，否则，s(x)＝0。如上述公式所示，pi-LBP值依赖于(P,G₀,f)这三个参数，其中G₀和f是由开始构造的路径集合高通滤波器得到的，而P则根据具体的像素点设置。并且在上述公式中，h表示任意一条选择路径，当h＝0时，表示选择的路径。

通过上述过程抽取的初始pi-LBP特征值虽具有灰度不变性，但其特征维度较高，缺少旋转变换的鲁棒性。因此，对提取的特征进行旋转不变统一模式的变换，并加入了像素点的量化特征作为互补信息，使得pi-LBP能够提取出图像的最本质纹理特征。

具体地，旋转不变统一模式变换可以根据Ojala等人提出的(参考文献：T.Ojala,M.and T.“Multiresolution gray-scale and rotationinvariant texture classification with local binary patterns,”IEEETrans.Pattern Anal.Mach.Intell.,vol.24,no.7,pp.971–987,Jul.2002.)进行变换。通过旋转不变统一模式变换，可以使得pi-LBP特征值能够对图像的旋转变换具有一定的鲁棒性，并且，实验证明统一模式是图像的主要模式，能够反映出图像的本质纹理特征。

另外，像素点量化特征是指，图像的像素值与图像所有像素均值的差值符号，通过计算像素点量化特征，并将该二维特征作为pi-LBP特征值的互补特征，能够提高pi-LBP特征的识别效率。具体地，像素点量化特征根据LBP中的中心元素(参考文献：Z.Guo andD.Zhang,“A completed modeling of local binary pattern operator for textureclassification,”IEEE Trans.Image Process.,vol.19,no.6,pp.1657–1663,Jun.2010.)得到，其具体定义如下所示：

其中表示图像的像素平均值。

通过将初始pi-LBP特征值经过上述的处理后，得到了能够反映图像最本质纹理特征的pi-LBP值。

S3、对每组特征参数组的所有像素点的pi-LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。

通过步骤S2，根据构造的跨尺度路径集和高通滤波器组成的不同的特征参数组，能为图像像素点编码出不同pi-LBP特征值。然后，分别对不同参数下的pi-LBP特征值构造特征直方图，再将由不同路径和滤波器构造而成的直方图串联起来，将得到图像的最终特征值。

本发明的一种基于路径积分的多尺度局部二值模式的特征抽取方法，通过构造不同的跨尺度路径和高通滤波器，可以对多尺度的图像特征进行有效地编码，提取图像的跨尺度纹理相关性。提取不同尺度间的纹理相关性，解决了LBP编码变化单一的问题。同时通过构建多样化的尺度路径集和高通滤波器，灵活地提取出图像中的有用纹理信息，在纹理分类中达到了较高的分辨力。

以下通过具体实施例像素描述本发明的基于路径积分的多尺度局部二值模式的特征抽取方法。

选择图2中的节点个数为3个的路径为例，一个像素点的pi-LBP特征值的抽取方法为下：

根据路径的节点个数，选择图3中对应的k＝3的最后一个滤波器，即f＝(1,1,-2)。将这组路径和滤波器作为pi-LBP特征提取的一组特征参数组，即G₀和f。

根据选取的路径G₀和滤波器f，分别对图像的像素点进行pi-LBP特征提取。以图4中的像素点为例，该像素点的像素值为33，以该像素点出发均匀生成8个方向的路径，其中最左边的路径为起始路径，路径上点的像素值分别为{33,46,19}。

接着，将这八条路径通过高通滤波器f＝(1,1,-2)，得到其对应的滤波值，例如起始路径的滤波值为1*33+1*45–2*28＝22，根据滤波值的符号，将第一位编码为1。以此类推，则将该像素点编码成二进制值为11000001，相应的其十进制形式为193。

然后进行旋转不变统一模式和像素点量化特征。上述得到的像素编码值为11000001，其二进制中相邻比特位值的01和10变化为2次，因此属于统一模式，根据旋转不变统一模式的定义，11000001对应的编码值为3，即二进制形式中含1的个数。接着，根据图像的平均像素值，二值量化图像中的像素值。本实施例中，如果平均像素值小于33，那么该像素值将编码为3+10*0＝3，反之编码为3+10*1＝13。

最后生成图像特征直方图。通过上述步骤，对于每一个像素点都计算不同的特征参数组得到的pi-LBP特征值，然后在该步骤中，为图像的所有pi-LBP特征值构造特征直方图，再将由不同路径和滤波器构造而成的直方图串联起来，将得到图像的最终特征值。

图5是本发明一个实施例中一种基于路径积分的多尺度局部二值模式的特征抽取系统的结构框图。

参照图5，本发明的另一个实施例中，提供一种基于路径积分的多尺度局部二值模式MS-LBP的特征抽取系统，具体包括：

参数构造单元10，用于构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；

Pi-LBP特征值提取单元20，用于对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值；

图像特征值生成单元30，用于对每组特征参数组的所有像素点的pi-LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。

本实施例为本发明的系统的实施例，由于与方法的实施例基本相似，所以描述的比较简单，相关之处请参见方法实施例部分的说明。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在于该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于路径积分的多尺度局部二值模式MS-LBP的特征抽取方法，其特征在于，包括：

构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；

对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值；

对每组特征参数组的所有像素点的pi-LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。

2.根据权利要求1所述的特征抽取方法，其特征在于，所述跨尺度路径集中的路径的起点为水平方向。

3.根据权利要求1所述的特征抽取方法，其特征在于，所述跨尺度路径集中的路径的终点位置与所述路径的起点呈45o角度弯曲。

4.根据权利要求1所述的特征抽取方法，其特征在于，所述方法还包括：每个所述高通滤波器中包括多个元素，并且所有元素的和为0。

5.根据权利要求2所述的特征抽取方法，其特征在于，所述对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值，具体包括：

选择任一个像素点作为当前像素点，选择当前一组特征参数值，将当前像素点作为当前特征参数中路径的起始点，构造当前像素点的初始路径；

将所述初始路径以当前像素点为中心旋转预设的角度，得到当前像素点的预设个方向的旋转路径；

对所述初始路径以及每条旋转路径上的像素点分别通过高通滤波器，得到所述当前像素点的滤波值；

将所述滤波值进行二值化，形成所述当前像素点的初始pi-LBP特征值。

6.根据权利要求5所述的特征抽取方法，其特征在于，所述方法还包括：

将初始pi-LBP特征值进行旋转不变统一模式变换；

提取所述像素点的量化特征，将变换后的初始pi-LBP与所述量化特征进行合并，形成pi-LBP特征值。

7.根据权利要求5所述的特征抽取方法，其特征在于，所述方法还包括：对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值，具体包括：

使用以下pi-LBP算法提取所述每个像素点的每一组特征参数值对应的pi-LBP特征值：

其中，函数s(x)表示x值的符号，即当x大于等于0时，s(x)＝1，否则，s(x)＝0；f(i)为高通滤波器，g_h,l为路径中的像素点的值，k为路径中节点的个数，i为路径中的任一个节点，h为任一条选择路径，P为旋转路径的个数，G₀为选择的路径，其中G₀＝(g_0,1,…,g_0,k)。

8.一种基于路径积分的多尺度局部二值模式MS-LBP的特征抽取系统，其特征在于，包括：

参数构造单元，用于构造跨尺度路径集和多个高通滤波器，并将长度相同的路径和高通滤波器组合形成特征参数组；

pi-LBP特征值提取单元，用于对每个像素点，根据每一组特征参数组，提取基于路径积分的多尺度局部二值模式pi-LBP特征值；

图像特征值生成单元，用于对每组特征参数组的所有像素点的pi-LBP特征值构造直方图，并将所有的直方图串联形成图像的最终特征值。