CN106503718B - 一种基于滤波器组的局部二值模式图像描述方法 - Google Patents

Abstract

本发明公开了一种基于滤波器组的局部二值模式图像描述方法，包括：将输入的人脸图像进行分块获得若干图像块；对所述每个图像块进行基于滤波器组的卷积滤波，并分别卷积滤波处理后的每个图像块进行LBP编码，获得每个图像块的若干个FBLBP值；对每个图像块所得若干个FBLBP值进行统计，获得每种滤波器模式下的FBLBP直方图特征，并按顺序将滤波器组中所有滤波器模式下的FBLBP直方图特征组合成该图像块的FBLBP直方图特征；以及，依次提取每个图像块的FBLBP直方图特征，并串联起来构成该人脸图像的直方特征向量。本发明将局部图像与滤波器组卷积获得响应代替像素来对图像进行编码，获取图像的多尺度信息，使LBP算子更具有鲁棒性和抗干扰性，可增强LBP描述子对图像的表征能力。

Description

一种基于滤波器组的局部二值模式图像描述方法

技术领域

本发明涉及一种基于滤波器组的局部二值模式图像描述方法，属于图像处理的技术领域。

背景技术

目标检测是计算机视觉领域的一个重要研究课题，在智能视频监控、人机交互、视觉导航等许多领域有着广泛的应用。它处于整个视频处理系统的最底层，是各种后续高级处理如目标跟踪、目标分类、行为识别、场景理解等的基础。目标检测是跟踪系统的前段环节，有效的检测是保证后续的识别与跟踪顺利进行的基础和前提。

局部特征描述算子是作为目标特征提取的重要组成部分，被越来越多的计算机视觉领域的学者们关注，其中局部二值模式(LBP)作为经典的局部特征描述子尤为备受关注。LBP算子最初由Ojala等人引入并应用于纹理特征描述，其具有简单的原理、较低的计算复杂度、对诸如光照变化等因素影响造成的灰度变化的鲁棒性等优点。

近些年来众多学者对LBP算子的改进扩展方法层出不穷，使得LBP特征的应用领域也由最初的纹理分析进一步扩展到了人脸识别、性别识别、目标检测、目标跟踪、医学图像分析等等许多的应用领域。

现有的LBP算子基本上都是面向原始图像域像素进行编码，虽然已有大量的改进工作，但是面对噪声、光照等干扰时，还是很难保持特征提取的稳定性。因此，存在局限。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于滤波器组的局部二值模式图像描述方法，解决以及减少表情、遮挡、光照等因素对人脸特征的影响，难保持特征提取的稳定性的问题，以增强LBP描述子对图像的表征能力。

本发明具体采用以下技术方案解决上述技术问题：

一种基于滤波器组的局部二值模式图像描述方法，包括步骤：

步骤1、将输入的人脸图像进行分块获得若干图像块，且相邻图像块之间相互重叠；

步骤2、对所述每个图像块进行基于滤波器组的卷积滤波处理，并分别对卷积滤波处理后的每个图像块进行LBP编码，获得每个图像块的若干个FBLBP值；

步骤3、对每个图像块所得若干个FBLBP值进行统计，获得每种滤波器模式下的FBLBP直方图特征，并按顺序将滤波器组中所有滤波器模式下的FBLBP直方图特征组合成该图像块的FBLBP直方图特征；以及，依次提取每个图像块的FBLBP直方图特征，并串联起来构成该人脸图像的直方特征向量。

进一步地，作为本发明的一种优选技术方案：所述步骤1中相邻图像块之间设置重叠率。

进一步地，作为本发明的一种优选技术方案：所述步骤2中滤波器组为棋盘格滤波器组。

进一步地，作为本发明的一种优选技术方案：所述步骤2中卷积滤波处理和LBP编码，包括以下步骤：

将图像块中选取若干个局部子区域，利用滤波器组中的每种模式滤波器分别对局部子区域进行卷积滤波；

利用LBP编码方式对卷积滤波后的局部子区域进行编码，获得每个局部子区域的FBLBP值；

利用所获得局部子区域的FBLBP值代替该局部子区域，最终获得图像块的若干个FBLBP值。

进一步地，作为本发明的一种优选技术方案：所述步骤2中对局部子区域进行卷积滤波和LBP编码，包括以下步骤：

步骤21、将所述局部子区域分割成一个若干个子块窗口，其中每个子块窗口包括若干个子块；

步骤22、利用与所述窗口中的子块相同大小的滤波器对窗口中的每个子块进行卷积滤波；

步骤23、利用LBP编码方式对所得卷积滤波后的每个子块进行编码，获得每个子块的FBLBP值；

步骤24、利用所获得每个子块的FBLBP值代替该子块，最终获得局部子区域的FBLBP值。

本发明采用上述技术方案，能产生如下技术效果：

本发明提供的基于滤波器组的局部二值模式图像描述方法，将输入的人脸图像进行分块获得若干图像块，使用滤波器组对图像进行卷积滤波处理，将局部图像与滤波器组卷积获得相应的响应代替像素来对图像进行编码，并通过改变滤波器组的卷积核的大小来获取图像的多尺度信息。这种方法不仅包含了图像的微观结构信息，而且还融合了宏观特性，使LBP算子更具有鲁棒性和抗干扰性。本发明方法可以准确有效的实现人脸识别，在准确性和可靠性上具有很大的优势。可以有效解决以及减少表情、遮挡、光照等因素对人脸特征的影响，难保持特征提取的稳定性的问题，以增强LBP描述子对图像的表征能力，所述方法可以应用于人脸识别系统中，对人脸进行准确有效的识别。

附图说明

图1为本发明基于滤波器组的局部二值模式图像描述方法的流程示意图。

图2为本发明中局部二值模式LBP描述方法的原理示意图。

图3为本发明中选取的局部子区域的原理示意图。

图4为本发明中9x9FBLBP编码的原理示意图。

图5为本发明中特征提取的原理示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种基于滤波器组的局部二值模式图像描述方法，该方法具体包括以下步骤：

步骤1、将输入的人脸图像进行分块获得若干图像块，且相邻图像块之间相互重叠。把所有的人脸图像归一化为相同大小，根据实际需要，设定图像块的大小[Block_H，Block_W]，然后将图像划分成多个不同的图像块ImgBlock₁，ImgBlock₂，ImgBlock₃，...,ImgBlock_N，且相邻的两个图像块之间相互重叠，优选地，相邻图像块之间设置有重叠率，所述重叠率为0.5。

步骤2、对所述每个图像块进行基于滤波器组的卷积滤波处理，并分别对卷积滤波处理后的每个图像块进行LBP编码，获得每个图像块的若干个FBLBP值，具体如下：

首先，滤波器组采用棋盘格滤波器组。棋盘格滤波器组是由一组具有不同尺度大小的卷积核的滤波器FB₁，FB₂，FB₃，...，FB_M组成的，即得到棋盘格滤波器组为{FB_m},其中m＝1,2,...,M。基于棋盘格滤波器组的LBP描述子是对LBP描述子的一种扩展，它的基本思想是：将传统LBP中的中心像素值与8邻域像素值的比较扩展为中心子图像块与滤波器卷积得到的响应值与8-邻域子图像块与滤波器的卷积响应值的比较，得到一个FBLBP值，将得到的FBLBP值代替中心子图像块。FBLBP值的计算近似表达式可以通过公式(1)表示：

其中，conv 2(x)是卷积滤波函数，ImBlock_c为中心子图像块，ImBlock_i(i＝0,1,2,...,7)指的是周围8-邻域子图像块。

利用棋盘格滤波器组中的每种模式滤波器FB_m(FB₁，FB₂，FB₃，...，FB_M)对已划分的各个图像ImgBlock_n(ImgBlock₁，ImgBlock₂，ImgBlock₃，...,ImgBlock_N)分别进行LBP编码。

具体地，使用的滤波器组是一种棋盘格滤波器组，局部二值模式LBP是一种灰度图像局部纹理描述子，其原理如图2所示，它是在一个3x3的窗口内，根据中心像素点与8邻域的像素值进行比较，如图中中心像素点值为90，左上角像素点值为95，95>90,因此将左上角像素点位置标记为1，而中心点左侧像素点值为80，80<90，故左侧像素点位置标记为0，图中周围8个像素点值与中心像素点值比较后，在对应位置标记0或1；然后根据一定的编码方式进行编码，其按顺时针，得到一个8位的二进制序列，如图2中的11000100二进制序列；最后对此序列进行二进制编码，得到一个无符号的值(0～255)，该值即为中心像素点的FBLBP值。

然后按照上述原理，将图像块中选取NxN的局部子区域，将棋盘格滤波器组{FB_m},其中m＝1,2,...,M中的每种模式滤波器FB_m分别对每个图像块ImgBlock_n的局部子区域进行卷积滤波，如图3所示；再利用LBP编码方式对卷积滤波后的局部子区域进行编码，获得每个局部子区域的FBLBP值，如图3中得到一个二进制序列10100101组成的FBLBP值；利用所获得局部子区域的FBLBP值代替该局部子区域，最终获得图像块的若干个FBLBP值。

所述对局部子区域进行卷积滤波和LBP编码过程具体如下：

步骤21、将所述局部子区域分割成一个MxM的子块窗口，其中相邻窗口之间也是互相重叠的，且每个子块窗口包括若干个子块，如包括3x3个子块。

步骤22、利用与所述窗口中的子块相同大小的滤波器对窗口中的每个子块进行卷积滤波；

步骤23、利用LBP编码方式对所得卷积滤波后的每个子块进行编码，获得每个子块的FBLBP值；

步骤24、利用所获得每个子块的FBLBP值代替该子块，最终获得局部子区域的FBLBP值。

例如，如图4所示，当N＝9，M＝3时，对于图像块ImgBlock_n中的一个9×9的局部子区域，将其分割为一个3×3的子块窗口，窗口中每个子块的大小为3×3，然后利用一个3×3大小的滤波器块分别对子块窗口中的每个子块进行卷积滤波，接着对滤波后的每个子块计算FBLBP值，如对中心子块进行卷积滤波并通过积分图计算得到FBLBP值；将计算得到FBLBP值分别代替每个子块，最后得到一个3×3的FBLBP窗口，并利用LBP编码方式对这FBLBP窗口进行编码，得到一个局部子区域的FBLBP值。如图4中中心子块的FBLBP值17与周围8个子块的FBLBP值比较，在对应位置标记0或1；然后根据一定的编码方式进行编码(顺时针)，得到一个8位的二进制序列，如图4中的10011001二进制序列，即为该一个局部子区域的FBLBP值。

步骤3、提取特征向量。具体包括步骤：

如图5所示，对于每个图像块，对其所得若干个FBLBP值进行统计，获得每种滤波器模式下的FBLBP直方图特征，即根据步骤2中单个滤波器的LBP模式下的FBLBP编码值，通过统计每个图像块的FBLBP直方图特征F_nm，然后按顺序将串联棋盘格滤波器组中所有单个滤波器局部二值模式的直方图特征组合便形成了该图像块的FBLBP直方图特征{F_n1，F_n2，F_n3，...,F_nM}，最后按顺序将所有的图像块的FBLBP直方图特征{F_n1，F_n2，F_n3，...,F_nM}组合起来构成该人脸图像的FBLBP特征[{F₁₁，F₁₂，F₁₃，...,F_1M}，{F₂₁，F₂₂，F₂₃，...,F_2M},...,{F_N1，F_N2，F_N3，...,F_NM}]。

最后，为了验证本方法可以对图像进行特征描述，对人脸进行准确有效的识别，特此列举一试验例进行验证说明，将方法用于人脸识别过程中，具体如下。

在三个标准人脸数据库上对本发明提出的方法进行测试，三个人脸库分别是ORL人脸库、AR人脸库以及中科院的CAS-PEAL人脸库。ORL人脸库较为简单，目前主流的人脸识别方法都能取得很高的识别精度。AR人脸库是包含126个人，每人26幅，共大约3200幅人脸图像。该库中的人脸图像经过配准处理，但是具有强烈的光照和表情变化，并部分图像存在围巾和墨镜等明显的遮挡物。CAS-PERL是由中科院建立的中国人脸数据库。包括101人，每个人30幅，共3030幅人脸图像。该数据库中的人脸图像未经过严格配准，同样存在明显的光照和表情变化，但是其遮挡情况较AR库要轻微。

在每次实验中，从人脸库中随机选取一定比例(10％～90％)的图像作为训练样本，余下的作为测试样本，并通过SVM分类器实现人脸识别，根据交叉检验原则得到最终的人脸识别精度。

在ORL人脸库、AR人脸库以及中科院的CAS-PEAL人脸库，FBLBP人脸平均识别率分别达到了0.92、0.81和0.65以上，相比其他多种传统局部模式描述子的平均人脸识别率更高。另外，又对AR人脸库中的遮挡人脸进行测试，FBLBP对遮挡人脸的平均率达到了0.626，远大约其他多种传统局部模式描述子的平均人脸识别率。

综上，本发明的方法不仅包含了图像的微观结构信息，而且还融合了宏观特性，使LBP算子更具有鲁棒性和抗干扰性。可以准确有效的实现人脸识别，在准确性和可靠性上具有很大的优势。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种基于滤波器组的局部二值模式图像描述方法，其特征在于，包括步骤：

步骤1、将输入的人脸图像进行分块获得若干图像块，且相邻图像块之间相互重叠；

步骤2、对所述每个图像块进行基于滤波器组的卷积滤波处理，并分别对卷积滤波处理后的每个图像块进行LBP编码，获得每个图像块的若干个FBLBP值,具体包括：

将图像块中选取若干个局部子区域，利用滤波器组中的每种模式滤波器分别对局部子区域进行卷积滤波；

利用LBP编码方式对卷积滤波后的局部子区域进行编码，获得每个局部子区域的FBLBP值；

利用所获得局部子区域的FBLBP值代替该局部子区域，最终获得图像块的若干个FBLBP值；

步骤3、对每个图像块所得若干个FBLBP值进行统计，获得每种滤波器模式下的FBLBP直方图特征，并按顺序将滤波器组中所有滤波器模式下的FBLBP直方图特征组合成该图像块的FBLBP直方图特征；以及，依次提取每个图像块的FBLBP直方图特征，并串联起来构成该人脸图像的直方特征向量。

2.根据权利要求1所述基于滤波器组的局部二值模式图像描述方法，其特征在于：所述步骤1中相邻图像块之间设置重叠率。

3.根据权利要求1所述基于滤波器组的局部二值模式图像描述方法，其特征在于：所述步骤2中滤波器组为棋盘格滤波器组。

4.根据权利要求1所述基于滤波器组的局部二值模式图像描述方法，其特征在于：所述步骤2中对局部子区域进行卷积滤波和LBP编码，包括以下步骤：

步骤21、将所述局部子区域分割成一个若干个子块窗口，其中每个子块窗口包括若干个子块；

步骤22、利用与所述窗口中的子块相同大小的滤波器对窗口中的每个子块进行卷积滤波；

步骤23、利用LBP编码方式对所得卷积滤波后的每个子块进行编码，获得每个子块的FBLBP值；

步骤24、利用所获得每个子块的FBLBP值代替该子块，最终获得局部子区域的FBLBP值。