CN105022989B - 一种鲁棒扩展局部二值模式纹理特征提取方法 - Google Patents

Abstract

本发明公开了一种鲁棒扩展局部二值模式纹理特征提取方法，包括获取待提取特征纹理图像；对待提取特征纹理图像进行预处理；从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式；根据对于指定像素的鲁棒性扩展局部二值模式，将指定像素归入固定的组中，被归入同一个固定的组中的指定像素被视为具有相同类型纹理模式；继续指定下一个像素作为当前指定像素按上述方式进行处理，直到待提取特征纹理图像中的每个像素都被归入固定的组中。

Description

一种鲁棒扩展局部二值模式纹理特征提取方法

技术领域

本发明涉及图像纹理描述与分析技术，特别地，涉及一种鲁棒扩展局部二值模式纹理特征提取方法。

背景技术

纹理是一种重要的视觉线索，广泛存在于自然界各种物体的表面。不管是自然图像、卫星遥感图像还是医学图像，纹理为图像基本特征之一，是图像中像素强度的某种局部模式重复出现的宏观表现。纹理分类是图像处理、计算机视觉和模式识别的一个基础问题，在图像处理与模式识别领域占有重要地位。对纹理图像分类的研究，不仅对于人类对自身视觉机理的理解和研究具有推动作用，而且对计算机视觉和模式识别领域其它问题如人脸识别、物体识别、场景分类等等有重要支撑作用。纹理分类在视觉导航、场景分类、目标识别、基于内容的图像检索、遥感图像分析、工业检测、医学图像分析和理解和文本分类等领域有着广泛的应用。纹理分类问题涉及数字图像处理、计算机视觉、模式识别、机器学习、计算机图形学、人机交互、认知科学、应用数学、统计学、神经生理学和人工智能等多个研究领域。纹理分类问题的深入研究和最终解决，可以有力地促进这些学科的成熟和发展。

作为一个经典的模式识别问题，纹理分类主要包括两个关键环节：纹理特征提取和分类器设计。众所周知，有效的纹理特征提取方法占有着相对重要的地位，因为如果使用不好的纹理特征，即便是最好的分类器也无法达到很好的识别效果。因此，纹理特征提取方法的研究一直是人们关注的热点，出现了很多纹理特征提取方法[][]。然而，由于自然界纹理图像种类繁多，纹理分类问题本身的复杂性，加上实际应用中非限定成像环境的影响，要求提取的纹理特征能够对采集到的纹理图像往往会出现数据缺失、光照变化、旋转变化、尺度变化、局部变形和模糊等类内差异具有高度鲁棒性；此外，与日俱增的大规模纹理图像数据对纹理特征提取的实时性要求也越来越高；这些难点使得现有的纹理特征提取方法仍然难以满足实际应用的需求。

提取有效纹理特征的本质困难在于平衡两个相互竞争的目标：高质量的特征描述和低计算复杂度。高质量的纹理特征描述子需要兼具强可区分力(能够区分不同纹理图像类别)和高鲁棒性(能够对同一纹理图像类别存在的类内差异如光照变化、旋转变化、尺度变化、图像模糊、图像随机噪声和图像遮挡等鲁棒)。计算复杂度低和特征维数低的纹理特征描述子能够使得分类任务实时进行。现有的研究工作都试图在这两个相互竞争的目标中取得良好折衷，然而往往只能较好的达到其中一个目标，不可避免的牺牲另一个目标。

局部二值模式(Local Binary Pattern,LBP)已经发展成为最主要的纹理特征提取方法之一，并在图像处理和计算机视觉领域受到越来越多的关注，这主要是由于LBP方法存在如下显著优势：①易于工程实现；②灰度尺度不变性；③低计算复杂度低。正是因为如此，LBP方法已被成功应用于以纹理分类和人脸识别为代表的图像处理和计算机视觉中的诸多领域，包括工业检测、遥感图像分析、动态纹理识别、基于内容的图像检索、医学图像处理、场景分类、运动分析和环境建模等等。LBP方法得到广泛研究，出现了大量基于LBP的改进方法，

这些后续LBP改进方法主要致力于提高其鉴别力，鲁棒性和易用性。

在提高原始LBP方法的特征鉴别力方面，引人注目的工作主要包括完全局部二值模式(Completed Local Binary Pattern,CLBP)、扩展局部二值模式 (Extended LocalBinary Pattern,ELBP)、鉴别完全局部二值模式(disCLBP)、成对旋转不变共现局部二值模式(Pairwise Rotaion Invariant Cooccurrence Local Binary Pattern,PRICoLBP)，以及显著局部二值模式(Dominant Local Binary Pattern,DLBP)和Gabor滤波特征的联合描述等等。然而，尽管这些改进方法使得特征鉴别力有所提升，但其鲁棒性下降，因为它们对图像模糊和图像随机噪声相当敏感，并且它们的特征维数往往较高，导致后续分类计算复杂度增加。

在提高原始LBP方法对图像模糊和随机噪声等图像质量下降问题的鲁棒性方面，研究者们也做出了很多尝试。代表性的改进方法有局部三值模式 (Local TernaryPattern,LTP)、中值二值模式(Median Binary Pattern,MBP)、局部相位量化(Local PhaseQuantization,LPQ)、模糊局部二值模式(Fuzzy Local Binary Pattern,FLBP)，容忍噪声局部二值模式(Noise Tolerant Local Binary Pattern,NTLBP)，鲁棒局部二值模式(Robust Local Binary Pattern,RLBP) 和抗噪声局部二值模式(Noise Resistent LocalBinary Pattern,NRLBP)等等。尽管这些改进方法对噪声的鲁棒性较原始LBP方法有所增强，但其抗噪能力仍然不理想，这一点其它研究者也注意到。我们最近提出的扩展局部二值模式 ELBP方法中给出了四种类似于LBP的描述子——基于中心强度的局部二值模式ELBP_CI、基于邻域强度的局部二值模式ELBP_NI、基于径向差分的局部二值模式ELBP_RD和与基于角向差分的局部二值模式ELBP_AD。我们之前的研究工作已经表明，三个新局部二值模式特征ELBP_CI、ELBP_NI与 ELBP_RD的联合特征描述子即ELBP具有很好的纹理分类性能，遗憾的是仍然存在一些显著的缺陷：①对图像模糊和随机噪声相当敏感；②不能捕获宏观纹理结构信息；③特征维数较高。对图像模糊和噪点过于敏感会导致ELBP缺乏鲁棒性，不能捕获宏观纹理结构信息会难以描述大尺度纹理信息，而特征维数过高则会增加后续纹理分类的计算复杂度，影响纹理分类方法计算速度。

针对现有技术中使用基于局部二值模式LBP方法进行纹理描述时缺乏对图像模糊和随机噪声鲁棒性、纹理信息描述过于局部而损失宏观纹理信息、以及特征维数较高等问题，目前尚缺乏有效的解决方案。

发明内容

针对现有技术中使用局部二值模式LBP进行纹理描述时缺乏对图像模糊和随机噪声的鲁棒性、纹理信息描述过于局部而导致损失宏观纹理信息、以及高特征维数下计算复杂度高的问题，本发明的目的在于提出一种鲁棒扩展局部二值模式纹理特征提取方法，对图像模糊和随机噪声的鲁棒性显著增强，纹理分类性能在高鲁棒性和强鉴别力方面为现有最高水平，且具有较低的特征维数，使得基于新特征纹理分类系统具有较低的计算复杂度。

基于上述目的，本发明提供的技术方案如下：

根据本发明的一个方面，提供了一种鲁棒扩展局部二值模式纹理特征提取方法，包括：

获取待提取特征纹理图像；

对待提取特征纹理图像进行预处理；

从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式；

根据对于指定像素的鲁棒扩展局部二值模式，将指定像素归入固定的模式组中，被归入同一个固定的模式组中的指定像素被视为具有等价模式；

继续指定下一个像素作为当前指定像素按上述方式进行处理，直到待提取特征纹理图像中的每个像素都被归入固定的组中。

其中，对待提取特征纹理图像进行预处理包括：

将待提取特征纹理图像无残留地分割为N个像素块，N个像素块均是尺寸为W×W的正方形像素集合；

使用取中值方法处理N个像素块，获得N个像素块的取中值结果，并计算N个像素块的取中值结果的平均值μ_w。

并且，根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式，其中，对于指定像素的鲁棒性扩展局部二值模式包括以下至少之一：基于中心强度的鲁棒性扩展局部二值模式、基于邻域强度的鲁棒性扩展局部二值模式、基于径向差分的鲁棒性扩展局部二值模式。

一方面，当对于指定像素的鲁棒性扩展局部二值模式为基于中心强度的鲁棒性扩展局部二值模式时，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从待提取特征纹理图像中依次选定每个像素x_c；

以指定像素x_c为中心，从待提取特征纹理图像中截取出中心块χ_c，w，中心块χ_c，w是尺寸为W×W的、以指定像素x_c为中心的正方形像素集合；

使用取中值方法处理中心块χ_c，w，获得中心块χ_c，w的取中值结果φ(χ_c，w)；

根据中心块χ_c，w的取中值结果φ(χ_c，w)与N个像素块的取中值结果的平均值μ_w，获得对于指定像素x_c的基于中心强度的鲁棒性扩展局部二值模式 RELBP_CI(x_c)

RELBP_CI(x_c)＝s(φ(χ_c，w)-μ_w)

另一方面，当对于指定像素的鲁棒性扩展局部二值模式为基于邻域强度的鲁棒性扩展局部二值模式时，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从待提取特征纹理图像中依次选定每个像素x_c；

以指定像素x_c为中心，从待提取特征纹理图像中选取到p个邻域像素x_r，p，n， p个邻域像素x_r，p，n等角间隔的均匀分布在以x_c为圆心以r为半径的圆周上，其中n＝0,...,p-1，邻域像素x_r，p，n的坐标值为(-r sin(2πn/p),r cos(2πn/p))与指定像素 x_c的坐标的叠加和；

分别以p个邻域像素x_r，p，n中的每一个为中心，从待提取特征纹理图像中截取出p个邻域块p个邻域块都是尺寸为w_r×w_r的、分别以每个邻域像素χ_r，p，n为中心的正方形像素集合；

使用取中值方法处理p个邻域块获得p个邻域块的取中值结果并计算p个邻域块的取中值结果的平均值

根据p个邻域块的取中值结果与p个邻域块的取中值结果的平均值获得对于指定像素xc的基于邻域强度的鲁棒扩展局部二值模式RELBP_NI_r，p(x_c)

另一方面，当对于指定像素的鲁棒性扩展局部二值模式为基于径向差分的鲁棒性扩展局部二值模式时，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从待提取特征纹理图像中依次选定每个像素x_c；

以指定像素x_c为中心，从待提取特征纹理图像中选取到p个邻域像素x_r，p，n， p个邻域像素x_r，p，n等角间隔的均匀分布在以x_c为圆心以r为半径的圆周上，其中n＝0,...,p-1，邻域像素x_r，p，n的坐标值为(-r sin(2πn/p),r cos(2πn/p))与指定像素 x_c的坐标的叠加和；

分别以p个邻域像素x_r，p，n中的每一个为中心，从待提取特征纹理图像中截取出p个邻域块p个邻域块都是尺寸为w_r×w_r的、分别以每个邻域像素x_r，p，n为中心的正方形像素集合；

以指定像素x_c为中心，从待提取特征纹理图像中选取到p个亚邻域像素 x_r-1，p，n，p个亚邻域像素x_r-1，p，n等角间隔的均匀分布在以x_c为圆心以r-1 为半径的圆周上，其中n＝0,...,p-1邻域像素x_r-1，p，n的坐标值为 (-(r-1)sin(2πn/p),(r-1)cos(2πn/p))与指定像素x_c的坐标的叠加和；

分别以p个亚邻域像素x_r-1，p，n中的每一个为中心，从待提取特征纹理图像中截取出p个亚邻域块p个亚邻域块是分别以每个亚邻域像素x_r-1，p，n为中心的正方形像素集合；

使用取中值方法处理p个亚邻域块获得p个亚邻域块的取中值结果

根据p个邻域块的取中值结果与p个位于半径r-1上的亚邻域块的取中值结果计算位于相同角度方向上、不同半径大小的两个滤波值的差分值，基于此获得对于指定像素x_c的基于径向差分的鲁棒扩展局部二值模式

上述对于指定像素的鲁棒性扩展局部二值模式，将指定像素归入固定的组中包括：

根据所述鲁棒扩展局部二值模式RELBP分别计算与其中，所述

所述

其中，所述U值是指一个二进制模式串的均匀度度量，定义为二进制模式中圆周上相邻的两个比特值的0/1或1/0转移次数，以MRELBP_NI_r,p为例给出U值的定义，设MRELBP_NI_r,p的二进制模式比特串为：

MRELBP_NI_r,p＝b₀b₁……b_p-1

根据所述与生成联合概率直方图，并以所述联合概率直方图为分组依据将所述指定像素归入固定的模式组中。

从上面所述可以看出，本发明提供的技术方案通过以超像素集合 (Superpixel)代替单像素进行纹理分类、并使用取中值方法对多尺度超像素集合进行滤波处理的技术方案，增强了对图像模糊和随机噪声的鲁棒性，且在无噪声环境中纹理分类性能没有损失，反而增强。因此，纹理分类性能具有高鲁棒性和强鉴别力，且降低了特征维数带来的计算复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种鲁棒扩展局部二值模式纹理特征提取方法的流程图；

图2为现有技术中的局部二值模式生成示意图；

图3为根据本发明实施例的一种鲁棒扩展局部二值模式纹理特征提取方法中，对于某一指定像素，其中心块、邻域像素、邻域块、亚邻域像素以及亚邻域块的截取方式示意图；

图4为根据本发明实施例的一种鲁棒扩展局部二值模式纹理特征提取方法中，对于某一指定像素，其邻域与多层亚邻域的截取数据处理方法示意图；

图5为根据本发明实施例的一种鲁棒扩展局部二值模式纹理特征提取方法中，将指定像素分组的各组特征示意图；

图6为基于纹理分类方法Outex的包含108不同的纹理类别的测试套件 OutexTC36000与Outex TC36001的部分纹理单元图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进一步进行清楚、完整、详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

局部二值模式(Local Binary Patterns，下文中简称为LBP)通过标记中心点像素与其邻域像素之间的差异来反映局部图像碎片的空间结构特征，只考虑标志信息以形成一个二值模式。生成的二值模式所对应的十进制值，然后用其标记给定的像素。图2示出的是现有技术中的局部二值模式生成示意图，如图2所示，对于图像的一个指定像素xc，LBP响应是通过与p邻域的像素比较来计算的使其均匀地按角度分布半径为R中心为C的圆上：

设x_c的坐标是(0,0)，则x_r，p，n的坐标是由(-r sin(2πn/p)，r cos(2πn/p))给出的，邻域没有落在像素的中心点上，灰度值x_r，p，n是由差值所估计出来的。

对于具有M灰度水平的像素，LBP定义是由P相邻的像素形成的所有2^p可能灰度到图案的空间到结果二值差异形成的2^p不同图案的空间的映射。一个纹理图象因此可以由2^p个LBP图案的概率分布来表现。为了能够包含不同尺度的纹理信息，该LBP方法后来被扩展为使用不同半径的邻域，(r,p)的取值通常被置为(1,8),(2,16),(3,24)中的一种或多种。

为了提高图像旋转的鲁棒性，一个旋转不变版本是由所有具有相同模式的旋转版本的二值模式集合所得出的：

其中，ROR(X，I)执行x上的i步循环逐位右移，仅保留那些旋转独特模式从而导致特征维数显著降低。

某些LBP模式代表了基本的纹理结构，并命名为统一模式，这些模式，其中最多有两个值为U：

这样U(LBP_r，p)计算按位转换从0到1，反之亦然。U(LBP_r，p)有P(P–1)+3 大类，包括P(P–1)+2个显著均匀模式和所有包含所有模式的不均匀模式。为了获得改进的旋转不变性，并获得较低的特征维数，可进一步将均匀型态组合为p+1个不同的旋转不变的类别，从而导致旋转不变性均匀描述具有比p+2的低得多的维数：

LBP仅编码一个中心点和其邻域之间的关系，而ELBP被设计为在一个局部区域进行编码独特的空间关系，因此具有独特的空间信息。ELBP由三个类似于LBP的描述组成：ELBP_CI，ELBP_NI和ELBP_RD其从中心像素及相邻像素的强度搜索信息，与径向的差异。

所述ELBP策略是类似于原始LBP。ELBP_CI的中心像素的强度是阈值： ELBP_CI(x_c)＝s(x_c-β)，其中阈值β为整个图像的平均值。

类似于LBP，分组策略为了获得和可以产生ELBP_NI和 ELBP_RD。可以得到良好的纹理分类性能。然而，ELBP仍然在使用单独的像素强度作为阈值，这使得ELBP易受图像噪声影响，缺乏鲁棒性。

我们要考虑在采样点，从中心取样位置源图像块得出简单滤波器响应更换单个像素的灰度值效果，因此需要修改ELBP，使得各个单像素强度由取中值方法替换。这种新的局部二值模式被命名为RELBP，并用来描述更需要鲁棒性的纹理图像。

根据本发明的实施例，提供了一种鲁棒扩展局部二值模式纹理特征提取方法。

如图1所示，根据本发明的实施例的提供了一种鲁棒扩展局部二值模式纹理特征提取方法包括：

步骤S101，获取待提取特征纹理图像；

步骤S103，对待提取特征纹理图像进行预处理；

步骤S105，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式；

步骤S107，根据对于指定像素的鲁棒扩展局部二值模式，将指定像素归入固定的模式组中，被归入同一个固定的模式组中的指定像素被视为具有等价模式；

步骤S109，继续指定下一个像素作为当前指定像素按上述方式进行处理，直到待提取特征纹理图像中的每个像素都被归入固定的组中。

取中值方法能在空间中线性地减小噪声，并提高鲁棒性。对于应用取中值方法的RELBP，也可以记做MRELBP以突出使用取中值方法的特征。

其中，对待提取特征纹理图像进行预处理包括：

将待提取特征纹理图像无残留地分割为N个像素块，N个像素块均是尺寸为W×W的正方形像素集合；

使用取中值方法处理N个像素块，获得N个像素块的取中值结果，并计算N个像素块的取中值结果的平均值μ_w。

并且，根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式，其中，对于指定像素的鲁棒性扩展局部二值模式包括以下至少之一：基于中心强度的鲁棒性扩展局部二值模式、基于邻域强度的鲁棒性扩展局部二值模式、基于径向差分的鲁棒性扩展局部二值模式。

一方面，当对于指定像素的鲁棒性扩展局部二值模式为基于中心强度的鲁棒性扩展局部二值模式时，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从待提取特征纹理图像中依次选定每个像素x_c；

以指定像素x_c为中心，从待提取特征纹理图像中截取出中心块χ_c，w，中心块χ_c，w是尺寸为W×W的、以指定像素x_c为中心的正方形像素集合；

使用取中值方法处理中心块χ_c，w，获得中心块χ_c，w的取中值结果φ(χ_c，w)；

根据中心块χ_c，w的取中值结果φ(χ_c，w)与N个像素块的取中值结果的平均值μ_w，获得对于指定像素x_c的基于中心强度的鲁棒性扩展局部二值模式 RELBP_CI(x_c)

RELBP_CI(x_c)＝s(φ(χ_c，w)-μ_w)

另一方面，当对于指定像素的鲁棒性扩展局部二值模式为基于邻域强度的鲁棒性扩展局部二值模式时，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从待提取特征纹理图像中依次选定每个像素x_c；

以指定像素x_c为中心，从待提取特征纹理图像中选取到p个邻域像素x_r，p，n， p个邻域像素x_r，p，n等角间隔的均匀分布在以x_c为圆心以r为半径的圆周上，其中n＝0,...,p-1，邻域像素x_r，p，n的坐标值为(-r sin(2πn/p),r cos(2πn/p))与指定像素 x_c的坐标的叠加和；

分别以p个邻域像素x_r，p，n中的每一个为中心，从待提取特征纹理图像中截取出p个邻域块p个邻域块都是尺寸为w_r×w_r的、分别以每个邻域像素x_r，p，n为中心的正方形像素集合；

使用取中值方法处理p个邻域块获得p个邻域块的取中值结果并计算p个邻域块的取中值结果的平均值

根据p个邻域块的取中值结果与p个邻域块的取中值结果的平均值获得对于指定像素xc的基于邻域强度的鲁棒扩展局部二值模式RELBP_NI_r，p(x_c)

另一方面，当对于指定像素的鲁棒性扩展局部二值模式为基于径向差分的鲁棒性扩展局部二值模式时，从待提取特征纹理图像中依次指定每个像素，为像素构建像素区域使用取中值方法将像素区域处理为取中值结果，并根据取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从待提取特征纹理图像中依次选定每个像素x_c；

以指定像素x_c为中心，从待提取特征纹理图像中选取到p个邻域像素x_r，p，n， p个邻域像素x_r，p，n等角间隔的均匀分布在以x_c为圆心以r为半径的圆周上，其中n＝0,...,p-1，邻域像素x_r，p，n的坐标值为(-r sin(2πn/p),r cos(2πn/p))与指定像素 x_c的坐标的叠加和；

分别以p个邻域像素x_r，p，n中的每一个为中心，从待提取特征纹理图像中截取出p个邻域块p个邻域块都是尺寸为w_r×w_r的、分别以每个邻域像素x_r，p，n为中心的正方形像素集合；

以指定像素x_c为中心，从待提取特征纹理图像中选取到p个亚邻域像素x_r-1，p,n，p个亚邻域像素x_r-1，p，n等角间隔的均匀分布在以x_c为圆心以r-1 为半径的圆周上，其中n＝0,...,p-1邻域像素x_r-1，p，n的坐标值为 (-(r-1)sin(2πn/p),(r-1)cos(2πn/p))与指定像素x_c的坐标的叠加和；

分别以p个亚邻域像素x_r-1，p，n中的每一个为中心，从待提取特征纹理图像中截取出p个亚邻域块p个亚邻域块是分别以每个亚邻域像素x_r-1，p，n为中心的正方形像素集合；

使用取中值方法处理p个亚邻域块获得p个亚邻域块的取中值结果

根据p个邻域块的取中值结果与p个位于半径r-1上的亚邻域块的取中值结果计算位于相同角度方向上、不同半径大小的两个滤波值的差分值，基于此获得对于指定像素xc的基于径向差分的鲁棒扩展局部二值模式

图3示出的是对于某一指定像素x_c，其中心块χ_c，w、邻域像素x_r，p，n、邻域块亚邻域像素x_r-1，p，n以及亚邻域块的截取方式。如图3所示，指定像素x_c的中心块的边长w_c＝3，故中心块为x_c，3；其亚邻域像素x_r-1，p，n的亚邻域块边长w_r1＝3，故亚邻域块为其邻域像素x_r，p，n的邻域块边长w_r2＝5，故邻域块为其邻域像素与亚邻域像素均为p＝8，亚邻域像素到指定像素 x_c的距离为r1，邻域像素到指定像素x_c的距离为r2，故可以表示出亚邻域像素集合与邻域像素集合因此有：

上述的邻域像素与亚邻域像素之间只是相对关系，任何取样半径小于亚邻域像素的取样半径所取到的像素可以被认为是亚邻域像素的亚邻域像素。对于指定像素x_c，我们可以同时选取两个以上的不同半径数值进行像素取样，并将按照上述方法获得的鲁棒性扩展局部二值模式相叠加，以丰富关于指定像素x_c的纹理信息。图4示出的是对于指定像素x_c，其邻域与多层亚邻域的截取数据处理方法示意图，如图4所示，从原始图像中指定像素x_c并在4个不同的半径尺度上采集邻域像素与亚邻域像素，并使用取中值方法分别获取他们的RELBP，在进行叠加，以获得指定像素x_c更丰富的纹理信息。

上述对于指定像素的鲁棒性扩展局部二值模式，将指定像素归入固定的组中包括：

根据所述鲁棒扩展局部二值模式RELBP分别计算与其中，所述

所述

其中，所述U值是指一个二进制模式串的均匀度度量，定义为二进制模式中圆周上相邻的两个比特值的0/1或1/0转移次数，以MRELBP_NI_r,p为例给出U值的定义，设MRELBP_NI_r,p的二进制模式比特串为：

MRELBP_NI_r,p＝b₀b₁……b_p-1

举例来说，设计算得到三个MRELBP_NI_r,p(或MRELBP_RD_r,p)二进制模式为00000000,01110000和01100101，那么U(0000000)＝0，U(01110000)＝2 以及U(01100101)＝6，所以00000000和01110000为均匀模式，而01100101 则为非均匀模式；

根据所述与生成联合概率直方图，并以所述联合概率直方图为分组依据将所述指定像素归入固定的模式组中。

图5示出的是指定像素分组的各组特征示意图。如图5所示的O-U坐标轴中，p＝8，O值为符合邻域块高斯平滑灰度值大于中心块高斯平滑灰度值的邻域块个数，U值即U(MRELBP_NI_r,p)、或U(MRELBP_RD_r,p)，组0至组p+1分别对应图中数字编号1-10。对于U≤2的情况，我们采用均匀模式进行编码并按照O值不同分出9个不同的组，分别对应图中数字1-9所代表的局部二值模式；当U＞2时，我们采用非均匀模式进行编码并编入同一个组中，对应图中数字10所代表的局部二值模式。

根据计算出的基于像素x_c的与的值与不需要计算的的值，我们生成像素x_c的联合概率直方图，联合概率直方图中包含了像素x_c的三种局部二值模式的分组信息。通过比对不同像素之间的联合概率直方图，我们得以判断不同像素是否表征出相同的模式，并根据联合概率直方图的差异将不同像素归入固定的模式组中，具有相同联合概率直方图的不同像素被归入同一个模式组中，被分入同一个组的像素被认为可能具有相同的纹理特征。

我们利用可公开获得的数据设计了三个实验用来评估MRELBP在三个不同问题方法上的有效性。我们选取四个最常用的纹理基准数据库进行实验： Outex，CUReT，UMD与KTHTIPS2b，从这些数据库中设计了一系列的基准测试集来测试算法的性能，设计的测试集列于表1。我们将分为三部分进行实验。

TABLE 1

Summary of texture datasets used in our experiments.Θ₁＝{5°，10°，15°，30°，45°，60°，75°，90°}，Θ₂＝{0°，5°，10°，15°，30°，45°，60°，75°，90°}

Experiment#1：IIIumination and Rotation Invariance Evaluation

Experiment#2：Noise Robustness Evaiuation

Experiment#3：Robustness to Compiex Varions Evaluation

实验一：测试算法对灰度尺度变化与旋转变化的鲁棒性。Outex纹理数据库包含在不同光照条件和旋转角度下获得的大量纹理图像，该数据库可以从网上下载获得。这便于基于此纹理数据库构建一系列测试基准集来测试纹理特征提取算法的分类性能。Ojala等从Outex数据库中选择24种不同纹理类别所组成的三个测试基准集Outex_TC10，Outex_TC12_000和Outex_TC12_001,已被广泛地用于评测旋转和光照不变纹理分类算法性能。除了这三个常用的基准测试集，我们还构建了两个更具挑战的测试集，命名为Outex_TC36_000与 Outex_TC36_001如表1所示。Outex_TC36_000与Outex_TC36_001的构建方法分别与Outex_TC12_000与Outex_TC12_001完全一样，不同在于这两个数据集包含了108类纹理图像，远远多于之前的24类。

实验二：测试所提方法对随机噪声的鲁棒性，考虑的随机噪声包括高斯随机加性噪声，高斯图像模糊，随机椒盐噪声和随机像素失真。训练数据我们采用不含噪声污染的图像，测试数据采用在训练数据上加不同程度的随机噪声。

实验三：在包含更多复杂变化的纹理基准集上进行性能评测：CUReT， UMD和KTHTIPS2b数据库。，这三个数据集均可公开下载。CUReT数据集包含61类纹理图像，在很多不同的光照条件和成像角度下获得，因为包含大量光照变化、阴影变化以及一些旋转变化，但是不包含尺度变化。为此，研究者开发了KTHTIPS2b，数据集，每一个样本成像于3个角度，4个光照条件和9 个不同的尺度。UMD数据库包含随机旋转，视点变化和尺度变化。对于CUReT 和UMD，每一类图像中训练集和测试集各一半，并采取随机划分。

我们将我们的算法的纹理分类性能与近期11种最具代表性的优秀方法进行比较，参与实验比较算法总结如下：ELBP：ELBP CI、和的联合直方图。

传统的旋转不变均匀特征；

CLBP：CLBP C、和的联合直方图；

LTP：被推荐使用，LTP对于噪声的鲁棒性稍强于

disCLBP：采用方法发明者建议的特征

MBP：多尺度特征描述子；

NRLBP：我们实施了多分辨率描述符。邻近点p的数目被保持固定在8，每个半径为r，因为NRLBP特征的提取需要的大小为3^p的大型查找表。

实施建议的多尺度形式

Classification scores(％)on Outex_TC10，Outex_TC12000andOutex_TC12001test suites.The parameters w_c and w_r involved in MRELBP are set as w_c＝3and w_r＝(3，３，５，7).

表3在基准集Outex_TC10,Outex_TC12_000和Outex_TC12_001上的测试结果比较

PRICoLBP：多尺度和多方向描述符PRICoLBP_g，使用作者建议参数设置；

MSJLBP：LBP在提出的多尺度联合编码，类似于PRICoLBP；

COV-LBPD：基于LBP特征图计算协方差变化；

每幅纹理图像进行了零均值和单位标准差的归一化操作。对于CUReT和UMD数据库，实验结果为100次随机试验的平均。对于SVM分类，我们使用公开可用的LIBSVM库。在我们的实验设置中，C＝106，γ＝0.01。

表3给出了在基准集Outex_TC10,Outex_TC12_000和Outex_TC12_001 上的测试结果，从表中可以得出以下观测。

首先，提出的的性能明显优于提出的也提高了性能，但是不如显著。联合描述符的性能显著优于

第二，多尺度描述子的性能明显由于三个尺度特征描述子。多尺度的优秀性能，表明三个描述子MRELBP_CI、与的联合分布能够有效的刻画纹理图像，并且具有灰度尺度不变性和旋转不变性。这些结果表明，该方法是有效地利用了微观纹理信息和宏观纹理信息。因此，后续实验中，我们将只给出多尺度实验结果。

表7比较了本发明方法与现有各种基于LBP的方法在研究者们常用的三个基准集上的评测结果。我们可以看到，我们的方法的性能明显优于所有参与比较的方法，获得了在这三个基准数据集上的现有最高分类精准率：在Outex_TC10，Outex_TC12_000和Outex_TC12_001上分别给出了近乎完美的分类精准率99.87％，99.49％和99.77％。这些结果表明我们的MRELBP方法具有灰度尺度不变性和旋转不变性，这两个特性在实际应用中很重要。表中还比较了方法的特征维度，可以观察到所提出的方法的特征维数适中。

TABLE 7

Comparing the classification scores(％)achieved by the proposedapproach with those achieved by recent state-of-the-art textureclassification methods on the three Outex test suites.Scores are asoriginally reportes，except those marked(◇)which are taken from the work byGuo et al.[11]and those marked(★)which are obtained according our ownimplementation.For CLBP，LBPD and PRICoLBP_g， we used the codes provided by theauthors.

表8给出了难度更大的两个数据集Outex_TC36_000和Outex_TC36_001 上的实验结果，并与现有主流方法进行比较。结果进一步证实了我们所提方法的优异性能。

TABLE 8

Comparing the classification scores(％)achieved by the proposedapproach with those achieved by recent state-of-the-art textureclassification methods on the three Outex_TC36 test suites.

实验二结果：

我们进行了大量的实验来测试我们方法的噪声鲁棒性。测试结果列于表9， 10，和11。这些结果一致表明了所提方法对噪声的强鲁棒性，不管是高斯随机噪声、图像模糊、随机椒盐噪声还是随机像素损毁。尤其对于随机椒盐噪声和随机像素损毁两种噪声污染，其他所有方法均无法正常识别纹理图像，而我们的MRELBP方法仍然具有很好的性能，足见所提方法的所具有的独特优势。

TABLE 9

Classification scores(％)for various methods on Outex_TC11n，Outex_TC11b，Outex_TC23n and outex_TC23b.

TABLE 10

Classification scores(％)for various methods on Outex_TC11s andOutex_TC23s.

TABLE 11

Classification scores(％)for various methods on Outex_TC11c andOutex_TC23c.

实验三结果：

最后我们来看所提方法在其他常用的、具有复杂成像因素干扰的基准纹理数据集上的分类性能，结果参见表12，13，和14。这些结果同样表明我们的方法具有良好的可扩展性，在获得高鲁棒性(对光照变化、旋转变化和随机噪声污染)的同时，仍然保持了强可区分能力。

TABLE 14

Comparing the scores(％)achieved by the proposed approach with thoseachieved by recent state-of-the-art methods on the CUReT database.Scores areas originally reported，except(*)from[37].

综上所述，借助于本发明的上述技术方案，通过以正方形像素集合代替单像素进行纹理分类、并使用取中值方法对多个正方形像素集合进行归一化处理的技术方案，继承传统LBP方法的优势，克服其劣势，新的扩展局部二值模式纹理特征对图像模糊和随机噪声的鲁棒显著增强，并且具有灰度尺度不变性和旋转不变性，与此同时还具有优秀的特征鉴别力，其纹理分类性能在高鲁棒和强鉴别力方面为现有最高水平，在具备这些优点的同时，新的扩展局部二值模式特征具有较低的特征维数，使得基于新特征纹理分类系统具有较低的计算复杂度。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种鲁棒扩展局部二值模式纹理特征提取方法，其特征在于，包括：

获取待提取特征纹理图像；

对所述待提取特征纹理图像进行预处理；

从所述待提取特征纹理图像中依次指定每个像素，为所述像素构建像素区域使用取中值方法将所述像素区域处理为取中值结果，并根据所述取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式；

根据所述对于指定像素的鲁棒扩展局部二值模式，将所述指定像素归入固定的模式组中，被归入同一个所述固定的模式组中的指定像素被视为具有等价模式；

继续指定下一个像素作为当前指定像素按上述方式进行处理，直到所述待提取特征纹理图像中的每个像素都被归入所述固定的模式组中；

其中，对所述待提取特征纹理图像进行预处理包括：

将所述待提取特征纹理图像无残留地分割为N个像素块，所述N个像素块均是尺寸为W×W的正方形像素集合；

使用取中值方法φ处理所述N个像素块，获得所述N个像素块的取中值结果，并计算所述N个像素块的取中值结果的平均值μ_ω；

根据所述取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式，其中，所述对于指定像素的鲁棒性扩展局部二值模式包括以下至少之一：基于中心强度的鲁棒性扩展局部二值模式、基于邻域强度的鲁棒性扩展局部二值模式、基于径向差分的鲁棒性扩展局部二值模式；

当所述对于指定像素的鲁棒性扩展局部二值模式为基于中心强度的鲁棒性扩展局部二值模式时，从所述待提取特征纹理图像中依次指定每个像素，为所述像素构建像素区域使用取中值方法将所述像素区域处理为取中值结果，并根据所述取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从所述待提取特征纹理图像中依次选定每个像素x_c；

以所述指定像素x_c为中心，从所述待提取特征纹理图像中截取出中心块χ_c，ω，所述中心块χ_c，ω是尺寸为W×W的、以所述指定像素x_c为中心的正方形像素集合；

使用取中值方法φ处理所述中心块χ_c，ω，获得所述中心块χ_c，ω的取中值结果φ(χ_c，ω)；

根据所述中心块χ_c，ω的取中值结果φ(χ_c，ω)与所述N个像素块的取中值结果的平均值μ_ω，获得对于指定像素x_c的基于中心强度的鲁棒性扩展局部二值模式RELBP_CI(x_c)

RELBP_CI(x_c)＝s(φ(χ_c，ω)μ_ω)

其中，

当所述对于指定像素的鲁棒性扩展局部二值模式为基于邻域强度的鲁棒性扩展局部二值模式时，从所述待提取特征纹理图像中依次指定每个像素，为所述像素构建像素区域使用取中值方法将所述像素区域处理为取中值结果，并根据所述取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从所述待提取特征纹理图像中依次选定每个像素x_c；

以所述指定像素x_c为中心，从所述待提取特征纹理图像中选取到p个邻域像素x_r，p，n，所述p个邻域像素x_r，p，n等角间隔的均匀分布在以x_c为圆心以r为半径的圆周上，其中n＝0，...，p-1，所述邻域像素x_r，p，n的坐标值为(-r sin(2πn/p)，r cos(2πn/p))与指定像素x_c的坐标的叠加和；

分别以所述p个邻域像素x_r，p，n中的每一个为中心，从所述待提取特征纹理图像中截取出p个邻域块所述p个邻域块都是尺寸为ω_r×ω_r的、分别以所述每个邻域像素x_r，p，n为中心的正方形像素集合；

使用取中值方法φ处理所述p个邻域块获得所述p个邻域块的取中值结果并计算所述p个邻域块的取中值结果的平均值

根据所述p个邻域块的取中值结果与所述p个邻域块的取中值结果的平均值获得对于指定像素x_c的基于邻域强度的鲁棒扩展局部二值模式RELBP_NI_r，p(x_c)

其中，

当所述对于指定像素的鲁棒性扩展局部二值模式为基于径向差分的鲁棒性扩展局部二值模式时，从所述待提取特征纹理图像中依次指定每个像素，为所述像素构建像素区域使用取中值方法将所述像素区域处理为取中值结果，并根据所述取中值结果，计算获得对于指定像素的鲁棒性扩展局部二值模式为：

从所述待提取特征纹理图像中依次选定每个像素x_c；

以所述指定像素x_c为中心，从所述待提取特征纹理图像中选取到p个邻域像素x_r，p，n，所述p个邻域像素x_r，p，n等角间隔的均匀分布在以x_c为圆心以r为半径的圆周上，其中n＝0，...，p-1，所述邻域像素x_r，p，n的坐标值为(-r sin(2πn/p)，r cos(2πn/p))与指定像素x_c的坐标的叠加和；

分别以所述p个邻域像素x_r，p，n中的每一个为中心，从所述待提取特征纹理图像中截取出p个邻域块所述p个邻域块都是尺寸为ω_r×ω_r的、分别以所述每个邻域像素x_r，p，n为中心的正方形像素集合；

以所述指定像素x_c为中心，从所述待提取特征纹理图像中选取到p个亚邻域像素x_r-1，p，n，所述p个亚邻域像素x_r-1，p，n等角间隔的均匀分布在以x_c为圆心以r-1为半径的圆周上，其中n＝0，...，p-1，所述邻域像素x_r-1，p，n的坐标值为(-(r-1)sin(2πn/p)，(r-1)cos(2πn/p))与指定像素x_c的坐标的叠加和；

分别以所述p个亚邻域像素x_r-1，p，n中的每一个为中心，从所述待提取特征纹理图像中截取出p个亚邻域块所述p个亚邻域块是分别以所述每个亚邻域像素x_r-1，p，n为中心的正方形像素集合；

使用取中值方法φ处理所述p个亚邻域块获得所述p个亚邻域块的取中值结果

根据所述p个邻域块的取中值结果与所述p个位于半径r-1上的亚邻域块的取中值结果计算位于相同角度方向上、不同半径大小的两个滤波值的差分值，基于此获得对于指定像素x_c的基于径向差分的鲁棒扩展局部二值模式

其中，

2.根据权利要求1所述的一种鲁棒扩展局部二值模式纹理特征提取方法，其特征在于，根据所述对于指定像素的鲁棒性扩展局部二值模式，将所述指定像素归入固定的模式组中为：

根据所述鲁棒扩展局部二值模式RELBP分别计算与其中，所述

所述

其中，所述U值是指一个二进制模式串的均匀度度量，定义为二进制模式中圆周上相邻的两个比特值的0/1或1/0转移次数，以MRELBP_NI_r，p为例给出U值的定义，设MRELBP_NI_r，p的二进制模式比特串为：

MRELBP_NI_r，p＝b₀b₁......b_p-1

其中，n＝0，......，p-1，那么：

判断所述U(MRELBP_NI_r，p)≤2是否成立，若是，则将其归入均匀模式下，并根据的取值而划入所述均匀模式下组0至组p中的一个；若否，则将其归入非均匀模式下的唯一组p+1中；

根据所述与生成联合概率直方图，并以所述联合概率直方图为分组依据将所述指定像素归入固定的模式组中。