CN110232390B - 一种变化光照下图像特征提取方法 - Google Patents

Abstract

本发明公开了一种变化光照下图像特征提取方法，在计算中心像素点WLSGP特征值时采用了双层结构模型，根据邻域半径不同对中心像素值的影响程度不同，分配不同的权重系数，针对原始WLD算子的差分激励分量没有考虑内外层邻域像素的影响，采用差分协同激励分量，避免了光照敏感性；将变尺度和变角度的LOG算子引入到差分协同激励中，采用ADSEP算子和WLSGP算子代替原始WLD中的差分激励分量和方向分量，解决了原始WLD算子的差分激励不适用于方向差异性场合的问题，将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合得到二维AWSGD直方图，采用择XGBoost分类器对转化后的一维直方图进行图像分类，获得识别结果，本方法在变化光照条件下能够表现出较好的性能。

Description

一种变化光照下图像特征提取方法

技术领域

本发明属于图像处理技术领域，具体涉及一种变化光照下图像特征提取方法。

背景技术

图像特征提取技术是计算机视觉领域主要研究课题之一，已经在生物识别、图像检索、目标检测等领域得到了广泛应用。在不同的特征提取和分类识别方法下，图像识别技术在不同视角、变化光照、部分遮挡等条件下，性能会发生很大的变化。与其他条件相比，变化光照给识别精度带来的挑战最为显著，主要包括光照不足(太暗)、过度曝光(太亮)、图像阴影等因素。

针对变化光照特征描述技术国内外学者进行了大量研究，大致可归纳为如下四类：

(1)光照预处理和光照归一化方法

图像光照预处理和归一化方法能够减少一部分光照影响，使图像呈现出稳定的特性，有利于图像的进一步处理。常用方法如直方图均衡化(Histogram Equalization，HE)、同态滤波(Homomorphic Filtering，HF)、伽马校正(Gamma Correction，GC)、局部直方图规范(Local Histogram Specification，LHP)等。

(2)基于变换空间理论的特征描述方法

这类图像特征描述方法主要是将原始图像利用变换空间理论映射到子空间中，使图像信息在子空间上分布更加紧凑，能够较好的描述图像特征。该类方法一般具有对光照变化不敏感的特点，在大量学者的实验研究中表现出了较优越的性能。该类图像特征提取经典算法包括主成分分析(Principal Component Analysis，PCA)、奇异值分解(SingularValue Decomposition,SVD)、 Gabor变换(Gabor transform,GTF)、小波变换(wavelettransform，WT)等。

(3)基于光照鲁棒性的局部特征描述方法

这类特征提取方法主要是提取局部窗内图像特征，从而表达出数据的关键信息。较全局特征提取方法，局部特征提取方法对图像灰度变化具有更好的稳定性，并且特征不易受姿态、部分遮挡和变化光照的影响。Ojala T等提出局部二值模式(Local BinaryPattern，LBP)，是最著名的描述局部纹理特征的算子之一。随后，LBP的变种算法相继应用到图像模式识别领域。包括局部三值模式(Local Ternary Pattern，LTP)、局部图结构(Local Graph Structure，LGS)、局部梯度模式(Local Gradient Patterns,LGP)、局部方向模式(LDP)、差值局部方向模式(enhanced local directional patterns，ELDP)、局部重力脸(Local-Gravity-Face，LG-face)、ULBP_MHOG等。其中LGP 算子是一种性能较好且光照鲁棒的局部特征描述方法。Jun提出的LGP模式，该算法采用中心像素点梯度的均值作为阈值，当邻域像素梯度高于中心阈值时，编码为1，反之，编码为0。LGP算子中心阈值随邻域梯度而自适应变化，使其有较好的光照不变性，该算法采用梯度信息描述图像特征，克服了LBP对边缘成分的局部强度变化敏感的问题。

(4)基于视觉感知系统的特征描述方法

为了从复杂光照图像中获得更全面、更丰富的信息，最后一类方法将人类视觉系统(Human Visual System,HVS)和人类感知模拟引入到图像特征邻域，研究人员基于韦伯定律展开了大量研究。Chen等人受韦伯定律的启发，提出了韦伯局部描述符(Weber LocalDescriptor，WLD)，WLD由差分激励(Differential Excitation)和梯度方向(Orientation)两个分量组成，差分激励采用邻域像素差值与当前像素的比值来描述局部纹理变化信息，梯度方向则采用邻域梯度的比值来描述灰度变化的空间信息，该方法是一种简单高效且鲁棒性的纹理描述符。Liu提出韦伯局部二值模式(Weber Local Binary Pattern，WLBP)，为了克服原始差分激励分量易受噪声影响的问题，该算法将高斯——拉普拉斯(LOG)算子引入到差分激励分量中，使其具有更好的抗噪性能，并使用细节纹理描述符LBP代替梯度分量。较WLD，该算法对光照、姿态、噪声具有更高的鲁棒性。Tao G在韦伯定律和协作式中心环绕接受域生物模型的启发下，提出了韦伯中心环绕模式(Weber synergistic center-surround pattern，WSCP)，主要包括三部分：协同差分激励模式、协同直线向量模式、协同对角线向量模式，该算法充分考虑了内、外层像素的激励分布及其方位信息的重要性，是一种对光照不敏感的特征描述子。

在图像纹理描述方面，WLD描述符和LGP算子虽有诸多优势，但仍有不足之处。一方面，原始LGP算子采用自适应中心阈值的方法，能够减少光照的影响。然而，LGP特征模型在计算其中心参考点的像素值时，只考虑了半径为R邻域内的P个像素点，忽略了多个尺度下的像素点的影响，导致局部梯度模式单层模型对图像的局部特征描述不足的问题。另一方面，WLD 是一种简单、高效且区分能力强的特征描述方法，具有较强的边缘检测、抗噪能力，以及对光照和小面积遮挡具有鲁棒性。但是，WLD算子在描述图像特征时存在几点问题：①WLD只考虑中心像素点邻域单层像素的影响，没有考虑外层像素的灰度信息。Packer和Dacey提出的协作式中心环绕接受域生物模型表明，中心激励由内外两层分量共同决定。②如图1(a)-(c) 所示为三个局部灰度图，图1(a)-(c)分别表示局部窗内高频、中频、低频模式。通过计算发现，三种模式的WLD差分激励分量为0。究其原因， WLD采用各项同性滤波器计算差分激励分量，导致中心像素与邻域像素差值在求和时正负抵消，因此无法获取有效的灰度信息。③WLD算子在计算梯度分量时，只考虑了平行、垂直方向上的4个点，不能充分体现图像的空间分布信息。

发明内容

本发明的目的在于提供一种变化光照下图像特征提取方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种变化光照下图像特征提取方法，包括以下步骤：

步骤1)、首先对待处理图像进行分块得到多个分块图像，然后对多个分块图像进行预处理；

步骤2)、利用局部协同梯度二值模式计算预处理后的各分块图像的梯度方向分量得到各分块图像的梯度方向图像；

步骤3)、利用各向异性差分协同模式计算预处理后的各分块图像的差分激励分量得到各分块图像的差分激励图像；

步骤4)、将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合得到二维AWSGD直方图；

步骤5)、将得到的二维AWSGD直方图转化为一维直方图，针对转化后的一维直方图使用XGBoost分类器对图像进行分类，最后得到识别结果，完成图像特征提取。

进一步的，对分块后的图像进行预处理具体包括将图像对齐和裁剪处理调整为统一尺寸，并且对彩色图像的灰度化处理。

进一步的，步骤2)中，首先按照LGP模式分别计算中心像素点半径为1 个像素点和中心像素点半径为2个像素点的中心参考点的LGP值，然后分别对计算出的中心像素点半径为1个像素点和中心像素点半径为2个像素点的中心参考点的LGP值分配权重系数，获得两个中心参考点的WLSGP值，如式 (3.2)-(3.4)所示；使用分块统计的方法获得分块图像的梯度方向图像：

g_p＝|x_p-x_c| (3.4)

式中g_p表示中心点与邻域的p个像素点的梯度值，

为中心参考像素点的灰度值，P为邻域中像素点的个数，R为邻域的半径，λ_R为权重系数，x_c为中心像素点的灰度值，x_p代表邻域像素点的灰度值。

进一步的，步骤3)中，通过各向异性差分协同模式计算预处理后的各分块图像的差分激励分量方法：

3.1、通过协同差分激励计算ξ(x,y)：

其中，I₀(x,y)表示中心点的像素值，Π_inner和Π_outer分别表示中心点像素的内层邻域和外层邻域；

3.2、通过各向异性LOG算子生成的LOG算子卷积模板作用于图像：

式中各参数取值分别为：A＝x cos²α+y sinαcosα，B＝x sin²α-y sinαcosα， C＝xsinαcosα+y sin²α，D＝-x sinαcosα+y cos²α，E＝x cosα+y sinα，F＝y cosα-x sinα；δ为高斯函数的方差，影响空间分布的系数；δ_x为x轴方向的δ，δ_y为y轴方向的δ；α为角度参量；

3.3、结合公式(4.3)和(4.22)对图像进行处理即可得到各图像的差分激励图像。

进一步的，步骤3.2中各向异性LOG算子计算：LOG算子先采用二维高斯函数，然后对二阶高斯模型求二阶导数，其中，二维高斯函数G(x,y)表示为公式：

其中δ为高斯函数的方差，

对公式(4.15)取二阶导数，得二维LOG算子，如公式(4.16)：

将x轴方向的δ记为δ_x，将y轴方向的δ记为δ_y，代入公式(4.15)，则新的二维高斯函数表示为：

对公式(4.17)求二阶拉普拉斯导数，得到公式(4.18)：

对于一个标准的椭圆，公式表示为：

x²/a²+y²/b²＝1(a≠b) (4.19)

将椭圆以坐标原点为中心逆时针旋转α角度，则新的坐标关系为：

将上式(4.20)中的角度信息量带入公式(4.17)中，得到带有角度信息的二维高斯函数表达式：

对上式(4.21)中的x，y求偏导，进行拉氏变换，得到变角度、变尺度的LOG算子：

式中各参数取值分别为：A＝x cos²α+y sinαcosα，B＝x sin²α-y sinαcosα， C＝xsinαcosα+y sin²α，D＝-x sinαcosα+y cos²α，E＝x cosα+y sinα， F＝y cosα-x sinα。

进一步的，x轴方向的δ计算得到δ_x：

采用公式(4.25)来计算局部窗W的灰度均方差：

其中M×N为窗口W的大小，

代表局部窗内邻域灰度的均值, I(i,j)代表局部窗内邻域灰度的像素值；

和I(i,j)的取值范围均为 [0,255]。

根据上述x，y轴尺度比例的选取原则，定义x，y轴的尺度比例为：

其中，K为比例因子，取固定值。

则y轴的尺度为：

δ_y＝R·δ_x (4.27)。

进一步的，采用Kirsch算子计算自适应的角度参量α，具体计算方法为：在5×5像素区域大小内的局部窗口内确定8个方向的3×3像素区域大小模板，最后分别计算8个3×3局部窗内的灰度均值，从而构成矩阵X_p，矩阵X_p表示为：

根据公式(4.28)确定X_p之后，使用8个方向模板分别与X_p进行矩阵相乘，并取计算结果中的最大值所对应的模板方向为α值。

进一步的，将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合，构造AWSGD特征的二维直方图： {AWSGD(ξ_m,φ_t)},(m＝0,1,…,M-1,t＝0,1,…,T-1)(4.31)

其大小为T×M，M是差分激励ξ的区间数，T是WLSGP算子的直方图统计量。

进一步的，将二维直方图转化为一维直方图，在二维直方图 {AWSGD(ξ_m,φ_t)}的每一行对应子直方图H(m),(m＝0,1,…,M-1)，每个H(m)对应差分激励ξ的区间，最后，将M个子直方图按顺序连接转化为一维直方图 H＝[H(0),H(1),…H(M-1)]。

进一步的，采用择XGBoost分类器对转化后的一维直方图进行图像分类，设置XGBoost算法的学习速率learning_rate为0.1，树的深度max_depth 为5，损失函数设置为：softmax，随机采样的速率设置为0.7。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种变化光照下图像特征提取方法，针对LGP算子单层模型对图像的局部特征描述不足的问题，在计算中心像素点WLSGP特征值时采用了双层结构模型，考虑不同半径邻域内像素值的影响，并根据邻域半径不同对中心像素值的影响程度不同，分配不同的权重系数，从而更充分利用局部纹理细节信息，针对原始WLD算子的差分激励分量没有考虑内外层邻域像素的影响，采用差分协同激励分量，避免了光照敏感性；将变尺度和变角度的LOG 算子引入到差分协同激励中，提出各向异性差分协同激励模式，采用ADSEP 算子和WLSGP算子代替原始WLD中的差分激励分量和方向分量，，解决了原始 WLD算子的差分激励不适用于方向差异性场合的问题，将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合得到二维AWSGD直方图，采用择XGBoost分类器对转化后的一维直方图进行图像分类，获得识别结果，本方法在变化光照条件下能够表现出较好的性能。

进一步的，WLSGP在形成图像的描述过程中不仅使用了浮动的中心阈值和梯度信息，还应用了融合多个尺度特征的方法，充分获取R层像素的互补信息和方位分布，具有更好的光照适应性。

进一步的，在计算像素点的协同差分激励模式时与光照图像分量无关；差分协同激励模式对光照不敏感，适用于变光照下的图像特征描述。

附图说明

图1a为局部窗内高频模式局部灰度图，图1b为局部窗内中频模式局部灰度图，图1c为局部窗内低频模式局部灰度图；

图2为WLSGP模式结构示意图；

图3a为WLSGP算子计算原始图像；图3b为WLGSP算子特征提取图；

图4为δ＝0.5时LOG算子的三维图；

图5为σ_x＝0.5，σ_y＝1.0时的LOG算子三维图；

图6为σ_x＝1.0，σ_y＝0.5时的LOG算子三维图；

图7为Kirsch算子模板示意图；

图8为角度参量值α的计算过程示意图；

图9a为原图，图9b为ADSEP差激示意图，图9c为原方向分量示意图；

图10为AWSGD算法示意图；

图11a为尺度(2,4)的局部窗示意图；图11b为尺度(1,2)的局部窗示意图；图11c为尺度(1,3)的局部窗示意图；图11d为尺度(2,3)的局部窗示意图；

图12a为原图，图12b为差分激励图像，图12c为AWSGD梯度方向图；

图13为局部窗示意图；

图14为AWSGD直方图计算示意图；

图15为不同尺度对算法识别率的影响示意图。

图16a为尺度(1,2)下的识别率，图16b为尺度(2,3)下的识别率，图16c为尺度(2,4)下的识别率，图16d为尺度(3,4)下的识别率。

具体实施方式

下面结合附图对本发明做进一步详细描述：

一种变化光照下图像特征提取方法，首先对待处理图像进行分块得到多个分块图像，然后对多个分块图像进行预处理，利用各向异性差分协同模式 (ADSEP)计算预处理后的各分块图像的差分激励分量得到各分块图像的差分激励图像，同时利用局部协同梯度二值模式(WLSGP)计算预处理后的各分块图像的梯度方向分量得到各分块图像的梯度方向图像；然后将各向异性差分协同模式(ADSEP)所得到的各分块图像的差分激励图像分别与各自局部协同梯度二值模式(WLSGP)计算后的梯度方向图像进行融合得到二维AWSGD直方图，将得到的二维AWSGD直方图转化为一维直方图，针对转化后的一维直方图使用XGBoost分类器对图像进行分类，最后得到识别结果，完成图像特征提取。

一种变化光照下图像特征提取方法，具体包括以下步骤：

对分块后的图像进行预处理，具体包括将图像对齐和裁剪处理调整为统一尺寸，并且对彩色图像的灰度化处理；本申请统一调整为100*112像素；

考虑中心像素受其邻近不同尺度下像素的影响，提出了一种局部梯度二值模式(LGP)的改进算法-局部协同梯度二值模式(WLSGP)：

考虑不同半径邻域内像素值的影响，采用半径为1个像素点和2个像素点的邻域内两层像素点，并根据邻域半径不同对中心像素值的影响程度不同，分配权重系数，提出加权的局部协同梯度二值模式(Weighted Local Synergistic Gradient Pattern，WLSGP)：

WLSGP描述子的详细过程为：如图2所示，为WLSGP模式示意图，在5×5 像素区域大小内的局部窗内，首先按照LGP模式分别计算中心像素点半径为 1个像素点和中心像素点半径为2个像素点的中心参考点的LGP值，然后分别对计算出的中心像素点半径为1个像素点和中心像素点半径为2个像素点的中心参考点的LGP值分配权重系数，获得两个中心参考点的WLSGP值，如式(3.2)-(3.4)所示；使用分块统计的方法获得图像的WLSGP特征-梯度方向图像；

g_p＝|x_p-x_c| (3.4)

g_p表示中心点与邻域的p个像素点的梯度值，

为中心参考像素点的灰度值，P为邻域中像素点的个数，R为邻域的半径，λ_R表示权重系数，x_c为中心像素点的灰度值，x_p代表邻域像素点的灰度值；则半径为1个像素点的内层邻域权重系数表示为λ₁，半径为2个像素点的外层邻域权重系数可以表示为λ₂，权重随着距离中心参考点的半径增大，靠近外圈的像素点对中心参考点的影响慢慢减小；

LGP算子的计算方法如公式(3.1)所示：

其中，g_p表示中心点与邻域的p个像素点的梯度值，即g_p＝|x_p-x_c|。

WLSGP在形成图像的描述过程中不仅使用了浮动的中心阈值和梯度信息，还应用了融合多个尺度特征的方法，充分获取R层像素的互补信息和方位分布，具有更好的光照适应性；如图3a和图3b所示，采用WLSGP算子对原始图像进行特征提取示例；

改进的各向异性差分协同激励模式：

在处理复杂光照问题时，根据Retinex理论,一幅图像的视觉表示过程可 以由原图像和反射图像两部分组成；三者的关系可以表示为公式(4.1)：

I(x,y)＝R(x,y)×L(x,y) (4.1)

其中，I(x,y)表示原图像，R(x,y)表示反射图像，L(x,y)表示光照图像。差分协同激励算子：

WLD算子的差分激励计算过程为公式(4.2)：

其中，p表示邻域像素点的个数，I₀表示局部窗内中心像素值，ΔI_i表示中心像素值与邻域像素的差值，即ΔI_i＝I_i-I₀；

由于中心像素的刺激受到内层像素和外层像素的共同影响，考虑内外层尺度对中心像素点的共同影响，然后针对差分激励不适用于具有方向差异场合提出进一步的改进方法；

结合内外层邻域共同影响的差分激励计算方法，称为协同差分激励(Differential Synergistic Excitation Pattern，DSEP)，具体公式如(4.3)所示：

其中，I₀(x,y)表示中心点的像素值，Π_inner和Π_outer分别表示中心点像素的内层邻域和外层邻域，ξ(x,y)为差分激励，I(x,y)代表邻域像素点的像素值。

验证差分协同激励具有对光照不敏感的特性：

若用F₁(·)和F₂(·)表示公式(4.3)中对内层、外层像素求和计算，且易知F₁(·)和F₂(·)满足公式(4.5)-(4.6)，K为常数，则公式(4.3)可以表述为公式(4.4)：

F₁(K×I(x,y))＝K×F₁(I(x,y)) (4.5)

F₂(K×I(x,y))＝K×F₂(I(x,y)) (4.6)

根据Retinex理论，设某像素点的坐标为(x,y)，则R_inner(x,y)，R_outer(x,y)， R₀(x,y)表示表面反射分量，L_inner(x,y)，L_outer(x,y)，L₀(x,y)表示入射光分量。根据Retinex公式(4.1)，I_inner(x,y)，I_outer(x,y)，I₀(x,y)可以表述为公式(4.7)- (4.9)，将其代入公式(4.4)，ξ(x,y)推导为公式(4.10)：

I_inner(x,y)＝R_inner(x,y)×L_inner(x,y) (4.7)

I_outer(x,y)＝R_outer(x,y)×L_outer(x,y) (4.8)

I₀(x,y)＝R₀(x,y)×L₀(x,y) (4.9)

在一个非常小的局部图像区域内，入射光分量往往变化比较缓慢，因此本文将三个入射光分量近似相等，表示为公式(4.11)：

L_inner(x,y)≈L_outer(x,y)≈L₀(x,y) (4.11)

将公式(4.4)-(4.6)和公式(4.11)代入公式(4.10)，推导出公式(4.12)：

由公式(4.12)可知，在计算像素点的协同差分激励模式时与光照图像分量L(x,y)无关；因此，可以表明差分协同激励模式对光照不敏感，适用于变光照下的图像特征描述；

针对原始WLD算子的差分激励分量具有各向同性的问题，导致差分激励分量对一些灰度模式无法进行有效区分，下文对差分协同激励模式继续改进，引入一种各向异性的LOG算子，使算法的区分度更高；

改进的各向异性LOG算子：

公式(4.2)中的ΔI为二阶拉普拉斯算子(Laplacian)；对于图像f(x,y)的二阶拉普拉斯定义为公式(4.13)：

在单独使用拉普拉斯算子进行图像边缘检测时，会产生噪声的干扰；于是采用高斯—拉普拉斯算子(Laplacian of Gaussian，LOG)，该算法在进行拉普拉斯变换之前，先对图像进行高斯滤波处理，能够减少噪声的影响。因此，将LOG算子代入到ΔI的计算中，可表示为公式(4.14)：

ΔI＝LOG*f(x,y) (4.14)

在公式(4.14)中，LOG算子中的二维高斯函数是关于中心对称的，即 LOG算子属于各向同性算子，并不能满足本文的要求，因此，在下文将对 LOG算子进行分析，引入一种多尺度、多角度参数的各向异性LOG算子，进而对WLD的协同差分激励分量继续改进：

首先，对原始LOG算子进行分析：LOG算子先采用二维高斯函数，然后对二阶高斯模型求二阶导数，其中，二维高斯函数G(x,y)表示为公式(4.15)：

其中δ为高斯函数的方差，影响空间分布的系数。

对公式(4.15)取二阶导数，得二维LOG算子，如公式(4.16)：

如图4所示，δ＝0.5时LOG算子

的三维图，从三维图可以看出， LOG算子关于圆对称，表现出各向同性的特点。为了使LOG算子呈现各向异性，需使δ的取值对x轴和y轴有不同影响，即δ在x,y轴取不同的值。

为了使LOG算子表现各向异性，将原始LOG算子在x方向和y方向对δ的取值不同。于是，将x轴方向的δ记为δ_x，将y轴方向的δ记为δ_y，代入公式(4.15)，则新的二维高斯函数表示为：

对公式(4.17)求二阶拉普拉斯导数，得到公式(4.18)：

如图5所示，δ_x＝0.5，δ_y＝1的LOG算子三维图，此时LOG算子关于椭圆对称，且长轴落在y轴上；如图6所示，δ_x＝1，δ_y＝0.5的LOG算子三维图，此时LOG算子仍关于椭圆对称，但长轴落在x轴上。

对于一个标准的椭圆，公式表示为：

x²/a²+y²/b²＝1(a≠b) (4.19)

现将该椭圆以坐标原点为中心逆时针旋转α角度，则新的坐标关系为：

将上式(4.20)中的角度信息量带入公式(4.17)中，可以得到带有角度信息的二维高斯函数表达式：

对上式(4.21)中的x，y求偏导，进行拉氏变换，得到变角度、变尺度的LOG算子：

式中各参数取值分别为：A＝x cos²α+y sinαcosα，B＝x sin²α-y sinαcosα， C＝xsinαcosα+y sin²α，D＝-x sinαcosα+y cos²α，E＝x cosα+y sinα， F＝y cosα-x sinα。

将公式(4.22)生成的LOG算子的卷积模板作用于图像时，角度α的取值不同，将获取不同角度的边缘信息。但在实际情况中，图像边缘的走向是任意方向的，且存在不同类型的边缘，若采用固定的尺度和方向，边缘描述不能随着图像局部特征的变化而变化，因此本文引入了一种LOG算子模板自适应的尺度和角度参量方法。接下来，介绍各向异性LOG算子的尺度和角度参数的具体计算过程。

各向异性LOG算子尺度参量的选取：

独立强度传播(IDS)模型是基于人类视觉模型的确定尺度的简单方法，该模型是根据人类视网膜的侧向刺激特征提出的，其尺度定义为：

δ²(x,y)＝1/I(x,y) (4.23)

其中，I(x,y)是像素点(x,y)的像素值，I(x,y)的值归一化为[0,1]区间。

本文通过公式(4.24)来计算δ_x的值，即

采用公式(4.25)来计算局部窗W的灰度均方差：

其中M×N为窗口W的大小，

代表局部窗内邻域灰度的均值, I(i,j)代表局部窗内邻域灰度的像素值；

和I(i,j)的取值范围均为 [0,255]。

根据上述x，y轴尺度比例的选取原则，定义x，y轴的尺度比例为：

其中，K为比例因子，取固定值。

则y轴的尺度为：

δ_y＝R·δ_x (4.27)

各向异性LOG算子角度参量的选取：

Kirsch算子是一种边缘检测算法，采用8个模板代表8个方向，计算出不同方向上信息的重要程度，并取最大值作为图像的边缘输出，该方法能够较好的保持图像细节；本文将采用Kirsch算子计算自适应的角度参量α。具体计算方法为：在5×5像素区域大小内的局部窗口内确定8个方向的3×3模板，最后分别计算8个3×3局部窗内的灰度均值，从而构成矩阵X_p，矩阵X_p表示为：

如图7为Kirsch算子8个方向模板，方向分别为0°、45°、90°、135°、 180°、225°、270°、315°。根据公式(4.28)确定X_p之后，使用8个方向模板分别与X_p进行矩阵相乘，并取计算结果中的最大值所对应的模板方向为α值；如图8为一个角度参量值α的计算例子结构示意图；

设K为矩阵X_p经过Kirsch算子模板计算后灰度值，则像素点P的角度参量值α为K取最大值时对应Kirsch模板中的角度。例如，若k₀为最大，对应Kirsch算子模板，则α为90°。K的计算过程如下：

将上述计算得到的尺度参量δ_x、δ_y以及角度参量α代入公式(4.22)中，便是具有变尺度、变角度特性的各向异性LOG算子。

结合公式(4.3)和(4.22)即是改进的差分激励分量，称为各向异性差分协同激励模式(Anisotropic Differential Synergistic Excitation Pattern， ADSEP)，具体效果如图9a、图9b、图9c所示；图9a为原图，图9b为经 ADSEP差激后示意图，图9c为原方向分量示意图。

基于ADSEP和WLSGP的改进算法

改进的AWSGD算子

上文分别对原始的LGP算子和WLD算子进行了分析和改进：

(1)对LGP算子单层模型对图像的局部特征描述不足的问题，在计算中心像素点WLSGP特征值时，考虑不同半径邻域内像素值的影响，并根据邻域半径不同对中心像素值的影响程度不同，分配不同的权重系数，从而更充分利用局部纹理细节信息。

(2)对WLD算子的差分激励分量未能充分利用局部纹理信息的缺陷，本文引入了差分协同激励模式，使该算法同时考虑内外层邻域对中心点的影响并光照不敏感；之后考虑原始差分激励分量使用各项同性的拉普拉斯算子进行计算，导致局部窗内正负差值相互抵消，无法获得具有区分度的灰度特征，因此本文将变尺度和变角度的LOG算子引入到差分激励中，提出了各向异性差分协同激励模式(ADSEP)，解决了原始WLD算子的差分激励不适用于方向差异性场合的问题。

本文基于LGP算子较好的边缘细节描述能力和WLD光照不敏感的特点，将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合得到二维AWSGD直方图，称为各向异性韦伯协同梯度描述符(Anisotropic Weber Synergistic Gradient Descriptor，AWSGD)。如图10为AWSGD算法示意图， AWSGD算子由两部分组成：差分激励和WLSGP算子，与原始WLD相比， AWSGD算子采用改进的各向异性协同差分激励模式代替差分激励分量，采用改进的WLSGP算子代替梯度方向分量。

为了提高改进算法的局部特征描述能力，根据内外层半径的大小，将 AWSGD扩展为多尺度的AWSGD，具体而言，邻域的半径分别用r₁和r₂表示，那么内层半径为r₁，外层半径为r₂的局部结构称为尺度(r₁,r₂)，如图10为多尺度局部窗示意图，图11(a)-(d)分别为尺度(2,4)，(1,2)，(1,3)，(2,3) 的局部窗示意图，图12a为原图，图12b为差分激励图像，图12c为AWSGD 梯度方向图。

在AWSGD算子中，采用改进的LGP算子代替原始WLD算子中的梯度方向分量，主要原因是改进的LGP算子本身具有几点优势：

(1)与WLD的梯度分量相比，LGP能够保留更多的局部信息。在图 13的局部窗内，LGP的计算公式为：

而WLD的梯度分量计算公式为：

从公式(4.29)-(4.30)可以看出，LGP算子在计算过程中充分利用了局部窗邻域的8个点，而梯度方向的计算只涉及(x₁,x₃,x₅,x₇)4个点。因此，相比于梯度分量，LGP算子能够保留很多的局部信息。并且，θ(x_c)被划分为多个方向，并不是描述局部特征的有效方法。

(2)当图像受到变化光照影响时，LGP算子对边缘(比如面部图像，如眼睛、嘴巴、鼻子、胡须或下巴)的局部强度变化不敏感，改进的WLSGP 算子在保留LGP算子优点的基础上，结合多尺度邻域像素的共同影响，能够更好的提取局部信息。

对于AWSGD算子，通过公式计算得到各向异性差分协同激励图像和 WLSGP图像，构造AWSGD特征的二维直方图表示：

{AWSGD(ξ_m,φ_t)},(m＝0,1,…,M-1,t＝0,1,…,T-1) (4.31)

其大小为T×M，M是差分激励ξ的区间数，T是WLSGP算子的直方图统计量(本文T的大小与图像分块大小有关)。如图14所示，每一列代表一个WLSGP特征分量，每一行代表一个差分激励区间。

为了使特征表现更高的区分度，增加分类的准确率，将二维直方图转化为一维直方图，在二维直方图{AWSGD(ξ_m,φ_t)}的每一行对应子直方图 H(m),(m＝0,1,…,M-1)，每个H(m)对应差分激励ξ的区间。最后，将M个子直方图按顺序连接转化为一维直方图H＝[H(0),H(1),…H(M-1)]。

采用择XGBoost分类器对转化后的一维直方图进行图像分类，设置 XGBoost算法的学习速率learning_rate为0.1，树的深度max_depth为5，损失函数设置为：softmax，随机采样的速率设置为0.7。最后统计实验结果，并将每组实验重复多次，获得识别结果。

为了验证本发明的性能，将在经典光照人脸数据库CMU PIE、Yale B与纹理数据库PhoTex、RawFooT上进行相关实验，采用识别率、识别时间来评价提出方法的性能。实验将本文提出的AWSGD算子与LBP、LGP、LTP、 LGS、WLD、WLBP等经典局部特征描述子进行比较，同时也列举了近年来国内外优秀的图像特征描述算子，并将AWSGD算子与融合本章改进思想的相关算法进行对比。

本实验选用CUM PIE数据库中的P27正面人脸图像，包括68个人，且每人随机选取21张不同光照图像，共计1428张；在实验中并将所有图像归一化为100×112像素。

本节实验将首先讨论不同尺度、不同分块数对AWSGD算子识别结果的影响。然后在CUM PIE人脸库上进行各个算法识别率的对比实验，并进行分析和讨论。最后，对各个算法的识别时间进行对比实验，分析AWSGD算子的执行效率。

不同尺度对识别结果的影响：

据中心环绕接受域模型可知，内层邻域和外层邻域都在图像特征描述中发挥重要作用。因此，半径尺度的选择也是影响AWSGD算子特征描述能力的主要因素。本节进行了不同尺度组合的相关实验，包括(1,2)尺度，(2,3) 尺度，(1,3)尺度，(2,4)尺度，(3,4)尺度，(2,5)尺度。实验任意选取每个对象80％的图像作为训练集，其余作为测试集，每组实验重复进行十次。不同尺度下的算法识别率如图15所示。

由图15可知，AWSGD的识别率高于各向异性协同差分激励模式 (ADSEP)，表明改进的局部梯度模式为能够获取更多的边缘细节信息，其为AWSLD提供了有效的互补信息；另外，与其他尺度相比，尺度(1,2)和尺度(1,3)的识别率略低，主要原因是：由图11可知，尺度(1,2)和(1,3) 实际上单层邻域的特征计算方式，只考虑了内层邻域对目标像素的影响，这同时也证实了融合内外层模式方法比单层模式有更好的表现，验证了本文方法的有效性。值得注意的是，尺度(2,3)的识别率最高，能够较充分的描述图像纹理信息。

本文主要研究变化光照图像的特征提取，变化光照可能出现局部光照变化剧烈等问题，如果针对整幅图像直接提取直方图特征，容易出现同类图像直方图特征区别很大的问题，从而导致分类错误。并且本章所提出的算法为局部特征描述方法，分块可以更好的利用图像局部信息。因此，分块数是影响识别率的关键因素之一。本实验将进一步讨论分块大小对算法识别率的影响，分块大小分别设置为2×2、4×4、8×8、16×16、32×32，选择各向异性协同差分激励模式(ADSEP)、各向异性韦伯局部描述符(AWSLD)、本文提出算法AWSGD算子进行实验，寻找各个尺度的最佳分块数。本实验仍然随机选取每个人的80％的图像作为训练集，其余作为测试集。

从图16可以看出，尺度(2,3)、尺度(2,4)、尺度(3,4)较尺度(1,2) 识别率更高，再次验证了本文融合双层模式思想的有效性。图中算法的识别率随着分块数的增多而提高，当分块数达到8×8时识别率最高，随后的识别率呈下降趋势，主要原因是当图像分块数过多时，每个子块获得的信息过少，使算子陷入局部细节分析，从而导致图像识别率下降。综上所述，本文将算法分块数设置为8×8。

本实验将本文提出算法与经典算法LBP、LGP、LTP、LGS、WLD、WLBP 进行识别率比较，并与融合了本文改进思想的算法ADSEP、AWLD、WLSGP、 AWLGP、AWSLD进行对比。且本文提出算法AWSGD的实验设置为：尺度为(2,3)，分块大小为8×8，实验结果如表1所示。

表1 CMU PIE人脸库不同训练样本数下各算法识别率对比

由表1实验结果可以看出，随着训练样本的增多，各算法的识别率随之提高。在相同的训练样本下，LGP算子高于LBP、LGS算子，这可以说明采用梯度信息可以一定程度上提高特征提取算法的光照鲁棒性。同时可以看出，融合本文改进思想的算法也有不俗的表现，并且本文算法的识别率高于表中其他算法，当训练样本达到80％(16张)时，算法识别率达到96.7％，因此可以证明本文算法在变化光照条件下能够表现出较好的性能。

Claims (10)

1.一种变化光照下图像特征提取方法，其特征在于，包括以下步骤：

步骤1)、首先对待处理图像进行分块得到多个分块图像，然后对多个分块图像进行预处理；

步骤2)、利用局部协同梯度二值模式计算预处理后的各分块图像的梯度方向分量得到各分块图像的梯度方向图像；

步骤3)、利用各向异性差分协同模式计算预处理后的各分块图像的差分激励分量得到各分块图像的差分激励图像；

步骤4)、将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合得到二维AWSGD直方图；

步骤5)、将得到的二维AWSGD直方图转化为一维直方图，针对转化后的一维直方图使用XGBoost分类器对图像进行分类，最后得到识别结果，完成图像特征提取。

2.根据权利要求1所述的一种变化光照下图像特征提取方法，其特征在于，对分块后的图像进行预处理：将图像对齐和裁剪处理调整为统一尺寸，并且对彩色图像的灰度化处理。

3.根据权利要求1所述的一种变化光照下图像特征提取方法，其特征在于，步骤2)中，首先按照LGP模式分别计算中心像素点半径为1个像素点和中心像素点半径为2个像素点的中心参考点的LGP值，然后分别对计算出的中心像素点半径为1个像素点和中心像素点半径为2个像素点的中心参考点的LGP值分配权重系数，获得两个中心参考点的WLSGP值，如式(3.2)-(3.4)所示；使用分块统计的方法获得分块图像的梯度方向图像：

g_p＝|x_p-x_c| (3.4)

式中g_p表示中心点与邻域的p个像素点的梯度值，

为中心参考像素点的灰度值，P为邻域中像素点的个数，R为邻域的半径，λ_R为权重系数，x_c为中心像素点的灰度值，x_p代表邻域像素点的灰度值。

4.根据权利要求1所述的一种变化光照下图像特征提取方法，其特征在于，步骤3)中，通过各向异性差分协同模式计算预处理后的各分块图像的差分激励分量方法：

3.1、通过协同差分激励计算ξ(x,y)：

其中，I₀(x,y)表示中心点的像素值，Π_inner和Π_outer分别表示中心点像素的内层邻域和外层邻域；I(x,y)代表邻域像素点的像素值；

3.2、通过各向异性LOG算子生成的LOG算子卷积模板作用于图像：

式中各参数取值分别为：A＝xcos²α+ysinαcosα，B＝xsin²α-ysinαcosα，C＝xsinαcosα+ysin²α，D＝-xsinαcosα+ycos²α，E＝xcosα+ysinα，F＝ycosα-xsinα；δ为高斯函数的方差，影响空间分布的系数；δ_x为x轴方向的δ，δ_y为y轴方向的δ；α为角度参量；

3.3、结合公式(4.3)和(4.22)即可得到各图像的差分激励图像。

5.根据权利要求4所述的一种变化光照下图像特征提取方法，其特征在于，步骤3.2中各向异性LOG算子计算：LOG算子先采用二维高斯函数，然后对二阶高斯模型求二阶导数，其中，二维高斯函数G(x,y)表示为公式：

其中δ为高斯函数的方差，

对公式(4.15)取二阶导数，得二维LOG算子，如公式(4.16)：

将x轴方向的δ记为δ_x，将y轴方向的δ记为δ_y，代入公式(4.15)，则新的二维高斯函数表示为：

对公式(4.17)求二阶拉普拉斯导数，得到公式(4.18)：

对于一个标准的椭圆，公式表示为：

x²/a²+y²/b²＝1(a≠b) (4.19)

将椭圆以坐标原点为中心逆时针旋转α角度，则新的坐标关系为：

将上式(4.20)中的角度信息量带入公式(4.17)中，得到带有角度信息的二维高斯函数表达式：

对上式(4.21)中的x，y求偏导，进行拉氏变换，得到变角度、变尺度的LOG算子：

式中各参数取值分别为：A＝xcos²α+ysinαcosα，B＝xsin²α-ysinαcosα，C＝xsinαcosα+ysin²α，D＝-xsinαcosα+ycos²α，E＝xcosα+ysinα，F＝ycosα-xsinα。

6.根据权利要求4所述的一种变化光照下图像特征提取方法，其特征在于，x轴方向的δ计算得到δ_x：

采用公式(4.25)来计算局部窗W的灰度均方差：

其中M×N为窗口W的大小，

代表局部窗内邻域灰度的均值,I(i,j)代表局部窗内邻域灰度的像素值；

根据上述x，y轴尺度比例的选取原则，定义x，y轴的尺度比例为：

其中，K为比例因子；

则y轴的尺度为：

δ_y＝R·δ_x (4.27)。

7.根据权利要求4所述的一种变化光照下图像特征提取方法，其特征在于，采用Kirsch算子计算自适应的角度参量α，具体计算方法为：在5×5像素区域大小内的局部窗口内确定8个方向的3×3像素区域大小模板，最后分别计算8个3×3局部窗内的灰度均值，从而构成矩阵X_p，矩阵X_p表示为：

根据公式(4.28)确定X_p之后，使用8个方向模板分别与X_p进行矩阵相乘，并取计算结果中的最大值所对应的模板方向为α值。

8.根据权利要求1所述的一种变化光照下图像特征提取方法，其特征在于，将各分块图像的差分激励图像分别与各自的梯度方向图像进行融合，构造AWSGD特征的二维直方图：

{AWSGD(ξ_m,φ_t)},(m＝0,1,…,M-1,t＝0,1,…,T-1) (4.31)

其大小为T×M，M是差分激励ξ的区间数，T是WLSGP算子的直方图统计量。

9.根据权利要求8所述的一种变化光照下图像特征提取方法，其特征在于，将二维直方图转化为一维直方图，在二维直方图{AWSGD(ξ_m,φ_t)}的每一行对应子直方图H(m),(m＝0,1,…,M-1)，每个H(m)对应差分激励ξ的区间，最后，将M个子直方图按顺序连接转化为一维直方图H＝[H(0),H(1),…H(M-1)]。

10.根据权利要求1所述的一种变化光照下图像特征提取方法，其特征在于，采用择XGBoost分类器对转化后的一维直方图进行图像分类，设置XGBoost算法的学习速率learning_rate为0.1，树的深度max_depth为5，损失函数设置为：softmax，随机采样的速率设置为0.7。

Images