CN106971158A - 一种基于CoLBP共生特征与GSS特征的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于CoLBP共生特征与GSS特征的行人检测方法，包括步骤：提取视频序列中每一帧图像的HOG特征及LBP特征，根据HOG特征计算出图像局部梯度块之间的成对梯度自相似性的GSS特征，同时根据LBP特征得到CoLBP共生特征；采用特征生成器FGM移除不对称的GSS特征，得到判别梯度自相似性DGSS特征；基于HOG特征与CoLBP共生特征训练的线性SVM分类器移除图像中的负样本；对于剩余负样本与正样本，利用基于HOG特征与DGSS特征训练的Real‑AdaBoost分类器再次检测每一帧图像中的行人，获得检测结果。本发明在LBP与HOG特征的基础上进一步得到更高层次的CoLBP共生特征与GSS特征，增加了行人特征提取的可靠性，最后的检测结果也表明，本发明具有较好的检测效果。

Description

一种基于CoLBP共生特征与GSS特征的行人检测方法

技术领域

本发明涉及一种基于CoLBP共生特征与GSS特征的行人检测方法，属于计算机视觉与图像处理的技术领域。

背景技术

当前行人检测的研究已经取得巨大的进展。早期工作主要集中在利用Haar小波变换实现行人检测的特征提取。目前，HOG特征广泛应用于行人检测领域，该方法将局部单元(cells)中的梯度信息整合到直方图中，并通过局部归一化增强该特征对光照、阴影和边缘变化的鲁棒性。虽然HOG在单一特征表示方面具有很大的优越性，但仍然具有一定的缺陷性，例如描述子生成过程冗长，很难处理遮挡，对噪点相当敏感等。因此，相继出现其他特征实现行人检测，例如基于HOF的运动描述符，基于LBP的纹理描述符，以及基于颜色自相似特征的描述符。

另外，共生特征也广泛应用于行人检测领域，通过计算梯度幅值设计出一种用于检测共生方向的共生CoLBP共生特征，基于多Harr-like共生特征设计出一种人脸识别器。为了进一步提高行人检测的性能，逐渐出现了一些组合多种低层次特征的方法。例如基于强度、深度和密集流数据计算的HOG-LBP特征构建的多级混合专家模型；融合灰度，LUV颜色和通过取向梯度幅值量化的行人检测框架。

以及，在HOG特征的基础上，演变出许多更高层次的特征，例如全局姿态不变描述符。另外，形状也是行人检测的常用线索。另一种方法是基于轮廓来表示中间层边缘特征，通过手绘轮廓的聚类补丁生成令牌标记以捕获局部边缘结构。每个像素令牌标记的表示与其他多图像通道进行组合，作为增强型检测器的特征。以上特征虽然种类较多，但由于特征相对单一，或者组合特征检测效果不明显，因此在一些遮挡，光照变化强烈的复杂的环境下，检测效果不是很理想。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于CoLBP共生特征与GSS特征的行人检测方法，解决现有的行人检测方法中特征相对单一，或者组合特征检测效果不明显，在一些遮挡及光照变化强烈的复杂的环境下，检测效果不佳的问题，以提高行人检测准确率。

本发明具体采用以下技术方案解决上述技术问题：

一种基于CoLBP共生特征与GSS特征的行人检测方法，包括以下步骤：

步骤A、提取视频序列中每一帧图像的HOG特征及LBP特征，根据每一帧图像中的HOG特征计算出图像局部梯度块之间的成对梯度自相似性的GSS特征，同时根据LBP特征得到CoLBP共生特征；

步骤B、采用特征生成器FGM移除不对称的GSS特征，得到判别梯度自相似性DGSS特征；

步骤C、基于HOG特征与CoLBP共生特征训练的线性SVM分类器移除图像中的负样本；对于剩余负样本与正样本，利用基于HOG特征与DGSS特征训练的Real-AdaBoost分类器再次检测每一帧图像中的行人，获得检测结果。

进一步地，作为本发明的一种优选技术方案，所述步骤A中计算成对梯度自相似性GSS特征，具体包括：利用HOG特征对局部梯度块进行方向编码，并通过计算每一个局部梯度块与其水平翻转局部梯度块之间的距离得到距离矩阵，并根据距离矩阵计算出成对梯度自相似性的GSS特征。

进一步地，作为本发明的一种优选技术方案，所述步骤A所得到的距离矩阵具体为：

D_ij＝min{d(H_i,H_j),d(H_i',H_j)}i,j＝1,2,.....M

其中，d表示距离，H_i表示非翻转局部梯度块，H_i’表示H_i的水平翻转局部梯度块，d定义为欧氏距离。

进一步地，作为本发明的一种优选技术方案，所述步骤A中，根据距离矩阵计算出成对梯度自相似性的GSS特征具体为：

根据距离矩阵，确定每一帧图像中HOG块与其水平翻转块之间对称的相似性矩阵：

其中，D_max与D_min分别表示一帧图像中局部梯度块之间的最大距离和最小距离，ε为接近于0的正数；D_ij表示距离矩阵；

采用S_ij矩阵的上三角矩阵S_up获得GSS特征向量F_GSS，且采用幂次变换依次对每一对特征块的GSS特征进行增强处理，及通过范数归一化获得成对梯度自相似性的GSS特征。

进一步地，作为本发明的一种优选技术方案，所述步骤A根据图像的LBP特征得到CoLBP共生特征，具体为：

定义每一对像素之间的共生模式{DX,DY,F₁,F₂}满足以下约束：

其中{x₁,y₁}，{x₂,y₂}分别为像素a与b的坐标，DX与DY分别表示像素a与b在X方向与Y方向的距离之差，f₁，f₂分别表示像素a与b经过特征提取后得到的像素值；F₁，F₂∈特征空间F；

获取每一个LBP特征的等价模式，并将等价模式后的每一个LBP特征分成9个聚类，用特征空间F表示；及在满足共生模式{DX,DY,F₁,F₂}的基础上，确定CoLBP共生特征向量为：

c_ij＝count(DX,DY,F_i,F_j)

F＝LBP_n,r,h,1≤i,j≤9

其中F_i，F_j是LBP特征空间F的聚类数；当h＝0时，LBP_n,r,h表示图像的亮度值；当h＝1时，LBP_n,r,h表示图像在水平方向的亮度梯度值；当h＝2时，LBP_n,r,h表示y方向的亮度梯度值，CoLBP(DX,DY,h)表示共生特征矩阵，c_ij表示所有满足共生模式{DX,DY,F₁,F₂}的共生特征的数量。

本发明采用上述技术方案，能产生如下技术效果：

本发明主提供的基于CoLBP共生特征与GSS特征的行人检测方法，旨在改善因特征单一而造成的行人检测不准确问题。现有方法通常基于一种特征进行检测，效果往往不理想；而对于多特征组合的行人检测方法，往往又造成特征的计算成本较高等问题。

本发明的有益效果主要体现在以下几个方面：第一、在LBP与HOG特征的基础上进一步得到更高层次的CoLBP共生特征与GSS特征，增加了行人特征提取的可靠性；第二、本发明的CoLBP共生特征与梯度自相似GSS特征分别来自于LBP与HOG特征，本质上降低特征计算的成本；第三、为了缩短分类器的训练时间，进一步对GSS特征进行降维处理，得到具有更高判别能力的DGSS判别特征；第四、采用两级级联的分类器实现对行人检测的性能评估，第一级分类器采用基于HOG特征与CoLBP共生特征训练的线性SVM分类器移除每一帧图像中的绝大多数负样本，进一步提高了第二级分类器的分类效率；第二级分类器采用基于HOG特征与GSS特征训练的Real-AdaBoost强分类器实现完整的行人检测。最后的检测结果也表明，本发明所提方法具有较好的检测效果。

附图说明

图1为本发明的整体流程图。

图2为GSS特征描述行人的正样本的平均自相似性矩阵。

图3为α取不同值时的幂次变换。

图4为每一个黑色像素与中心像素之间构成一个共生特征，DX,DY<＝4。

图5表示检测窗口(共15x7个块)，图中直线表示经过FGM降维后的成对判别DGSS特征。

图6(a)至图6(d)表示本发明方法在部分场景图像的检测结果。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明提出一种基于CoLBP共生特征与GSS特征的行人检测方法，其实现思路为：首先计算出每一帧图像的HOG特征，进一步计算出HOG特征块之间的成对梯度自相似性GSS特征，同时根据LBP特征得到CoLBP共生特征；其次，为了降低特征计算的成本，本发明还采用FGM去除GSS中的非信息分量，并产生DGSS特征；最后采用两级级联的分类器对行人检测的性能进行评估。

本发明的基于CoLBP共生特征与GSS特征的行人检测方法的一个优选实施方式，具体包括以下步骤：

步骤A、提取视频序列中每一帧图像的HOG特征及LBP特征，根据每一帧图像中的HOG特征计算出图像局部梯度块之间的成对梯度自相似性的GSS特征，同时根据LBP特征得到CoLBP共生特征。

首先，提取GSS特征。由于HOG在表示图像局部梯度分布方面表现出优越的性能，在检测窗口中，本发明使用HOG特征对局部梯度块进行方向编码，并通过计算特征空间中的距离来测量块之间的成对梯度自相似性GSS特征。

设H＝{H₁,H₂,...,H_M}表示检测窗口内的HOG块特征，其中H_i表示第i个块特征；并规定每一个块特征有2*2个相邻单元构成，因此H_i＝{h_i1,h_i2,h_i3,h_i4}可以进一步表述为第i个块的级联直方图。本发明通过计算HOG块之间的距离来衡量局部轮廓之间的相似性。设水平翻转后的局部梯度块特征H_i’＝{h_i3’,h_i4’,h_i1’,h_i2’}表示块特征H_i的翻转向量，定义距离矩阵D_ij如下：

D_ij＝min{d(H_i,H_j),d(H_i',H_j)} i,j＝1,2,.....M (1)

其中d表示距离，H_i表示非翻转局部梯度块，H_i’表示H_i的水平翻转局部梯度块。d可以定义为欧氏距离。

为了确保相似性取值位于(0，1]范围内，本发明采用以下公式定义HOG特征块之间的相似性，确定每一帧图像中HOG块与其水平翻转块之间对称的相似性矩阵，所述相似性矩阵表示为：

其中D_max与D_min分别表示一帧图像中局部梯度块之间的最大距离和最小距离，ε为接近于0的正数。

由于相似性矩阵S_ij为对称矩阵，因此只需要采用S_ij矩阵的上三角矩阵S_up表征局部梯度块之间的相似性。在HOG特征空间中，S_up中的每个元素表示翻转和非翻转块与其对称块之间的相似性。梯度自相似特征F_GSS定义如下：

其中F_GSS的维度为N＝M*(M-1)/2。图2给出了PETS2009数据集中所有正训练样本的平均相似性矩阵。

为了进一步说明GSS特征的判别能力，本发明采用幂次变换依次对每一对小块的GSS特征进行增强处理，公式定义如下：

其中ɑ>0，图3给出了ɑ取不同值时的幂次变换效果图。

由于相似性矩阵S_ij中每个元素的取值在(0,1]范围内，该变换主要对0<ɑ<1或ɑ>1进行对比度拉伸。因为置信度值相对较高的特征容易被区分，所以本发明设置ɑ的值对比拉伸在(0.5,1]范围内。从图3可以看出，当ɑ>1时产生了预期的对比拉伸。最后，通过L₂范数归一化GSS＝F_GSS/║F_GSS║₂。由此，可确定成对梯度自相似性的GSS特征。

其次，提取CoLBP共生特征。共生特征可以通过一些预定义的共生模式来构建。设a＝{x₁,y₁,f₁}，b＝{x₂,y₂,f₂}为两个不同的像素点。则每一对像素之间的共生模式{DX,DY,F₁,F₂}满足以下约束：

其中{x₁,y₁}，{x₂,y₂}分别为像素a与b的坐标，DX与DY分别表示像素a与b在X方向与Y方向的距离之差，f₁，f₂分别表示像素a与b经过特征提取后得到的像素值，F₁，F₂∈特征空间F。模型如图4所示，中心像素与每一个黑色像素构成一个配对的共生特征。

给定中心像素cen，则LBP特征定义如下：

其中d表示邻域像素的个数，r表示中心像素与邻域像素之间的距离，I表示累加亮度值。

为了解决二进制模式过多的问题，提高统计性，本发明采用“等价模式”对LBP算子的模式种类进行降维。当某个LBP所对应的循环二进制编码从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类，非等价模式都归为混合模式类。等价模式定义如下：

3x3邻域的LBP转换为等价模式之后，维度降到58维。本发明基于等价模式提出共生CoLBP共生特征。本发明从图像的亮度和梯度域考虑LBP特征。由于LBP特征的旋转不变性，本发明基于'1'的数量将58维等价的LBP模式分成8个聚类，所有非等价模式合并成另一类。结果，LBP特征空间F被划分为9个bins，因此CoLBP直方图由9×9＝81个维度组成。给定输入窗口R和指示器h，则CoLBP共生特征向量通过以下方式生成：

其中F_i，F_j是LBP特征空间F的聚类数；当h＝0时，LBP_n,r,h表示图像的亮度值；当h＝1时，LBP_n,r,h表示图像在水平方向的亮度梯度值；当h＝2时，LBP_n,r,h表示y方向的亮度梯度值，CoLBP(DX,DY,h)表示共生特征矩阵，c_ij表示所有满足共生模式{DX,DY,F₁,F₂}的共生特征的数量，此处c_ij＝9x 9＝81。

步骤B、采用特征生成器FGM移除判别能力较低的GSS特征，即移除信息不对称的GSS特征，得到判别梯度自相似性DGSS特征；

高维度的特征向量可能会给样本的训练和计算带来很大的挑战。为了缩短样本的训练时间，移除信息不对称的GSS特征，因此有必要对GSS特征进行相应的降维处理。本发明采用FGM作为降维工具，使得训练的分类器具有更好的预测能力。

给定一组经过GSS特征提取后的标记样本(x_l,y_l)，l＝1,2,...,L，其中x_l表示特征向量，y_l∈{-1,1}，若该样本属于行人的某个部位，则y_l＝1，否则y_l＝-1。FGM旨在找到关于线性SVM的输入特征的稀疏解，可以通过最小化以下结构风险函数来学习：

其中ξ₁>0，w表示权重向量，特征选择向量t＝{t₁,t₂,...,t_N}∈T,T＝{t|t_n∈{0,1},n＝1,2,...,N}控制SVM决策超平面的稀疏性，λ表示平衡模型复杂度和决策超平面拟合度的正则化参数，设置λ＝10。经过凸松弛之后，采用平面切割算法来寻找稀疏特征解。

经过以上FGM降维之后，得到一组具有高判别度的特征子集DGSS。本发明定义判别性梯DGSS特征F_DGSS如下：

其中J表示GSS特征经过FGM降维后的维数。{g_p1,g_p2,...,g_pj}表示上三角矩阵S_up中的元素{g₁,g₂,...,g_N}经过降维后得到的特征向量，用F_DGSS表示。图5给出了图2经过FGM降维后的部分成对判别信息。

步骤C、基于HOG特征与CoLBP共生特征训练的线性SVM分类器移除绝大部分负样本，实现每一帧图像中行人的初步检测，然后针对剩余的少部分负样本与绝大多数正样本，基于HOG特征与DGSS特征训Real-AdaBoost分类器，进一步检测出每一帧图像中的行人，获得检测结果。

其中，第一级分类器，主要采用基于HOG特征和CoLBP共生特征训练的线性SVM分类器，移除每一帧图像中大部分不包含行人的区域，然后将检测结果作为第二级分类器的输入。

线性SVM分类器学习最佳超平面，将行人作为正样本和背景最为负样本，且最大程度的分离开来，然后将第一级分类器的输出结果输入到第二级分类器。SVM分类器的训练过程如下：

Step 1：将视频序列的若干帧图像作为训练样本，且提取训练样本的HOG特征。

Step 2：提取训练样本的LBP特征，并采用“等价模式”进行聚类处理，得到特征空间F，计算图像局部区域之间的CoLBP共生特征。

Step 3：组合HOG特征与CoLBP共生特征，得到训练数据。

Step 4：确定视频序列中若干帧的图像为测试样本，根据step 3得到的训练数据验证测试样本，获得测试数据。

Step 5：采用SVM算法对step 3进行分类训练，得到分类模型。

Step 6：在负样本的训练数据的基础上，加入一些基于HOG特征与CoLBP共生特征的新的负样本，重新产生新的基于HOG特征与CoLBP共生特征数据。

Step 7：在step 6中分类负样本数据，记录被误分类的难例(hard examples)数据。

Step 8：将难例添加到step 3的训练数据中，重新采用SVM分类，得到第一级分类模型。

Step 9：步骤step 8中的第一级分类模型用于对step 4中的测试数据进行分类，移除每一帧图像中大部分不包含行人的区域，然后将检测结果输入第二级Real-AdaBooat分类器中。

其中，所述CoLBP共生特征参数的获取过程如下：

(1)将检测窗口划分为16x 16的单元；

(2)对于每个单元中的每一个像素，采用3x3的形式将周围的8个像素与中心像素进行计较，大于中心像素值的为1，否则为0；

(3)采用“等价模式”对LBP算子的模式种类进行降维，然后将LBP特征空间划分为9个bins，生成9x 9＝81维的CoLBP直方图，并对直方图进行归一化处理；

(4)级联生成CoLBP共生特征向量。

本发明选用的检测图片来自PETS2009与TUD-Stadtmitte数据集，首先采用训练好的线性SVM分类器对原图像进行逐区域检测，初步检测出每一帧图像中的行人。

对于第二级分类器，主要用针对少部分负样本与绝大多数正样本，基于HOG特征和GSS特征训练的Real-Adaboost强分类器再次对每一帧图像中行人进行分类检测，获得图像的检测结果。

本发明基于Real-Adaboost算法进行训练。所述算法对各参数先定义，具体为：

设{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}为通过第一级线性SVM分类器的候选输入数据，其中x_i表示训练样本，y_i＝{1,-1}表示分类标号。将训练样本x按照特征值的大小进行平均划分，得到N_b个子区间B_j。因此弱分类器可以定义为以下分段函数：

为了防止产生极值，令式中ε为一个无穷小的正数。

对于同一个区间，分别计算正样本的权重和与负样本的权重W，具体形式如下：

其中W⁺与W^-分别表示正、负训练样本的特征响应的概率分布，

根据分段函数(12)的分类误差e选择最好的判别特征。判别特征越好，分类误差e越低。

如果只考虑特征的判别能力，等式(13)是个不错的选择。本发明同时还考虑特征的计算成本。由于负样本窗口的数目远大于正样本窗口，尤其是在开始阶段，因此整个检测过程的执行时间主要取决于负样本窗口的数量。

其中l表示检测阶段编号，N_neg表示负样本窗口的数量，t_i表示弱分类器的计算成本。

由于N_neg依赖于当前阶段的负样本的数量，因此等式(14)与等式(15)近似相等。N表示全部的窗口数量，f_pi表示第i个阶段的负样本点的比例。

为了平衡特征的判别能力和计算效率，对等式(13)增加另一项参数，得到以下等式：

其中β表示效率因子，本发明设为0.15。

为了提高特征选择的速度和检测器的效率，每次迭代的采样窗口数为M＝60。在初期阶段，当强分类器过滤掉50％的负样本时，调用第一个bootstrap。然后对第一级线性SVM分类后未被移除的负样本采用bootstrap自举方法生成新的负样本代替被过滤掉的负样本，并继续训练。每过滤掉一次50％的负样本调用一次bootstrap。重复该过程，直到整体fp率(负样本率)低于2*10^-7或弱分类器的数量超过T。基于上述参数的定义，Real-Adaboost分类器的训练过程如下：

Step 1：确定训练样本总数N，每次迭代的采样窗口数M，以及弱分类器的最大数目T。

Step 2：输入候选训练集{(x_i，y_i)}，标号集y_i∈{-1，1}。

Step 3：分别初始化样本权重w_i＝1/N，H(x_i)＝0。

Step 4：以第i个弱分类器的输出结果更新样本权重

Step 5：生成随机窗口R，并利用HOG特征生成GSS特征；然后使用等式(12)计算W⁺与W^-；最后选择最优的特征最小化等式(16)；如果fp<2*10^-7，则停止，否则重复执行step 5，直到每次迭代的采样窗口数大于M。

Step 6：使用等式(11)更新弱分类器h_l(x)。

Step 7：更新强分类器H_l+1(x_i)；如果弱分类器的数量大于T，则输出强分类器否则转到step 4继续执行。

对于所述GSS特征参数，其由如下过程获取：

(1)设置检测窗口为64*128，每个单元的大小为8*8个像素，2*2个单元组成一个块(block)。

(2)通过计算HOG块之间的欧氏距离得到自相似性GSS特征。

(3)对GSS特征进行幂次变换。

(4)采用FGM对GSS特征降维，得到DGSS特征。

(5)级联生成特征向量。

为评估本发明所提算法的性能，本发明基于线性SVM分类器的检测结果，采用Real-Adaboost分类器对原图像进行再次检测，最终准确的检测出每一帧图像中的行人，图6(a)至图6(d)给出了部分图像的检测结果。

综上，本发明在LBP与HOG特征的基础上进一步得到更高层次的CoLBP共生特征与GSS特征，增加了行人特征提取的可靠性，最后的检测结果也表明，本发明所提方法具有较好的检测效果。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于CoLBP共生特征与GSS特征的行人检测方法，其特征在于，包括以下步骤：

步骤A、提取视频序列中每一帧图像的HOG特征及LBP特征，根据每一帧图像中的HOG特征计算出图像局部梯度块之间的成对梯度自相似性的GSS特征，同时根据LBP特征得到CoLBP共生特征；

步骤B、采用特征生成器FGM移除不对称的GSS特征，得到判别梯度自相似性DGSS特征；

步骤C、基于HOG特征与CoLBP共生特征训练的线性SVM分类器移除图像中的负样本；对于剩余负样本与正样本，利用基于HOG特征与判别梯度自相似性DGSS特征训练的Real-AdaBoost分类器再次检测每一帧图像中的行人，获得检测结果。

2.根据权利要求1所述基于CoLBP共生特征与GSS特征的行人检测方法，其特征在于，所述步骤A中计算成对梯度自相似性GSS特征，具体包括：利用HOG特征对局部梯度块进行方向编码，并通过计算每一个局部梯度块与其水平翻转局部梯度块之间的距离得到距离矩阵，并根据距离矩阵计算出成对梯度自相似性的GSS特征。

3.根据权利要求2所述基于CoLBP共生特征与GSS特征的行人检测方法，其特征在于，所述步骤A所得到的距离矩阵具体为：

D_ij＝min{d(H_i,H_j),d(H_i',H_j)}

其中，d表示距离，H_i表示非翻转局部梯度块，H_i’表示H_i的水平翻转局部梯度块，d定义为欧氏距离。

4.根据权利要求2所述基于CoLBP共生特征与GSS特征的行人检测方法，其特征在于，所述步骤A中，根据距离矩阵计算出成对梯度自相似性的GSS特征具体为：

根据距离矩阵，确定每一帧图像中HOG块与其水平翻转块之间对称的相似性矩阵：

$S_{ij}=\frac{1}{1+\sqrt{{\left(\frac{D_{ij}-D_{\min }}{D_{\max }-D_{ij}}\right)}^2+\mathrm{\&epsiv;}}}$

其中，D_max与D_min分别表示一帧图像中局部梯度块之间的最大距离和最小距离，ε为接近于0的正数；D_ij表示距离矩阵；

采用S_ij矩阵的上三角矩阵S_up获得GSS特征向量F_GSS，且采用幂次变换依次对每一对特征块的GSS特征进行增强处理，及通过范数归一化获得成对梯度自相似性的GSS特征。

5.根据权利要求1所述基于CoLBP共生特征与GSS特征的行人检测方法，其特征在于：所述步骤A根据图像的LBP特征得到CoLBP共生特征，具体为：

定义每一对像素之间的共生模式{DX,DY,F₁,F₂}满足以下约束：

$\left\{\begin{array}{c}DX=\left|x_1-x_2\right|\&le;4\\ DY=\left|y_1-y_2\right|\&le;4\\ f_1=F_1\\ f_2=F_2\end{array}\right.$

其中{x₁,y₁}，{x₂,y₂}分别为像素a与b的坐标，DX与DY分别表示像素a与b在X方向与Y方向的距离之差，f₁，f₂分别表示像素a与b经过特征提取后得到的像素值；F₁，F₂∈特征空间F；

获取每一个LBP特征的等价模式，并将等价模式后的每一个LBP特征分成9个聚类，用特征空间F表示；及在满足共生模式{DX,DY,F₁,F₂}的基础上，确定CoLBP共生特征向量为：

$CoLBP(DX,DY,h)=\left[\begin{array}{cccc}{c}_{11}& c_{12}& \mathrm{...}& c_{19}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ c_{91}& c_{92}& \mathrm{...}& c_{99}\end{array}\right]$

c_ij＝count(DX,DY,F_i,F_j)

F＝LBP_n,r,h,1≤i,j≤9

其中F_i，F_j是LBP特征空间F的聚类数；当h＝0时，LBP_n,r,h表示图像的亮度值；当h＝1时，LBP_n,r,h表示图像在水平方向的亮度梯度值；当h＝2时，LBP_n,r,h表示y方向的亮度梯度值，CoLBP(DX,DY,h)表示共生特征矩阵，c_ij表示所有满足共生模式{DX,DY,F₁,F₂}的共生特征的数量。