CN102867188B - 一种基于级联结构的会场内座位状态检测方法 - Google Patents

Abstract

本发明公开了一种会场内座位状态的检测方法，该方法包括以下步骤：预处理、座位粗分类、座位细分类、结果校正。具体可描述为：对给定视频序列的每一帧图像，以手工标定的方法获取每个座位的位置区域；对每个座位区域，用已训练好的粗分类器判断该座位是否为未被任何物体遮挡的全空座位；对剩余的疑似有人座位，用已训练好的细分类器判断该座位是否为有人座位；对每帧的检测结果，利用前后多帧的检测结果进行滤波，并利用一段时间内座位的运动信息对少量的误检测进行校正，由此获取最终的稳定检测结果。本发明无需通过检测人来确定座位上是否有人，可显著降低算法复杂度，提高检测的速度和精度，可广泛应用于智能视频监控系统、会场智能服务系统。

Description

一种基于级联结构的会场内座位状态检测方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于级联结构的会场内座位状态检测方法。

背景技术

随着人们对社会安全问题的关注日益增加，以及对智能化服务的需求日渐显著，实现对公共场所的实时监控越来越重要。如何利用摄像头代替人眼，利用计算机代替人脑，理解场景中正在发生什么，预测将要发生什么，是计算机视觉的主要任务。普遍意义上，人的视觉首先获取场景的低层信息，如时间、地点、对象、数目等，通过人脑的综合处理形成对场景内容的高层描述，从而解决是谁、在干什么的问题。同样对于计算机，检测、跟踪、人数统计等低层视觉构成了行为分析和识别、场景语意理解等高层视觉的基础。

视频或图像中的目标检测是高层计算机视觉的一个基本方面。目标检测是目标识别、场景理解的基础。在会议场景中，尤其是大会场场景下，会场内座位状态的判断对完成会场内的智能监控和智能服务有重要意义。会场内座位状态的判断的主要内容是座位有无人的检测。

目前已经有较多算法对会议场景中人的检测进行了研究，主要有两种方式：基于图像的检测方式和基于视频序列的检测方式。在基于图像的目标检测方法中，目前的方法一般通过检测图像中的人脸或头肩特征来确定人的位置，但是在较大的监控场景(大型会议场景)下，由于人的姿态各异，以及摄像机视角带来的图像中人的表观的差异，会造成大量的漏检。基于视频序列的检测方法通常利用视频帧间差异捕捉视频中的运动信息，从而获得人的位置。该方法主要应用于场景中运动目标的检测。当视频中的目标出现短时静止时，会出现漏检现象。

发明内容

现有的会议场景中人的检测方法一般通过检测人脸、头部或头肩特征，或采用帧间差分法获取运动目标的位置，当对礼堂等大场景下的人进行检测时，由于人的姿态各异，很难获取具有一致性的外貌特征，而且处于会议中的人运动微小，利用运动信息检测会议中的人容易受到其他运动物体的干扰。为解决现有技术存在的问题，本发明的目的是希望在大场景下(例如礼堂)，快速高效地检测每个座位的状态，为此，有别于常见的对人进行检测的方法，本发明提供一种基于级联结构的会场内座位状态检测方法。

为实现上述目的，本发明提供一种基于级联结构的座位状态检测方法，其特征在于，该方法包括以下步骤：

步骤1，对在会场内采集到的视频序列中的每帧图像数据进行高斯平滑滤波以消除噪声的影响；

步骤2，基于所述步骤1滤波后得到的图像数据，用预先人工标定好的座位位置获取每个座位的座位区域，每个座位区域即为一个座位块；

步骤3，基于会场背景视频建立背景模型；

步骤4，基于所述步骤3建立的背景模型，将每个座位块与其对应的背景区域做差分，获取表示该座位块与背景之间的差异的全局特征；

步骤5，选取全空座位作为正样本，被遮挡的座位和有人座位作为负样本，建立训练样本库，提取每个样本的全局特征，训练得到粗分类器，根据所述步骤4提取出的每个座位块的全局特征，用所述粗分类器判断每个座位块是否为未被任何物体遮挡的全空座位，并将全空座位标记为+1，将被遮挡的空座位和有人座位标记为-1；

步骤6，对于所述步骤5中标记为-1的座位块，提取其加权梯度方向直方图特征；

步骤7，将所述步骤6得到的每个标记为-1的座位块的加权梯度方向直方图特征与其局部二值模式LBP特征融合，获得该座位块的最终纹理特征；

步骤8，在训练样本库中选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，提取每个样本的最终纹理特征，训练得到细分类器，根据所述步骤7提取得到的每个座位块的最终纹理特征，使用所述细分类器检测所述座位块是否有人就座，并将无人就座的座位标记为+1，有人就座的座位标记为-1；

步骤9，基于对每帧图像的检测结果，在一较短时间内，对该时间期间根据所述步骤8得到的每个座位块的所有帧的检测结果进行中值滤波，以消除因分类错误而引起的检测结果不稳定；

步骤10，在一较长时间内，对该时间内经中值滤波后的每个座位块的所有帧做帧间差分，未检测到有运动信息的座位标记为空座位，从而获得对每个座位的最终检测结果。

本发明的方法在大型会议座位状态的检测中可以凸显它的优越性。与其他基于人的检测方法不同，本发明的方法无需对人和座位进行精确的建模，而是首先将未被遮挡的全空座位快速检测出来，然后再对被遮挡的空座位和有人座位进行判断，从而缩短了检测时间。本发明的方法不需要对座位上的人或其部件进行建模，从而易于实现和应用。本发明的大会场内座位状态检测方法可以用于监控场景下会议中已就座的人的快速定位以及会场内的人数统计和会场内的场景理解。

附图说明

图1是本发明提出的一种基于级联结构的会场内座位检测方法的流程图。

图2a示出根据本发明的一实施例所建立的背景模型；图2b示出根据本发明的一实施例的视频序列中的一帧示例；图2c示出根据本发明的一实施例的一帧示例图像的梯度图与背景模型的梯度图的差分图像；图2d示出根据本发明的一实施例的一帧示例图像与背景模型在HSV颜色空间H、S通道的差分图像的平均值。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

现有的基于视频序列的会场内座位状态的检测，通常通过提取人脸、头部或头肩等外貌特征建立特定模型，然后在图像中采用滑动窗口的方法获取人的位置，或者利用帧间的运动信息判断人的位置。但是在真实的大型会场场景下，会议中的人姿态各异，而且应用场景下由于摄像头安装位置的限制以及不同座位间视角的差异导致很难捕捉到人脸或头部轮廓以及头肩等形状特征。而且会议中的人运动微小，利用运动信息对人进行定位容易受到噪声干扰。所以现有方法的鲁棒性较差，实用性不好。本发明提供的一种基于级联结构的会场内座位状态检测方法利用一种由粗到细的空座位检测方法，逐步检测场景内的空座位，最终获取有人座位和无人座位的精确分类。该方法无需检测场景中的人，而是利用座位表观的差异，对不同表观的座位建立不同强弱的分类器，因此提高了检测速度。

根据会场内座位的被遮挡情况及表观差异，会场内座位可以分为三种：

1)全空座位。全空座位是指未被任何物体或人遮挡的空座位。

2)被遮挡座位。被遮挡座位是指无人就座，但被相邻座位的人遮挡、或放有衣服或包的座位。

3)有人座位。

对第一种座位，由于具有统一的外观，因此是最容易检测的座位。首先排除此类座位将在整体上提高检测速度。对第二种座位，由于受到遮挡的影响，可以提取更精细的纹理特征以区别于有人座位。

基于以上思想，本发明提出一种基于级联结构的会场内座位状态检测方法，旨在首先快速检测出全空座位，而对被遮挡的空座位再做进一步处理，从而准确、高效地判断会场内每个座位的状态。

图1是本发明提出的一种基于级联结构的会场内座位状态检测方法的流程图。如图1所示，本发明提出的一种基于级联结构的会场内座位状态检测方法包括图像预处理、座位粗分类、座位细分类、多帧校正四个步骤。

所述图像预处理步骤进一步包括以下步骤：

步骤1，对在会场内采集到的视频序列中的每帧图像数据进行高斯平滑滤波以消除噪声的影响；

在本发明的一实施例中，所述高斯平滑滤波中的高斯模板大小选为3*3。

步骤2，基于所述步骤1滤波后得到的图像数据，用预先人工标定好的座位位置获取每个座位的座位区域，每个座位区域即为一个座位块；

所述座位位置的标定可以以该座位在图像中的最小外接矩形为标准，即所述座位块的大小和位置以其最小外接矩形的大小和位置来表示，不同的座位块以其座位号为标识。

所述座位粗分类步骤进一步包括以下步骤：

步骤3，基于会场背景视频建立背景模型；

为建立背景模型，需预先选取一段该相机视角下的会场内视频作为会场背景视频，然后取该段视频中所有帧的平均值作为背景模型。选取所述会场背景视频时，应保证背景视频中的每个座位为全空状态，并且光照条件应与会议中的光照条件相同。

图2中，图2(a)为根据本发明的一实施例所建立的背景模型，图2(b)为根据本发明的一实施例的视频序列中的某一帧图像。

步骤4，基于所述步骤3建立的背景模型，将每个座位块与其对应的背景区域做差分，获取表示该座位块与背景之间的差异的全局特征；

为了克服人的阴影和座位局部反射造成的光斑带来的噪声，并使得背景减除法对座位周边的微小噪声鲁棒，本发明在传统的背景减除法的基础上叠加了两项感兴趣区域内的背景减除法，即本发明融合了多种背景减除方法来获取描述座位块与背景之间的差异的全局特征。

所述将每个座位块与其对应的背景区域做差分进一步包括：将每一座位块与其对应的背景区域分别在梯度图和HSV颜色空间内做差，得到每一座位块的前景全局描述；设置每一座位块的感兴趣区域(ROI区域)，所述感兴趣区域的大小和位置可以根据座位被遮挡的程度和位置设置，比如在本发明的一个实施例中，所述感兴趣区域的中心可以设为与其所在座位块的中心相同，大小可以设为其所在座位块大小的2/3，并将所述ROI区域内的图像与其对应的背景区域分别在梯度图和HSV颜色空间内做差，得到所述ROI区域的前景全局描述。图2中，图2(c)为图2(b)所示的图像的梯度图与图2(a)所示的背景模型的梯度图的差分图像，图2(d)为图2(b)所示的图像与图2(a)所示的背景模型分别在HSV颜色空间H、S通道中的差分图像的平均值。其中，所获取的梯度图像的差分值和HSV空间差分图像的平均值即为前景图像的两种描述。

将经过上述差分处理后得到的4种特征融合在一起，作为接下来对座位进行粗分类的特征，即所述全局特征可描述为：

f₁＝{s_grad，s_HSV，s_{grad_s}，s_{HSV_s}}，

其中，f₁表示某一座位块融合了多种背景减除方法后获取的全局特征，s_grad表示该座位块与其背景所对应的梯度图像经差分后得到的前景像素比例(即，差分图像二值化后非零像素个数与总像素数的比例)，s_HSV表示该座位块与其背景在HSV颜色空间差分后得到的前景像素比例，s_{grad_s}表示该座位块的ROI区域与其背景所对应的梯度图像经差分后得到的前景像素比例，s_{HSV_s}表示该座位块的ROI区域与其背景在HSV颜色空间差分后得到的前景像素比例。

步骤5，选取全空座位作为正样本，被遮挡的座位和有人座位作为负样本，建立训练样本库，提取每个样本的全局特征，训练得到粗分类器，根据所述步骤4提取出的每个座位块的全局特征，用所述粗分类器判断每个座位块是否为未被任何物体遮挡的全空座位，并将全空座位标记为+1，将被遮挡的空座位和有人座位标记为-1；

本发明利用支持向量机(SVM)分类器来判断每个座位是否为全空座位。本发明中SVM粗分类器的训练过程可描述为：选取训练样本库中的全空座位作为正样本，被遮挡的座位和有人座位作为负样本，并将全空座位标记为+1，被遮挡的空座位和有人座位标记为-1，提取每个样本的全局特征，训练得到SVM粗分类器，其中，分类器的训练方法为本领域的通用技术，在此不作赘述。

所述座位细分类步骤进一步包括以下步骤：

步骤6，对于所述步骤5中标记为-1的座位块，提取其加权梯度方向直方图特征；

所述加权梯度方向直方图特征的提取过程进一步包括以下步骤：

步骤61，将座位块等分成多个小块(比如N*N个，N为大于1的自然数)，每一块称为一个胞元；

步骤62，对每个胞元提取其加权梯度方向直方图特征；

该每个胞元的加权梯度直方图特征的提取过程可描述为：

首先，将每个胞元中的像素点的0～180度的梯度方向平均分为9份，即9个bin，每个bin即为直方图的一个通道；

然后，令该胞元中的每个像素点都向与其梯度方向相邻的两个bin做加权投票，用公式可描述为：

$w_1=\frac{\mathrm{\θ}-{\mathrm{\θ}}_2}{180/9}\·|\▿I(x,y)|$

$w_2=\frac{{\mathrm{\θ}}_1-\mathrm{\θ}}{180/9}\·|\▿I(x,y)|,$

其中，θ表示像素点I(x，y)的梯度方向，θ₁，θ₂表示与该梯度方向相邻的两个bin值，且θ₁＞θ₂，w₁，w₂表示该像素点分别在θ₁，θ₂上的投票，表示该像素点的梯度幅值；

最后，将该胞元中各个bin的加权值连接起来即得到该胞元的加权梯度直方图特征；

步骤63，将每个胞元的加权梯度方向直方图特征按照对其所在座位块不同的区分能力加权，得到该座位块最终的加权梯度方向直方图特征；

所述特征f′可描述为：

$f^{\′}=\{w_1{f}_1^{\′},w_2{f}_2^{\′},\·\·\·,w_{N^2}{f}_{N^2}^{\′}\},$

其中，f′_i表示第i个胞元的加权梯度方向直方图特征，w_i表示该胞元对应的权重。

其中，不同胞元对应的权重w_i可通过学习得到，第i个胞元对应的权重w_i的学习过程可描述为：

首先，选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，建立训练样本库，并将该训练样本库分为两部分，在第一部分样本库中，提取所有座位块的相同位置的胞元的梯度直方图特征作为所述胞元所在座位块的特征，训练得到分类器；

该步骤中，采用支持向量机(SVM)分类器。

然后，使用所述分类器对上述训练样本库的第二部分样本进行分类，选取一定的分类器阈值，以使分类的准确度最高，此最高准确度即为该胞元的权重初值；

最后，将得到的所有胞元的权重初值做L1归一化，归一化后的权重值即为相应胞元最终的权重值：

${w_i}^{\′}\frac{w_i}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_j},$

其中，N为胞元的数目。

步骤7，将所述步骤6得到的每个标记为-1的座位块的加权梯度方向直方图特征与其局部二值模式(LBP)特征融合，获得该座位块的最终纹理特征；

特征融合后的该座位块的最终纹理特征可描述为：

f₂＝{f_{sw_HOG}，αf_LBP}，

其中，f₂表示该座位块的最终纹理特征描述；f_{sw_HOG}，f_LBP分别表示该座位块的加权梯度方向直方图特征和LBP特征，所述局部二值模式(LBP)特征的提取为本领域的通用技术，在此不作赘述；α表示两种特征的权重调整，α的值可以根据最终合成得到的特征对座位的分类能力进行调整，在本发明的一实施例中，取权重α＝10。

步骤8，在训练样本库中选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，提取每个样本的最终纹理特征，训练得到细分类器，根据所述步骤7提取得到的每个座位块的最终纹理特征，使用所述细分类器检测所述座位块是否有人就座，并将无人就座的座位标记为+1，有人就座的座位标记为-1；

本步骤中利用支持向量机(SVM)分类器来作为检测某一座位块是否有人就座的细分类器，本发明中SVM细分类器的训练过程可描述为：在训练样本库中选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，提取每个样本的最终纹理特征，训练得到SVM细分类器。

所述结果校正步骤进一步包括以下步骤：

步骤9，基于对每帧图像的检测结果，在一较短时间内，如5s，对该时间期间根据所述步骤8得到的每个座位块的所有帧的检测结果进行中值滤波，以消除因分类错误而引起的检测结果不稳定；

所述对根据步骤8得到的每个座位块的所有帧的检测结果进行中值滤波，也就是对每个座位块每5s内获取的标记序列做中值滤波处理。

步骤10，在一较长时间内，如30s，对该时间内经中值滤波后的每个座位块的所有帧做帧间差分，未检测到有运动信息的座位标记为空座位，从而获得对每个座位的最终检测结果。

所述对经中值滤波后的所有帧做帧间差分也就是对每个座位块每30s内获取的视频序列做帧间差分处理，对于经过中值滤波处理后标记为-1的座位，如果未检测到运动信息，则将其标记更正为+1，以对所述步骤9得到的滤波结果进行校正。

本发明提供的会场内空座位的检测方法是一个由粗到细的空座位检测过程，对于易于区分的全空座位，提取其全局特征进行粗分类，从而减小了细分类过程的计算负担，在整体上提高了检测效率。对于少量的不稳定结果，采用多帧检测结果和运动信息进行校正，从而保证了该座位检测方法的稳定性和实用性。

本发明方法需要的硬件最低配置为：P43.0G CPU，2G内存的计算机。在此基础上，采用C++语言编程实现本方法，可以达到较好的检测效果。

总之，本发明提出了一种基于级联结构的快速检测会场内座位状态的方法。在真实会场场景内的试验结果证明了本发明算法的有效性。本发明易于实现，性能稳定，本发明对于理解会场内会议发生情况、提升会场内安全性、改善会场服务质量具有很重要的作用。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于级联结构的会场内座位检测方法，其特征在于，该方法包括以下步骤：

步骤1，对在会场内采集到的视频序列中的每帧图像数据进行高斯平滑滤波以消除噪声的影响；

步骤2，基于所述步骤1滤波后得到的图像数据，用预先人工标定好的座位位置获取每个座位的座位区域，每个座位区域即为一个座位块；

步骤3，基于会场背景视频建立背景模型；

步骤4，基于所述步骤3建立的背景模型，将每个座位块与其对应的背景区域做差分，获取表示该座位块与背景之间的差异的全局特征；

步骤5，选取全空座位作为正样本，被遮挡的座位和有人座位作为负样本，建立训练样本库，提取每个样本的全局特征，训练得到粗分类器，根据所述步骤4提取出的每个座位块的全局特征，用所述粗分类器判断每个座位块是否为未被任何物体遮挡的全空座位，并将全空座位标记为+1，将被遮挡的空座位和有人座位标记为-1；

步骤6，对于所述步骤5中标记为-1的座位块，提取其加权梯度方向直方图特征；

步骤7，将所述步骤6得到的每个标记为-1的座位块的加权梯度方向直方图特征与其局部二值模式LBP特征融合，获得该座位块的最终纹理特征；

步骤8，在训练样本库中选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，提取每个样本的最终纹理特征，训练得到细分类器，根据所述步骤7提取得到的每个座位块的最终纹理特征，使用所述细分类器检测所述座位块是否有人就座，并将无人就座的座位标记为+1，有人就座的座位标记为-1；

步骤9，基于对每帧图像的检测结果，在一较短时间内，对该时间期间根据所述步骤8得到的每个座位块的所有帧的检测结果进行中值滤波，以消除因分类错误而引起的检测结果不稳定；

步骤10，在一较长时间内，对该时间内经中值滤波后的每个座位块的所有帧做帧间差分，未检测到有运动信息的座位标记为空座位，从而获得对每个座位的最终检测结果。

2.根据权利要求1所述的方法，其特征在于，所述座位块的大小和位置以其最小外接矩形的大小和位置来表示，不同的座位块以其座位号为标识。

3.根据权利要求1所述的方法，其特征在于，所述步骤3进一步为：

首先，预先选取一段与所述视频序列具有相同的相机视角、其中的每个座位为全空状态、并且光照条件与所述视频序列中的光照条件相同的会场内视频作为会场背景视频；

然后，取该会场背景视频中所有帧的平均值作为背景模型。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中，将每个座位块与其对应的背景区域做差分的步骤进一步包括：

将每一座位块与其对应的背景区域分别在梯度图和HSV颜色空间内做差，得到每一座位块的前景全局描述；

设置每一座位块的感兴趣ROI区域，将所述ROI区域内的图像与其对应的背景区域分别在梯度图和HSV颜色空间内做差，得到所述ROI区域的前景全局描述。

5.根据权利要求4所述的方法，其特征在于，所述ROI区域的大小和位置根据座位被遮挡的程度和位置设置。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中的全局特征可描述为：

f₁＝{s_grad，s_HSV，s_{grad_s}，s_{HSV_s}}，

其中，f₁表示某一座位块的全局特征，s_grad表示该座位块与其背景所对应的梯度图像经差分后得到的前景像素比例，s_HSV表示该座位块与其背景在HSV颜色空间差分后得到的前景像素比例，s_{grad_s}表示该座位块的ROI区域与其背景所对应的梯度图像经差分后得到的前景像素比例，s_{HSV_s}表示该座位块的ROI区域与其背景在HSV颜色空间差分后得到的前景像素比例。

7.根据权利要求1所述的方法，其特征在于，所述加权梯度方向直方图特征的提取进一步包括以下步骤：

步骤61，将座位块等分成多个小块，每一块称为一个胞元；

步骤62，对每个胞元提取其加权梯度方向直方图特征；

步骤63，将每个胞元的加权梯度方向直方图特征按照对其所在座位块不同的区分能力加权，得到该座位块最终的加权梯度方向直方图特征。

8.根据权利要求7所述的方法，其特征在于，每个胞元的加权梯度直方图特征的提取进一步包括以下步骤：

首先，将每个胞元中的像素点的0～180度的梯度方向平均分为9份，即9个bin，每个bin即为直方图的一个通道；

然后，令该胞元中的每个像素点都向与其梯度方向相邻的两个bin做加权投票：

$w_1=\frac{\mathrm{\θ}-{\mathrm{\θ}}_2}{180/9}\·|\▿I(x,y)|$

$w_2=\frac{{\mathrm{\θ}}_1-\mathrm{\θ}}{180/9}\·|\▿I(x,y)|,$

其中，θ表示像素点I(x，y)的梯度方向，θ₁，θ₂表示与该梯度方向相邻的两个bin值，且θ₁＞θ₂，w₁，w₂表示该像素点分别在θ₁，θ₂上的投票，表示该像素点的梯度幅值；

最后，将该胞元中各个bin的加权值连接起来即得到该胞元的加权梯度直方图特征。

9.根据权利要求7所述的方法，其特征在于，所述座位块最终的加权梯度方向直方图特征特征f′描述为：

$f^{\′}=\{w_1{f}_1^{\′},w_2{f}_2^{\′},\·\·\·,w_{N^2}{f}_{N^2}^{\′}\},$

其中，f_i′表示第i个胞元的加权梯度方向直方图特征，w_i表示该胞元对应的权重。

10.根据权利要求9所述的方法，其特征在于，所述胞元对应的权重w_i通过学习得到：

首先，选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，建立训练样本库，并将该训练样本库分为两部分，在第一部分样本库中，提取所有座位块的相同位置的胞元的梯度直方图特征作为所述胞元所在座位块的特征，训练得到分类器；

然后，使用所述分类器对上述训练样本库的第二部分样本进行分类，选取一定的分类器阈值，以使分类的准确度最高，此最高准确度即为该胞元的权重初值；

最后，将得到的所有胞元的权重初值做归一化处理，归一化处理后的权重值即为相应胞元最终的权重值。

11.根据权利要求1所述的方法，其特征在于，所述座位块的最终纹理特征可描述为：

f₂＝{f_{sw_HOG}，αf_LBP}，

其中，f₂表示该座位块的最终纹理特征描述；f_{sw_HOG}，f_LBP分别表示该座位块的加权梯度方向直方图特征和LBP特征；α表示两种特征的权重调整。