CN109977814A - 一种基于一致化LBP的AdaBoost行人检测方法 - Google Patents

Abstract

本发明提出一种基于一致化LBP的AdaBoost行人检测算法，所述方法包含如下步骤：步骤1，建立样本集并进行降噪处理；步骤2，建立一致化LBP模式，提取样本集的一致化LBP特征；步骤3，将提取的一致化LBP特征输入到基于AdaBoost算法的加强分类器进行有监督训练，获得行人检测模型；步骤4，提取测试视频中的视频帧，并进行降噪处理；步骤5，对降噪处理后的视频帧进行图像增强处理，并提取视频帧的一致化LBP特征；步骤6，利用行人检测模型对视频帧进行行人检测，获得行人位置坐标信息。本发明方法具有很强的适应性和扩展性，其中图像增强检测算法和行人检测都可以单独应用于所需场景，也可以合并起来增强应用能力，大大扩展了本发明的应用范围。

Description

一种基于一致化LBP的AdaBoost行人检测方法

技术领域

本发明属于计算机视觉技术中的行人检测领域，特别是涉及一种基于一致化LBP的AdaBoost行人检测方法。

背景技术

随着科学技术的高速发展，不单单给人们带来了利益和便利，也给人们带来了诸多安全隐患。道路交通事故的激增给人民生命财产和国民经济带来了巨大损失，而首当其冲需要保护的便是行人。所以无论是在无人驾驶领域还是作为高级辅助系统的一部分，及时检测出前方行人并对危险进行预警具有重要意义。

近年来随着ADAS不断发展，作为汽车主动防碰撞安全系统中的一项关键技术，针对车辆前方行人的检测保护研究开始越来越多的受到各国汽车企业和相关研究机构的重视和关注。

在行人检测的早期研究阶段，研究人员大多利用图像分割和模板匹配等相应的图像处理技术来对行人进行检测与识别。与此同时，也有些许研究者利用支持向量机或者神经网络等分类算法来进行行人的检测识别工作。但由于检测环境多变、行人姿态多样，无法明确对行人进行精准建模。此外，对行人检测来说，检测速度是另一个重要的指标，如果一个算法应用于行人检测时需要太多计算时间，无论这种算法的精确度有多高，都不能应用于实际的行人检测系统中。因此在行人检测领域，不仅要考虑检测精度，还要考虑计算时间。

在行人检测领域，在光照条件充足的情况下进行目标检测识别出行人目前已经基本可以达到要求，现在需要着重关注的是夜间行车时对行人的检测，尤其是出租车司机、大型运载车、大型城区环境下，此时光线较暗，摄像头所采集的信息处理起来更为困难。

同时，当前计算机视觉的快速发展也大大提高了行人检测的可靠性。目前行人检测算法所采用的基本框架基本都基于Papageorgiou教授等人提出的两阶段算法：首先，利用一些特定的行人特征来进行候选行人目标的搜索，然后以分类器为依据进行候选行人目标的分类和定位。目前很多的研究基于不同的特征得到不同的检测结果。

本发明克服了以前检测算法的不足，提出了基于一致化LBP的AdaBoost行人检测算法，得益于LBP特征的旋转不变性以及灰度不变性等系列显著优势，但传统的LBP具有一定缺陷，我们在此基础上使用了一致化LBP模式(Uniform LBP)，它在局部特征纹理描述方面效果更好。对于行人的分类，我们采用了AdaBoost算法，此算法对大量的分类能力一般的弱分类器采用适当的方式进行叠加来形成一个分类能力较强的强分类器，然后再采用对多个强分类器进行串联的方式形成一个分级分类器来完成图像的检测。根据检测系统对相应错误率及检测速度的要求我们可以相应地对级联的级数进行选择。在确定了基于一致化LBP的AdaBoost行人检测算法下，我们对分类器进行了针对性训练。

发明内容

本发明的目的是克服现有技术的上述不足，提出了一种基于一致化LBP的AdaBoost行人检测算法，该方法能够有效的检测出不同运动状态以及不同环境下的行人，综合考虑了检测精度以及检测速率。

为解决上述技术问题，本发明提供如下的技术方案：一种基于一致化LBP的AdaBoost行人检测算法，所述方法包含如下步骤：

步骤1，建立样本集并进行降噪处理；

步骤2，建立一致化LBP模式，提取样本集的一致化LBP特征；

步骤3，将提取的一致化LBP特征输入到基于AdaBoost算法的加强分类器进行有监督训练，获得行人检测模型；

步骤4，提取测试视频中的视频帧，并进行降噪处理；

步骤5，对降噪处理后的视频帧进行图像增强处理，并提取视频帧的一致化LBP特征；

步骤6，利用行人检测模型对视频帧进行行人检测，获得行人位置坐标信息。

进一步的，所述步骤2中一致化LBP模式(Uniform LBP)具体的算法描述如下：

其中，函数U的定义如下：

上式中，定义为T＝t(g_c，g₀，...，g_P-1)，式中，g_c代表局部区域中心像素点的灰度值，g_p(p＝0,1,…,P)代表对应于中心点周围等距R内分布的P个点的灰度值，

进一步的，步骤5中图像增强处理的具体实现方式如下，

步骤5.1，转换RGB颜色空间图像格式为HSI颜色空间图像格式，从HSI颜色空间中提取I分量；

步骤5.2，使用Retinex理论分解I分量为反色图像和亮度图像；

步骤5.3，基于遗传优化算法对提取的亮度图像进行对比增强，使用夜间的反色图像，增强亮度图像及图像本身的颜色进行图像重构。

进一步的，步骤5.1中转换RGB颜色空间图像格式为HSI颜色空间图像格式的具体实现方式如下，

假设输入的夜间彩色图像由红R、绿G、蓝B三个色调确定，从RGB空间转换到HIS空间，其中各分量如下：

θ＝COS^-1{1/2[{R-G)+(R-B)]}/[(R-G)²+(R-B)(G-B)]^1/2}

下式为饱和度分量S：

下式是亮度分量I：

其中H示色度，S表示饱和度，I表示亮度值，θ表示角度。

进一步的，步骤5.3的具体实现方式如下，

步骤5.3.1，对夜间图像增强问题描述，寻找颜色空间转换后的亮度与像素的各种对应关系，确立遗传算法中的染色体；

首先设置输入图像的亮度取值范围为[0,255]，其中最小亮度为L_MIN在增强的亮度帧中映射为0，最大亮度为L_MAx在增强的亮度帧中映射为255，从而得到亮度与像素的对应关系；

然后采用二进制编码对染色体进行编码，把每个基因的增加量设置为Δ_i-1，串长n＝(L_MAX-L_MIN+1)，输入图像亮度L_OUTPUT通过如下表达式进行计算：

L_OUTPUT(i)＝L_OUTPUT(i-1)+Δ_i-11≤i≤n

根据以上分析，本发明提出增强图像亮度O_L(i)和输入图像亮度之间的对应关系：

步骤5.3.2，确定编码方式，将问题的解空间映射为个体基因串和遗传算法的搜索空间；

步骤5.3.3，初始化种群和规模，随机产生定数量的染色体，形成初始种群；

步骤5.3.4，搭建图像增强的参数模型，即使用图像增强的客观评价准则或者函数；

设L(x，y)表示坐标为(x，y)的原始图像亮度，L’(x，y)表示坐标为(x，y)的增强后的亮度，先进行归一化处理：

m(x，y)＝[L(x，y)-L_MIN]/[L_MAX-L_MIN]

然后定义非线性变换函数m′(x，y)：

m′(x，y)＝O_L[m(x，y)]

其中n＝M*N，M、N分别为增强图像的宽和高，染色体用i表示，函数值的大小表征了图像亮度分布的均匀程度，越大增效果越好；

最后将得到的亮度图像反归一化处理，则可得到输出的增强图像L’(x，y)，

步骤5.3.5，开始遗传操作，即对建立的图像增强模型进行选择、交叉、变异算子等产生新的解，进行不断的优化迭代；

使用联赛的选择方法，联赛的选择涉及到从独立的个体中选择几个个体之间联赛，每个联赛使用交叉选择，选择用于调整联赛值大小；如果联赛值越大，则弱的个体有很小的机会被选择；如果联赛值越小，则强的个体有很大的机会被选择。选择一对父代有更大值的可能产生有效的交叉；为了确保交叉算子在父代和子代直接搜索，本发明使用算术交叉方式对全局进行搜索，随机选择定义两个染色体之间的线性联合，如和表示产生两个子代，和表示父代的线性联合，即：

其中是从父代中产生的一个个体，是从子代中产生的一个个体，a是权重，如果个体的适应度大，那么是需要保留到下一代的个体，此时需要对这样的个体加入较大的权重；

步骤5.3.6，根据终止条件，重复进行步骤5.3.3和5.3.4，直到找到评价函数的最优解。

与现有技术相比，本发明具有如下优点和有益效果：

本发明方法具有很强的适应性和扩展性，其中图像增强检测算法和行人检测都可以单独应用于所需场景，也可以合并起来增强应用能力，大大扩展了本发明的应用范围。本发明提出的基于一致化LBP模式，其特征简单，同时相对而言又具有很不错的实际效果，在处理性能并不高的一些嵌入式平台上也能实现实时检测，降低了应用成本，使本发明的应用更加广泛。而在图像增强中用到的遗传算法在保证可以迭代优化得到最佳的增强图像的同时，算法相对简洁，对硬件平台的算力要求也不高。

附图说明

图1：本发明总体算法流程图。

图2：LBP算子的计算示意图。

图3：本发明的行人检测效果图。

具体实施方式

如图1所示，是本发明的总体算法流程图，整个过程大致分为三个部分：

步骤1，建立样本集并进行降噪处理；

样本建立：建立适应LBP描述器要求的图像正负样本集；正样本，顾名思义指的是我们所需的正面样本，也就是只包含我们需要检测的物体的图片，在行人检测算法中所需的便是相应的行人数据集。在我们最终采用的分类器中，行人正样本采取的是Daimler行人数据集，不仅仅包含行人正面跟背面姿态，也包含了行人侧面姿态。对于正样本，我们在准备了充足的行人样本图片后，还需要对正样本图片进行相应的处理。为了使行人检测结果更加精准，我们需要对正样本图片进行矩形标定来采集更加合适的正样本图片。在本发明中所采用的标定工具是ObjectMarker，通过它对正样本图片进行进一步筛选，标定出包含行人的最小矩形框，然后自动生成正样本的说明文件。

负样本相对比正样本而言，它指的是不包含需要检测的物体的图片，所以基本上很多东西都可以当作负样本。但是，为了提高分类器的效果，我们对负样本应该进行筛选，有针对性地选择负样本。由于我们要做的是ADAS系统中的行人检测，所以背景多为道路、交通标志、车辆等。因此，在负样本的选择时，我们并不考虑天空、沙滩这类场景，而是考虑车辆行驶过程中可能出现的背景，如路面、车辆等作为负样本。

步骤2，建立一致化LBP模式，提取样本集的一致化LBP特征；

本发明在使用一致化LBP模式(Uniform LBP)进行特征提取，以便于更好地描述图像局部纹理特征，特别是适用于模式过多的情况。具体的算法描述如下：

传统的LBP算子计算过程如图2所示。先为图像中每个像素点都选取一个以该像素点为中心点的3×3窗口，然后对中心点像素和相邻八个点的像素值进行大小比较，对比较结果进行二值化。二值化过程为：当中心点像素值大于相邻点的像素值时，该位置0，反之则置1。对得到的二值化结果结合像素位置进行加权求和，便能够得到相应像素的LBP值。

接下来，我们在此基础上进行优化。我们将一个局部区域的纹理分布假设为局部区域内像素灰度的联合分布函数，定义为T＝t(g_c，g₀，...，g_P-1)，式中，g_c代表局部区域中心像素点的灰度值，g_p(p＝0,1,…,P)代表对应于中心点周围等距R内分布的P个点的灰度值，则可将LBP算子定义为：

式中，上式的LBP值描述了以(x_c，y_c)为中心的局部区域的纹理。

进一步地，优化为Uniform LBP，将定义更新为：

其中，函数U的定义如下：

步骤3，将提取的一致化LBP特征输入到基于AdaBoost算法的加强分类器进行有监督训练，获得行人检测模型；

本发明使用AdaBoost算法对多个弱分类器级联，有效地提高了行人检测的检测率。在一个含有n个训练样本图片的给定训练集，在对训练样本进行初始化时，每个样本权重相同，均为D＝1/n，然后利用给定的弱学习算法针对训练样本进行T轮训练。在每轮训练结束后，会根据相应结果来修改训练样本的权重，对于在该轮训练失败的样本，会适当提高它的权重以便让后续学习工作重点对象为难度大的训练样本，得到相应的预测函数序列(h₁,h₂,…h_t)，最终所采用的预测函数H会通过加权投票的方式产生。

假设给定训练样本集为：S＝{(x₁,y₁),(x₂,y₂),…(x_n,y_n)}，其中，x_i代表给定的输入训练样本向量，且x_i∈X，X代表训练样本集；y_i代表样本分类类别标志，且y_i∈Y,Y＝{-1,+1}，分别代表着样本的正负，由错误率对权值进行修改更新：

其中，Z_t代表的是满足的归一化因子。

对给定的训练样本进行的T轮训练完成，得到最终对应的预测函数：

其中，α_t代表的是对在第t轮训练完成后生成的相应的弱分类器h_t(x)的性能进行量化的评价因子，它的大小取决于h_t(x)作用于训练样本集后分类错误样本权重和ε_t。通过对全部的弱分类器h_t(x)进行加权求和得到最终的强分类器H(x)。

步骤4，提取测试视频中的视频帧，并进行降噪处理；

步骤5，对降噪处理后的视频帧进行图像增强处理，并提取视频帧的一致化LBP特征；

所述的图像增强处理方法具体包括以下步骤：

步骤5.1，转换RGB颜色空间图像格式为HSI颜色空间图像格式、从HSI颜色空间中提取I分量；

假设输入的夜间彩色图像由红、绿、蓝三个色调确定，从RGB空间转换到HIS空间，其中各分量如下：

θ＝COS^-1{1/2[(R-G)+(R-B)]}/[(R-G)²+(R-B)(G-G)]^1/2}

下式为饱和度分量S：

下式是亮度分量I：

其中H示色度，S表示饱和度，I表示亮度值，增强时，色度和饱和度保持不变，直接增强彩色图像的亮度分量，以确保没有颜色偏移，更能满足人眼的要求，注意：在本发明中假定RGB值归一化为[0,1]范围内，角度θ根据HSI空间的轴衡量，得到的分量可以除以360归化为[0.1]范围内，如果给出的RGB值在[0,1]区间内，则HSI其它两个分量S和I也会归一为[0,1]范围内。

步骤5.2，使用Retinex理论分解I分量为反色图像和亮度图像；

其中亮度图像L(x，y)在图像中表示低频分量，反色图像R(x，y)在图像中表示高频分量，在颜色恒定的条件下可通过改变亮度图像和反色图像在原图像中的比例来达到增强图像的目的，

步骤5.3，基于遗传优化算法对提取的亮度图像进行对比增强，使用夜间的反色图像，增强亮度图像及图像本身的颜色进行图像重构。

为了更好地保护好增强后图像细节，本发明使用遗传算法优化增强亮度图像，具体流程如下：

步骤5.3.1，对夜间图像增强问题描述，寻找颜色空间转换后的亮度与像素的各种对应关系，确立遗传算法中的染色体；

首先设置输入图像的亮度取值范围为[0，255]，其中最小亮度为L_MIN在增强的亮度帧中映射为0，最大亮度为L_MAX在增强的亮度帧中映射为255，从而得到亮度与像素的对应关系；

然后我们采用二进制编码对染色体进行编码，把每个基因的增加量设置为Δ_i-1，串长n＝(L_MAX-L_MIN+1)，L_OUTPUT可以通过如下表达式进行计算：

L_OUTPUT(i)＝L_OUTPUT(i-1)+Δ_i-11≤i≤n

根据以上分析，本发明提出增强图像亮度O_L(i)和输入图像亮度之间的对应关系：

步骤5.3.2，确定编码方式，将问题的解空间映射为个体基因串和遗传算法的搜索空间；

步骤5.3.3，初始化种群和规模，随机产生定数量的染色体，形成初始种群；

步骤5.3.4，搭建图像增强的参数模型，即使用图像增强的客观评价准则或者函数；

设L(x，y)表示坐标为(x，y)的原始图像亮度，L’(x，y)表示坐标为(x，y)的增强后的亮度，先进行归一化处理：

m(x，y)＝[L(x，y)-L_MIN]/[L_MAX-L_MIN]

然后定义非线性变换函数m′(x，y)：

m′(x，y)＝O_L[m(x，y)]

其中n＝M*N，M、N分别为增强图像的宽和高，染色体用i表示，函数值的大小表征了图像亮度分布的均匀程度，越大增效果越好。

最后将得到的亮度图像反归一化处理，则可得到输出的增强图像L’(x,y)，

步骤5.3.5，开始遗传操作，即对建立的图像增强模型进行选择、交叉、变异算子等产生新的解，进行不断的优化迭代；

遗传操作包括选择、交叉和变异3种基本算子。遗传算法的选择和交叉常用来确保收敛性，本发明使用联赛的选择方法，联赛的选择涉及到从独立的个体中选择几个个体之间联赛，每个联赛使用交叉选择，选择用于调整联赛值大小。如果联赛值越大，则弱的个体有很小的机会被选择；如果联赛值越小，则强的个体有很大的机会被选择。选择一对父代有更大值的可能产生有效的交叉。为了确保交叉算子在父代和子代直接搜索，本发明使用算术交叉方式对全局进行搜索，随机选择定义两个染色体之间的线性联合，如和表示产生两个子代，和表示父代的线性联合，即：

其中是从父代中产生的一个个体，是从子代中产生的一个个体，a是权重，如果个体的适应度大，那么是需要保留到下一代的个体，此时需要对这样的个体加入较大的权重。变异操作选择来确保高亮度的不同个体，首先应用到新的结构个体，每个随机的元素表示整数个体。在遗传操作中，如果变异概率增强，搜索解表不会陷入局部最小，但是可能破坏好个体。

步骤5.3.6，根据终止条件，重复进行步骤5.3.3和5.3.4，直到找到评价函数的最优解。

对于停止规则，停止的条件可以根据具体条件来选择，也可以以一定的代数而停止，本发明中采用常数15代内遗传算法停止为准则，设置初始的个体数目为100，下一代的个体存活率设为60％，变异率设为0.01％。

步骤6，利用行人检测模型对视频帧进行行人检测，获得行人位置坐标信息，实现行人跟踪。

如图3所示，为本发明的行人检测效果图，用矩形框框出检测到的行人，直观而清晰。进一步地，使用行人检测返回的行人位置坐标，计算行人位置与车头(为一确定坐标)垂直处所成偏移角；利用像素点来计算行人与驾驶车辆之间的距离。偏移角越接近0度，距离越近，行人危险系数越高。综合两者信息来完成对检测出的行人的预警工作。判断是否需要向报警显示单元发送报警信号，来提醒司机注意前方行人。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于一致化LBP的AdaBoost行人检测方法，其特征在于，包括以下步骤：

步骤1，建立样本集并进行降噪处理；

步骤2，建立一致化LBP模式，提取样本集的一致化LBP特征；

步骤3，将提取的一致化LBP特征输入到基于AdaBoost算法的加强分类器进行有监督训练，获得行人检测模型；

步骤4，提取测试视频中的视频帧，并进行降噪处理；

步骤5，对降噪处理后的视频帧进行图像增强处理，并提取视频帧的一致化LBP特征；

步骤6，利用行人检测模型对视频帧进行行人检测，获得行人位置坐标信息。

2.如权利要求1所述的一种基于一致化LBP的AdaBoost行人检测方法，其特征在于：所述步骤2中一致化LBP模式(Uniform LBP)具体的算法描述如下：

若U(LBP)≤2

其中，函数U的定义如下：

上式中，定义为T＝t(g_c，g₀，...，g_P-1)，式中，g_c代表局部区域中心像素点的灰度值，g_p(p＝0,1,…,P)代表对应于中心点周围等距R内分布的P个点的灰度值，

3.如权利要求1所述的一种基于一致化LBP的AdaBoost行人检测方法，其特征在于：步骤5中图像增强处理的具体实现方式如下，

步骤5.1，转换RGB颜色空间图像格式为HSI颜色空间图像格式，从HSI颜色空间中提取I分量；

步骤5.2，使用Retinex理论分解I分量为反色图像和亮度图像；

步骤5.3，基于遗传优化算法对提取的亮度图像进行对比增强，使用夜间的反色图像，增强亮度图像及图像本身的颜色进行图像重构。

4.如权利要求3所述的一种基于一致化LBP的AdaBoost行人检测方法，其特征在于：步骤5.1中转换RGB颜色空间图像格式为HSI颜色空间图像格式的具体实现方式如下，

假设输入的夜间彩色图像由红R、绿G、蓝B三个色调确定，从RGB空间转换到HIS空间，其中各分量如下：

θ＝COS^-1{1/2[(R-G)+(R-B)]}/[(R-G)2+(R-B)(G-B)]∧1/2}

下式为饱和度分量S：

下式是亮度分量I：

其中H示色度，S表示饱和度，I表示亮度值，θ表示角度。

5.如权利要求3所述的一种基于一致化LBP的AdaBoost行人检测方法，其特征在于：步骤5.3的具体实现方式如下，

步骤5.3.1，对夜间图像增强问题描述，寻找颜色空间转换后的亮度与像素的各种对应关系，确立遗传算法中的染色体；

首先设置输入图像的亮度取值范围为[0,255]，其中最小亮度为L_MIN在增强的亮度帧中映射为0，最大亮度为L_MAX在增强的亮度帧中映射为255，从而得到亮度与像素的对应关系；

然后采用二进制编码对染色体进行编码，把每个基因的增加量设置为Δ_i-1，串长n＝(L_MAX-L_MIN+1)，输入图像亮度L_OUTPUT通过如下表达式进行计算：

L_OUTPUT(i)＝L_OUTPUT(i-1)+Δ_i-11≤i≤n

根据以上分析，本发明提出增强图像亮度O_L(i)和输入图像亮度之间的对应关系：

步骤5.3.2，确定编码方式，将问题的解空间映射为个体基因串和遗传算法的搜索空间；

步骤5.3.3，初始化种群和规模，随机产生定数量的染色体，形成初始种群；

步骤5.3.4，搭建图像增强的参数模型，即使用图像增强的客观评价准则或者函数；

设L(x,y)表示坐标为(x,y)的原始图像亮度，L’(x,y)表示坐标为(x,y)的增强后的亮度，先进行归一化处理：

m(x，y)＝[L(x，y)-L_MIN]/[L_MAX-L_MIN]

然后定义非线性变换函数m′(x，y)：

m′(x，y)＝o_L[m(x，y)]

其中n＝M*N，M、N分别为增强图像的宽和高，染色体用i表示，函数值的大小表征了图像亮度分布的均匀程度，越大增效果越好；

最后将得到的亮度图像反归一化处理，则可得到输出的增强图像L’(x,y)，

步骤5.3.5，开始遗传操作，即对建立的图像增强模型进行选择、交叉、变异算子等产生新的解，进行不断的优化迭代；

使用联赛的选择方法，联赛的选择涉及到从独立的个体中选择几个个体之间联赛，每个联赛使用交叉选择，选择用于调整联赛值大小；如果联赛值越大，则弱的个体有很小的机会被选择；如果联赛值越小，则强的个体有很大的机会被选择。选择一对父代有更大值的可能产生有效的交叉；为了确保交叉算子在父代和子代直接搜索，本发明使用算术交叉方式对全局进行搜索，随机选择定义两个染色体之间的线性联合，如和表示产生两个子代，和表示父代的线性联合，即：

其中是从父代中产生的一个个体，是从子代中产生的一个个体，a是权重，如果个体的适应度大，那么是需要保留到下一代的个体，此时需要对这样的个体加入较大的权重；

步骤5.3.6，根据终止条件，重复进行步骤5.3.3和5.3.4，直到找到评价函数的最优解。