CN103198332B - 一种实时鲁棒的远红外车载行人检测方法 - Google Patents

Abstract

本发明公开一种实时鲁棒的远红外车载行人检测方法。该方法利用像素梯度的垂直投影捕捉输入图像中潜在的行人预选区域，采用局部阈值化方法和形态学后处理技术从行人预选区域中搜索感兴趣区域；提取多级熵加权梯度方向直方图特征描述感兴趣区域并输入支持向量机行人分类器进行在线感兴趣区域判断，通过多帧校验筛选行人分类器判断结果实现行人检测。根据样本高度分布划分训练样本空间，构建三分支结构的分类框架；结合自举法和提前终止法迭代收集困难样本和训练行人分类器。本发明不仅提高了行人检测的准确率，还能降低虚警率、改善输入图像处理速度和分类器泛化能力，提供了一种有效的夜间车载辅助行人预警方法。

Description

一种实时鲁棒的远红外车载行人检测方法

技术领域

本发明涉及计算机视觉与模式识别、智能交通系统(intelligent transportation systems, ITS)领域，具体为一种基于远红外视频的车载行人检测方法。

背景技术

汽车驾驶辅助系统中的车载行人检测是智能交通系统的一个重要组成部分，该研究主题直接来源于社会与市场需求，具有较好的应用前景和市场价值。因夜间所致机动车辆交通事故而造成的人员伤亡约为白天的3～4倍(C. Fors, S.-O. Lundkvist, Night-time trafficin urban areas: a literature review on road useraspects, Technical Report, VTI rapport 650A, 2009)。

公路运输在我国综合运输市场中发挥着举足轻重的作用，承担着90%以上的份额。随着汽车市场的快速发展和安防意识的日益强化，人们对汽车安全保障技术的需求越来越高。在雨夜、雪天或大雾等能见度较低的情况下，现有汽车照明系统视距不远、效果不佳的弊端已成为汽车行驶的安全隐患之一；减少道路交通事故和人员伤亡已成为全社会广为关注的问题。

探索车载夜间行人检测方法尤为迫切。目前，基于远红外探测器的车载夜间行人检测辅助系统已被少数发达国家应用于高档豪华轿车，在国内，已有相关的技术研究和少量应用，但是，不仅缺乏系统的基础性工作，而且多个技术挑战亟待解决。

红外行人检测方法主要包括感兴趣区域提取和行人识别两个部分。根据行人目标区域往往比背景亮度高的特点，提取红外图像的感兴趣区域通常首选阈值分割法。全局阈值分割法(如M. Bertozzi, A. Broggi, C.H. Gomez, R.I. Fedriga, G. Vezzoni, M. DelRose, Pedestrian detection in far infrared images based on the use of probabilistic templates, in: Proceedings of IEEE Intelligent Vehicles Symposium, 2007)计算简单，执行速度快，但未能较好处理不同图像帧的行人目标在外观表象上的差异，经常导致目标分割结果不完整。为此，出现了更为鲁棒的局部阈值分割法(如J.F. Ge, Y.P. Luo, G.M. Tei, Real-time pedestrian detection and tracking at nighttime for driver-assistance systems, IEEE Transactions on Intelligent Transportation Systems, 2009)，这类方法通过局部邻域像素的灰度统计分布规律确定每一个像素的划分阈值。受可见光图像中滑窗方法的启发，Sun(H. Sun, C. Wang, B.L. Wang, N.El-Sheimy, Pyramid binary pattern features for real-time pedestrian detection from infrared videos, Neurocomputing, 2011)针对基于红外视频的实时行人检测提出一种局部滑窗法，通过扫描图像中的关键点，在所有关键点邻域范围内利用滑窗法搜索行人候选区域。

然而，已有的感兴趣区域提取方法大多针对整个图像空间进行搜索，搜索空间较大造成计算开销较高，直接影响检测系统的实时性。即使利用了局部滑窗法，关键点的提取仍然依赖于对整幅输入图像进行扫描，获得关键点数量也较为可观，时间开销问题仍然未得到较好解决。

常用的行人识别方法主要分为模板匹配法和学习判别法。模板匹配法(如D. Olmeda, A. de la Escalera, J.M. Armingol, Detection and tracking of pedestrians in infrared images,in: Proceedings of International Conference on Signals, Circuits and Systems, 2009)通过归纳表征行人的外观模式、运动规律和特征的判断规则或描述性知识，构造相应的行人模板，进而采用这些模板对感兴趣区域进行匹配识别。学习判别法(如R. O'Malley, E. Jones, M. Glavin, Detection of pedestrians in far-infrared automotive night vision using region-growing and clothing distortion compensation, Infrared Physics & Technology, 2010)结合不同的行人描述特征和学习算法，对大量样本进行学习获得行人分类器，再利用行人分类器进行在线行人识别。

在模板匹配法中，由于行人外观模式和某些规律、特征的多变性和复杂性，对其进行归纳、描述的准确程度受到限制，很难设计鲁棒可行的行人模板库，且规模庞大的行人模板库将明显增加识别环节的计算开销，影响检测系统的实时性。所以一个时期以来，学习判别法较为流行，这类方法利用行人和背景在外观表象方面体现出来的统计规律，通过提取目标的抽象特征，离线训练行人分类器，从而对在线感兴趣区域进行判断。

在学习判别法中，行人目标的特征表示方法对行人识别效果有显著性影响。梯度方向直方图特征能够有效描述行人的局部边缘轮廓特性，能够在一定程度上保证行人检测的准确率，已成为目前行人检测的主流特征提取方法之一(D. Gerónimo, A.M. López, A.D. Sappa, T. Graf, Survey of pedestrian detection for advanced driver assistance systems, IEEE Transactions onPattern Analysis and Machine Intelligence, 2010)。然而，不同于可见光图像中的行人目标，远红外图像中的行人目标一般具有较为显著的边缘轮廓，但缺乏丰富的内部纹理信息；梯度方向直方图特征长于描述目标的局部形状特征，而不擅提取目标内部的纹理特征。传统的梯度方向直方图特征多半有效描述了红外行人目标的边缘轮廓区域；但是，尚未涉及深入针对红外图像的特性和梯度方向直方图特征不擅提取目标纹理信息的特性，进一步发掘强化梯度方向直方图特征对红外行人的表征能力的新方法。

支持向量机和各类boosting方法(D. Gerónimo, A.M. López,A.D. Sappa, T. Graf, Survey of pedestrian detectionfor advanced driver assistance systems, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010)是行人检测中经常使用的学习算法。但是，行人分类器的离线训练机制的研究(S. Walk, N. Majer, K. Schindler, B. Schiele, New features and insights for pedestrian detection, in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2010)目前尚未得到足够重视。研究表明，在初始训练样本集和判别规则已经确定的前提下，训练机制将影响行人分类器的泛化能力。尤其对于汽车驾驶辅助系统中行人检测这类开放性的目标检测问题，行人和背景模式都存在由大范围的外观/尺度变化等因素造成的差异性，仅通过简单方式获取训练样本集，而对样本集容量的选取、样本的代表性考虑尚缺乏充分的依据，分类器泛化能力明显受到影响。

综上所述，尽管目前的红外车载行人检测方法已经初有成效，但在检测准确率、检测效率和鲁棒性方面仍然迫切需要进一步改进。

发明内容

本发明的在于提供一种实时鲁棒的远红外车载行人检测方法，旨在促进解决已有的远红外行人检测方法的检测准确率不达标和/或不尽如人意、实时性需要提高、鲁棒性不强等问题，改善夜间车载行人检测系统的可用性。

一种实时鲁棒的远红外车载行人检测方法，其包括如下步骤：

(1)通过基于像素梯度垂直投影法捕捉输入图像序列中的行人预选区域；

(2)采用局部阈值化方法和形态学后处理技术从行人预选区域中提取感兴趣区域 (regions of interest, ROIs)；

(3)提取多级熵加权梯度方向直方图特征(pyramid entropy weighted histograms of oriented gradients, PEWHOG)描述感兴趣区域；

(4)利用支持向量机(support vector machine, SVM)算法离线训练行人分类器；

(5)利用行人分类器在线判断感兴趣区域，并通过多帧校验方法筛选行人分类器的判断结果，实现行人检测。

进一步的，步骤(1)所述行人预选区域通过以下方法获得：利用远红外图像中行人垂直边缘区域呈现像素灰度快速变化的特性，通过基于像素梯度的垂直投影捕捉输入图像中亮度发生突变的区域作为行人预选区域，改善提取感兴趣区域的实时性。

进一步的，步骤(2)所述局部阈值化方法是根据输入图像中每个像素水平邻域的像素灰度值的统计特性确定划分阈值，对输入图像进行二值化处理得到二值图像；步骤(2)所述形态学后处理技术具体是通过形态学腐蚀运算滤除二值图像中的噪声像素，并利用形态学膨胀运算填补弱连接区域(weakly connected regions)，再利用8-连通标记法提取所述二值图像中的所有连通区域作为感兴趣区域。

进一步的，步骤(4)所述离线训练行人分类器具体指：收集含有行人的图片样本和仅含有背景的图片样本构成训练样本空间，根据所述含有行人的图片样本的三个高度区间划分训练样本空间，构成三个互不相交的训练子集；所述高度是指含有行人的图片样本在垂直方向上包含的像素数；分别提取各个训练子集的多级熵加权梯度方向直方图特征，采用迭代收集困难样本的训练机制对各个训练子集进行学习；所述学习采用基于直方图交叉核 (histogram intersection kernel,HIK)的支持向量机学习算法，获得三分支结构的支持向量机行人分类器。

进一步的，通过手工裁剪和/或步骤(1)～步骤(2)所述的方法获取含有行人的图片样本和仅含有背景的图片样本，组成所述训练样本空间；所有图片样本的高度均大于或等于12个像素：高度大于或等于64个像素的归为近距离样本子集，并将近距离样本子集中的样本尺度调整为32像素×80像素；高度大于或等于32个像素且小于64个像素的归为中等距离样本子集，并将中距离样本子集中的样本尺度调整为24像素×64像素；其余归为远距离样本子集，并将远距离样本子集中的样本尺度调整为12像素×32像素；所述尺度调整均采用双线性插值法实现。

进一步的，在多种单元格(cell)粒度划分方式下提取熵加权梯度方向直方图特征(entropy weighted histograms of oriented gradients, EWHOG)，通过并接方式组成步骤(3)所述的多级熵加权梯度方向直方图特征；所述多种单元格(cell)粒度划分方式是指通过由粗到细的分级方式对图片样本进行单元格划分；步骤(3)所述多级熵加权梯度方向直方图特征用于显著表征远红外行人边缘轮廓的空间分布特性；所述熵加权梯度方向直方图特征是利用信息熵对经典梯度方向直方图特征 (histograms of oriented gradients, HOG)中不同块(block)提供的梯度方向直方图特征分量进行加权得到的特征。

进一步的，所述迭代收集困难样本的训练机制为：行人分类器的离线训练过程结合自举法(bootstrapping)和提前终止法(early-stoppingstrategy)，迭代收集困难样本并进行行人分类器训练，当行人分类器在验证集上的全局分类准确率的增量小于预定的阈值时停止迭代过程；所述迭代指反复收集困难样本和调整分类器的决策超平面，输出泛化能力较强的行人分类器；所述验证集为与训练集不相交的图片样本集和/或视频集；所述验证集与训练集均属于图片样本集；所述视频集是包含客观标准的视频集，且训练集不从这个视频集中获取。

进一步的，步骤(5)分两步实现行人检测，第一步是利用行人分类器在线判断感兴趣区域，第二步是通过多帧校验方法筛选行人分类器的判断结果；所述通过多帧校验方法筛选行人分类器的判断结果是指：对连续多帧图像中均出现的同一目标且被行人分类器连续判断为行人的结果给予保留，而对连续多帧图像中均出现的同一目标而未被行人分类器连续判断为行人的结果给予排除。

与现有远红外夜间车载行人检测技术相比，本发明具有如下优点和效果：本发明的步骤(1)和步骤(2)所述的方法既能够更准确地搜索感兴趣区域，又能明显提高感兴趣区域提取阶段的处理速度；步骤(3)所述的多级熵加权梯度方向直方图特征能够更为精细地描述远红外行人目标，明显提高远红外行人检测的准确率；行人分类器的离线迭代训练机制有利于收集难以通过手工方式获得的困难负样本，有效改善行人分类器的鲁棒性；且这种迭代训练机制适合但不限于远红外夜间车载行人检测分类器的训练过程。本发明行人分类器的训练过程在两个独立的远红外视频集上进行，分别用作产生困难样本的原始视频集和验证视频集，两个视频集中都包含经人工标记的客观标准(ground truth)。因此，该方法并非单纯依赖通过人工收集和/或随机筛选的正负图片样本集产生困难样本，由此可以避免人工收集和/或随机筛选的样本过于简单而无助于提高行人分类器的鲁棒性的问题。

本发明的另一个优势在于不仅能检测处于静止、行走或者跑步等运动方式下的直立行人，还适合检测骑自行车或摩托车的人体。

附图说明

图1为实施方式中远红外车载行人检测方法的原理流程实施例图。

图2为实施方式中提取多级熵加权梯度方向直方图特征过程中由粗到细进行多级单元格多粒度划分的实施例示意图。

图3为实施方式中基于熵加权梯度方向直方图特征EWHOG、多级熵加权梯度方向直方图特征PEWHOG，以及基于经典梯度方向直方图特征HOG的描述方法下行人分类器分类效果的接收器工作曲线(receiver operating characteristic, ROC)对比实施例图。

图4为实施方式中三分支结构支持向量机行人分类器的结构实施例图。

图5a为实施方式中迭代训练机制下迭代次数与系统性能之间的关系实施例图。

图5b为实施方式中迭代训练机制下迭代次数与总的误检次数之间的关系实施例图。

图6a为实施方式中一帧原始输入图像的实施例图。

图6b为实施方式中图6a所示输入图像的二值梯度图像的实施例图。

图6c为实施方式中所得梯度垂直投影曲线实施例图。

图6d为实施方式中所得行人预选区域实施例图。

图6e为实施方式中经局部阈值化方法和形态学后处理技术处理后的二值分割结果实施例图。

图6f为实施方式中感兴趣区域ROIs的提取结果实施例图。

具体实施方式

以下结合附图给出详细的实施例操作过程。附图所示实施例以本发明技术方案为前提，附图所述的实施例属于但不限于本发明保护范围。

本发明方法的整体流程如图1所示，本发明方法主体包括两部分：行人分类器的离线训练和行人的在线检测。

（1）行人分类器的离线训练

训练样本准备：所有训练样本均取自实拍的远红外视频，其中，为数约1/2的训练样本通过人工裁剪的方式从远红外视频中获得，其余训练样本通过本发明步骤(1)和步骤(2)所述的方法获得，所有训练样本均为图片样本，其中，正样本为包含行人的图片样本，具体为处于静止、行走或者跑步等运动状态的直立行人或骑自行车/摩托车的人体；负样本为仅包含背景的图片样本。

根据正样本高度区间将训练样本空间划分为三个互不相交的子空间(训练子集)，并分别采用双线性插值法对图片样本进行相应的尺度调整。所有训练样本高度均大于或等于12个像素，所述训练样本高度是指图片样本在垂直方向上包含的像素数。高度大于或等于64个像素的归为近距离训练样本子集，并将该子集中的样本尺度调整为32像素×80像素；高度大于或等32个像素且小于64个像素的归为中等距离训练样本子集，并将该子集中的样本尺度调整为24像素×64像素；其余归为远距离训练样本子集，并将该子集中的样本尺度调整为12像素×32像素。

（2）提取所有样本的多级熵加权梯度方向直方图特征

在计算经典的梯度方向直方图特征的基础上，利用熵(entropy)的概念对局部块(block)内像素梯度的分布特性进行描述，并以此作为权重对相应块(block)提供的梯度方向直方图特征分量进行加权。第k个块(block)提供的熵W_k为

$W_k=-\underset{m=1}{\overset{c\×r}{\mathrm{\Σ}}}{P}_m{\log }_2{P}_m---\left(1\right)$

$P_m=h_m/\underset{m=1}{\overset{c\×r}{\mathrm{\Σ}}}{h}_m---\left(2\right)$

其中，h_m为第k个块(block)内提取的梯度方向直方图特征分量在第m个维度上的特征值，c为该块(block)内包含的单元格(cell)数目，r为每个单元格(cell)中划分的梯度方向区间数(bins)，m为方向梯度直方图特征分量维度的序号(m=1,2, …, c×r)。熵W_k的计算需在局部梯度方向直方图特征分量归一化之前完成，而熵的加权计算则在局部梯度方向直方图特征分量归一化之后完成。梯度方向直方图特征计算步骤中的三线性插值可能避免产生稀疏特征向量，但是，这里仍规定，若P_m=0，有

P_mlog₂P_m=0(3)

梯度方向直方图特征能够表征目标的局部形状特性，但并不表征目标内部的纹理特征，故源自目标边缘轮廓区域的梯度方向直方图特征分量是最为有效的区分特征；而远红外行人通常具有较为显著的边缘轮廓，而缺乏丰富的纹理信息。为此，引入信息熵描述目标局部区域的梯度分布特性，即利用目标局部区域携带的信息熵加权从该区域提取的梯度方向直方图特征分量，组成熵加权梯度方向直方图特征EWHOG，以提高经典梯度方向直方图特征对远红外目标局部边缘形状的描述能力。同时在此基础上引入由粗到细分级的多单元格粒度划分方式，逐一提取多种单元格粒度划分方式下的熵加权梯度方向直方图特征，将不同单元格粒度划分下得到的熵加权梯度方向直方图特征通过并接的方式组成多级熵加权梯度方向直方图特征。

图2为本实施例中所采用的分级单元格多粒度划分方式示意图，图2(a)为原始行人图片样本示例，图2(b)～图2(d)为由粗到细的三级单元格多粒度划分方式实施例。

图3为利用多级熵加权梯度方向直方图特征在自行拍摄/整理的远红外行人数据库上采用操作者接受特性曲线进行分类效果验证评价的实施例图。

图3为本发明基于熵加权梯度方向直方图特征EWHOG、多级熵加权梯度方向直方图特征PEWHOG，以及基于经典梯度方向直方图特征HOG的描述方法下的接收器工作曲线(receiver operating characteristic,ROC)对比图；以作为对行人分类器的分类效果进行验证和评价的实施例；所述方法分别对自行采集的远红外行人数据进行描述和分类。

（3）训练行人分类器

分别从三个训练子集中提取样本的多级熵加权梯度方向直方图特征后，采用基于直方图交叉核的支持向量机学习算法分别训练三个子分类器。本发明行人分类器的训练过程结合了自举法(bootstrapping)和提前终止法的迭代训练机制，该机制适合收集困难样本，从而增强行人分类器的鲁棒性。

具体迭代过程即通过当前行人分类器在原始视频集中搜索被错分的样本，将其作为新增训练样本并再次训练行人分类器，从而调整支持向量机行人分类器的决策超平面；提前终止法旨为上述迭代过程提供终止判定条件，当所得行人分类器在验证集上的全局分类准确率的当前值增量小于预定阈值时终止迭代训练过程，并输出行人分类器。其中，验证集必须与训练样本集和/或原始视频互不相交；以此类推，得到三分支结构的支持向量机行人分类器。图4所示是三分支结构的支持向量机行人分类器的具体实施例。

图5为利用本发明提出的迭代收集困难样本的训练机制所得的训练效果实施例图，其中，图5a为实施方式中迭代训练机制下迭代次数与系统性能之间的关系实施例图；图5b为实施方式中迭代训练机制下迭代次数与总的误检次数之间的关系实施例图。

本实施例中采用自定义的加权准确率(weighted accuracy, WA)，加权准确率的计算公式如式(4)所示。

WA=ωT_p+(1-ω)T_n(4)

其中，T_p和T_n分别代表行人分类器在验证集上测试得到的检测率和虚警率(亦称误检率)，ω为权重系数，且0<ω<1，用于平衡T_p和T_n，图5所示的实施例中取ω=0.5。

值得注意的是，本发明在迭代收集困难样本的训练机制适合收集难以通过人工方式收集的困难负样本。而本发明行人分类器的训练过程是在两个独立的远红外视频集上进行的，这两个视频集分别用作产生困难样本的原始视频集和验证视频集，两个视频集中都包含经人工标记的客观标准(ground truth)。因此，该方法并非单纯依赖通过人工收集和/或随机筛选的正负图片样本集产生困难样本，由此可以避免人工收集和/或随机筛选的样本过于简单而无助于提高行人分类器的鲁棒性的问题。

梯度方向直方图特征本质上属于一类直方图特征，直方图交叉核可有效地反映两个d维直方图特征向量x和z之间的相似度，本发明采用直方图交叉核作为支持向量机的映射函数，其表达如式(5)所示。

$K(x,z)=\underset{i=1}{\overset{d}{\mathrm{\&Sigma;}}}\min (x\left(i\right),z\left(i\right))---\left(5\right)$

（4）行人的在线检测

（4.1）感兴趣区域的提取

读入远红外视频数据的一帧图像，利用本发明步骤(1)和步骤(2)所述的方法提取该图像中所有的感兴趣区域，具体实施流程如下：

1)对一帧输入图像，计算其梯度图像，本实施例中采用中心对称的一阶差分掩膜，如计算水平方向的梯度分量时所用的掩膜为[−1,0,1]。图6a为实施方式中一帧原始输入图像的实施例图。

2)为所得梯度图像设定一个像素梯度归类阈值T_g，在本实施例中取T_g=20，用于抑制输入图像中灰度平坦区域，得到一个二值梯度图像。图6b为实施方式中图6a所示输入图像的二值梯度图像的实施例图。

3)将所得二值梯度图像向垂直方向投影，得到梯度垂直投影曲线，图6c为实施方式中所得梯度垂直投影曲线实施例图。该曲线统计了所得二值梯度图像中垂直方向上每一列存在的像素数x_i, i=1,2,..,l，其中，l为输入图像的宽度，所述宽度是指输入图像在水平方向上包含的像素数，即为所得梯度垂直投影曲线拥有的列数。

4)为了适当抑制干扰边缘的影响，根据所得的梯度垂直投影曲线，检查该曲线上的每一列，剔除统计像素数目少于T_s的图像列, T_s通过式(6～7)获得，其中，λ为权系数，本实施例中取λ=1.1，图6(c)中所示的水平点划线即为所得的T_s。

$T_s=\mathrm{\&lambda;}\sqrt{\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{(x_i-{\mathrm{\&mu;}}_x)}^2}---\left(6\right)$

${\mathrm{\&mu;}}_x=\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{x}_i---\left(7\right)$

5)搜索梯度投影曲线中的各个波峰，所述波峰是指取值大于Ts的连续曲线段 (即所有波峰均位于如图6c所示的点划线上方)，记录所有波峰曲线的位置，提取其所对应的原始输入图像区域作为行人预选区域，图6d为实施方式中所得行人预选区域实施例图(也即图6d为图6a所示输入图像的行人预选区域)；特别指出，由于行人预选区域应满足一定宽度w的限制，因此本发明不考虑宽度小于w的波峰曲线。w由离线训练阶段正样本宽度的统计分布规律确定，所述宽度是指图片样本在水平方向上包含的像素数，本实施例中直接取训练样本中最小的正样本宽度作为w的取值。

6)在上一步获得的行人预选区域中，采用局部阈值化方法和形态学后处理技术提取感兴趣区域。本发明为行人预选区域中的每个像素I(i,j)分别计算两个分割阈值，即高阈值T_H和低阈值T_L，其值由该像素局部水平邻域的像素灰度统计特性获得，详见式(8～10)。

$T_L(i,j)=\underset{s=i-a}{\overset{i+a}{\mathrm{\&Sigma;}}}I(s,j)/(2a+1)---\left(8\right)$

T_H(i,j)=T_L(i,j)+λσ(i,j)(9)

$\mathrm{\&sigma;}(i,j)=\sqrt[4]{\frac{1}{2a+1}\underset{s=i-a}{\overset{i+a}{\mathrm{\&Sigma;}}}{[I(s,j)-T_L(i,j)]}^2}---\left(10\right)$

其中，a为该像素局部水平邻域的半宽度，I′(i,j)为对该像素的二值分割结果，通过式(11)获得。在所得二值图像上首先通过形态学腐蚀运算滤除部分噪声像素，继而利用形态学膨胀运算填补图像中的弱连接区域(weakly connected regions)，图6e为实施方式中经局部阈值化方法和形态学后处理技术处理后的二值分割结果实施例图。继而采用8-连通标记从所得分割结果图中提取连通区域，并选取满足一定宽高比分布规律且高度大于或等于12个像素的连通区域为感兴趣区域，本实施例由正样本集的宽高比分布情况确定。图6f为实施方式中感兴趣区域ROIs的提取结果实施例图。

（4.2）模式分类

基于所得感兴趣区域的高度，根据所述训练样本准备方法对所得感兴趣区域进行尺度调整，提取其多级熵加权梯度方向直方图特征，并输入由所得行人分类器进行判断。若判断结果为真，相应感兴趣区域的标记值L将自动增加1。

（4.3）多帧校验

在连续多帧图像中均出现的同一目标如果能够被行人分类器连续判断为真，则给予保留，而在连续多帧图像中均出现的同一目标如果未能够被行人分类器连续判断为真，则给予排除，通过上述多帧校验裁决行人分类器的判断结果以实现行人检测。实施例即：若某感兴趣区域对应的连续帧标记值L大于某预设值，例如：5，即表明行人分类器在连续5帧图像中对该感兴趣区域的判断结果具有一致性，则认为该感兴趣区域中确实存在行人，在当前帧输入图像的相应位置用矩形框标识出目标。

转向下一帧图像并重复上述处理流程，以此类推。

由于当今的交通工具和道路设施越来越发达，交通状况的复杂度也随之增大，而相对地，驾驶员的信息判断能力却越来越受到局限，尤其在视野受到较大限制的夜间，这样便造成了交通事故频发，驾驶员和行人的安全受到威胁的现状。本发明为车载驾驶辅助系统提供一种实时鲁棒的夜间行人检测方法，有助于在夜间或光照不足的场景中利用远红外探测器对行人进行检测，防患于未然，避免或减少夜间交通事故的发生，辅助保障行人和驾驶员的生命财产安全。

上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于这些内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型，本发明的保护范围由所附权利要求及其等同内容限定。

Claims (7)

1.一种实时鲁棒的远红外车载行人检测方法，其特征在于包括如下步骤：

(1)通过基于像素梯度垂直投影法捕捉输入图像序列中的行人预选区域；

(2)采用局部阈值化方法和形态学后处理技术从行人预选区域中提取感兴趣区域(regions of interest,ROIs)；

(3)提取多级熵加权梯度方向直方图特征(pyramid entropy weighted histograms of oriented gradients,PEWHOG)描述感兴趣区域；多种单元格(cell)粒度划分方式下提取熵加权梯度方向直方图特征(entropy weighted histograms of oriented gradients,EWHOG)，通过并接方式组成所述的多级熵加权梯度方向直方图特征；所述多种单元格(cell)粒度划分方式是指通过由粗到细的分级方式对图片样本进行单元格划分；所述多级熵加权梯度方向直方图特征用于显著表征远红外行人边缘轮廓的空间分布特性；所述熵加权梯度方向直方图特征是利用信息熵对经典梯度方向直方图特征(histograms of oriented gradients,HOG)中不同块(block)提供的梯度方向直方图特征分量进行加权得到的特征；在计算经典的梯度方向直方图特征的基础上，利用熵(entropy)的概念对局部块(block)内像素梯度的分布特性进行描述，并以此作为权重对相应块(block)提供的梯度方向直方图特征分量进行加权 ；第k个块(block)提供的熵W_k为

其中，h_m为第k个块(block)内提取的梯度方向直方图特征分量在第m个维度上的特征值，c为该块(block)内包含的单元格(cell)数目，r为每个单元格(cell)中划分的梯度方向区间数(bins)，m为方向梯度直方图特征分量维度的序号(m＝1,2,…,c×r);熵W_k的计算需在局部梯度方向直方图特征分量归一化之前完成，而熵的加权计算则在局部梯度方向直方图特征分量归一化之后完成;梯度方向直方图特征计算步骤中的三线性插值可能避免产生稀疏特征向量，但是，这里仍规定，若P_m＝0，有

P_mlog₂P_m＝0 (3)；

(4)利用支持向量机(support vector machine,SVM)算法离线训练行人分类器；

(5)利用行人分类器在线判断感兴趣区域，并通过多帧校验方法筛选行人分类器的判断结果，实现行人检测。

2.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步 骤(1)所述行人预选区域通过以下方法获得：利用远红外图像中行人垂直边缘区域呈现像素灰度快速变化的特性，通过基于像素梯度的垂直投影捕捉输入图像中亮度发生突变的区域作为行人预选区域，改善提取感兴趣区域的实时性。

3.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(2)所述局部阈值化方法是根据输入图像中每个像素水平邻域的像素灰度值的统计特性确定划分阈值，对输入图像进行二值化处理得到二值图像；步骤(2)所述形态学后处理技术具体是通过形态学腐蚀运算滤除二值图像中的噪声像素，并利用形态学膨胀运算填补弱连接区域(weakly connected regions)，再利用8-连通标记法提取所述二值图像中的所有连通区域作为感兴趣区域。

4.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(4)所述离线训练行人分类器具体指：收集含有行人的图片样本和仅含有背景的图片样本构成训练样本空间，根据所述含有行人的图片样本的三个高度区间划分训练样本空间，构成三个互不相交的训练子集；所述高度是指含有行人的图片样本在垂直方向上包含的像素数；分别提取各个训练子集的多级熵加权梯度方向直方图特征，采用迭代收集困难样本的训练机制对各个训练子集进行学习；所述学习采用基于直方图交叉核(histogram intersection kernel,HIK)的支持向量机学习算法，获得三分支结构支持向量机行人分类器。

5.根据权利要求4所述实时鲁棒的远红外车载行人检测方法，其特征在于通过手工裁剪和/或步骤(1)～步骤(2)所述的方法获取含有行人的图片样本和仅含有背景的图片样本，组成所述训练样本空间；所有图片样本的高度均大于或等于12个像素：高度大于或等于64个像素的归为近距离样本子集，并将近距离样本子集中的样本尺度调整为32像素×80像素；高度大于或等于32个像素且小于64个像素的归为中等距离样本子集，并将中距离样本子集中的样本尺度调整为24像素×64像素；其余归为远距离样本子集，并将远距离样本子集中的样本尺度调整为12像素×32像素；所述尺度调整均采用双线性插值法实现。

6.根据权利要求4所述实时鲁棒的远红外车载行人检测方法，其特征在于所述迭代收集困难样本的训练机制为：行人分类器的离线训练过程结合自举法(bootstrapping)和提前终止法(early-stopping strategy)，迭代收集困难样本并进行行人分类器训练，当行人分类器在验证集上的全局分类准确率的增量小于预定的阈 值时停止迭代过程；所述迭代指反复收集困难样本和调整分类器的决策超平面，输出泛化能力较强的行人分类器；所述验证集为与训练集不相交的图片样本集和/或视频集。

7.根据权利要求1所述实时鲁棒的远红外车载行人检测方法，其特征在于，步骤(5)分两步实现行人检测，第一步是利用行人分类器在线判断感兴趣区域，第二步是通过多帧校验方法筛选行人分类器的判断结果；所述通过多帧校验方法筛选行人分类器的判断结果是指：对连续多帧图像中均出现的同一目标且被行人分类器连续判断为行人的结果给予保留，而对连续多帧图像中均出现的同一目标而未被行人分类器连续判断为行人的结果给予排除。