CN104952060A - 一种红外行人感兴趣区域自适应分割提取方法 - Google Patents

Abstract

本发明公开了一种自适应红外行人感兴趣区域分割提取方法。现有的基于单目摄像头的全图滑窗穷搜索方法，存在搜索效率低导致检测系统无法达到实时的问题。本发明首先统计出N个红外图像直方图的第一个波谷均值T_o；其次计算自适应分割阈值θ；然后使用适应分割阈值θ对待分割图像进行二值化处理；对分割结果进行水平投影积分和垂直投影积分分析，滤除面积较小的热点干扰；根据满足的行人先验性知识进一步滤除面积较大的热干扰，将得到的结果记为R_Rule；对R_Rule的每个区域进行扩展和融合。本发明使用行人的长宽比、面积等先验性约束信息进行检查。本发明能极大减小滑窗搜索区域，大幅度减少搜索窗口数，提高目标检测的时间性能。

Description

一种红外行人感兴趣区域自适应分割提取方法

技术领域

本发明涉及一种基于车载红外图像的行人检测中的感兴趣区域(Region ofinterests，ROIs)提取方法，特别涉及一种红外行人感兴趣区域自适应分割提取方法。

背景技术

随着交通事业的高速发展，交通安全变得越来越重要。行人是交通的主要参与者，不仅最容易受到伤害，而且牵涉到行人的事故会造成比其他事故更大的损失。在车载辅助驾驶系统中，利用红外图像的夜间行人检测技术对夜间车辆前方出现的行人进行远距离提前监测预警，是避免因夜间视线不清发生行人碰撞事故发生的重要手段。而红外行人感兴趣区域提取是车载红外行人检测技术中的关键一环，是影响检测效率和实时性的重要因素。

针对可见光图像的ROIs提取，由于其具有丰富的纹理信息和高分辨率，目前已经出现很多优秀的ROIs提取算法。但是，在红外图像的ROIs提取方面，由于红外图像成像原理所限，成像分辨率较低，纹理信息远不如可见光丰富，针对可见光图像的很多好的ROIs提取方法不适用于红外图像分割提取。基于立体视觉的ROIs提取方法由于依赖于图像纹理信息，在红外图像中应用时无法取得理想的分割效果；在监控场景下常用的帧差法，由于车载摄像头的快速运动，也不适用于车载行人检测；基于光流分析的算法，由于运动估计运算量巨大，无法满足实时性要求；基于阈值分割的方法，目前几种经典的阈值分割算法如OTSU、Hou、Kittler和Kapur，仅以某种形式的方差或者熵作为分割准则，由于未考虑图像的特征，一般需要假设应用场景中的图像满足某种假设，在应用到车载红外场景时分割效果不甚理想。

因此，针对车载单目红外行人检测的ROI提取，本发明提出了一种基于行人热点假设和样本统计的红外行人自适应快速分割提取方法。首先对红外行人图像进行灰度值的统计分析，计算基于行人热点假设的调整函数的值；然后使用该函数对类间方差最大时得到的阈值进行修正，实现ROIs行人区域的准确分割；最后利用行人的形状尺度先验约束信息对其它热干扰区域进行滤除。

发明内容

本发明的目的是针对现有技术的不足，针对单目车载红外行人检测应用场景，提出了一种红外行人感兴趣区域自适应分割提取方法。

本发明解决其技术问题采用的技术方案如下：

一种红外行人感兴趣区域自适应分割提取方法，包括如下步骤：

步骤1、统计出N个红外图像直方图的第一个波谷均值T₀；

以灰度级为直方图横坐标，每个灰度级出现的次数作为直方图的纵坐标，统计出每个红外图像的灰度直方图，找到灰度直方图的第一个波谷的灰度值Trough_i，并对所有第一个波谷的灰度值取平均记为T₀；

$T_0=\frac{1}{N}\mathrm{\ΣTroug}{h}_i;$

步骤2、计算自适应分割阈值θ；

2-1通过第一个波谷均值T₀计算出加权函数

其中T₁为灰度值高于T₀的统计平均值，具体的：α为微调因子，0.9＜α＜1.1；

2-2扫描所有灰度级，求出满足类间方差最大化时的分割阈值θ_σ；

2-3计算出自适应分割阈值θ＝θ_σ+F_wtd；

步骤3、使用适应分割阈值θ对待分割图像进行二值化处理；

3-1扫描所有像素点，如果像素点的灰度级大于θ，则灰度级置为1，此时该像素点为前景目标疑似区域的像素点；如果像素点的灰度级小于等于θ，则灰度级置为0，此时该像素点为背景像素点，将此时的处理结果记为R_Segmentation；

步骤4、对R_Segmentation进行水平投影积分和垂直投影积分分析，滤除面积较小的热点干扰；

4-1以非零像素点的累加值作为直方图纵坐标值，像素坐标为直方图横坐标求水平投影积分和垂直投影积分的直方图，具体计算如下：

$H\left(i\right)={\mathrm{\Σ}}_{j=0}^{H-1}{R}_F(i,j),\∀i$ 和 $H\left(j\right)={\mathrm{\Σ}}_{i=0}^{w-1}{R}_F(i,j),\∀j;$

其中，(i)为水平投影积分直方图纵坐标值，H(j)为垂直投影积分直方图纵坐标值，R_F(i，j)是坐标为(i，j)的像素点的灰度值；

42以水平投影积分和垂直投影积分的直方图的纵坐标值进行过滤，去除面积非常小的零碎热点干扰，得到的结果记为R_Projection，具体过滤如下：

如果坐标为(i，j)的像素点的水平投影直方图纵坐标值H(i)＜β，或者垂直投影积分直方图纵坐标值H(j)＜β，则该像素点为热点干扰；其中β与提取目标的大小有关，一般取值范围是2-8；

步骤5、根据满足的行人先验性知识进一步滤除面积较大的热干扰，将得到的结果记为R_Rule；

对R_Projection中的高亮区域分别进行长宽比和面积大小的检查，滤除热点干扰包括车辆尾部、空调外机箱；如果某个区域的长宽比大于h或者小于w，则认为该区域为热干扰区域，有效滤除车辆尾部、空调外机箱的热点干扰，直接将该区域移除疑似区域，将最后得到的结果记为R_Rule；

所述的h和w与提取目标的形状相关，目标为行人时一般h取2，w取1；

步骤6、对R_Rule的每个区域进行扩展和融合；

每个区域向上下左右四个方向分别扩展e个像素，然后检查任意两个区域之间的距离如果距离小于等于m个像素，则直接合并，否则不作处理；最后将扩展和融合得到的区域记为R_Final，作为最终的行人疑似区域输出；(

所述的m与应用场景有关，一般取1-3；

所述的e与要求检测到的最小目标的像素高有关，一般取值为2-8。

本发明首先对红外行人图像样本库进行灰度值统计分析，求解一个基于行人热点假设的加权函数；然后使用该函数对最大化类间方差计算出的阈值进行修正，解决其无法分割出行人小目标的问题，实现对中远距离行人的准确分割；接着对分割结果进行垂直和水平投影积分得到积分直方图，使用行人的长宽比、面积等先验性约束信息进行筛选过滤，将零散热光源、汽车尾部、空调外机箱等热干扰源滤除；最后得到更为准确的行人ROIs区域，大幅度减小滑窗搜索区域和搜索窗口数，提高行人目标检测的时间性能。

本发明有益效果如下：

本发明不需要额外设备即可准确快速的提取到行人感兴趣区域，大幅度减少华创搜索区域和搜索窗口数，提高行人目标检测的时间性能；另外本发明针对车载红外应用场景，使用了基于红外行人图像样本的统计特性和行人形状尺度的先验性信息，对车载场景下的热干扰具有更好的自适应性。

附图说明

图1为本发明提取感兴趣区域过程的整体流程图。

具体实施方式

下面结合附图，以DPM(Deformable Parts Model)+LatentSVM(LatentSurpport Vector Machine)的行人检测算法，城市道路红外车载场景为例，对本发明的具体实施方案作进一步详细描述。其具体步骤流程如图1所示：

选择N张(N与所选样本的代表性有关，一般需要200张以上)车载城市道路场景中的红外样本图片。要求这些样本包含各种热干扰以及不同距离行人，具体为：这些红外图片不仅包含10-60米等不同距离的行人，还包括各种热干扰，如空调外机箱、热光源、汽车尾部以及白天吸收阳光温度后温度升高的物体等。

步骤1：统计出N个红外图像直方图的第一个波谷均值T₀。

以灰度级为直方图横坐标，每个灰度级出现的次数作为直方图的纵坐标，统计出每个红外图像的灰度直方图(满足双峰或多峰特性)，找到灰度直方图的第一个波谷的灰度值Trough_i，并对所有第一个波谷的灰度值取平均记为T₀。

$T_0=\frac{1}{N}\mathrm{\ΣTroug}{h}_i.$

步骤2：计算自适应分割阈值θ。

2-1通过第一个波谷均值T₀计算出加权函数

其中T₁为灰度值高于T₀的统计平均值，具体的：α为微调因子，0.9＜α＜1.1；

2-2扫描所有灰度级，求出满足类间方差最大化时的分割阈值θ_σ；

2-3计算出自适应分割阈值θ＝θ_σ+F_wtd。

所述的分割阈值θ_σ求解具体如下：记待分割图像(大小记为W*H)各灰度级出现的次数和概率分别记为N_i、P_i，则灰度级θ_i可以将图像像素分为C₀＝[0，θ_i]和C₀＝[θ_i，255]两类，则两类的概率分别为和ω₁＝1-ω₀，两类的平均灰度分别为 ${\mathrm{\μ}}_0={\mathrm{\Σ}}_{i=0}^{\mathrm{\θ}}\frac{i\×P_i}{{\mathrm{\ω}}_0}=\frac{{\mathrm{\μ}}_{\mathrm{\θ}}}{{\mathrm{\ω}}_0}$ 和 ${\mathrm{\μ}}_1=\frac{\mathrm{\μ}-{\mathrm{\μ}}_{\mathrm{\θ}}}{1-{\mathrm{\ω}}_0},$ 其中 $\mathrm{\μ}={\mathrm{\Σ}}_{i=0}^{255}i\×P_i,$ 使用准则函数F_σ(θ)＝ω₀ω₁(μ₀-μ₁)²，扫描所有灰度级[0，1，2…255]，找到使F_σ(θ)达到最大值的灰度级即为θ_σ。

步骤3：使用适应分割阈值θ对待分割图像进行二值化处理。

3-1扫描所有像素点，如果像素点的灰度级大于θ，则灰度级置为1，此时该像素点为前景目标疑似区域的像素点；如果像素点的灰度级小于等于θ，则灰度级置为0，此时该像素点为背景像素点，将此时的处理结果记为R_Segmentation。

此时，R_Segmentation温度高的区域得到了高亮突出，方便后续的处理，且这些区域不仅包含行人还可能包含一些温度较高的热干扰。

步骤4：对R_Segmentation进行水平投影积分和垂直投影积分分析，滤除面积较小的热点干扰。

4-1以非零像素点的累加值作为直方图纵坐标值，像素坐标为直方图横坐标求水平投影积分和垂直投影积分的直方图，具体计算如下：

$H\left(i\right)={\mathrm{\Σ}}_{j=0}^{H-1}{R}_F(i,j),\∀i$ 和 $H\left(j\right)={\mathrm{\Σ}}_{i=0}^{w-1}{R}_F(i,j),\∀j;$

其中，(i)为水平投影积分直方图纵坐标值，H(j)为垂直投影积分直方图纵坐标值，R_F(i，j)是坐标为(i，j)的像素点的灰度值；

4-2再以水平投影积分和垂直投影积分的直方图的纵坐标值进行过滤，去除面积非常小的零碎热点干扰，得到的结果记为R_Projection，具体过滤如下：

如果坐标为(i，j)的像素点的水平投影直方图纵坐标值H(i)＜β，或者垂直投影积分直方图纵坐标值H(j)＜β，则该像素点为热点干扰。其中β与提取目标的大小有关，一般取值范围是2-8。

步骤5：根据满足的行人先验性知识滤除面积较大的热干扰，将得到的结果记为R_Rule。

所述的行人先验知识包括高比宽范围、宽比高范围、面积值范围等。

对R_Projection中的高亮区域分别进行长宽比和面积大小的检查，滤除前方车辆尾部、空调外机箱等大热点干扰。如果某个区域的长宽比大于h或者小于w(h和w与提取目标的形状相关，目标为行人时一般h取2，w取1)，则认为该区域为热干扰区域，有效滤除前方车辆尾部、空调外机箱等大热点干扰，直接将该区域移除疑似区域，将最后得到的结果记为R_Rule。

步骤6：对R_Rule的每个区域进行扩展和融合。

每个区域向上下左右四个方向分别扩展e个像素(e与要求检测到的最小目标的像素高有关，一般取值为2-8)，然后检查任意两个区域之间的距离(如果有重叠认为距离为0)，如果距离小于等于m个像素(m与应用场景有关，一般取1-3)则直接合并，否则不作处理；将扩展和融合得到的区域记为R_Final，作为最终的行人疑似区域输出。

步骤7：对R_Final中的每个疑似区域进行缩放。如果某个区域长或者宽小于检测窗的长宽，直接缩放至W×(H+)或者(W+)×H；如果某个区域长宽均大于检测窗的长宽，则以σ(σ为大于1的数，综合考虑检测精度与速度一般取值1.05)进行缩放构建金字塔，直至长等于H或者宽等于W停止，将得到的结果记为R_Pyramid。

步骤8：将R_Pyramid送给主体检测算法DPM+LatentSVM进行滑窗检测。使用大小为W×H的检测窗，按照以左至右从上自下移动步长s像素(s为单元块的整数倍，一般取8或者16)的方式进行滑窗检测。如果检测窗被判断为行人，则将该检测窗左上角的坐标点和所在层的缩放因子记录到V_Result；否则不作处理。

步骤9：对V_Result保存的结果进行融合输出，标定出行人准确位置。按照V_Result保存的每个检测窗的位置和缩放因子将其还原到原图中，如果两个检测窗的重叠面积大于50％，保留置信度(DPM+LatentSVM返回的值)较高的检测窗，最终得到的检测窗即为行人的准确位置。

Claims (1)

1.一种红外行人感兴趣区域自适应分割提取方法，其特征在于包括如下步骤：

步骤1、统计出N个红外图像直方图的第一个波谷均值T₀；

以灰度级为直方图横坐标，每个灰度级出现的次数作为直方图的纵坐标，统计出每个红外图像的灰度直方图，找到灰度直方图的第一个波谷的灰度值Trough_i，并对所有第一个波谷的灰度值取平均记为T₀；

$T_0=\frac{1}{N}\mathrm{\Σ}{\mathrm{Trough}}_i;$

步骤2、计算自适应分割阈值θ；

2-1通过第一个波谷均值T₀计算出加权函数F_wtd＝α(T₁-T₀)；

其中T₁为灰度值高于T₀的统计平均值，具体的：α为微调因子，0.9＜α＜1.1；

2-2扫描所有灰度级，求出满足类间方差最大化时的分割阈值θ_σ；

2-3计算出自适应分割阈值θ＝θ_σ+F_wtd；

步骤3、使用适应分割阈值θ对待分割图像进行二值化处理；

3-1扫描所有像素点，如果像素点的灰度级大于θ，则灰度级置为1，此时该像素点为前景目标疑似区域的像素点；如果像素点的灰度级小于等于θ，则灰度级置为0，此时该像素点为背景像素点，将此时的处理结果记为R_Segmentation；

步骤4、对R_Segmentation进行水平投影积分和垂直投影积分分析，滤除面积较小的热点干扰；

4-1以非零像素点的累加值作为直方图纵坐标值，像素坐标为直方图横坐标求水平投影积分和垂直投影积分的直方图，具体计算如下：

$H\left(i\right)={\mathrm{\Σ}}_{j=0}^{H-1}{R}_F(i,j),\∀i$ 和 $H\left(j\right)={\mathrm{\Σ}}_{i=0}^{w-1}{R}_F(i,j),\∀j;$

其中，(i)为水平投影积分直方图纵坐标值，H(j)为垂直投影积分直方图纵坐标值，R_F(i,j)是坐标为(i,j)的像素点的灰度值；

4-2再以水平投影积分和垂直投影积分的直方图的纵坐标值进行过滤，去除面积非常小的零碎热点干扰，得到的结果记为R_Projection，具体过滤如下：

如果坐标为(i,j)的像素点的水平投影直方图纵坐标值H(i)＜β，或者垂直投影积分直方图纵坐标值H(j)＜β，则该像素点为热点干扰；其中β与提取目标的大小有关，一般取值范围是2-8；

步骤5、根据满足的行人先验性知识进一步滤除面积较大的热干扰，将得到的结果记为R_Rule；

对R_Projection中的高亮区域分别进行长宽比和面积大小的检查，滤除热点干扰包括车辆尾部、空调外机箱；如果某个区域的长宽比大于h或者小于w，则认为该区域为热干扰区域，有效滤除车辆尾部、空调外机箱的热点干扰，直接将该区域移除疑似区域，将最后得到的结果记为R_Rule；

所述的h和w与提取目标的形状相关，目标为行人时一般h取2，w取1；

步骤6、对R_Rule的每个区域进行扩展和融合；

每个区域向上下左右四个方向分别扩展e个像素，然后检查任意两个区域之间的距离如果距离小于等于m个像素，则直接合并，否则不作处理；最后将扩展和融合得到的区域记为R_Final，作为最终的行人疑似区域输出；

所述的m与应用场景有关，一般取1-3；

所述的e与要求检测到的最小目标的像素高有关，一般取值为2-8。