CN103902976A - 一种基于红外图像的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于红外图像的行人检测方法。建立红外图像的行人和非行人标准数据集；提取样本图像梯度方向直方图特征（HOG）；提取样本图像强度直方图特征（HOI）；设计行人分类特征-梯度方向和强度直方图特征（HOGI）；提取样本图像HOGI特征并训练行人分类器；基于多尺度滑动窗口法对红外图像进行搜索检测；融合多窗口分类结果确定行人位置。本发明在研究目前常用的行人检测特征的基础上，提出了专门针对于红外图像的行人检测特征。结合HOG以及HOI特征各自的优点，通过支持向量机（SVM）的帮助，得到了适合红外图像行人检测的HOGI特征。实现夜间环境的行人检测，具有检测率高，误检率低，环境适应性好等特点。

Description

一种基于红外图像的行人检测方法

技术领域

本发明涉及行人检测方法，尤其涉及基于红外图像的行人检测方法。

背景技术

行人检测技术是计算机视觉的一个重要应用，在日常的生活和生产中具有很高的实用价值。行人检测的目的就是把图像或视频序列中出现的行人从背景中分割出来并精确定位。汽车安全技术的进步可以提高车辆驾驶的安全性，从而减少交通事故的发生，减轻医疗系统的负担。而行人检测系统是智能辅助驾驶系统、无人驾驶汽车等汽车安全技术的核心技术之一。此外，随着智能视频监控等技术的发展，行人检测（尤其是夜晚环境）也成为其中必不可少的功能之一。

目前夜间的行人检测技术主要采用的是可见光图像、激光雷达、红外图像等技术。在夜间，由于光照等条件不理想，可见光相机等探测器的成像与环境监测效果较差。而激光雷达是无人自主车上用于道路扫描、障碍物检测等的重要工具。激光雷达依据测距原理来测量前方障碍物的距离，拥有测速快、精度高、不易受干扰、不受光照等因素的影响等优点，可以全天候工作，因此也可用于行人检测。然而行人相比于车辆等物体，尺度较小，在激光雷达获得的点云数据中，随着行人与雷达的距离变大，行人的点云数据变得更少、更稀疏，使得远距离的行人检测非常困难。而红外探测器具备出众的夜视能力，对不同环境都有较强的适应能力。影响红外图像中物体亮度的主要因素是温度和热辐射，通常情况下，行人要比道路、树木等背景对象辐射出更多的热量，所以一般情况下行人比背景更亮，因此，在红外图像的行人检测（特别是在夜间）具有很大的潜力。

发明内容

为克服在夜间等光照不理想环境下，自动行人检测困难、检测率低、误检率高等缺点，本发明的目的在于提供了一种基于红外图像的行人检测方法，在研究目前常用的行人检测特征的基础上，提出了专门针对于红外图像的行人检测特征。结合HOG以及强度直方图（HOI）特征各自的优点，通过支持向量机（SVM）的帮助，得到了一种新的适合红外图像行人检测的特征——梯度方向和强度直方图混合特征（HOGI）。有效地实现了夜间环境的行人检测，具有检测率高，误检率低，环境适应性好等特点。

本发明的目的是通过以下技术方案来实现的：

该方法包括以下步骤：

(1)建立红外图像的行人和非行人标准数据集；

(2)提取样本图像梯度方向直方图特征，标记为HOG；

(3)提取样本图像强度直方图特征，标记为HOI；

(4)设计行人分类特征-梯度方向和强度直方图特征，标记为HOGI；

(5)提取样本图像HOGI特征并训练行人分类器；

(6)基于多尺度滑动窗口法对红外图像进行搜索检测；

(7)融合多窗口分类结果确定行人位置。

所述步骤(1)建立红外图像的行人和非行人标准数据集的步骤如下：

利用红外相机采集各种不同场景下的红外图像，然后从采集到的红外图像中提取行人样本和非行人样本；标注行人样本时采用包含行人的最小矩形窗口，由于行人一般站在地面上，而地面的特征通常相对稳定，所以标注的训练样本最好对该窗口进行扩充，尤其是向下延伸，要保持行人的宽高比。

所述步骤(2)提取样本图像梯度方向直方图特征的步骤如下：

采用梯度算子Δx和Δy对原图像做卷积运算得到每个像素的水平和垂直方向的梯度分量G_x(i,j)、G_y(i,j)；

$\mathrm{\Δx}=\left[\begin{array}{ccc}-1& 0& 1\end{array}\right],\mathrm{\Δy}=\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]---\left(1\right)$

然后获得像素点(i,j)的梯度大小G(i,j)和方向D(i,j)如下：

$G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}---\left(2\right)$

$D(i,j)=\arctan \left(\frac{G_y(i,j)}{G_x(i,j)}\right)---\left(3\right)$

之后将图像分成若干个单元，将每个单元的梯度方向分成若干个区间，将单元内每个像素的梯度方向映射到固定方向区间，就可以得到这个单元的特征编码——梯度方向直方图，并且用梯度幅值作为权值，对梯度方向进行加权，从而更突出人体的边缘轮廓特征；

权值 $W(i,j)=\frac{G(i,j)}{\max \left(G\right)}---\left(4\right)$

梯度方向直方图: $H\left(k\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\δ}[D(i,j)-k]\×W(i,j)---\left(5\right)$

用若干个单元组成空间上连通的块，块与块之间是互有重叠，然后将每个块的特征向量进行归一化；

最后收集检测窗口中所有重叠块的特征向量，并将它们结合成最终用于分类的描述物体边缘轮廓特性的梯度方向直方图特征，标记为HOG。

所述步骤(3)提取样本图像强度直方图特征的步骤如下：

将图像分成若干个大的块，每个块划分成多个单元，这里的块与单元结构与HOG的相同，将强度值分成若干个区间，为每个单元构建强度直方图；用若干个单元组成空间上连通的块，块与块之间是互有重叠，然后将每个块的特征向量进行归一化；最后将各个块的特征向量组合起来就构成了描述物体亮度信息的强度直方图特征，标记为HOI。

所述步骤(4)设计行人分类特征-梯度方向和强度直方图特征的步骤如下：

将HOG和HOI特征向量串联起来输入到同一支持向量机中训练，支持向量机也成为SVM，通过训练后获得的模型中包含参数w，即SVM权值；每一维特征向量都有其对应的w值，w表示每一维特征向量对分类的贡献权值，w正值越大，代表该w对应的那一维特征越能表征行人的特点；训练后获得了HOG和HOI每一维特征向量的w值；每一个块内有多维向量，分析时分别统计HOG和HOI特征每一个块内的最大正w权值P_HOG、P_HOI；通过比较来决定每个块是计算HOG还是HOI，通过选择权值更大的来决定；

$\left\{\begin{array}{cc}\mathrm{HOG},& \mathrm{ifP}\_\mathrm{HOG}\&GreaterEqual;P\_\mathrm{HOI}\\ \mathrm{HOI},& \mathrm{ifP}\_\mathrm{HOG}<P\_\mathrm{HOI}\end{array}\right.---\left(6\right)$

从而融合HOG和HOI特征，得到一种针对于红外图像的行人检测新特征——梯度方向和强度直方图混合特征，标记为HOGI。

所述步骤(5)提取样本图像HOGI特征并训练行人分类器的步骤如下：

先将红外图像的行人和非行人样本统一缩放到同一尺度，如64*128，再提取行人样本的HOGI特征向量，标注分类标签为+1；提取非行人样本的HOGI特征向量，标注分类标签为0；然后将行人样本的HOGI特征向量、分类标签以及非行人样本的HOGI特征向量、分类标签统一输入到SVM中训练，通过SVM的学习训练获得行人分类器。

所述步骤(6)基于多尺度滑动窗口法对红外图像进行搜索检测的步骤如下：

根据行人在图像中的尺度范围来确定图像缩放的尺度空间，假设图像的分辨率为W_i×H_i，W_i代表图像宽度，H_i代表图像高度，S_r表示缩放比例，检测窗口的大小为W_n×H_n，其中W_n表示检测窗口的宽度，H_n表示检测窗口的高度，初始尺度为S_s＝1，终止缩放尺度为S_e＝min(W_i/W_n,H_i/H_n)，窗口滑动步长为N_s以及平滑参数σ_x,σ_y,σ_s；对每一个尺度的图像选取一个固定大小的窗口依次滑动窗口，对每个窗口提取HOGI特征，利用事先训练好的行人分类器来判断窗口内是否有行人，通过滑动窗口来遍历图像，将检测结果为行人的窗口存入链表中。

所述步骤(7)融合多窗口分类结果确定行人位置的步骤如下：

对图像进行多尺度滑动窗口检测后，图像中的同一个行人可能出现在不同尺度上不同的检测窗口中，为了使系统最终输出为一个行人对应唯一的窗口，采用非极大值抑制的方法将上述链表中的多个中间检测结果融合在一起；假设第i个检测结果中心点的位置和尺度分别表示为X_i＝[x_i,y_i]，S_i'；检测结果响应的强度用w_i表示，w_i＞0；由位置和尺度构成的三维空间中的点表示为Y＝[x,y,s]，其中s＝log(s')；然后根据公式diag[H_i]＝[(exp(s_i)σ_x)²,(exp(s_i)σ_y)²,σ_s ²]计算三维空间中每一个点Y_i对应的协方差矩阵H_i，为每一个点Y_i用式

迭代计算直到收敛，收敛后的点为最终的融合后的点，其中

满足最后对应每个融合后的点在原始图像中标出行人的位置。

本发明具有的有益效果是：

本发明基于红外图像实现了行人检测的目的，而且利用机器学习的方法专门针对红外图像设计了行人检测特征——HOGI。HOGI特征的创建思想是一种新的特征融合方式，在不增加特征维数和计算量的情况下通过机器学习的方法来智能的融合多种特征，而不是简单的特征串联到一起。HOGI特征在降低计算复杂度的情况下提高了检测率。与HOG相比，HOGI在同等误检率下漏报率平均降低了50%，计算效率平均提高40%。

附图说明

图1是本发明的总流程图。

图2是本发明实施例中HOG特征的正w权值分布图。

图3是本发明实施例中HOI特征的正w权值分布图。

图4是本发明实施例中HOGI特征的分类模板图。

图5是本发明实施例中HOGI特征的正w权值分布图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，本发明的具体实施步骤如下：

1、建立红外图像的行人和非行人标准数据集

采用红外相机对不同场景下的红外图像，采集的场景包括：校园林荫道路环境、草坪环境、校园门口、操场、交通路口等各种场景，采集图片超过10000张。然后采用最小矩形窗口提取红外图像中的行人样本和非行人样本，其中提取行人样本时让矩形窗口适当的向下延伸包含部分地面。提取行人样本6000多张，非行人样本5000多张，并统一将样本缩放到64×128的尺寸。

2、提取样本图像梯度方向直方图特征（HOG）

采用梯度算子Δx和Δy对原图像做卷积运算得到每个像素的水平和垂直方向的梯度分量G_x(i,j)、G_y(i,j)。

将64×128大小的样本图像分成若干个单元（cell），每个cell为8×8个像素。再将每个cell的梯度方向分成9个区间（bin）。这样，将cell内每个像素的梯度方向映射到固定方向区间（bin），就可以得到这个cell的特征编码——梯度方向直方图。并用梯度幅值作为权值，对梯度方向进行加权，这样每个单元内就得到了一个9维的特征向量。

每相邻的4个单元组成一个块，用块对样本图像进行扫描，扫描步长为一个单元，对每个块内的特征进行归一化，最后将所有块的特征串联起来，就得到了HOG特征。

3、提取样本图像强度直方图特征（HOI）

将64×128大小的样本图像分成若干个单元（cell），每个cell为8×8个像素。再将cell的强度范围[0,255]分成9个强度区间。在每个单元里面对所有像素的强度值在各个强度区间进行直方图统计，得到一个9维的特征向量。每相邻的4个单元组成一个块，用块对样本图像进行扫描，扫描步长为一个单元，对每个块内的特征进行归一化，最后将所有块的特征串联起来，就得到了HOI特征。

4、设计行人分类特征模板

将HOG+HOI的串联复合特征输入到SVM中进行训练，SVM采用线性核函数。线性SVM是通过线性判别函数wx+b＝0来进行分类的。通过训练后获得的模型中包含参数w和b。每一维特征向量都有其对应的w值（SVM权值），w表示每一维特征向量对分类的贡献权值，w正值越大，代表该w对应的那一维特征越能表征行人的特点。

训练后获得了HOG和HOI每一维特征向量的w值。每一个block内有多维向量，分析时分别统计HOG和HOI特征每一个block内的最大正w权值P_HOG、P_HOI，用该SVM权值的分布情况来表征每一个block的分类特性。如采用8×8像素组成一个cell，2×2个cell组成一个block，分别统计出图像中每一个block内HOG特征的最大正w值和HOI特征的最大正w值。从而得到HOG和HOI的正权值分布图，如图2、图3所示。

根据权值分布的情况，比较HOG和HOI在相同位置的block的正w值的大小，通过比较来决定在HOGI中每个block是计算HOG还是HOI（选择权值更大的），如式2-11。

$\left\{\begin{array}{cc}\mathrm{HOG},& (\mathrm{ifP}\_\mathrm{HOG}\&GreaterEqual;P\_\mathrm{HOI})\\ \mathrm{HOI},& (\mathrm{ifP}\_\mathrm{HOG}<P\_\mathrm{HOI})\end{array}\right.---(2-11)$

这样就获得了一种嵌套着HOG和HOI两种block的新特征HOGI，图4的分类模板表示图中各个位置的块是计算HOG还是HOI，其中黑色块代表计算HOI，白色块代表计算HOG。图5是根据上述方法得到的HOGI特征的正w值分布图。

5、提取样本图像HOGI特征并训练行人分类器

将红外图像的行人和非行人样本统一缩放到同一尺度，如64*128，再提取行人样本的HOGI特征向量，特征维数为3780维，标注分类标签为+1；提取非行人样本的HOGI特征向量，特征维数为3780维，标注分类标签为0。然后将行人样本的HOGI特征向量、分类标签以及非行人样本的HOGI特征向量、分类标签统一输入到支持向量机（SVM）中训练，通过SVM的学习训练获得行人分类器。

6、基于多尺度滑动窗口法对红外图像进行搜索检测

图像的分辨率为720*480，缩放比例1.1，检测窗口的大小为64*128，初始尺度为S_s＝1，终止缩放尺度为S_e＝min(W_i/W_n,H_i/H_n)=3.75，窗口滑动步长为N_s=8以。对每一个尺度的图像选取一个固定大小的窗口依次滑动窗口，对每个窗口提取HOGI特征，利用事先训练好的行人分类器来判断窗口内是否有行人，通过滑动窗口来遍历图像，将检测结果为行人的窗口存入链表中。

7、融合多窗口分类结果确定行人位置

通过对图像进行多尺度滑动窗口检测后，图像中的同一个行人可能出现在不同尺度上不同的检测窗口中，为了使系统最终输出为一个行人对应唯一的窗口，采用非极大值抑制的方法将上述链表中的多个中间检测结果融合在一起。假设第i个检测结果中心点的位置和尺度分别表示为X_i＝[x_i,y_i]，S_i'。检测结果响应的强度(confidence)用w_i表示，w_i＞0；由位置和尺度构成的三维空间中的点表示为Y＝[x,y,s]，其中s＝log(s')。然后根据公式diag[H_i]＝[(exp(s_i)σ_x)²,(exp(s_i)σ_y)²,σ_s ²]计算三维空间中每一个点Y_i对应的协方差矩阵H_i，为每一个点Y_i用式

迭代计算直到收敛，收敛后的点为最终的融合后的点，其中

满足

最后对应每个融合后的点在原始图像中标出行人的位置。

Claims (8)

1.一种基于红外图像的行人检测方法，其特征在于，该方法包括以下步骤：

(1)建立红外图像的行人和非行人标准数据集；

(2)提取样本图像梯度方向直方图特征，标记为HOG；

(3)提取样本图像强度直方图特征，标记为HOI；

(4)设计行人分类特征-梯度方向和强度直方图特征，标记为HOGI；

(5)提取样本图像HOGI特征并训练行人分类器；

(6)基于多尺度滑动窗口法对红外图像进行搜索检测；

(7)融合多窗口分类结果确定行人位置。

2.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(1)建立红外图像的行人和非行人标准数据集的步骤如下：

利用红外相机采集各种不同场景下的红外图像，然后从采集到的红外图像中提取行人样本和非行人样本；标注行人样本时采用包含行人的最小矩形窗口，由于行人一般站在地面上，而地面的特征通常相对稳定，所以标注的训练样本最好对该窗口进行扩充，尤其是向下延伸，要保持行人的宽高比。

3.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(2)提取样本图像梯度方向直方图特征的步骤如下：

采用梯度算子Δx和Δy对原图像做卷积运算得到每个像素的水平和垂直方向的梯度分量G_x(i,j)、G_y(i,j)；

$\mathrm{\&Delta;x}=\left[\begin{array}{ccc}-1& 0& 1\end{array}\right],\mathrm{\&Delta;y}=\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right]---\left(1\right)$

然后获得像素点(i,j)的梯度大小G(i,j)和方向D(i,j)如下：

$G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}---\left(2\right)$

$D(i,j)=\arctan \left(\frac{G_y(i,j)}{G_x(i,j)}\right)---\left(3\right)$

之后将图像分成若干个单元，将每个单元的梯度方向分成若干个区间，将单元内每个像素的梯度方向映射到固定方向区间，就可以得到这个单元的特征编码——梯度方向直方图，并且用梯度幅值作为权值，对梯度方向进行加权，从而更突出人体的边缘轮廓特征；

权值 $W(i,j)=\frac{G(i,j)}{\max \left(G\right)}---\left(4\right)$

梯度方向直方图: $H\left(k\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}[D(i,j)-k]\&times;W(i,j)---\left(5\right)$

用若干个单元组成空间上连通的块，块与块之间是互有重叠，然后将每个块的特征向量进行归一化；

最后收集检测窗口中所有重叠块的特征向量，并将它们结合成最终用于分类的描述物体边缘轮廓特性的梯度方向直方图特征，标记为HOG。

4.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(3)提取样本图像强度直方图特征的步骤如下：

将图像分成若干个大的块，每个块划分成多个单元，这里的块与单元结构与HOG的相同，将强度值分成若干个区间，为每个单元构建强度直方图；用若干个单元组成空间上连通的块，块与块之间是互有重叠，然后将每个块的特征向量进行归一化；最后将各个块的特征向量组合起来就构成了描述物体亮度信息的强度直方图特征，标记为HOI。

5.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(4)设计行人分类特征-梯度方向和强度直方图特征的步骤如下：

将HOG和HOI特征向量串联起来输入到同一支持向量机中训练，支持向量机也成为SVM，通过训练后获得的模型中包含参数w，即SVM权值；每一维特征向量都有其对应的w值，w表示每一维特征向量对分类的贡献权值，w正值越大，代表该w对应的那一维特征越能表征行人的特点；训练后获得了HOG和HOI每一维特征向量的w值；每一个块内有多维向量，分析时分别统计HOG和HOI特征每一个块内的最大正w权值P_HOG、P_HOI；通过比较来决定每个块是计算HOG还是HOI，通过选择权值更大的来决定；

$\left\{\begin{array}{cc}\mathrm{HOG},& \mathrm{ifP}\_\mathrm{HOG}\&GreaterEqual;P\_\mathrm{HOI}\\ \mathrm{HOI},& \mathrm{ifP}\_\mathrm{HOG}<P\_\mathrm{HOI}\end{array}\right.---\left(6\right)$

从而融合HOG和HOI特征，得到一种针对于红外图像的行人检测新特征——梯度方向和强度直方图混合特征，标记为HOGI。

6.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(5)提取样本图像HOGI特征并训练行人分类器的步骤如下：

先将红外图像的行人和非行人样本统一缩放到同一尺度，如64*128，再提取行人样本的HOGI特征向量，标注分类标签为+1；提取非行人样本的HOGI特征向量，标注分类标签为0；然后将行人样本的HOGI特征向量、分类标签以及非行人样本的HOGI特征向量、分类标签统一输入到SVM中训练，通过SVM的学习训练获得行人分类器。

7.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(6)基于多尺度滑动窗口法对红外图像进行搜索检测的步骤如下：

根据行人在图像中的尺度范围来确定图像缩放的尺度空间，假设图像的分辨率为W_i×H_i，W_i代表图像宽度，H_i代表图像高度，S_r表示缩放比例，检测窗口的大小为W_n×H_n，其中W_n表示检测窗口的宽度，H_n表示检测窗口的高度，初始尺度为S_s＝1，终止缩放尺度为S_e＝min(W_i/W_n,H_i/H_n)，窗口滑动步长为N_s以及平滑参数σ_x,σ_y,σ_s；对每一个尺度的图像选取一个固定大小的窗口依次滑动窗口，对每个窗口提取HOGI特征，利用事先训练好的行人分类器来判断窗口内是否有行人，通过滑动窗口来遍历图像，将检测结果为行人的窗口存入链表中。

8.根据权利要求1所述的一种基于红外图像的行人检测方法，其特征在于，所述步骤(7)融合多窗口分类结果确定行人位置的步骤如下：

对图像进行多尺度滑动窗口检测后，图像中的同一个行人可能出现在不同尺度上不同的检测窗口中，为了使系统最终输出为一个行人对应唯一的窗口，采用非极大值抑制的方法将上述链表中的多个中间检测结果融合在一起；假设第i个检测结果中心点的位置和尺度分别表示为X_i＝[x_i,y_i]，S_i'；检测结果响应的强度用w_i表示，w_i＞0；由位置和尺度构成的三维空间中的点表示为Y＝[x,y,s]，其中s＝log(s')；然后根据公式diag[H_i]＝[(exp(s_i)σ_x)²,(exp(s_i)σ_y)²,σ_s ²]计算三维空间中每一个点Y_i对应的协方差矩阵H_i，为每一个点Y_i用式

迭代计算直到收敛，收敛后的点为最终的融合后的点，其中

满足

最后对应每个融合后的点在原始图像中标出行人的位置。

Images