CN105574488B - 一种基于低空航拍红外图像的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于低空航拍红外图像的行人检测方法，首先对样本库中的行人和非行人目标提取融合梯度方向直方图(HOG)和离散余弦变换(DCT)特征描述子；利用线性支持向量机进行分类模型训练；采用基于梯度特征和连通区域几何特征的红外行人感兴趣区域(ROI)提取算法精确提取行人感兴趣区域；利用离线训练好的线性支持向量机分类器对行人感兴趣区域进行分类，从而实现行人检测。本发明通过感兴趣区域的精确提取与融合HOG、DCT特征极大地提高了检测精度。

Description

一种基于低空航拍红外图像的行人检测方法

技术领域

本发明涉及一种基于航拍红外图像的行人检测方法，属于计算机视觉与模式识别技术领域。

背景技术

近年来，随着计算机视觉技术的迅猛发展，通过图像或视频采集行人数据，已成为计算机视觉领域中的一个重要研究方向，广泛应用在公共场所监控、智能交通监控系统、车载辅助驾驶系统开发等方面。在计算机视觉领域中，行人检测通常指通过视觉传感器捕捉现实世界信息，再通过形成的图像或视频识别出行人模式。由于人体目标非刚性，且姿态、外表复杂多变，远近尺度大小不一，再加上目标遮挡及运动的随意性，使得实现鲁棒性的行人检测非常困难。

目前对于行人检测的大量研究主要集中在可见光图像领域，利用可见光图像的高质量、细节丰富、颜色特征鲜明等特点，以期获得较好的检测效果。但可见光图像受成像条件制约，比如夜晚、大雾等情况下无法清晰识别物体，使得其应用范围受到一定的限制。随着热红外成像技术的普及，利用热红外图像检测行人正逐渐受到人们的关注。红外图像反映的是具有不同热辐射率目标的表面温度分布，不需要辅助光源的介入，可以在黑暗或大雾情况下识别目标，在公共场所安防监控、车辆辅助驾驶系统、交通管理与监控领域具有广阔的应用前景。当前行人检测的研究主要是面向固定场所监控应用，然而监控装置机动性差，只能对定点场所进行视频采集，且拍摄角度倾斜，对于行人间的相互遮挡无法处理，给行人的准确检测带来了困难。近年来，随着无人机在民用市场的开放，使得利用无人机进行航拍采集视频获得广泛关注。无人机机动性强，体积小，可操纵性强，能够解决现有成像平台机动性差的劣势。使用无人机携带红外成像设备，可以实现航拍采集红外视频，且拍摄地点灵活不受限制，在交通场所监控、行人交通行为研究、灾难人员营救等方面应用潜力巨大。通过低空航拍视频检测行人，可以避免行人间的相互遮挡，更真实地体现行人实际位置变化，对于提取行人轨迹，研究行人交通行为具有重要价值。

然而红外热成像本身固有的一些特点，也给行人的检测带来了一些困难。首先受到红外热成像传感器的制约，使得成像分辨率较低，信噪比差，而且红外热图像中目标的亮度不仅与其表面温度有关，还受到目标辐射波长的影响。即使同一个行人目标，在图像画面中不同地方的亮度也不统一，且受到穿着衣服的厚度、材质等影响。其次红外图像中，纹理、颜色等细节特征较少，再受到光晕效应的影响，使得行人之间的粘连难以处理。因此，精确识别红外热图像中的行人目标仍然是一个具有挑战性的课题。

目前大多数红外行人检测技术依赖于行人目标较周围环境高亮的特点，如发明专利《一种基于红外图像的行人检测方法》(CN103902976A)和《一种基于红外行人亮度统计特征的夜间行人检测方法》(CN104778453A)，二者均利用了亮度直方图作为红外行人特征，然而在红外图像中，行人目标在不同温度、不同场景下所呈现出的亮度是不一致的，当环境温度高于行人体温时，行人目标在红外图像中呈现出黑色团块，这就导致上述方法难以适用。所以，研究适用性更广、准确率更高、鲁棒性更强的红外行人检测方法仍然很重要。

发明内容

针对搭载红外热成像摄像头的无人机成像平台，本发明提出一种基于低空航拍红外图像的行人检测方法，旨在通过航拍红外图像，实现高精度、低误检地行人检测。本发明首先采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域提取算法精确锁定行人感兴趣区域，然后通过训练好的航拍红外行人分类器对感兴趣区域进行判定,具体方法为:

步骤1：选取航拍红外行人视频中一部分视频帧图像采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域提取算法从各视频帧图像中提取红外行人训练样本。

步骤2：对行人和非行人样本图像提取并融合梯度方向直方图特征描述子和局部离散余弦变换特征描述子，并训练线性支持向量机分类器。

步骤3：航拍红外行人感兴趣区域提取；

实时对航拍红外图像中每一视频帧图像，采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域提取算法进行红外行人感兴趣区域提取，并进行步骤4。

步骤4：利用步骤2中训练好的支持向量机分类器对步骤3中得到的行人感兴趣区域进行分类判定。

对提取到的行人感兴趣区域提取融合梯度方向直方图和离散余弦变换特征描述子，将其输入训练好的支持向量机分类器，若分类器输出结果为1，则确定该区域为行人目标；若分类器输出结果为0，则该区域为非行人目标。

本发明的优点在于：

(1)本发明基于低空航拍红外图像的行人检测方法，提出的基于低空航拍红外图像的行人感兴趣区域提取算法通过提取局部区域梯度特征结合连通区域几何特征实现精确行人感兴趣区域提取，该局部区域梯度特征通过计算方阵元素结构相邻圈元素灰度平均值的差值构成梯度数组，然后计算梯度数组的平均值作为局部区域的梯度特征，结合红外行人连通区域几何特征来精确提取行人感兴趣区域。该方法不受限于背景运动情况，既可以检测静态行人目标，也可以检测运动行人目标；该方法不仅可以提取较亮的红外行人目标，同样可以提取比背景暗的行人目标，从而适用于日间和夜晚的红外行人检测；

(2)本发明基于低空航拍红外图像的行人检测方法，提出的基于区域梯度特征和连通区域几何特征的精确行人感兴趣区域提取算法可以作为自动提取航拍红外行人训练样本的手段，不仅提高了筛选航拍红外行人样本的效率，也极大缩减了训练负样本的数量，使得训练的分类器对于固定场景的行人检测更有针对性，极大地提高了检测精确度；

(3)本发明基于低空航拍红外图像的行人检测方法，提出的自适应融合梯度方向直方图(HOG)和离散余弦变换(DCT)特征描述子将梯度方向直方图特征向量与局部离散余弦变换特征向量进行自适应加权串联，形成最终的融合特征。该特征能够充分表征红外行人目标的边缘方向信息而且对于红外行人步态、轮廓的变化、以及外表的模糊具有较强的处理能力。

附图说明

图1是本发明实施例提供的基于低空航拍红外图像行人检测方法流程图；

图2是本发明实施例中利用方阵结构检测团块区域的示意图；

图3是本发明实施例中用来训练支持向量机分类器的部分正负样本图片；

图4是本发明实施例中融合HOG与DCT特征和二者单独使用的对比ROC曲线。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提供了一种基于低空航拍红外图像的行人检测方法，如图1所示，具体通过下述步骤实现：

步骤1：建立航拍红外图像行人和非行人训练数据集；

利用四旋翼无人机携带热红外摄像头在不同场景同一高度(以40m-60m为宜)下采集红外行人视频，其中摄像头垂直向下拍摄。对于一段固定场景的航拍红外行人视频，选取一部分视频帧图像，采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域(ROI)提取算法从各视频帧图像中提取红外行人训练样本，而剩下的视频帧作为测试图片来检验行人检测方法的效果。

上述采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域(ROI)提取算法进行红外行人训练样本提取的具体实施步骤如下：

a)利用区域梯度特征检测团块区域(红外行人视频图像中的亮斑区域)。

将红外RGB图像转为灰度图像，运用固定滑动窗口法遍历图像，由于垂直视角拍摄下的行人目标呈近似圆形团块，所以采用大小为k×k像素的固定窗口遍历图像，那么每个窗口就是大小为k×k的数字图像方阵，计算方阵结构每一圈元素的灰度平均值之后对相邻圈的灰度值平均值作差，若行人目标较周围环境高亮，则灰度梯度值若行人目标较周围环境黑暗，则灰度梯度值其中j≤(k+1)/2-1。整个方阵结构的平均梯度值Grad为：

由于在红外行人视频图像中行人目标通常情况下较周围环境高亮或黑暗，所以行人区域的平均梯度值Grad较大，故通过设定平均梯度Grad阈值可以初步筛选出超过设定的阈值的团块区域，如图2所示。

b)对于提取到的团块区域利用Otsu阈值分割算法提取连通区域，生成前景目标二值图像。

c)对于前景目标二值图像中的连通区域，选择几何矩质心与团块区域中心的距离dist和连通区域最小外接圆半径r来提取行人感兴趣区域。若航拍红外行人视频图像某k×k像素区域中，平均梯度值Grad>t且dist<d、r∈R₀，那么该区域为行人感兴趣区域，其中t、d分别为梯度阈值和距离阈值，R₀为最小外接圆半径指定范围。

d)行人感兴趣区域中包括了行人和非行人，因此对行人感兴趣区域进行人工分类，挑选出其中的行人区域作为行人样本，挑选出非行人区域作为非行人样本；并将行人和非行人样本缩放至32×32像素大小。

本实施例中，选取一段道路航拍视频，飞行高度为50m，视频分辨率为720×480像素，拍摄时室外温度为6℃。整段视频共有2817帧图像，选取512帧作为训练图片，而剩下的2305帧作为测试图片。采用大小为32×32像素的固定滑动窗口，其中用于训练的正负样本图片数目分别为2098幅和938幅，部分样本图片如图3所示，

步骤2：对行人和非行人样本图像提取并融合梯度方向直方图(HOG)特征描述子和局部离散余弦变换(DCT)特征描述子，并训练线性支持向量机分类器

(1)梯度方向直方图(HOG)特征描述子提取；

梯度方向直方图特征属于图像局部特征，它刻画了图像的局部梯度幅值和边缘方向信息，提取步骤如下：

A)对行人和非行人样本图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到行人和非行人样本图像上每个像素点的X、Y方向的梯度幅值G_x、G_y，则像素点的梯度大小梯度方向为D＝arctan(G_y/G_x)；

B)对行人和非行人样本图像进行单元格(Cell)划分，单元格划分成相同大小，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图，方法为：

每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；统计单元格内的所有像素，确定各个像素所在区间，并将各像素的梯度值加在对应得区间上，构成梯度方向直方图向量H_i＝[h₁,h₂,...h₈，h₉]，是9维的，9个区间，其中h_i为每个区间的权值。如：一个单元格中的某个像素的梯度方向是10°，那么它属于0°～20°区间，在该区间上加上像素的梯度值。

C)将行人和非行人样本图像划分成包含多个相邻单元格的矩形区块(Block)，将区块内所有单元格的一维梯度方向直方图向量H_i串联起来构成串联向量[H₁,H₂,...,H_n]，采用L2-Norm方式对串联向量[H₁,H₂,...,H_n]进行归一化处理构成区块特征向量

D)将行人和非行人样本图像内所有的区块特征向量串联起来构成样本图像的HOG描述子V_HOG。

本实施例中，对于红外行人样本图像，统一归一化为32×32像素大小，设定单元格大小为4×4像素，区块大小为8×8像素，那么每个区块就包含四个单元格。滑动步距为4像素，故最终HOG向量维数为36×49＝1764维。单元格的梯度方向直方图向量为H_i＝[h₁,h₂,...h₈，h₉]，其中h_i为每个区间的权值，归一化后的区块特征向量为所以最终的HOG特征向量为V_HOG＝[F₁,F₂,F₃,...F₄₉]。

(2)局部离散余弦变换(DCT)特征描述子提取；

离散余弦变换具有很强的“能量集中特性”，图像大部分的信息都存储在DCT变换后系数矩阵的左上角，即低频部分，利用这样的特性，对检测到的行人感兴趣区域提取DCT描述子，用来对目标与非目标进行分类，局部DCT描述子提取步骤如下：

Ⅰ、将行人和非行人样本图像分别归一化至24×24像素大小，确定滑动窗口的大小和步距；

Ⅱ、在每个窗口区域内按下式分别进行离散余弦变换，设f(x,y)为M×N的数字图像矩阵，其离散余弦变换表示为：

其中：

F(u,v)为离散余弦变换后的系数矩阵；C(u)、C(v)为系数，f(x,y)为坐标(x,y)像素点的灰度值；

Ⅲ、利用zigzag扫描方式获取系数矩阵的前21个低频系数作为对应区块的描述向量，将所有区块的描述向量串联起来并进行Min-Max归一化处理构成整幅图像的局部DCT特征描述子V_DCT；

本实施例中选用24×24像素大小的样本图片，以8×8像素大小的固定窗口、滑动步距为4像素遍历整幅样本图片，共有25个窗口，DCT描述子的维数为25×21＝525维。

(3)融合梯度方向直方图和局部离散余弦变换特征描述子；

将由行人和非行人样本图像提取的HOG特征描述子V_HOG与DCT特征描述子V_DCT进行自适应加权串联，形成最终的行人和非行人样本图像的融合特征描述子V_Fusion＝[αV_HOG,βV_DCT]，其中确定α与β的原则是使训练得到的分类器对训练样本进行分类的误判最少。融合特征描述子不仅可以表征目标梯度方向与边缘方向信息，还可以对于行人和非行人目标表面细微变化以及红外图像的光晕效应具有一定的处理能力，对红外行人目标具有更强的表征能力。本实施例中，α选取为10，β为3。

将行人和非行人样本图像的融合特征描述子进行标注，行人样本图像的融合描述子标注为1，非行人样本图像的融合描述子标注为-1，并输入线性支持向量机分类器进行训练，寻求最优超平面。

步骤3：航拍红外行人感兴趣区域提取；

在垂直视角拍摄下的航拍红外图像中，利用步骤1中所述的基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域(ROI)实时对航拍红外图像中每一视频帧图像进行红外行人感兴趣区域提取，并进行步骤4。

步骤4：利用训练好的支持向量机分类器对行人感兴趣区域进行分类判定。

对精确提取到的行人感兴趣区域提取融合梯度方向直方图(HOG)和离散余弦变换(DCT)特征描述子，将其输入训练好的支持向量机分类器，若分类器输出结果为1，则确定该区域为行人目标；若分类器输出结果为0，则该区域为非行人目标。

为了检测融合HOG与DCT特征描述子的效果，在相同训练样本的基础上，单独提取HOG与DCT特征特征描述子，并在独立于训练样本的测试样本集上对三种特征的性能进行了比较，并绘制了受试者工作特征曲线(ROC)，如图4所示，融合HOG与DCT特征的分类性能优于二者的单独使用。

Claims (3)

1.一种基于低空航拍红外图像的行人检测方法，其特征在于：通过下述步骤实现：

步骤1：选取航拍红外行人视频中一部分视频帧图像采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域提取算法从各视频帧图像中提取红外行人训练样本；

具体为：

a)利用区域梯度特征检测团块区域；

将红外RGB图像转为灰度图像，运用固定滑动窗口法遍历图像，采用大小为k×k像素的固定窗口遍历图像，每个窗口形成大小为k×k的数字图像方阵，计算方阵结构每一圈元素的灰度平均值n为圈数，之后对相邻圈的灰度值平均值作差，若行人目标较周围环境高亮，则灰度梯度值若行人目标较周围环境黑暗，则灰度梯度值其中j≤(k+1)/2-1，j为梯度数；整个方阵结构的平均梯度值Grad为：

通过设定平均梯度Grad阈值筛选出超过设定的阈值的团块区域；

b)对于提取到的团块区域利用Otsu阈值分割算法提取连通区域，生成前景目标二值图像；

c)对于前景目标二值图像中的连通区域，选择几何矩质心与团块区域中心的距离dist和连通区域最小外接圆半径r来提取行人感兴趣区域；若航拍红外行人视频图像某k×k像素区域中，平均梯度值Grad>t且dist<d、r∈R₀，那么该区域为行人感兴趣区域，其中t、d分别为梯度阈值和距离阈值，R₀为最小外接圆半径指定范围；

d)行人感兴趣区域中包括了行人和非行人，因此对行人感兴趣区域进行人工分类，挑选出其中的行人区域作为行人样本，挑选出非行人区域作为非行人样本；

步骤2：对行人和非行人样本图像提取并融合梯度方向直方图特征描述子和局部离散余弦变换特征描述子，并训练线性支持向量机分类器；

步骤3：航拍红外行人感兴趣区域提取；

实时对航拍红外图像中每一视频帧图像，采用基于区域梯度特征和连通区域几何特征的红外行人感兴趣区域提取算法进行红外行人感兴趣区域提取，并进行步骤4；

步骤4：利用步骤2中训练好的支持向量机分类器对步骤3中得到的行人感兴趣区域进行分类判定；

对提取到的行人感兴趣区域提取融合梯度方向直方图和离散余弦变换特征描述子，将其输入训练好的支持向量机分类器，若分类器输出结果为1，则确定该区域为行人目标；若分类器输出结果为0，则该区域为非行人目标。

2.如权利要求1所述一种基于低空航拍红外图像的行人检测方法，其特征在于：步骤2的具体实现方法为：

(1)梯度方向直方图特征描述子提取；

A)对行人和非行人样本图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到行人和非行人样本图像上每个像素点的X、Y方向的梯度幅值G_x、G_y，则像素点的梯度大小梯度方向为D＝arctan(G_y/G_x)；

B)对行人和非行人样本图像进行单元格划分，单元格划分成相同大小；在每一个单元格内按照梯度方向统计一维梯度方向直方图，方法为：

每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；统计单元格内的所有像素，确定各个像素所在区间，并将各像素的梯度值加在对应得区间上，构成梯度方向直方图向量H_i＝[h₁,h₂,...h₈,h₉]；其中，h_i为每个区间的权值；

C)将行人和非行人样本图像划分成包含多个相邻单元格的矩形区块，将区块内所有单元格的一维梯度方向直方图向量H_i串联起来构成串联向量[H₁,H₂,...,H_n]，采用L2-Norm方式对串联向量[H₁,H₂,...,H_n]进行归一化处理构成区块特征向量

D)将行人和非行人样本图像内所有的区块特征向量串联起来构成样本图像的梯度方向直方图描述子V_HOG；

(2)局部离散余弦变换特征描述子提取；

Ⅰ、将行人和非行人样本图像分别归一化至24×24像素大小，确定滑动窗口的大小和步距；

II、在每个窗口区域内按下式分别进行离散余弦变换，设f(x,y)为M×N的数字图像矩阵，其离散余弦变换表示为：

其中：

F(u,v)为离散余弦变换后的系数矩阵；C(u)、C(v)为系数，f(x,y)为坐标(x,y)像素点的灰度值；

Ⅲ、利用zigzag扫描方式获取系数矩阵的前21个低频系数作为对应区块的描述向量，将所有区块的描述向量串联起来并进行Min-Max归一化处理构成整幅图像的局部离散余弦变换特征描述子V_DCT；

(3)融合梯度方向直方图和局部离散余弦变换特征描述子；

将由行人和非行人样本图像提取的V_HOG与V_DCT进行自适应加权串联，形成最终的行人和非行人样本图像的融合特征描述子V_Fusion＝[αV_HOG,βV_DCT]；α与β的取值需要使训练得到的分类器对训练样本进行分类的误判最少；将行人和非行人样本图像的融合特征描述子进行标注，行人样本图像的融合描述子标注为1，非行人样本图像的融合描述子标注为-1，并输入线性支持向量机分类器进行训练，寻求最优超平面。

3.如权利要求2所述一种基于低空航拍红外图像的行人检测方法，其特征在于：α选取为10，β为3。