CN105303159A - 一种基于显著性特征的远红外行人检测方法 - Google Patents

Abstract

本发明涉及一种基于显著性特征的远红外行人检测方法。本发明对获取的远红外图像寻找两个显著特征——对应人体头部的高亮特征和对应人体的躯干垂直特征，在寻找到两个区域之后进行融合得到感兴趣区域。对得到的感兴趣区域提取梯度方向直方图特征，利用训练好的线性支持向量机进行行人检测。在不同温度环境下，本发明都能够准确有效地提取出行人所在的区域，快速鲁棒的检测出行人，提高了驾驶员夜间、恶劣环境等低可见度情况下的驾驶安全系数。

Description

一种基于显著性特征的远红外行人检测方法

技术领域

本发明属于图像处理技术和模式识别技术领域，具体地涉及一种基于显著性特征的远红外行人检测方法。

背景技术

汽车保有量的增加一定程度上导致了汽车交通事故的增多。随着交通事故的频发，汽车驾驶安全问题显得越来越重要。在交通事故中，主要受害群体为道路交通中的行人与骑自行车的人。针对行车安全，国内外众多研究人员进行了基于可见光的行人检测系统的研究，取得一定的成效。

然而在黑暗复杂、环境恶劣的情况下，基于可见光的行人检测系统通常表现不佳。夜间交通事故多半由于夜间视野不清，光照条件不理想，驾驶员视线过短造成的。在可见光图像中物体的颜色分布取决于物体表面的入射光线和表面的反射程度，而在红外领域中物体的图像则取决于物体本身的温度和其辐射出的热量。根据这一特性，基于远红外相机的行人检测系统由此产生。

远红外行人检测系统主要由感兴趣区域分割与感兴趣区域目标检测两个部分组成。现阶段感兴趣区域分割首选的是通过寻找阈值进行图像的分割。最简单的阈值分割的方法是全局阈值分割法，它计算简单，执行效率高，但是由于利用的是全局信息，不能很好的处理不同行人图像表现的差异，很容易导致过分割或者欠分割。后来利用局部信息的阈值分割方法应运而生。这类方法通过统计计算邻域像素的分布规律来确定各个像素的阈值。此类分割的效果受邻域大小的影响，邻域过小导致分割不明显，邻域过大导致计算量大。基于能量或者熵的红外图像分割虽然效果不错，但实时性有明显的劣势。不适合搭载在车载夜视仪系统上。

常见的目标检测的方法有模板匹配和基于统计学习的方法。模板匹配是对一系列的图片数据归纳出行人的外观、运动规律等信息来构建出行人的模板。基于统计学习的方法是利用行人的某些特征和一定的学习算法，在大量的样本训练下得到行人分类器。

模板匹配中，由于行人外观的多变和复杂性，很难保证对其进行归纳描述的精确成都，很难得到一个鲁棒的行人模板库，并且随着行人模板库的规模不断增加，很明显的会增大匹配时的计算开销，就很难保证系统的实时性的要求。利用统计学习的方法，对感兴趣区域进行特征提取以得到局部特征的方式，通过分类器进行检测，不仅可以节省计算开销，而且由于分类器是经过大量样本训练得到的，训练样本可以是不同季节不同场景不同温度下的。在远红外图像中的行人目标具有很明显的轮廓边缘，对各种姿态、动作、外观的行人均有一定的适用性。所以，基于统计学习的检测方法适合于远红外行人检测系统。

相关专利：

(1)一种基于车载红外图像的行人预警系统及其工作方法，公开号：103279741。

(2)基于远红外线摄像头的夜间行人识别方法，公开号：104143098。

(3)一种基于热红外步态的夜间行人识别方法及系统，公开号101226597。

专利(1)利用k均值聚类进行的感兴趣区域分割，对高于灰度均值的像素点求方差，计算出分类数k的值，再对灰度直方图进行k均值聚类。这种方法很难确切的计算出真正应该分割的类别数，很容易出现过分割和欠分割的情况。专利(2)利用DoG(DifferenceofGaussiann)滤波器获得输入的图像的各像素的第一回应值；再测定图像像素的方差，再通过第一回应值和方差的乘积计算第二回应值，再对图像二值化选择区域。可以看出该方法的计算量比较大。专利(3)是采取了混合高斯模型的方法进行建模，主要针对静止背景下的行人检测，对运动场景下的行人检测效果不佳，并且对计算性能有一定的要求。

所以虽然现有专利能够在某些情况下检测到行人，但普遍适应性差，鲁棒性低，不能在各种各样的环境下保持一个良好的效果。尤其是当某些环境温度较高的时候，精度低，实时性不能达到要求

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于显著性特征的远红外行人检测方法，本发明都能够准确有效地提取出行人所在的区域，快速鲁棒的检测出行人，提高了驾驶员夜间、恶劣环境等低可见度情况下的驾驶安全系数。

本发明采用的技术方案为：一种基于显著性特征的远红外行人检测方法，该方法包括以下步骤：

步骤1，对获取的远红外相机图像，提取图像的高亮区域。

步骤2，对获取的远红外相机图像，提取人体躯干垂直边界。

步骤3，融合步骤1和步骤2找到的区域。

步骤4，对感兴趣区域提取梯度方向直方图特征利用线性支持向量机检测。

所述步骤1，对获取的高亮区域的图像进行二值化处理，阈值的选择由当时的环境温度决定，范围为75至120之间，并将大于阈值的像素置为255，小于阈值的像素置为0，筛选每一个连通区域，如果该区域范围很小(很小是个相对值，例如小于等于10，)，则说明行人在此区域出现的几率很低，则剔除该区域。

所述步骤2进一步包括以下步骤：

步骤21，对获取的远红外相机图像，采用Scharr算子计算水平方向的梯度并做取绝对值运算；

步骤22，对梯度图二值化，寻找垂直特性显著的轮廓。

所述步骤21中Scharr水平方向的算子为：

$\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]$

同时还要将每一点的梯度值取绝对值。

所述步骤22，对梯度图二值化，寻找垂直分量显著的轮廓，选取最大梯度值的50％设为阈值，对梯度图进行二值化；接着提取二值图的轮廓集，当集合中的轮廓足够长并且具有明显的垂直特性，则予以保留。这些区域一般包含行人的手臂、躯干和腿部的边界。此步骤得到的区域设为S₂。

所述步骤3，融合步骤1和步骤2找到感兴趣区域时，步骤1和步骤2找到的区域均是利用行人在远红外图像中呈现的显著特征提取出来的，然而这些区域并不是相连通的，所以要对这些区域进行形态学膨胀再融合。

S_ROI＝S₁∪(S₂⊕E)

其中S_ROI为区域融合的结果，即最终的感兴趣区域，E为宽为x，高为y的结构元素。x,y的取值如下，

其中width与height为S₂中每一个连通区域的宽和高的长度。

所述步骤4，对感兴趣区域提取梯度方向直方图特征利用线性支持向量机检测的过程为：对每一个感兴趣区域分别提取HOG特征，用训练好的两分支的支持向量机进行检测，两分支是指采用不同大小的HOG特征训练得到的分类器，不同大小的HOG特征分别用来检测远处和近处的行人，根据感兴趣区域高度的大小来决定采用哪一分支。

本发明与现有技术相比的优点在于：

(1)本发明利用行人两个显著的特征——裸露部位的高亮特性和腿、躯干的垂直特性，寻找出两块区域，通过这两块区域融合得到感兴趣区域，能够保证准确的分割出感兴趣区域。即使是在环境温度与人体温度差别不大的情况下，也利用局部的人体边界提取出感兴趣区域。在不同温度环境下，本发明都能够准确有效地提取出行人所在的区域，快速鲁棒的检测出行人，提高了驾驶员夜间、恶劣环境等低可见度情况下的驾驶安全系数。

(2)本发明在寻找图像的高亮区域和人体垂直边界的基础上，根据人的构造特征利用形态学膨胀将各区域定位感兴趣区域，从一定程度上可以抑制非行人候选区域的出现，不仅降低了可能出现虚警的次数，还为后续的处理节省了计算开销。

(3)本发明在改善当行人总体偏暗、表面亮度值分布不均或者人体与周围环境差别不大时的感兴趣区域的提取效果，同时实现对远近不同大小的行人检测。

附图说明

图1为本发明基于显著性特征的远红外行人检测方法的流程图；

图2为基于本发明的实施方式涉及的原始远红外图；

图3为表示基于本发明的实施方式步骤1的处理结果图；

图4为表示基于本发明的实施方式步骤2的处理结果图；

图5为表示基于本发明的实施方式步骤3的处理结果图；

图6为表示基于本发明的实施方式步骤4的处理结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施步骤，并配合附图，对本发明进一步详细说明。

如图1所示，本发明基于显著性特征的远红外行人检测方法包括以下步骤：

步骤1，对获取的远红外相机图像，提取图像的高亮区域。获取的远红外相机图像如图2所示，图2中存在远近不同位置的行人，虽然从图像中看到行人与周边环境对比不是特别明显，尤其是一些局部部位，人体的脚踝处于环境融为一体，但是行人在图中依旧有一些明显部位以高亮形式显示出来。由于远红外相机成像的特性，行人的头部等裸露在外的部位，均是图像的高亮区域。对图像进行二值化处理，阈值的选择通常由当时的环境温度决定，一般为75至120之间。大于阈值的像素置为255，小于阈值的像素置为0。筛选每一个连通区域，如果该区域范围很小(例如像素个数小于10)，则说明行人在此区域出现的几率很低，则剔除该区域。此步骤得到的区域设为S₁。图3是步骤1的处理结果图，行人裸露在外的头部，手掌手臂，以及远处车辆的局部均在图3中框选出来的，这是因为这些部位都是图像的高亮区域。

步骤2，对获取的远红外相机图像，提取人体躯干垂直边界。

步骤2进一步包括以下步骤：

步骤21，对获取的远红外相机图像，采用Scharr算子计算水平方向的梯度并做取绝对值运算；Scharr水平方向的算子为：

$\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]$

因为Scharr算子是有方向的梯度算子，所以要将每一点的梯度值取绝对值。

步骤22，对梯度图二值化，寻找垂直特性显著的轮廓。选取最大梯度值的50％设为阈值，对梯度图进行二值化。接着提取二值图的轮廓集，当集合中的轮廓足够长并且具有明显的垂直特性，则予以保留。这些区域一般包含行人的手臂、躯干和腿部的边界。此步骤得到的区域设为S₂。图4是步骤2的处理结果图。从图4中可以发现行人的手臂、躯干和腿部等边界被框选出来。同时道路两旁的树木的树干，远处房屋的边界都是垂直特征显著的区域，所以在该步骤也被提取出来。

步骤3，融合步骤1和步骤2找到的区域。步骤1和步骤2找到的区域均是利用行人在远红外图像中呈现的显著特征提取出来的。然而这些区域并不是相连通的，所以要对这些区域进行形态学膨胀再融合。

S_ROI＝S₁∪(S₂⊕E)

其中S_ROI为区域融合的结果，即最终的感兴趣区域，E为宽为x，高为y的结构元素。

x,y的取值如下：

其中width与height为S₂中每一个连通区域的宽和高的长度。

图5是步骤3的处理结果图，同一个行人的高亮部位——头部、手部以及垂直特征显著的部位——手臂和腿部在图像中是相邻的，如果提取出这些区域不是连通的，正如图5显示的那样，通过形态学膨胀可以使这些区域相连通。图5中的两个行人所在的区域均被提取出来，同时前述步骤产生的冗余区域也被排除。

步骤4，对感兴趣区域提取梯度方向直方图特征利用线性支持向量机检测。对每一个感兴趣区域分别提取HOG特征，用训练好的两分支的支持向量机进行检测。两分支是指采用不同大小的HOG特征训练得到的分类器，不同大小的HOG特征分别用来检测远处和近处的行人，根据感兴趣区域高度的大小来决定采用哪一分支。

此处不同大小的HOG特征是根据行人高度划分的样本空间得到的。行人高度是指行人垂直方向上的像素的个数，两种样本空间的训练集的图像大小分别为32*64和64*128。

HOG特征是将图像分成小的细胞单元，统计得到细胞单元中像素点的梯度幅值与方向的直方图，为了减少直方图的突变，根据每个像素点的梯度方向，利用双线性内插法将其幅值累加到直方图中。将这些细胞单元中的局部直方图在更大范围内——块中进行归一化。最后将这些归一化后的直方图进行组合，得到HOG特征。

线性支持向量机通过判别函数WX+b＝0进行分类的。其中W为权向量，b为偏移量。训练得到的模型包含参数W和b。每一维特征向量都有其对应的W值，W表示每一维特征向量对分类的贡献的权值，W正值越大，表明该W对应的那一维特征就越能表征行人的特点。

两分支的支持向量机所训练的HOG特征的详细参数为：

样本大小

块大小

细胞单元大小

步进大小

Bin数目

特征维数

远分支

32*64

8*8

4*4

4*4

9

3780

近分支

64*128

16*16

8*8

8*8

9

3780

在检测时，如果感兴趣区域的像素的高度大于128，就采用64*128的支持向量机的远分支进行处理，否则就采用32*64的支持向量机的近分支进行处理。

图6是步骤4的处理结果图。从图6中可以看出有远近不同位置的行人被检测出，并且矩形框的范围完整的包含了行人所在的区域，同时并没有包含多少冗余区域，检测精准度比较高。其中较大的行人是利用近分支的线性支持向量机检测出来，较小的行人是利用的远分支的线性支持向量机得到的。

总之，本发明涉及一种基于显著性特征的远红外行人检测方法，是可以应用在夜视仪系统中的行人检测方法。本发明对获取的远红外图像寻找两个显著区域——图像的高亮区域和人体躯干边界，在寻找到两个区域之后进行融合得到感兴趣区域。对得到的感兴趣区域提取梯度方向直方图特征，利用训练好的线性支持向量机进行行人检测。无论是静止背景还是动态背景中，在不同温度环境下，本发明都能够准确有效地提取出行人所在的区域，快速鲁棒的检测出行人，提高了驾驶员夜间、恶劣环境等低可见度情况下的驾驶安全系数。

本发明未详细阐述部分属于本领域技术人员的公知技术。

以上内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于这些内容。在不脱离本发明的原理和精神的前提下，本领域技术人员可以对这些实施进行若干调整、修改，本发明的保护范围有所附权利要求及其等同内容限定。

Claims (7)

1.一种基于显著性特征的远红外行人检测方法，其特征在于，该方法包括以下步骤：

步骤1，对获取的远红外相机图像，提取图像的高亮区域，所述高亮区域是行人裸露在外的部位；此步骤得到的高亮区域设为S₁；

步骤2，对获取的远红外相机图像，提取人体躯干垂直边界；此步骤得到的区域设为S₂；

步骤3，融合步骤1和步骤2找到感兴趣区域；

步骤4，对感兴趣区域提取梯度方向直方图特征利用线性支持向量机检测。

2.根据权利要求1所述的基于显著性特征的远红外行人检测方法，其特征在于：所述步骤1，对获取的高亮区域的图像进行二值化处理，阈值的选择由当时的环境温度决定，范围为75至120之间，并将大于阈值的像素置为255，小于阈值的像素置为0，筛选每一个连通区域，如果该区域范围很小，则说明行人在此区域出现的几率很低，则剔除该区域。

3.根据权利要求1所述的基于显著性特征的远红外行人检测方法，其特征在于：所述步骤2进一步包括以下步骤：

步骤21，对获取的远红外相机图像，采用Scharr算子计算水平方向的梯度并作取绝对值运算；

步骤22，对梯度图二值化，寻找垂直特性显著的轮廓。

4.根据权利要求3所述的基于显著性特征的远红外行人检测方法，其特征在于：所述步骤21中Scharr水平方向的算子为：

$\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]$

同时还要将每一点的梯度值取绝对值。

5.根据权利要求3所述的基于显著性特征的远红外行人检测方法，其特征在于：所述步骤22，对梯度图二值化，寻找垂直分量显著的轮廓，选取最大梯度值的50％设为阈值，对梯度图进行二值化；接着提取二值图的轮廓集，当集合中的轮廓足够长并且具有明显的垂直特性，则予以保留；这些区域包含行人的手臂、躯干和腿部的边界。

6.根据权利要求1所述的基于显著性特征的远红外行人检测方法，其特征在于：所述步骤3，融合步骤1和步骤2找到感兴趣区域时，步骤1和步骤2找到的区域均是利用行人在远红外图像中呈现的显著特征提取出来的，这些区域并不是相连通的，需要对这些区域进行形态学膨胀再融合，融合方法为：

S_ROI＝S₁∪(S₂⊕E)

其中S_ROI为区域融合的结果，即最终的感兴趣区域，E为宽为x，高为y的结构元素，x,y的取值如下，

其中width与height为S₂中每一个连通区域的宽和高的长度。

7.根据权利要求1所述的基于显著性特征的远红外行人检测方法，其特征在于：所述步骤4，对感兴趣区域提取梯度方向直方图特征利用线性支持向量机检测的过程为：对每一个感兴趣区域分别提取HOG特征，用训练好的两分支的支持向量机进行检测，两分支是指采用不同大小的HOG特征训练得到的分类器，不同大小的HOG特征分别用来检测远处和近处的行人，根据感兴趣区域高度的大小来决定采用哪一分支。