CN108154087A - 一种基于特征匹配的红外人体目标检测跟踪方法 - Google Patents

Abstract

本发明属于红外成像的目标检测与跟踪技术领域，具体涉及一种基于特征匹配的红外人体目标检测跟踪方法。对红外图像进行对比度增强和背景抑制，把红外人体目标与相关性的背景分离；对红外图像进行高通滤波，分离出淹没在背景中的红外人体目标；对于灰度直方图不是双峰分布的红外图像，采用分区域进行聚类分析，再根据聚类后的各类别聚类中心的分布寻找适当的分割阈值把目标分离出来；对红外图像采用开运算去噪处理，除去孤立高亮度噪声点；对红外图像进行邻接四邻或八邻域标注，在各个标注区域内采用基于区域特征的方法判断是否包含人体目标；采用比较人体区域与形状模板间亮度关系来进行检测。本发明能快速的完成红外人体目标的准确跟踪。

Description

一种基于特征匹配的红外人体目标检测跟踪方法

技术领域

本发明属于红外成像的目标检测与跟踪技术领域，具体涉及一种基于特征匹配的红外人体目标检测跟踪方法。

背景技术

红外成像的基本原理是使用红外探测器将红外热辐射图像转化为电图像，然后电图像经过处理后输出到显示设备，由显示设备转化为光像后显示。随着红外成像设备的价格不断降低以及科学技术的不断进步，红外成像条件下的目标检测与跟踪愈发引起研究人员的关注，尤其是基于红外成像人体目标检测与跟踪已成为近年来视觉智能领域的热点。

目前，基于红外的人体检测与跟踪有很大的挑战性。首先，人体具有运动随机性，姿势形状多变性以及多个人体目标间的遮挡性，有的时候还会出现图像破碎目标粘连等多种情况都会给人体检测与跟踪带来困难。其次，红外图像本身的一些固有缺陷也会给人体检测与跟踪增加了难度，主要表现在：(1)受红外器件的发展水平限制，目前的红外成像质量还不够理想，存在噪声大、对比度低、空间分辨率差等缺点。(2)由于红外图像中目标纹理信息较少且存在光晕效应使得红外图像中的人体目标检测不能利用可见光领域的一些特征对人体进行定位且容易受到周围非目标光源的干扰。(3)红外图像中目标的亮度除受到本身的温度影响外，还与目标的一些表面特性例如透射率、发射率、反射率等有关。同时目标表面的朝向以及辐射波长也会对其亮度形成影响。这一系列的问题都给红外图像中的人体目标检测与跟踪构成了一定困难。

近年来，国内外众多学者积极开展人体目标监测和跟踪技术研究，也提出了一些可行的算法，但仍不具备稳健准确且高性能，不能完全实现从一般场景中进行人体目标监测跟踪的自动性和鲁棒性。

发明内容

本发明的目的在于提供一种基于特征匹配的红外人体目标检测跟踪方法，以满足上述需求。

为达到上述目的，本发明所采取的技术方案为：

一种基于特征匹配的红外人体目标检测跟踪方法，包括以下步骤：

步骤一：对红外图像进行对比度增强；

步骤二：对单帧红外图像进行背景抑制，把红外人体目标与具有相关性的背景加以分离；

步骤三：在空域和频域中对红外图像进行高通滤波，来分离出淹没在复杂背景中的红外人体目标；

步骤四：对于灰度直方图不是双峰分布的红外图像，采用分区域进行聚类分析，再根据聚类后的各类别聚类中心的分布寻找适当的分割阈值把目标分离出来；

步骤五：对红外图像采用开运算去噪处理，除去面积小于5个像素的孤立高亮度噪声点；

步骤六：对红外图像进行邻接四邻域标注或邻接八邻域标注，在各个标注区域内采用基于区域特征的方法来判断是否包含人体目标；

步骤七：在人体区域确定后，采用比较人体区域与形状模板间亮度关系来进行检测。

所述的步骤四中，对红外图像的灰度直方图采用图像的标准差初始化类间距离，划分聚类空间来确定分类数并进行K均值聚类，然后考察聚类空间K_i与其相邻两个聚类空间K_i+1和K_i-1的关系；首先将红外图像的灰度直方图划分为多个区域进行多聚类分析，然后对聚类后不同类别聚类中心的分布进行分析，最后从中找到极大值点作为该图像分割阈值把目标从图像中分离出来。

所述的步骤六中，在判定一个目标是否包含人体目标时，考虑目标像素数和邻接矩形框的宽高比两个因素；最小能探测到的目标的大小是由目标模板的像素最小值决定，将最小值设定为100，小于100像素的目标作为候选目标元素；由于视频中的人体姿势大都呈纵向分布，宽高比一般小于1，可以根据邻接矩形的宽高比忽略大于1的矩形框所包含的目标。

所述的步骤七中，对人体目标的方向梯度直方图特征、形状特征及亮度分布惯性特征进行整合构建一个新的复合分类特征，并用支持向量机分类器进行人体检测。

所述的K均值聚类方法为：

设聚类前后的各聚类中心值分别为及u_i，u_i-1，u_i+1，由于 在聚类前呈线性关系，其关系式满足：

聚类后，u_i，u_i-1，u_i+1的相对关系表示为：

假如聚类空间K_i-1，K_i，K_i+1内的像素都属于同一类目标，聚类后Δu_i-1，Δu_i，Δu_i+1的值很小，由此可得l≈1，其含义为：同属一类目标的三类聚类中心在聚类完前后的线性关系不应该被破坏，其相对变化很小；如果其中某一聚类空间的中心值聚类前后变化范围差距较大，此时线性关系遭到破坏，聚类中心值的走向趋势会出现明显的转折，以此转折点处类别像素集的实际灰度临界值为图像分割阈值就能把目标区域分割出来；

采用聚类中心值的相对增量差分的绝对值来求直方图聚类中心转折点，其关系如式表示：

寻找靠近饱和方向上的CR的极大值点对应的类别作为转折点，把转折点处两相邻聚类中心值的平均值取为阈值，对整个图像进行二值化分割；还可以采用只对高于图像平均亮度的像素进行分析。

所述的步骤七具体方法为：

把目标区域的长和宽分别为m和n的矩形框表示，在矩形框内分别对红外人体目标的距离和亮度特征进行分析；I(x,y)表示像素点(x,y)的亮度值，则构建亮度-距离二维直方图的步骤为：

构建距离特征直方图：计算每个像素点(x,y)到矩形图像中心点(x₀,y₀)的距离：

将各点距离映射到直方图的相应级数上，获得距离直方图：

其中，k＝1,2,...,z为直方图级数，δ为Kronecker delta函数；

构建亮度特征直方图：构造一个函数将每个像素点的亮度值映射到直方图相应级数上得到亮度直方图，并以此作为表征人体目标区域的亮度特征：

其中，p＝1,2,...,t为直方图级数，δ为Kronecker delta函数；

构建联合直方图：将上述两个特征直方图通过下式融合，构建亮度-距离联合直方图：

首先对级数分别为z和t的二维直方图进行降维，把其转变为级数为z×t的一维联合直方图，然后对其进行归一化，最后用分类器对其进行分类且根据结果进行量化分析，找到合适的直方图级数实现跟踪最优化。

本发明所取得的有益效果为：

本发明在对视频序列中运动目标检测与跟踪方法进行大量的分析与研究之后，重点对复杂场景下的多个人体目标鲁棒检测与跟踪方法进行了深入研究。在K均值聚类中心阈值选取法的基础上进行了改进并融合梯度直方图特征、形状特征以及惯性特征等完成了基于支持向量机的人体目标检测，并采用融合粒子滤波与亮度-距离复合特征的方法实现了人体目标跟踪，实验证明，本方法既能快速的完成红外人体目标的准确跟踪，又能排除光晕以及背景的干扰，具有跟踪稳定，实时性强等诸多特点。

具体实施方式

下面结合具体实施例对本发明进行详细说明。

本发明所述基于特征匹配的红外人体目标检测跟踪方法包括以下步骤：

步骤一：图像预处理。

本发明中，图像预处理主要在空域中对红外图像进行增强。空域增强就是对红外图像直接进行像素操作。首先对其进行对比度增强，通过把图像像素的灰度值按一定的规则映射到其它空间上以改变图像灰度的动态范围。这样既能使灰度范围扩展也能压缩。其次，红外图像中的背景除了一些空间里不相关的噪声就是一些大面积缓慢变化的低频部分，因此对单帧图像进行背景抑制，把目标与具有相关性的背景加以分离。最后，在空域和频域中对其进行高通滤波来分离出淹没在复杂背景中的红外目标。

步骤二：红外图像分割。

红外图像分割就是把图像像素按一定规则排列把一些有意义的区域分离出来，然后对这些区域进行描述并提取出某些目标区域图像的特征来判断图像中是否含有感兴趣的目标景物等。图像二值化是图像分割的基本方法，从而把图像显示出前景和背景的黑白两色。

红外图像分割中，基于灰度特征或其它高阶统计特征聚类分割算法是一种最基本，应用最广泛的分割方法，具有实现简单计算量小性能较稳定的特点。然而，在很多红外图像中，图像内容由于受成像设备以及复杂背景环境的影响，其图像灰度直方图的分布是不平衡的，使得该方法在这些图像中进行分割的假设条件是不成立的。但是，在红外人体图像中，由于人体目标的温度比较稳定，尽管受衣着的影响灰度有一定的波动，但是总体上还是在一个主体温度附近分布。因此，红外行人图像中的人体目标的灰度特征依旧具有很好的可聚性。对于那些灰度直方图不是双峰分布的图像，本发明采用分区域进行聚类分析，然后再根据聚类后的各类别聚类中心的分布寻找适当的分割阈值把目标分离出来。

本发明对图像的直方图采用图像的标准差初始化类间距离，划分聚类空间来确定分类数并进行K均值聚类然后考察聚类空间K_i与其相邻两个聚类空间K_i+1和K_i-1的关系。首先将直方图划分为多个区域进行多聚类分析，然后对聚类后不同类别聚类中心的分布进行分析，最后从中找到极大值点作为该图像分割阈值把目标从图像中很好的分离出来。K均值聚类算法就是把每个样本分配到距离它最邻近类均值的那一类的迭代寻优过程。

通常，图像经过阈值二值化处理后还存在许多像孤立点、孤立的小区域、小间隙和孔洞等此类的背景噪声。一般都要进行数学形态学处理来消除此类高亮度背景噪声。数学形态学处理就是要把图像中的目标用具有一定连通结构元素来量度和提取，这样既简化了图像数据同时还能保持图像中基本的形体特征。以达到对图像分析和识别的目的。把用一个灰度结构对二值化图像进行先腐蚀后膨胀的操作过程称为开运算。它具有能除去细小目标，在纤细点处分离目标和平滑较大的边界时又不明显改变其面积的作用。本发明在对图像进行阈值二值化分割后，对图像采用开运算去噪处理，旨在除去面积小于5个像素的孤立高亮度噪声点。

在对模板图像进行简单去噪处理后，再对其图像中的内容进行邻接四邻域标注或者进行邻接八邻域标注。然后，在各个标注区域内采用基于区域特征的方法来判断是否包含人体目标。基于实时性考虑，本发明在进行候选目标选定过程中只对模板图像的简单特征加以考虑。

在判定一个目标是否包含人体目标时，我们主要考虑两个因素：目标像素数、邻接矩形框的宽高比。其中，最小能探测到的目标的大小是由目标模板的像素最小值决定。在本发明中，我们将其最小值设定为100。小于100像素的目标作为候选目标元素。由于视频中的人体姿势大都呈纵向分布，因此宽高比一般小于1。我们可以根据邻接矩形的宽高比忽略大于1的矩形框所包含的目标。对分割后的图像进行形态学处理并候选人体目标选取后，为下一步的红外人体检测打下基础。

步骤三：目标检测与跟踪

在人体区域确定后，采用比较人体区域与形状模板间亮度关系来进行检测。该方法受形状及人体姿势变化影响较大。在上一步骤中已采用基于改进的k均值中心聚类阈值分割出人体目标区域，在其基础上对人体目标的方向梯度直方图特征、形状特征及亮度分布惯性特征等多种特征进行整合构建一个新的复合分类特征，并用支持向量机分类器进行人体检测。本发明所提出的把复合分类特征用于红外人体检测算法中能较好的排除复杂背景以及光晕的干扰，正确检测出人体目标，并且对人体间的粘连有一定的效果，有效提高了人体目标检测准确率，是一种实时性强检测有效的红外图像人体检测算法。

目标跟踪问题内容非常丰富，其技术领域也涉及多种前沿学科主。其基本思想是：首先，把视频图像分为序列图像。然后，基于视频信息在空域和时域上的相关性来对目标在每张图像上的位置进行定位以及对其姿态行为进行识别。视觉跟踪意义上的目标跟踪就是从图像中提取到能够表征目标的一些图像特征并利用该特征来确定目标的位置、运动速度等相关信息。

用于红外人体跟踪的粒子滤波算法作为一种贝叶斯序贯重要采样技术，具有结合多种不同信息联合的功能。红外人体目标跟踪过程中一项关键技术就是如何表述和提取待测人体目标区域的鲁棒性特征。就其本质意义来说，跟踪其实就是一个持续分类问题。因此，为了增加跟踪算法的鲁棒性和实时性，多种信息应该融合在一起，而不能只参照亮度信息，避免一旦发生光线突变或者出现和背景亮度相同的目标出现跟踪丢失现象。

本发明中，我们通过分析红外人体图像的性能，对其亮度-距离空间下人体目标表征模型进行了改进，构造出一个联合空间下的表征模型。该方法以像素点的亮度与其到中心点的距离为基础，构建能够表征人体目标模型的亮度-距离联合直方图特征，并将该特征融合到粒子滤波跟踪框中用以实现红外人体目标的鲁棒跟踪。

大部分红外图像的直方图不呈现简单的双峰形状甚至不呈双峰形状，这就使得一些基于红外直方图呈双峰形状假设的算法不能很好的把感兴趣目标分割开来。本发明首先将直方图划分为多个区域进行多聚类分析，然后对聚类后不同类别聚类中心的分布进行分析，最后从中找到极大值点作为该图像分割阈值把目标从图像中很好的分离出来。K均值聚类算法就是一个把每个样本分配到距离它最邻近类均值的那一类的迭代寻优过程。

K均值聚类中心分析算法执行过程为：首先，以图像灰度分布标准差为亮度在直方图有效区域内进行试探性线性划分成多个初始聚类中心；其次，对不同的灰度值进行k均值聚类；最后，考察聚类空间与其相邻两个聚类空间的关系。

设聚类前后的各聚类中心值分别为及u_i，u_i-1，u_i+1。由于 在聚类前呈线性关系，其关系式满足：

聚类后，u_i，u_i-1，u_i+1的相对关系表示为：

假如聚类空间K_i-1，K_i，K_i+1内的像素都属于同一类目标，聚类后Δu_i-1，Δu_i，Δu_i+1的值会很小，由此可得l≈1，其含义为：同属一类目标的三类聚类中心在聚类完前后的线性关系不应该被破坏，其相对变化很小。如果其中某一聚类空间的中心值聚类前后变化范围差距较大，此时，线性关系就遭到破坏，而聚类中心值的走向趋势也一定会出现明显的转折。以此转折点处类别像素集的实际灰度临界值为图像分割阈值就能把目标区域分割出来。

我们采用聚类中心值的相对增量差分的绝对值来求直方图聚类中心转折点，其关系如式表示：

寻找靠近饱和方向上的CR的极大值点对应的类别作为转折点。转折点一旦确定，为降低误差和减少运算量我们通常把转折点处两相邻聚类中心值的平均值取为阈值，对整个图像进行二值化分割。由于红外行人图像中人体目标的亮度一般比背景亮度要高，我们还可以采用只对高于图像平均亮度的像素进行分析，来降低可处理的数据量，提高算法效率。同时，所得聚类中心的走势转折也更为明显。

红外人体目标跟踪过程中一项关键技术就是如何表述和提取待测人体目标区域的鲁棒性特征。就其本质意义来说，跟踪其实就是一个持续分类问题。基于红外图像序列的人体目标跟踪就是要把人体目标从复杂的背景图像中分割出来并对其进行定位。许多学者通过计算人体目标区域与参考人体形状模板间亮度相似性来进行分类。该方法是以人体目标区域和参考人体形状目标模板间形状相似性为基础，很容易受人体目标姿势变化的影响；而作为非刚体目标的人体目标，其变形完全是弹性的、随机的，故以此方法进行跟踪常常出现误判跟丢现象。本发明中，我们通过分析红外人体图像，将把亮度信息与距离信息联合起来构造一个联合空间下的表征模型，然后将粒子滤波与亮度-距离投影空间下的直方图特征信息融合起来增强目标跟踪的性能。

为了便于研究红外人体目标的距离-亮度特征，我们先把目标区域用长和宽分别为m和n的矩形框表示；接下来在矩形框内分别对红外人体目标的距离和亮度特征进行分析。I(x,y)表示像素点(x,y)的亮度值，则构建亮度-距离二维直方图步骤可以表示为：

构建距离特征直方图：计算每个点(x,y)到图像中心点的距离：

其中(x₀,y₀)表示矩形图像的中心点。

将各点距离映射到直方图的相应级数上，获得距离直方图：

其中，k＝1,2,...,z为直方图级数，δ为Kronecker delta函数。

构建亮度特征直方图：构造一个函数将每个像素点的亮度值映射到直方图相应级数上得到亮度直方图。并以此作为表征人体目标区域的亮度特征。

其中，p＝1,2,...,t为直方图级数，δ为Kronecker delta函数。

构建联合直方图：将上述两个特征直方图通过下式融合，构建亮度-距离联合直方图。

首先对级数分别为z和t的二维直方图进行降维，把其转变为级数为z×t的一维联合直方图，然后对其进行归一化，最后用分类器对其进行分类且根据结果进行量化分析找到合适的直方图级数实现跟踪最优化。

Claims (6)

1.一种基于特征匹配的红外人体目标检测跟踪方法，其特征在于：包括以下步骤：

步骤一：对红外图像进行对比度增强；

步骤二：对单帧红外图像进行背景抑制，把红外人体目标与具有相关性的背景加以分离；

步骤三：在空域和频域中对红外图像进行高通滤波，来分离出淹没在复杂背景中的红外人体目标；

步骤四：对于灰度直方图不是双峰分布的红外图像，采用分区域进行聚类分析，再根据聚类后的各类别聚类中心的分布寻找适当的分割阈值把目标分离出来；

步骤五：对红外图像采用开运算去噪处理，除去面积小于5个像素的孤立高亮度噪声点；

步骤六：对红外图像进行邻接四邻域标注或邻接八邻域标注，在各个标注区域内采用基于区域特征的方法来判断是否包含人体目标；

步骤七：在人体区域确定后，采用比较人体区域与形状模板间亮度关系来进行检测。

2.根据权利要求1所述的基于特征匹配的红外人体目标检测跟踪方法，其特征在于：所述的步骤四中，对红外图像的灰度直方图采用图像的标准差初始化类间距离，划分聚类空间来确定分类数并进行K均值聚类，然后考察聚类空间K_i与其相邻两个聚类空间K_i+1和K_i-1的关系；首先将红外图像的灰度直方图划分为多个区域进行多聚类分析，然后对聚类后不同类别聚类中心的分布进行分析，最后从中找到极大值点作为该图像分割阈值把目标从图像中分离出来。

3.根据权利要求1所述的基于特征匹配的红外人体目标检测跟踪方法，其特征在于：所述的步骤六中，在判定一个目标是否包含人体目标时，考虑目标像素数和邻接矩形框的宽高比两个因素；最小能探测到的目标的大小是由目标模板的像素最小值决定，将最小值设定为100，小于100像素的目标作为候选目标元素；由于视频中的人体姿势大都呈纵向分布，宽高比一般小于1，可以根据邻接矩形的宽高比忽略大于1的矩形框所包含的目标。

4.根据权利要求1所述的基于特征匹配的红外人体目标检测跟踪方法，其特征在于：所述的步骤七中，对人体目标的方向梯度直方图特征、形状特征及亮度分布惯性特征进行整合构建一个新的复合分类特征，并用支持向量机分类器进行人体检测。

5.根据权利要求2所述的基于特征匹配的红外人体目标检测跟踪方法，其特征在于：所述的K均值聚类方法为：

设聚类前后的各聚类中心值分别为及u_i，u_i-1，u_i+1，由于 在聚类前呈线性关系，其关系式满足：

聚类后，u_i，u_i-1，u_i+1的相对关系表示为：

假如聚类空间K_i-1，K_i，K_i+1内的像素都属于同一类目标，聚类后Δu_i-1，Δu_i，Δu_i+1的值很小，由此可得l≈1，其含义为：同属一类目标的三类聚类中心在聚类完前后的线性关系不应该被破坏，其相对变化很小；如果其中某一聚类空间的中心值聚类前后变化范围差距较大，此时线性关系遭到破坏，聚类中心值的走向趋势会出现明显的转折，以此转折点处类别像素集的实际灰度临界值为图像分割阈值就能把目标区域分割出来；

采用聚类中心值的相对增量差分的绝对值来求直方图聚类中心转折点，其关系如式表示：

寻找靠近饱和方向上的CR的极大值点对应的类别作为转折点，把转折点处两相邻聚类中心值的平均值取为阈值，对整个图像进行二值化分割；还可以采用只对高于图像平均亮度的像素进行分析。

6.根据权利要求4所述的基于特征匹配的红外人体目标检测跟踪方法，其特征在于：所述的步骤七具体方法为：

把目标区域的长和宽分别为m和n的矩形框表示，在矩形框内分别对红外人体目标的距离和亮度特征进行分析；I(x,y)表示像素点(x,y)的亮度值，则构建亮度-距离二维直方图的步骤为：

构建距离特征直方图：计算每个像素点(x,y)到矩形图像中心点(x₀,y₀)的距离：

将各点距离映射到直方图的相应级数上，获得距离直方图：

其中，k＝1,2,...,z为直方图级数，δ为Kronecker delta函数；

构建亮度特征直方图：构造一个函数将每个像素点的亮度值映射到直方图相应级数上得到亮度直方图，并以此作为表征人体目标区域的亮度特征：

其中，p＝1,2,...,t为直方图级数，δ为Kronecker delta函数；

构建联合直方图：将上述两个特征直方图通过下式融合，构建亮度-距离联合直方图：

首先对级数分别为z和t的二维直方图进行降维，把其转变为级数为z×t的一维联合直方图，然后对其进行归一化，最后用分类器对其进行分类且根据结果进行量化分析，找到合适的直方图级数实现跟踪最优化。