CN104951758B - 市区环境下基于视觉的车载行人检测与跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种市区环境下基于视觉的车载行人检测与跟踪方法及系统，本发明为了避免在整幅图像中匹配已建立的目标颜色概率分布图而导致在寻求最优匹配位置时出现较大的偏差，根据上一时刻图像中行人的质心位置，采用Kalman滤波预测下一时刻行人的质心位置，以该预测位置为中心建立搜索窗口，利用Meanshift算法匹配所建立的行人目标颜色概率分布图，从而确定行人质心的当前时刻的观测位置并更新行人目标颜色概率分布图和Kalman滤波的状态和协方差阵，当行人已经走出视野范围或者跟踪失效时针对待检测图像采用行人检测方法重新检测行人作为待跟踪目标，避免出现跟踪累积误差。因此，本发明可以广泛用于行人安全保护技术领域。

Description

市区环境下基于视觉的车载行人检测与跟踪方法及系统

技术领域

本发明涉及一种车载行人检测与跟踪方法及系统，特别是关于一种市区环境下基于视觉的车载行人检测与跟踪方法及系统。

背景技术

为了减少汽车与行人碰撞事故的发生，有效保护行人安全，国内、外在制定严格的行人保护法规之外，在汽车被动安全与主动安全等方面也进行了相关的研究。行人主动防碰撞系统是汽车主动安全系统中的重要组成部分，该系统能在发现车辆前方的行人处于危险状态时能及时警告驾驶员避免与其发生碰撞，并在危急时刻时也能主动采取紧急制动或者转向等措施以避免碰撞事故的发生。行人主动防碰撞系统其通常包括本发明系统和车辆控制系统，本发明系统包括行人检测与行人跟踪两部分，普遍采用视觉传感器实现行人的检测与跟踪。行人跟踪能够得到行人目标的运动轨迹从而为后续行人的运动分析和危险态势估计提供可靠的技术支持，具有重要的研究意义。

目前常见的运动目标跟踪算法主要是针对相机固定的场景下开展的，手动标记出需要跟踪的目标或者采用背景相减的办法来提取运动的目标，再实现该运动目标的跟踪，不适用于车载运动状态的行人主动防撞系统。行人主动防碰撞系统中的行人跟踪主要应用在城市道路交通环境下，由于背景复杂、车载相机运动以及行人目标多样性的特点，采用现有的行人跟踪算法很难实现该种场景下稳定地跟踪，尤其是当目标背景发生动态变化或者目标存在严重遮挡时，由于不能对目标运动趋势做出相应的预测，跟踪过程中目标很容易丢失。典型的目标跟踪算法主要有Kalman和Meanshift等，Kalman滤波因其优越的跟踪性能也常被单独用于行人目标跟踪上，能够较为准确地预测目标的速度和位置，从而准确地估计目标运动状态，但无法胜任存在目标变形和遮挡等场合，而Meanshift算法通过不断迭代计算Meanshift向量使其收敛于新的窗口位置，具有快速高效的优点，但在寻求最优匹配位置时就会出现偏差，而且随着行人目标的运动误差会越来越大，因此有必要结合这两种方法的优缺点，稳定跟踪所检测到的行人。

发明内容

针对上述问题，本发明的目的是提供一种市区环境下基于视觉的车载行人检测与跟踪方法及系统，针对Meanshift跟踪算法存在的问题，引入Kalman预测行人目标的位置和搜索范围，充分利用其颜色和运动信息以获得运动目标的精确位置估计来提高行人跟踪的效果。

为实现上述目的，本发明采取以下技术方案：一种市区环境下基于视觉的车载行人检测与跟踪方法，它包括以下步骤：1)实时获取车辆前方的彩色道路视频；2)针对获取的彩色道路视频进行逐帧处理得到待检测图像；3)根据上一帧待检测图像的状态判断下一帧待检测图像进行行人检测或跟踪，其中待检测图像的状态分为未跟踪状态和待跟踪状态；若上一帧待检测图像的状态为未跟踪状态，则进入步骤4)进行行人检测；若上一帧待检测图像的状态为待跟踪状态，则进入步骤5)进行行人跟踪；4)针对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，其中，z>2且为整数，则将最后一次成功检测的具有行人目标的待检测图像的状态改为待跟踪状态，并将返回给步骤3)，以便判断下一帧待检测图像进入行人跟踪；否则，返回步骤3)针对下一帧待检测图像继续进入行人检测；5)针对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪到行人，则返回步骤3)继续针对下一帧待检测图像进行跟踪；若连续z帧待检测图像跟踪失败，则行人已经走出视野范围或者跟踪失效，结束跟踪，返回步骤3)针对下一帧待检测图像重新进行行人检测；所述步骤5)包括以下步骤：①针对包含行人目标的待检测图像，建立第k-1时刻的行人目标颜色概率分布图I_P，其中k为任意时刻；②针对包含行人目标的待检测图像的质心位置，采用Kalman算法预测第k时刻的质心位置；③采用Meanshift算法结合第k-1时刻的行人目标颜色概率分布图I_P和第k时刻的质心位置进行行人跟踪；若跟踪成功，则将跟踪过程中的数据用于更新①和②；若跟踪失败，则对失败次数进行累计；④当连续z帧跟踪行人目标失败时，则行人已经走出视野范围或者跟踪失效，结束跟踪，返回步骤3)针对下一帧待检测图像重新进行行人检测；否则，返回步骤3)继续针对下一帧待检测图像进行跟踪。

所述步骤4)和步骤5)中z为3。

所述步骤4)包括以下步骤：①将待检测图像转换为灰度图像，并进行中值滤波处理，使其划分成若干子窗口，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口；②采用行人识别分类器针对优化后的子窗口逐一进行行人目标判别，若当前检测的子窗口中不存在行人目标，则检测当前待检测道路图像中下一子窗口是否存在行人目标；若当前检测的子窗口中存在行人目标，则将判断该子窗口图像为行人图像，并将相应的待检测图像的状态改为待跟踪状态及标记相应的质心位置信息，并将行人目标检测成功的次数进行记录；③当连续z帧待检测图像成功检测到行人目标时，将将最后一次成功检测到的行人目标的待检测图像及其行人目标质心位置发送给返回步骤3)，以便判断下一帧待检测图像进入图像跟踪。

市区环境下基于视觉的车载行人检测与跟踪系统，其特征在于：它包括前视相机模块、视频处理模块、状态判断模块、行人检测模块和行人跟踪模块；所述前视相机模块用于获取车辆前方的道路视频，并将道路视频发送给视频处理模块；所述视频处理模块将采集的道路视频进行逐帧处理，得到若干帧连续图像，并逐一将每一帧图像作为待检测图像发送给所述状态判断模块；所述状态判断模块根据上一帧待检测图像是否处于待跟踪状态，判断下一帧待检测图像检测或跟踪，若上一帧待检测图像处于未跟踪状态，则进入所述行人检测模块进行行人检测；若上一帧待检测图像处于待跟踪状态，则将上一帧待检测图像的质心位置发送给所述行人跟踪模块进行行人跟踪；所述行人检测模块用于对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，则将最后一次成功检测的具有行人目标的待检测图像的状态改为待跟踪状态，并返回给所述状态判断模块，以便判断下一帧待检测图像进入行人跟踪；否则，返回给所述状态判断模块针对下一帧待检测图像继续进入行人检测；所述行人跟踪模块用于对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪失败，则行人已经走出视野范围或者跟踪失效，结束跟踪，并返回所述状态判断模块针对下一帧待检测图像重新进行行人检测；若连续z帧待检测图像跟踪到行人，则返回所述状态判断模块继续针对下一帧待检测图像进行跟踪；所述行人跟踪模块包括概率分布图机构、质心位置预测机构、基于Meanshift的行人跟踪机构和行人跟踪累计机构；其中，所述概率分布图机构接收包含行人目标的待检测图像，建立第k-1时刻的行人目标颜色概率分布图I_P，并将其发送给所述基于Meanshift的行人跟踪机构；所述质心位置预测机构接收包含行人目标的待检测图像的质心位置，并利用该信息采用Kalman算法预测第k时刻的质心位置，并将其预测的质心位置发送给所述基于Meanshift的行人跟踪机构；所述基于Meanshift的行人跟踪机构根据第k-1时刻的行人目标颜色概率分布图I_P和预测的第k时刻的质心位置，采用Meanshift算法进行行人跟踪，若跟踪成功，则将跟踪过程中的数据反馈给所述概率分布图机构和所述质心位置预测机构，用于更新所述概率分布图机构中的行人目标的颜色概率分布图，更新所述质心位置预测机构中的Kalman的状态方程和误差协方差矩阵，否则发送给所述行人跟踪累计机构对失败次数进行累计；当所述跟踪累计机构连续z帧跟踪行人目标失败时，则行人已经走出视野范围或者跟踪失效，结束跟踪，并返回所述状态判断模块针对下一帧待检测图像重新进行行人检测；否则，返回所述状态判断模块继续针对下一帧待检测图像进行跟踪。

所述行人检测模块和所述行人跟踪模块中z为3。

所述行人检测模块包括图像预处理机构、行人识别分类器和行人检测累计机构；所述图像预处理机构将彩色的待检测道路图像转换为灰度图像并进行中值滤波处理，使其划分成若干子窗口，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口，并将子窗口发送给所述行人识别分类器；所述行人识别分类器针对优化后的子窗口逐一进行行人目标判别，若当前检测的子窗口中不存在行人目标，则检测当前待检测道路图像中下一子窗口是否存在行人目标；若当前检测的子窗口中存在行人目标，则将判断该子窗口图像为行人图像，并将相应的待检测图像的状态改为待跟踪状态及标记相应的质心位置信息，并将其发送给所述行人检测累计机构进行累计；当所述行人检测累计机构连续z帧待检测图像成功检测到行人目标时，将最后一次成功检测的具有行人目标的待检测图像发送给所述状态判断模块，以便所述状态判断模块判断下一帧待检测图像进入所述行人跟踪模块；否则，返回所述状态判断模块继续下一帧待检测图像进入行人检测。

本发明由于采取以上技术方案，其具有以下优点：本发明利用颜色特征受行人形状变化的影响较小，采用采用了HSV颜色模型中的色度分量H来有效剔除光照明暗给人体目标颜色带来的影响，提高跟踪算法的稳定性，利用目标颜色概率分布图的跟踪算法可以自动调整目标的大小，有利于解决部分遮挡问题，同时由于只需计算比搜索窗口大一些的搜索窗口内的像素点的颜色概率分布图，可大大节省计算时间。2、本发明为了避免在整幅图像中匹配已建立的目标颜色概率分布图而导致在寻求最优匹配位置时出现较大的偏差，根据上一时刻图像中行人的质心位置，采用Kalman滤波预测下一时刻行人的质心位置，以该预测位置为中心建立搜索窗口，利用Meanshift算法匹配所建立的行人目标颜色概率分布图，从而确定行人质心的当前时刻的观测位置并更新行人目标颜色概率分布图和Kalman滤波的状态和协方差阵，传统Meanshift跟踪算法需要手动选择初始搜索窗口的缺点，采用基于特征优化的行人检测方法，跟踪失效时重新检测行人作为跟踪目标，避免出现跟踪累积误差。另外，传统行人跟踪算法由于不能对行人运动趋势做出相应的预测，跟踪过程中目标很容易丢失，结合Kalman与Meanshift算法能够很好地预测行人下一时刻位置并实施有效的跟踪。鉴于以上理由，本发明可以广泛用于行人安全保护技术领域。

附图说明

图1是本发明的结构示意图

图2是本发明的行人检测流程图

图3是本发明基于行人质心位置预测的行人跟踪流程图

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明系统包括前视相机模块1、视频处理模块2、状态判断模块3、行人检测模块4和行人跟踪模块5。

前视相机模块1安装在车前挡风玻璃处，用于获取车辆前方的道路视频，且该道路视频为彩色，并将道路视频发送给视频处理模块2。

视频处理模块2将采集的道路视频进行逐帧处理，得到若干帧连续图像，并逐一将每一帧图像作为待检测图像发送给状态判断模块3。

状态判断模块3根据上一帧待检测图像是否处于待跟踪状态，判断下一帧待检测图像检测或跟踪，若上一帧待检测图像处于未跟踪状态，则进入行人检测模块4进行行人检测；若上一帧待检测图像处于待跟踪状态，则将上一帧待检测图像的行人目标质心位置发送给行人跟踪模块5进行行人跟踪。

需要说明的是，本系统初始化后获取的前z帧待检测图像全部首先进入行人检测模块4进行行人检测，待第z+1帧待检测图像开始才根据前一帧待检测图像的状态判断下一帧待检测图像进入行人检测模块4或行人跟踪模块5，其中，z>2且为整数。

行人检测模块4用于对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，则记录最后一次成功检测到的行人目标图像及其行人目标质心位置、并将待检测图像的状态改为待跟踪状态，并返回给状态判断模块3，以便判断下一帧待检测图像进入行人跟踪；否则，返回给状态判断模块3针对下一帧待检测图像继续进入行人检测。

上述行人检测模块4包括图像预处理机构41、行人识别分类器42和行人检测累计机构43。

图像预处理机构41将彩色的待检测道路图像转换为灰度图像并进行中值滤波处理，使其划分成若干子窗口，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口，并将子窗口发送给行人识别分类器42。行人识别分类器42针对优化后的子窗口逐一进行行人目标判别，若当前检测的子窗口中不存在行人目标，则检测当前待检测道路图像中下一子窗口是否存在行人目标；若当前检测的子窗口中存在行人目标，则将判断该子窗口图像为行人图像，并将相应的待检测图像的状态改为待跟踪状态及标记相应的行人目标质心位置，并将其发送给行人检测累计机构43进行累计。当行人检测累计机构43连续z帧待检测图像成功检测到行人目标时，将最后一次成功检测到的行人目标的待检测图像及其行人目标质心位置发送给状态判断模块3，以便状态判断模块3判断下一帧待检测图像进入行人跟踪模块5；否则，返回状态判断模块3继续下一帧待检测图像进入行人检测。

如图2所示，上述图像预处理机构41的工作过程如下：

为了减少算法处理时间，将待检测彩色道路图像转换为灰度图像并进行中值滤波处理，由于灰度转换和中值滤波处理为现有技术，故不再详述。将滤波后的待检测道路图像划分为像素大小为128×64的若干个子窗口，具体划分的步骤如下；以待检测道路图像中的最下角为起始点，以4个像素为步长向右分别截取像素大小为128×64的子窗口，该行结束后，再以4个像素为步长向上移动，同样以4个像素为步长向右分别截取像素大小为128×64的子窗口，直到遍历整幅待检测道路图像，获得若干个像素大小为128×64的子窗口。将每一子窗口作为一个样本图像，并针对每一样本图像进行特征向量提取，此过程为本领域常用的技术手段，故不再详述。将提取的特征向量进行降维优化，得到优化后的子窗口，并将子窗口发送给行人识别分类器42，此过程为本领域常用的技术手段，故不再详述。

上述行人识别分类器42工作过程如下：

①建立行人识别分类器，其包括以下内容：

从MIT行人数据库和INRIA行人数据库中抽取n＝4950个样本图像，其中n₁＝2450个包含行人的真样本图像、n₂＝2500个不包含行人的假样本图像，样本图像为灰度图像，大小为128×64像素。

为了提高行人检测的识别准确性，提取每个样本图像的梯度直方图特征向量，具体步骤是将每个样本图像分成5031个子块，子块的大小分别为12×12、12×24、24×12、24×24、24×48、48×24、36×36、72×36、48×48、96×48、64×64和128×64像素等12个类型，子块与子块之间允许有重叠，重叠的尺度分别为4、6和8个像素，每个子块由两行两列均匀分布的4个单元组成；采用Sobel算子处理得到每个样本图像的梯度强度和梯度方向，并将梯度方向均匀分成9个区间，使用积分直方图得到每个单元的梯度直方图特征，因此，每个单元就可以提取9个区间的梯度直方图特征，每个子块由4个单元组成就可以得到36个梯度直方图特征，每个样本图像由5031个子块组成就可以得到181116个特征值，每个样本的特征向量记为x_i；

为了降低算法处理时间，采用加权Fisher线性判别方法对每个样本的特征向量进行降维优化，设定每个样本权重w_i，对于真样本图像，其权重为w_i＝1/2n₁，对于假样本图像，其权重为w_i＝1/2n₂，使得所有样本权重之和为1，分别计算真样本图像的类内均值m₁、类内加权协方差矩阵s₁和假样本图像的类内均值m₂、类内加权协方差矩阵s₂：

按照如下关系计算得到最佳投影方向

a＝(s₁+s₂)^-1(m₁-m₂)

将每个样本图像i的特征向量x_i按照下式进行投影，从而将每个样本图像的多维特征降为1维特征，记为f(x_i)，从而减少算法处理时间，能够更好地将真假样本图像分开：

f(x_i)＝a^Tx_i,i＝1,2,...,n

为了得到行人识别分类器，将训练样本的输入记为X_train＝{f(x₁),f(x₂),...,f(x_n)}、训练样本的输出记为Y_train＝{y₁,y₂,...,y_n}，对于真样本图像，其输出记为y_i＝+1，对于假样本图像，其输出记为y_i＝-1，首先基于查找表方法构建行人识别弱分类器，并用Gentle AdaBoost算法从所有的弱分类器中挑选出分类能力强的弱分类器线性组合成一个强分类器，该分类器即为训练得到的行人识别分类器。

基于查找表方法构建行人识别弱分类器的过程如下：

查找表方法则是先将由样本特征构成的整个样本集的特征值划分为k₁＝8个子区间B(i)，i＝1,2,...,k₁，然后通过统计每个区间中的权值总和来估计后验概率，弱分类器h(x)表示为某个样本的特征值落在该子区间，则该样本为真样本图像与假样本图像的后验概率之差，该弱分类器是一个表示置信度的实数值，能够有效地提高分类器的识别精度。

计算特征值落在第i个区间B(i)内的真样本图像和假样本图像权重的总和W_i ⁺¹和W_i ^-1：

若某个样本的特征值f(x_i)落在第i个区间B(i)内，则该样本可能是真样本图像或假样本图像的后验概率为

则可得某个区间B(i)内特征值f(x_i)的弱分类器为

基于Gentle AdaBoost算法训练得到的行人识别分类器：根据训练样本的输入和输出，设定初始权重，假设分类器中有T＝20个分类能力较强的弱分类器，对于每一轮训练t(t＝1,2,...,T)，首先需要归一化权重，然后对于每一个特征值，按照上述方法计算得到一个弱分类器，用该弱分类器对样本集进行分类，选择具有最小分类错误率的弱分类器作为本轮训练选出的最优分类器f_t(x)，同时加大被错误分类样本的权重、降低被正确的类样本的权重，该轮训练结束并进入下一轮训练，直到T轮训练结束，最后得到的行人识别分类器即为

②采用建立的行人识别分类器对图像预处理机构41处理后的图像进行判别，并将存在行人目标的图像作为待跟踪的行人图像，并标记相应的质心位置信息，将二者发送给行人检测累计机构43，其包括以下内容：

采用行人识别分类器依次对每个子窗口进行判别，若输出为正值，则判断该子窗口图像存在行人目标，将计算机系统采集的待检测彩色道路图像对应于该子窗口位置的图像记为I，并以该子窗口的中心位置在待检测道路图像中的绝对位置作为行人目标的质心位置，标记为(p_i,p_j)，p_i表示行人质心在待检测道路图像水平方向上的位置、p_j表示行人质心在待检测道路图像垂直方向上的位置，否则，判断该子窗口图像不存在行人目标，从而实现了在线行人检测。

行人跟踪模块5用于对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪失败，则行人已经走出视野范围或者跟踪失效，结束跟踪，并返回状态判断模块3针对下一帧待检测图像重新进行行人检测；若连续z帧待检测图像跟踪到行人，则返回状态判断模块3继续针对下一帧待检测图像进行跟踪。

上述行人跟踪模块5包括概率分布图机构51、质心位置预测机构52、基于Meanshift的行人跟踪机构53和行人跟踪累计机构54。

其中，概率分布图机构51接收包含行人目标的待检测图像，建立第k-1时刻的行人目标颜色概率分布图I_P，并将其发送给基于Meanshift的行人跟踪机构53。质心位置预测机构52接收包含行人目标的待检测图像的质心位置，并利用该信息采用Kalman算法预测第k时刻的质心位置，并将其预测的质心位置发送给基于Meanshift的行人跟踪机构53。基于Meanshift的行人跟踪机构53根据第k-1时刻的行人目标颜色概率分布图I_P和预测的第k时刻的质心位置，采用Meanshift算法进行行人跟踪，若跟踪成功，则将跟踪过程中的数据反馈给概率分布图机构51和质心位置预测机构52，用于更新概率分布图机构51中的行人目标的颜色概率分布图，更新质心位置预测机构52中的Kalman的状态方程和误差协方差矩阵，否则发送给行人跟踪累计机构54对失败次数进行累计。当跟踪累计机构54连续z帧跟踪行人目标失败时，则行人已经走出视野范围或者跟踪失效，结束跟踪，并返回状态判断模块3针对下一帧待检测图像重新进行行人检测；否则，返回状态判断模块3继续针对下一帧待检测图像进行跟踪。上述k为任意时刻。

如图3所示，上述概率分布图机构51的工作过程如下：

由于颜色特征受行人形状变化的影响较小，在目标运动过程中图像的颜色概率分布也随之变化，因此可以根据图像的颜色概率分布变化来跟踪目标并调整目标的大小，有利于解决部分遮挡问题。

首先将待跟踪的行人图像I的每个像素从RGB空间转换到HSV空间，统计能够反映色彩本质特性的色度分量H的直方图，色度分量能有效剔除光照明暗给人体目标颜色带来的影响，提高跟踪算法的稳定性。用I_R(i,j)、I_G(i,j)和I_B(i,j)对应代表待检测行人图像位置为(i,j)处像素点的红色分量值、绿色分量值和蓝色分量值，用I_H(i,j)表示待检测行人图像位置为(i,j)处像素点的色度分量值，i表示图像的列，可以从1到64变化，j表示图像的行，可以从1到128变化，每个像素点位置的色度分量值计算公式如下：

每个像素点位置的色度分量I_H的变化范围是0到360之间，考虑到行人跟踪的实时性以及鲁棒性的要求，将色度分量H值量化成k₂＝60个子区间B₁(i)，i＝1，2，...，k₂，统计每个像素点位置的色度分量出现在第i个子区间B₁(i)的像素个数S_num(i)，再除以待检测行人图像总的像素个数，就可以得到待检测行人图像的颜色概率直方图P_H(i)：

将待检测行人图像中每个像素点位置的色度分量值用该值出现的概率来替换，并将其转换为灰度图像，即将每个像素点位置的色度分量概率值转换到0-255之间的数，就能得到待检测行人图像的颜色概率分布图I_P，I_P(i,j)来表示待检测行人图像位置为(i,j)处色度分量值出现的概率，i表示图像的列，可以从1到64变化，j表示图像的行，可以从1到128变化。颜色概率分布图I_P中的每个像素点位置的值越大，表明该像素点颜色信息在待检测行人图像上分布的概率越大；反之，表明该像素点颜色信息在待检测行人图像上分布的概率就越小，充分利用了目标的颜色信息来提高行人跟踪的准确性。

上述质心位置预测机构52的工作过程如下：

①采用Kalman滤波方法对行人质心位置进行预测，行人的运动状态参数主要是第k时刻行人的质心位置及其位置变化速度，取本发明系统的状态向量X_k和观测向量Z_k：

X_k＝(x_k,y_k,Δx_k,Δy_k)^T

Z_k＝(x_k,y_k)^T

其中，x_k表示行人质心在待检测道路图像水平方向上的位置，y_k表示行人质心在待检测道路图像垂直方向上的位置，Δx_k表示行人质心在待检测道路图像水平方向上的位置变化速度，Δy_k表示行人质心在待检测道路图像垂直方向上的位置变化速度。

本发明系统的状态方程和观测方程分别为

X_k＝ΦX_k-1+W

Z_k＝HX_k+V

采用行人质心位置(p_i，p_j)来初始化本发明系统的状态向量，取状态向量的初始值为X₀＝(p_i,p_j,0,0)

②根据下列方程，由第k-1时刻行人的质心位置预测第k时刻行人的质心位置(k≥1)，状态预测方程为X_k|k-1＝ΦX_k-1|k-1；误差协方差预测矩阵为P_k|k-1＝ΦP_k-1|k-1Φ^T+Q；

③根据基于Meanshift的行人跟踪机构53反馈的观测向量Z_k修正本发明系统的状态方程

根据上一步的观测向量Z_k来修正状态方程和误差协方差矩阵：

X_k|k＝X_k|k-1+K_k[Z_k-HX_k|k-1]

P_k|k＝[I-K_kH]P_k|k-1

其中，I为单位矩阵，K_k为滤波器的增益，计算公式为

K_k＝P_k|k-1H^T/[HP_k|k-1H_T+R]

根据上述步骤就可以预测跟踪行人下一时刻的质心位置，从而实现序列图像的行人跟踪，直至跟踪结束或者行人逐渐在图像中消失。

上述基于Meanshift的行人跟踪机构53的工作过程如下：

①以质心位置预测机构52预测的第k时刻的行人质心位置(x_k,y_k)为中心，在待检测行人图像中建立一个第k时刻行人的搜索窗口I_k，计算得到该搜索窗口的颜色概率分布图I_pk；

②计算搜索窗口颜色特征的零阶距和一阶矩：

其中，(i,j)为搜索窗口像素点的坐标，I_pk(i,j)为像素点(i,j)的颜色概率分布值。

③计算搜索窗口的质心位置(i_c,j_c)：

将计算得到的搜索窗口的质心位置作为Meanshift算法的初始中心位置，运用Meanshift算法寻找最优匹配位置直至收敛，用巴氏距离作为匹配准则，算法迭代终止时的质心位置即为第k时刻行人的质心位置，并将该值作为观测向量Z_k。

采用以上步骤进行跟踪，若成功跟踪到行人目标，则以该行人质心位置作为第k时刻的观测向量Z_k。若连续z帧待检测图像跟踪失败，则行人已经走出视野范围或者跟踪失效，结束跟踪，则以k-1时刻行人的质心位置作为观测向量Z_k；并将观测向量Z_k反馈给概率分布图机构51和质心位置预测机构52，以便更新行人目标的颜色概率分布图和质心位置预测机构52中的Kalman的状态方程和误差协方差矩阵，返回状态判断模块3针对下一帧待检测图像重新进行行人检测。

上述实施例中，z帧优选为3帧。

采用本发明系统的方法：

1)实时获取车辆前方的彩色道路视频；

2)针对获取的彩色道路视频进行逐帧处理得到待检测图像；

3)根据上一帧待检测图像的状态判断下一帧待检测图像进行行人检测或跟踪，其中待检测图像的状态分为未跟踪状态和待跟踪状态；若上一帧待检测图像的状态为未跟踪状态，则进入步骤4)进行行人检测；若上一帧待检测图像的状态为待跟踪状态，则进入步骤5)进行行人跟踪；

4)针对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，其中，z>2且为整数，则将最后一次成功检测的具有行人目标的待检测图像的状态改为待跟踪状态，并将返回给步骤3)，以便判断下一帧待检测图像进入行人跟踪；否则，返回步骤3)针对下一帧待检测图像继续进入行人检测；

5)针对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪到行人，则返回步骤3)继续针对下一帧待检测图像进行跟踪；若连续z帧待检测图像跟踪失败，则行人已经走出视野范围或者跟踪失效，结束跟踪，并返回步骤3)针对下一帧待检测图像重新进行行人检测。

上述各实施例仅用于说明本发明，其中各步骤的实现方式是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (4)

1.一种市区环境下基于视觉的车载行人检测与跟踪方法，它包括以下步骤：

1)实时获取车辆前方的彩色道路视频；

2)针对获取的彩色道路视频进行逐帧处理得到待检测图像，初始化后，设定前z帧待检测图像的状态为未跟踪状态，所述未跟踪状态为需要对待检测图像进行行人检测的状态，待检测图像的状态用变量S表示，S＝0表示上一帧待检测图像的状态为未跟踪状态，S＝1表示上一帧待检测图像的状态为待跟踪状态，所述待跟踪状态为需要对待检测图像进行行人跟踪的状态；

3)针对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，其中，z>2且为整数，则记录最后一次成功检测的行人目标的质心位置信息，并将最后一次成功检测到行人的待检测图像的状态改为待跟踪状态，置S＝1，进入步骤4)；否则，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，进入步骤4)；

所述步骤3)包括以下步骤：

①将待检测图像转换为灰度图像，并进行中值滤波处理，使其划分成若干子窗口图像，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口图像；

②采用行人识别分类器针对优化后的子窗口图像逐一进行行人目标判别，若当前检测的子窗口中不存在行人目标，则检测当前待检测道路图像中下一子窗口图像是否存在行人目标；若当前检测的子窗口图像中存在行人目标，则判断该子窗口图像为行人图像，记录相应的行人目标的质心位置信息，并对行人目标检测成功的次数进行记录；

③当连续z帧待检测图像成功检测到行人目标时，记录最后一次成功检测到的行人目标的质心位置信息，并将最后一次成功检测到行人的待检测图像的状态改为待跟踪状态，进入步骤4)；否则，将待检测图像的状态改为未跟踪状态，进入步骤4)；

所述行人识别分类器工作过程如下：

建立行人识别分类器，其包括以下内容：

从MIT行人数据库和INRIA行人数据库中抽取n＝4950个样本图像，其中n₁＝2450个包含行人的真样本图像、n₂＝2500个不包含行人的假样本图像，样本图像为灰度图像，大小为128×64像素；

提取每个样本图像的梯度直方图特征向量，具体步骤是将每个样本图像分成5031个子块，子块的大小分别为12×12、12×24、24×12、24×24、24×48、48×24、36×36、72×36、48×48、96×48、64×64和128×64像素12个类型，子块与子块之间允许有重叠，重叠的尺度分别为4、6和8个像素，每个子块由两行两列均匀分布的4个单元组成；采用Sobel算子处理得到每个样本图像的梯度强度和梯度方向，并将梯度方向均匀分成9个区间，使用积分直方图得到每个单元的梯度直方图特征，因此，每个单元提取9个区间的梯度直方图特征，每个子块由4个单元组成得到36个梯度直方图特征，每个样本图像由5031个子块组成得到181116个特征值，每个样本的特征向量记为x_i；

采用加权Fisher线性判别方法对每个样本的特征向量进行降维优化，设定每个样本权重w_i，对于真样本图像，其权重为w_i＝1/2n₁，对于假样本图像，其权重为w_i＝1/2n₂，使得所有样本权重之和为1，分别计算真样本图像的类内均值m₁、类内加权协方差矩阵s₁和假样本图像的类内均值m₂、类内加权协方差矩阵s₂：

按照如下关系计算得到最佳投影方向

a＝(s₁+s₂)^-1(m₁-m₂)

将每个样本图像i的特征向量x_i按照下式进行投影，从而将每个样本图像的多维特征降为1维特征，记为f(x_i)：

f(x_i)＝a^Tx_i,i＝1,2,...,n

将训练样本的输入记为X_train＝{f(x₁),f(x₂),...,f(x_n)}、训练样本的输出记为Y_train＝{y₁,y₂,...,y_n}，对于真样本图像，其输出记为y_i＝+1，对于假样本图像，其输出记为y_i＝-1，首先基于查找表方法构建行人识别弱分类器，并用Gentle AdaBoost算法从所有的弱分类器中挑选出分类能力强的弱分类器线性组合成一个强分类器，该分类器即为训练得到的行人识别分类器；

基于查找表方法构建行人识别弱分类器的过程如下：

查找表方法则是先将由样本特征构成的整个样本集的特征值划分为k₁＝8个子区间B(i)，i＝1,2,...,k₁，然后通过统计每个区间中的权值总和来估计后验概率，如果某个样本的特征值落在某个区间，弱分类器h(x)可表示为该样本可能是真样本图像或假样本图像的后验概率之差，该弱分类器是一个表示置信度的实数值，能够有效地提高分类器的识别精度；

计算特征值落在第i个区间B(i)内的真样本图像和假样本图像权重的总和和

若某个样本的特征值f(x_i)落在第i个区间B(i)内，则该样本可能是真样本图像或假样本图像的后验概率为

则可得某个区间B(i)内特征值f(x_i)的弱分类器为

基于Gentle AdaBoost算法训练得到的行人识别分类器：根据训练样本的输入和输出，设定初始权重，假设分类器中有T＝20个分类能力较强的弱分类器，对于每一轮训练t(t＝1,2,...,T)，首先需要归一化权重，然后对于每一个特征值，按照上述方法计算得到一个弱分类器，用该弱分类器对样本集进行分类，选择具有最小分类错误率的弱分类器作为本轮训练选出的最优分类器f_t(x)，同时加大被错误分类样本的权重、降低被正确的类样本的权重，该轮训练结束并进入下一轮训练，直到T轮训练结束，最后得到的行人识别分类器即为

采用建立的行人识别分类器对图像预处理单元处理后的图像进行判别，并将存在行人目标的图像作为待跟踪的行人图像，并标记相应的行人目标的质心位置信息，其包括以下内容：

采用行人识别分类器依次对每个子窗口图像进行判别，若输出为正值，则判断该子窗口图像存在行人目标，将计算机系统采集的待检测图像对应于该子窗口图像位置的图像记为I，并以该子窗口图像的中心位置在待检测图像中的绝对位置作为行人目标的质心位置，标记为(p_i,p_j)，p_i表示行人质心在待检测图像水平方向上的位置、p_j表示行人质心在待检测图像垂直方向上的位置，否则，判断该子窗口图像不存在行人目标，从而实现了在线行人检测；

4)根据上一帧待检测图像的状态判断下一帧待检测图像进行行人检测或行人跟踪，若S＝0，则返回步骤3)；若S＝1，则进入步骤5)；

5)针对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪失败，则表示行人已经走出视野范围或者跟踪失效，结束跟踪，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，返回步骤4)；否则，将最后一次成功跟踪行人的待检测图像的状态改为待跟踪状态，置S＝1，返回步骤4)；

所述步骤5)包括以下步骤：

①针对包含行人目标的待检测图像，建立第k-1时刻的行人目标颜色概率分布图I_P，其中k为任意时刻；

②针对包含行人目标的待检测图像的质心位置，采用Kalman算法预测第k时刻的质心位置；

③采用Meanshift算法结合第k-1时刻的行人目标颜色概率分布图I_P和第k时刻的质心位置进行行人跟踪；若跟踪成功，则将跟踪过程中的数据用于更新①和②；若跟踪失败，则对失败次数进行累计；

④当连续z帧跟踪行人目标失败时，则表示行人已经走出视野范围或者跟踪失效，结束跟踪，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，返回步骤4)；否则，将最后一次成功跟踪行人的待检测图像的状态改为待跟踪状态，置S＝1，返回步骤4)。

2.如权利要求1所述的市区环境下基于视觉的车载行人检测与跟踪方法，其特征在于：所述步骤2)、步骤3)和步骤5)中z为3。

3.一种市区环境下基于视觉的车载行人检测与跟踪系统，其特征在于：它包括前视相机模块、视频处理模块、状态判断模块、行人检测模块和行人跟踪模块；

所述前视相机模块用于获取车辆前方的道路视频，并将道路视频发送给视频处理模块；

所述视频处理模块将采集的道路视频进行逐帧处理，得到若干帧连续图像，并逐一将每一帧图像作为待检测图像发送给所述状态判断模块；

初始化后获取的前z帧待检测图像全部首先进入行人检测模块进行行人检测，待第z+1帧待检测图像开始才根据前一帧待检测图像的状态判断下一帧待检测图像进入行人检测模块或行人跟踪模块；

所述状态判断模块根据上一帧待检测图像的状态是否处于待跟踪状态，判断对下一帧待检测图像进行行人检测或行人跟踪；待检测图像的状态用变量S表示，S＝0表示上一帧待检测图像处于未跟踪状态；S＝1表示上一帧待检测图像处于待跟踪状态；

所述行人检测模块用于对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，则记录最后一次成功检测的行人目标的质心位置信息，将最后一次成功检测到行人的待检测图像的状态改为待跟踪状态，置S＝1，返回所述状态判断模块；否则，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，返回所述状态判断模块；

所述行人跟踪模块用于对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪失败，则表示行人已经走出视野范围或者跟踪失效，结束跟踪，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，并返回所述状态判断模块；否则，将最后一次成功跟踪行人的待检测图像的状态改为待跟踪状态，置S＝1，返回所述状态判断模块；

所述行人跟踪模块包括概率分布图单元、质心位置预测单元、基于Meanshift的行人跟踪单元和行人跟踪累计单元；其中，所述概率分布图单元接收包含行人目标的待检测图像，建立第k-1时刻的行人目标颜色概率分布图I_P，并将其发送给所述基于Meanshift的行人跟踪单元；所述质心位置预测单元接收包含行人目标的待检测图像的质心位置，并利用该信息采用Kalman算法预测第k时刻的质心位置，并将其预测的质心位置发送给所述基于Meanshift的行人跟踪单元；所述基于Meanshift的行人跟踪单元根据第k-1时刻的行人目标颜色概率分布图I_P和预测的第k时刻的质心位置，采用Meanshift算法进行行人跟踪，若跟踪成功，则将跟踪过程中的数据反馈给所述概率分布图单元和所述质心位置预测单元，用于更新所述概率分布图单元中的行人目标的颜色概率分布图，更新所述质心位置预测单元中的Kalman的状态方程和误差协方差矩阵，否则发送给所述行人跟踪累计单元对失败次数进行累计；当所述跟踪累计单元连续z帧跟踪行人目标失败时，则表示行人已经走出视野范围或者跟踪失效，结束跟踪，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，并返回所述状态判断模块；否则，将最后一次成功跟踪行人的待检测图像的状态改为待跟踪状态，置S＝1，返回所述状态判断模块；

所述行人检测模块包括图像预处理单元、行人识别分类器和行人检测累计单元；所述图像预处理单元将彩色的待检测道路图像转换为灰度图像并进行中值滤波处理，使其划分成若干子窗口图像，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口图像，并将子窗口图像发送给所述行人识别分类器；所述行人识别分类器针对优化后的子窗口图像逐一进行行人目标判别，若当前检测的子窗口图像中不存在行人目标，则检测当前待检测道路图像中下一子窗口图像是否存在行人目标；若当前检测的子窗口图像中存在行人目标，则判断该子窗口图像为行人图像，记录相应的行人目标的质心位置信息，所述行人检测累计单元对行人目标检测成功的次数进行累计；当所述行人检测累计单元连续z帧待检测图像成功检测到行人目标时，记录最后一次成功检测的行人目标的质心位置信息，并将最后一次成功检测到行人的待检测图像的状态改为待跟踪状态，置S＝1，返回所述状态判断模块；否则，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，返回所述状态判断模块；

所述行人识别分类器工作过程如下：

建立行人识别分类器，其包括以下内容：

从MIT行人数据库和INRIA行人数据库中抽取n＝4950个样本图像，其中n₁＝2450个包含行人的真样本图像、n₂＝2500个不包含行人的假样本图像，样本图像为灰度图像，大小为128×64像素；

提取每个样本图像的梯度直方图特征向量，具体步骤是将每个样本图像分成5031个子块，子块的大小分别为12×12、12×24、24×12、24×24、24×48、48×24、36×36、72×36、48×48、96×48、64×64和128×64像素12个类型，子块与子块之间允许有重叠，重叠的尺度分别为4、6和8个像素，每个子块由两行两列均匀分布的4个单元组成；采用Sobel算子处理得到每个样本图像的梯度强度和梯度方向，并将梯度方向均匀分成9个区间，使用积分直方图得到每个单元的梯度直方图特征，因此，每个单元提取9个区间的梯度直方图特征，每个子块由4个单元组成得到36个梯度直方图特征，每个样本图像由5031个子块组成得到181116个特征值，每个样本的特征向量记为x_i；

采用加权Fisher线性判别方法对每个样本的特征向量进行降维优化，设定每个样本权重w_i，对于真样本图像，其权重为w_i＝1/2n₁，对于假样本图像，其权重为w_i＝1/2n₂，使得所有样本权重之和为1，分别计算真样本图像的类内均值m₁、类内加权协方差矩阵s₁和假样本图像的类内均值m₂、类内加权协方差矩阵s₂：

按照如下关系计算得到最佳投影方向

a＝(s₁+s₂)^-1(m₁-m₂)

将每个样本图像i的特征向量x_i按照下式进行投影，从而将每个样本图像的多维特征降为1维特征，记为f(x_i)：

f(x_i)＝a^Tx_i,i＝1,2,...,n

将训练样本的输入记为X_train＝{f(x₁),f(x₂),...,f(x_n)}、训练样本的输出记为Y_train＝{y₁,y₂,...,y_n}，对于真样本图像，其输出记为y_i＝+1，对于假样本图像，其输出记为y_i＝-1，首先基于查找表方法构建行人识别弱分类器，并用Gentle AdaBoost算法从所有的弱分类器中挑选出分类能力强的弱分类器线性组合成一个强分类器，该分类器即为训练得到的行人识别分类器；

基于查找表方法构建行人识别弱分类器的过程如下：

查找表方法则是先将由样本特征构成的整个样本集的特征值划分为k₁＝8个子区间B(i)，i＝1,2,...,k₁，然后通过统计每个区间中的权值总和来估计后验概率，如果某个样本的特征值落在某个区间，弱分类器h(x)可表示为该样本可能是真样本图像或假样本图像的后验概率之差，该弱分类器是一个表示置信度的实数值，能够有效地提高分类器的识别精度；

计算特征值落在第i个区间B(i)内的真样本图像和假样本图像权重的总和和

若某个样本的特征值f(x_i)落在第i个区间B(i)内，则该样本可能是真样本图像或假样本图像的后验概率为

则可得某个区间B(i)内特征值f(x_i)的弱分类器为

基于Gentle AdaBoost算法训练得到的行人识别分类器：根据训练样本的输入和输出，设定初始权重，假设分类器中有T＝20个分类能力较强的弱分类器，对于每一轮训练t(t＝1,2,...,T)，首先需要归一化权重，然后对于每一个特征值，按照上述方法计算得到一个弱分类器，用该弱分类器对样本集进行分类，选择具有最小分类错误率的弱分类器作为本轮训练选出的最优分类器f_t(x)，同时加大被错误分类样本的权重、降低被正确的类样本的权重，该轮训练结束并进入下一轮训练，直到T轮训练结束，最后得到的行人识别分类器即为

采用建立的行人识别分类器对图像预处理单元处理后的图像进行判别，并将存在行人目标的图像作为待跟踪的行人图像，并标记相应的行人目标的质心位置信息，其包括以下内容：

采用行人识别分类器依次对每个子窗口图像进行判别，若输出为正值，则判断该子窗口图像存在行人目标，将计算机系统采集的待检测图像对应于该子窗口图像位置的图像记为I，并以该子窗口图像的中心位置在待检测图像中的绝对位置作为行人目标的质心位置，标记为(p_i,p_j)，p_i表示行人质心在待检测图像水平方向上的位置、p_j表示行人质心在待检测图像垂直方向上的位置，否则，判断该子窗口图像不存在行人目标，从而实现了在线行人检测。

4.如权利要求3所述的市区环境下基于视觉的车载行人检测与跟踪系统，其特征在于：所述视频处理模块、所述行人检测模块和所述行人跟踪模块中z为3。