CN106503627A - 一种基于视频分析的车辆避让行人检测方法 - Google Patents

Abstract

本发明属于智能交通领域，尤其涉及一种基于视频分析的车辆避让行人检测方法。该方法包括以下步骤：1)样本采集：从实际场景中截取，采集车辆和行人的正负样本；2)样本预处理：对采集的样本进行灰度化处理，并进行尺寸缩放；3)特征提取：计算图像梯度，进行梯度方向投票，对梯度方向投票进行计算及优化，直方图归一化并收集特征向量；4)分类器训练；5)目标快速检测：检测出标定区域内所有的车辆和行人目标，并返回目标的中心位置坐标；6)进行违法判断。本发明可以主动检测车辆和行人在行经未设置交通信号的交叉口时的潜在冲突，提前提醒驾驶员注意避让，减少交通事故；同时督促驾驶员养成文明、安全的驾驶习惯，提升城市文明形象。

Description

一种基于视频分析的车辆避让行人检测方法

技术领域

本发明属于智能交通领域，尤其涉及一种基于视频分析的车辆避让行人检测方法。

背景技术

近些年来，随着我国城市进程化推进和道路交通压力的增大，交通安全形势日趋严峻，城市道路口尤其是未设置交通信号灯的交叉路口，车辆与行人的通行权长期以来存在明显冲突。我国法律明确规定，机动车行经没有交通信号的道路时，遇行人横过道路，应当避让。但是由于缺乏有效的监督和检测手段，一些机动车辆在行经未设置交通信号灯的路口时，依然我行我素，不注意避让行人，常常不经意间酿成严重事故。

发明内容

本发明为解决背景技术中存在的上述技术问题，而提供一种基于视频分析的车辆避让行人检测方法，通过嵌入相机的智能分析算法，对未设置交通信号灯的交叉口的通行车辆和行人轨迹进行实时分析，对于可能出现威胁行人安全的驾驶行为进行远程告警和抓拍，从而督促驾驶员形成规范、文明的驾驶习惯，确保道路交叉口的持续安全通行。

本发明的技术解决方案如下：本发明为一种基于视频分析的车辆避让行人检测方法，其特殊之处在于：该方法包括以下步骤：

1)样本采集：从实际场景中截取，采集车辆和行人的正负样本；

2)样本预处理：对采集的样本进行灰度化处理，并进行尺寸缩放；

3)特征提取：计算图像梯度，进行梯度方向投票，对梯度方向投票进行计算及优化，直方图归一化并收集特征向量；

4)分类器训练；

5)目标快速检测：检测出标定区域内所有的车辆和行人目标，并返回目标的中心位置坐标；

6)进行违法判断。

上述步骤1)的具体步骤如下：

1.1)采集车辆的正负样本，从实际场景中截取；正样本包含多种光照下多种车辆类型的正面截图；负样本的选取无特殊要求，从实际场景中不包含车辆正面的图像中截取，道路，树木，车辆目标的部分部件等均可作为负样本；

1.2)采集行人的正负样本，从实际场景中截取；正样本包含多种光照下多种行人的正面截图；负样本的选取无特殊要求，从实际场景中不包含行人正面的图像中截取，道路，树木，行人目标的部分等均可作为负样本。

上述步骤2)的具体步骤如下：

2.1)首先将行人和车辆所有的正负样本进行灰度化处理；

2.2)将行人样本的尺寸缩放至高96像素,宽48像素；车辆样本缩放至高56像素，宽56像素。

上述步骤3)的具体步骤如下：

3.1)计算图像梯度

分别计算图像中的像素点I(x,y)处的灰度值的梯度幅度和角度：

3.2)梯度方向投票

3.2.1)Block和Cell参数的设置和数量计算

特征向量按照图像内Block的移动顺序依次收集，每个Block包含2*2个Cell，每个Cell为8*8像素的正方形区域，Block的移动步长为8像素，从图像的左上角开始从左到右从上到下依次遍历图像；

对于行人样本，其图像宽度共包含(48-16)/8+1＝5个Block，图像高度共包括(96-16)/8+1＝11个Block；对于车辆样本，其图像宽度和图像高度均包含(56-16)/8+1＝6个Block，整幅样本图像共36个Block；

3.2.2)像素梯度在Cell内投票

在求得样本中所有像素的灰度梯度值后，按梯度角度方向在每个Block中的每个Cell内依次进行投票；若认为投票方向单向，则投票方向在0°～360°之间分布,每隔20°一个方向，即0°,20°,40°...，360°,共18个方向；若投票双向则其分布在0°～180°之间，将每相隔180°的两个方向合并为一个方向，即0°(180°),20°(200°),...,180°(360°)共9个方向，当每出现一个对应的梯度角度时，在对应梯度方向上加一票，最终统计的票数即为该Cell内的特征向量；

3.2.3)每张样本特征向量数目的计算

以双向投票为例，每个Cell内生成9维特征向量，每个Block内共有36维特征向量。由于每个行人样本共有55个Block，则每张行人样本图像共生成55*36＝1980维特征向量；每个车辆样本共有36个Block，则每张车辆样本图像共生成36*36＝1296维特征向量。每个Block内特征向量的组成可以按照规则确定，但需要与目标检测时特征向量的排序一致；将该特征向量进行归一化后即可获得每幅样本的特征数据；

3.3)梯度方向投票算法及优化

3.3.1)一维线性插值

实际中Cell内像素的梯度方向可能与9个投票方向都不一致，这时投票的权重需要依据实际梯度方向与标准梯度方向之间的距离按线性比例分配票数，离得越近，投的票数越多。如在某像素处计算出的梯度方向为35°，梯度幅度为w，则在20°和40°分别投票0.25*w和0.75*w；

3.3.2)三维线性插值投票算法优化

为了增加目标检测的鲁棒性，不但要考虑Block内某一像素对其所在Cell内的各方向投票，还须考虑其对相邻Cell产生的影响，在平面内对其相邻Cell(即x,y方向)产生的投票和对梯度方向的投票称为三维线性插值，方法如下：

3.3.2.1)4个角落的白色区域像素不再向相邻的Cell内都投票，而只向其所在Cell投票；

3.3.2.2)灰色区域的像素保持不变，只向其相邻的2个Cell投票；

3.3.2.3)中间的4个Cell临界的白色区域内的像素需要向Block内4个Cell都进行投票；

3.4)直方图归一化并收集特征向量

对提取出的特征向量进行L2-norm归一化，设特征向量为v，则根据以下公式进行归一化：

其中，ε取0.0001。

上述步骤4)中，分类器训练算法采用成熟的SVM支撑向量机分类算法，为保证分类的精度，采用三组交叉验证方式，即将训练用的样本分为三组，其中一组用作训练，另外两组样本用作验证；如将行人正样本共3000张，分为3组，轮流用其中一组用作训练，另外两组用作测试，取在测试中分类精度最高的一组样本和分类器作为最终的分类器。

上述步骤4)的具体步骤如下：

4.1)选择行人正样本3000张，分为3份，每份各1000张样本图像，将每份图像按前述步骤进行样本预处理和特征提取后，得到3组1000*1980维特征向量，并建立3组1000*1维的标签向量，标记为+1；

4.2)选择行人负样本2000张，按前述步骤进行样本预处理和特征提取后，得到2000*1980维特征向量，并建立2000*1维的标签向量，标记为-1；

4.3)分类器的核函数类型选择LINEAR线性核函数，惩罚因子设置为0.5；

4.4)将组1的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器1；利用分类器1对组2和组3的正样本图像进行分类，得到检测率d1；

4.5)将组2的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器2；利用分类器2对组1和组3的正样本图像进行分类，得到检测率d2；

4.6)将组3的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器3；利用分类器3对组1和组2的正样本图像进行分类，得到检测率d3；

4.7)比较d1,d2和d3,将检测率最高的一个分类器作为行人检测最终的分类器；

4.8)车辆分类器的训练流程和行人一致，选择正样本1000张，分2组；负样本1000张，重复以上步骤即可。

上述步骤5)的具体步骤如下：

5.1)图像灰度化

所有从前端摄像头获取的实时图像在进行目标检测之前进行灰度化处理，灰度范围0～255；

5.2)图像尺寸缩放

所有从前端摄像头获取的实时图像在进行目标检测之前进行缩放处理，长和宽均缩小3倍，缩放的倍数取决于图像分辨率和样本的尺寸，使得缩放后图像中目标尺寸约等于训练样本的尺寸。对于尺寸为2456*2048的图像，缩放后尺寸为818*682；

5.3)Block遍历检测区域并建立特征索引

5.3.1)从图像检测区域的左上角开始，使用2*2Cell的Block对缩放后的图像进行遍历，移动步长8像素，每次Block移动到一个新的位置，计算该Block内的特征向量；

5.3.2)记录该Block左上顶点像素点的位置，并将其作为当前Block的位置；将该Block位置、得到的36维特征向量存入一个三维结构体数组中，数组的前两维分别存储Block在帧内的行和列的位置；

5.3.3)扫描完成，共得到((818-16)/8+1)*((682-16)/8+1)＝8484个Block，特征向量8484*36＝305424维；

5.4)用检测窗口遍历检测区域并检索特征；

以行人检测为例，设置检测窗口为48*96像素，与行人样本尺寸一致，从缩放后图像的左上角开始，用检测窗口图像进行遍历，移动步长8像素，则第一个检测窗口覆盖的Block的x坐标为1～5，y坐标为1～11,从步骤(3)中存储的三维结构体特征数组检索对应的Block的特征向量，并将其作为当前检测窗口的特征向量；

5.5)分类器检测输出

5.5.1)将当前检测窗口的特征向量送入分类器，如果分类器判定为1，则认为该检测窗口存在行人目标，将该检测窗口的中心位置作为行人目标位置并输出；

5.5.2)当检测窗口对整幅图像遍历完毕，该幅图像处理完毕；车辆目标快速检测算法与行人一致，在进行目标判定时加载车辆分类器即可。

上述步骤6)中车辆违法逻辑的判定是根据步骤5.5)所检测到的行人和车辆所处的位置确定，判定步骤如下：

6.1)将图像中以停止线起至停止线后方能够容纳两辆小车范围作为车辆虚拟车道并从左到右依次编号为1到3；

6.2)将图像中斑马线区域作为行人检测区域，与虚拟车道数保持一致，并将其依次编号为1到3；

6.3)根据步骤5.5)目标检测返回的所有行人中心坐标集、所有车辆中心位置坐标集、划定的车辆虚拟车道和行人检测区域，分别计算各个行人所处的检测区域编号集合N和所有车辆所处的虚拟车道编号集合M；

6.4)设定车辆和行人的安全距离为1个车道，遍历集合N和M，对于N中的任一元素n和M中的任一元素m，若存在关系

|n-m|<1

则认为车辆继续行驶时可能威胁行人安全，进入步骤6.5)；

6.5)计算m元素对应的车辆中心坐标是否进入行人检测区域，若没有进入，则启动路侧扩音装置对车辆进行远程告警，提醒其注意避让，安全驾驶；若已驶入行人检测区域，则结合路侧扩音装置对车辆进行远程告警同时启动相机进行抓拍作为违法凭证。

上述步骤3.3.2.3)中，以蓝色像素点投票为例说明三维线性插值的过程，该像素点处于4个Cell相邻的白色区域，因此需要向4个Cell进行投票，说明如下：

其中a、b、c、d点为Block内相邻Cell的中心点，角度区间为θ，θ为9个方向中的一个；

其中e、f、g、h点为Block内相邻Cell的中心点，其x，y坐标分别与a、b、c、d一致，角度空间为θ±20°；

假设蓝色像素点的坐标为x，y，该像素点的梯度方向为θ，梯度幅值为g，则对该Block内4个Cell在相邻梯度方向上的投票为：

其中，x1,x2,y1,y2分别为各Cell的中心点坐标，z1,z2为与θ相邻的梯度方向的空间坐标，如当θ为70°时，z1,z2分别为60°和80°，Dx，Dy，Dz为常数，Dx，Dy即为两个Cell中心点之间的距离，这里为8；Dz相邻投票梯度方向间距，为20°。

本发明具有以下优点：

1)主动检测车辆和行人在行经未设置交通信号的交叉口时的潜在冲突，提前提醒驾驶员注意避让，减少交通事故；同时督促驾驶员养成文明、安全的驾驶习惯，提升城市文明形象；

2)对于未按规定避让行人的驾驶人员，通过图像抓拍记录其违法行为，增强针对违法行为的威慑力。

附图说明：

图1为本发明具体实施例的流程图；

图2为本发明具体实施例中的训练样本图；

图3为本发明具体实施例中一个包含2*2Cell的Block；

图4为本发明具体实施例中一个包含8*8像素的Cell；

图5为本发明具体实施例中一个Cell内的投票统计；

图6为本发明具体实施例中一个Cell内像素梯度对各相邻Cell的投票；

图7为本发明具体实施例中三维线性插值投票示意图；

图8为本发明具体实施例中特征提取快速算法示意图；

图9为本发明具体实施例中车辆及行人检测区域划分示意图。

具体实施方式

参见图1，本发明具体实施例的步骤如下：

1)样本采集

样本采集的目的是为了提取正负的样本特征并进一步训练分类器，样本包括：

1.1)车辆的正负样本，从实际场景中截取；正样本包含多种光照下多种车辆类型的正面截图，如图2中(a)所示；负样本的选取无特殊要求，从实际场景中不包含车辆正面的图像中截取，道路，树木，车辆目标的部分部件等均可作为负样本，如图2中(b)所示；

1.2)行人正负样本采集的原则和车辆一致，如图2(c)所示；

2)样本预处理

2.1)首先将行人和车辆所有的正负样本进行灰度化处理；灰度范围0～255；

2.2)将行人样本的尺寸缩放至高96像素,宽48像素；车辆样本缩放至高56像素，宽56像素；

3)特征提取

3.1)图像梯度计算

分别计算图像中的像素点I(x,y)处的灰度值的梯度幅度和角度：

3.2)梯度方向投票

3.2.1)Block和Cell参数的设置和数量计算

特征向量按照图像内Block的移动顺序依次收集，每个Block包含2*2个Cell，每个Cell为8*8像素的正方形区域，如图3和图4所示。Block的移动步长为8像素，从图像的左上角开始从左到右从上到下依次遍历图像。

对于行人样本，其图像宽度共包含(48-16)/8+1＝5个Block，图像高度共包括(96-16)/8+1＝11个Block；对于车辆样本，其图像宽度和图像高度均包含(56-16)/8+1＝6个Block，整幅样本图像共36个Block。

3.2.2)像素梯度在Cell内投票

在求得样本中所有像素的灰度梯度值后，按梯度角度方向在每个Block中的每个Cell内依次进行投票。若认为投票方向单向，则投票方向在0°～360°之间分布,每隔20°一个方向，即0°,20°,40°...，360°,共18个方向；若投票双向则其分布在0°～180°之间，将每相隔180°的两个方向合并为一个方向，即0°(180°),20°(200°),...,180°(360°)共9个方向，当每出现一个对应的梯度角度时，在对应梯度方向上加一票，最终统计的票数即为该Cell内的特征向量，如图5。

3.2.3)每张样本特征向量数目的计算

以双向投票为例，每个Cell内生成9维特征向量，每个Block内共有36维特征向量。由于每个行人样本共有55个Block，则每张行人样本图像共生成55*36＝1980维特征向量；每个车辆样本共有36个Block，则每张车辆样本图像共生成36*36＝1296维特征向量。每个Block内特征向量的组成可以按照规则确定，但需要与目标检测时特征向量的排序一致。将该特征向量进行归一化后即可获得每幅样本的特征数据。

3.3)梯度方向投票算法及优化

3.3.1)一维线性插值

实际中Cell内像素的梯度方向可能与9个投票方向都不一致，这时投票的权重需要依据实际梯度方向与标准梯度方向之间的距离按线性比例分配票数，离得越近，投的票数越多。如在某像素处计算出的梯度方向为35°，梯度幅度为w，则在20°和40°分别投票0.25*w和0.75*w。

3.3.2)三维线性插值投票算法优化

为了增加目标检测的鲁棒性，不但要考虑Block内某一像素对其所在Cell内的各方向投票，还须考虑其对相邻Cell产生的影响，在平面内对其相邻Cell(即x,y方向)产生的投票和对梯度方向的投票称为三维线性插值，如图6和图7，方法如下：

3.3.2.1)4个角落的白色区域像素不再向相邻的Cell内都投票，而只向其所在Cell投票；

3.3.2.2)灰色区域的像素保持不变，只向其相邻的2个Cell投票；

3.3.2.3)中间的4个Cell临界的白色区域内的像素需要向Block内4个Cell都进行投票；

以蓝色像素点投票为例说明三维线性插值的过程，因为该像素点处于4个Cell相邻的白色区域，因此需要向4个Cell进行投票，说明如下：

其中a、b、c、d点为Block内相邻Cell的中心点，角度区间为θ，θ为9个方向中的一个；

其中e、f、g、h点为Block内相邻Cell的中心点，其x，y坐标分别与a、b、c、d一致，角度空间为θ±20°；

假设蓝色像素点的坐标为x，y，该像素点的梯度方向为θ，梯度幅值为g，则对该Block内4个Cell在相邻梯度方向上的投票为：

其中，x1,x2,y1,y2分别为各Cell的中心点坐标，z1,z2为与θ相邻的梯度方向的空间坐标，如当θ为70°时，z1,z2分别为60°和80°，Dx，Dy，Dz为常数，Dx，Dy即为两个Cell中心点之间的距离，这里为8；Dz相邻投票梯度方向间距，为20°。

3.4)直方图归一化并收集特征向量

为使样本特征不受光照不均、阴影和边缘对比度等的影响，对提取出的特征向量进行L2-norm归一化，设特征向量为v，则根据以下公式进行归一化：

其中，ε取0.0001。

4)分类器训练

分类器训练的结果是获得能够区分目标与非目标的能力，算法中采用了SVM(支撑向量机)分类器,该分类器的理论较为成熟，不再赘述，训练步骤如下：

4.1)选择行人正样本3000张，分为3份，每份各1000张样本图像，将每份图像按前述步骤进行样本预处理和特征提取后，得到3组1000*1980维特征向量，并建立3组1000*1维的标签向量，标记为+1；

4.2)选择行人负样本2000张，按前述步骤进行样本预处理和特征提取后，得到2000*1980维特征向量，并建立2000*1维的标签向量，标记为-1；

4.3)分类器的核函数类型选择LINEAR线性核函数，惩罚因子设置为0.5；

4.4)将组1的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器1；利用分类器1对组2和组3的正样本图像进行分类，得到检测率d1；

4.5)将组2的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器2；利用分类器2对组1和组3的正样本图像进行分类，得到检测率d2；

4.6)将组3的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器3；利用分类器3对组1和组2的正样本图像进行分类，得到检测率d3；

4.7)比较d1,d2和d3,将检测率最高的一个分类器作为行人检测最终的分类器；

4.8)车辆分类器的训练流程和行人一致，选择正样本1000张，分2组；负样本1000张，重复以上步骤即可。

5)目标检测的快速算法

目标检测的目的是检测出标定区域内所有的车辆和行人目标，并返回目标的中心位置坐标。在实际中由于相邻两个检测窗口在移动时覆盖大量重复的Block，影响了目标检测的效率，以在2456*2048图像内进行检测为例，改进后的目标检测快速算法实现步骤如下：

5.1)将原始图像缩放3倍为818*682，并进行灰度化；

5.2)使用2*2Cell的Block对缩放后的图像进行遍历，移动步长8像素，每次Block移动到一个新的位置，计算该Block内的特征向量；

5.3)记录该Block左上顶点像素点的位置，并将其作为当前Block的位置；将该Block位置、得到的36维特征向量存入一个三维结构体数组中，数组的前两维分别存储Block在帧内的行和列的位置；

5.4)扫描完成，共得到((818-16)/8+1)*((682-16)/8+1)＝8484个Block，特征向量8484*36＝305424维；

5.5)设置检测窗口为48*96像素，与行人样本尺寸一致，从缩放后图像的左上角开始，用检测窗口图像进行遍历，移动步长8像素，则第一个检测窗口覆盖的Block的x坐标为1～5，y坐标为1～11,从步骤(3)中存储的三维结构体数组检索对应的Block的特征向量，并将其作为当前检测窗口的特征向量，如图8；

5.6)将当前检测窗口的特征向量送入分类器，如果分类器判定为1，则认为该检测窗口存在行人目标，将该检测窗口的中心位置作为行人目标位置并输出；

5.7)当检测窗口对整幅图像遍历完毕，该幅图像处理完毕；车辆目标快速检测算法与行人一致，在进行目标判定时加载车辆分类器即可。

6)车辆违法抓拍

车辆违法逻辑的判定是依据步骤5中第(6)步所检测到的行人和车辆所处的位置确定，判定步骤如下：

6.1)将图像中以停止线起至停止线后方能够容纳两辆小车范围作为车辆虚拟车道并从左到右依次编号为1到3，如图9(a)；

6.2)将图像中斑马线区域作为行人检测区域，与虚拟车道数保持一致，并将其依次编号为1到3,如图9(a)；

6.3)根据步骤5中第(6)步目标检测返回的所有行人中心坐标集、所有车辆中心位置坐标集、划定的车辆虚拟车道和行人检测区域，分别计算各个行人所处的检测区域编号集合N和所有车辆所处的虚拟车道编号集合M；

6.4)设定车辆和行人的安全距离为1个车道，遍历集合N和M，对于N中的任一元素n和M中的任一元素m，若存在关系

|n-m|<1

则认为车辆继续行驶时可能威胁行人安全，进入步骤6.5)；

6.5)计算m元素对应的车辆中心坐标是否进入行人检测区域，若没有进入，则启动路侧扩音装置对车辆进行远程告警，提醒其注意避让，安全驾驶；若已驶入行人检测区域，则结合路侧扩音装置对车辆进行远程告警同时启动相机进行抓拍作为违法凭证。

6.6)返回步骤6.3),程序继续执行。

Claims (9)

1.一种基于视频分析的车辆避让行人检测方法，其特征在于：该方法包括以下步骤：

1)样本采集：从实际场景中截取，采集车辆和行人的正负样本；

2)样本预处理：对采集的样本进行灰度化处理，并进行尺寸缩放；

3)特征提取：计算图像梯度，进行梯度方向投票，对梯度方向投票进行计算及优化，直方图归一化并收集特征向量；

4)分类器训练；

5)目标快速检测：检测出标定区域内所有的车辆和行人目标，并返回目标的中心位置坐标；

6)进行违法判断。

2.根据权利要求1所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤1)的具体步骤如下：

1.1)采集车辆的正负样本，从实际场景中截取；正样本包含多种光照下多种车辆类型的正面截图；负样本的选取无特殊要求，从实际场景中不包含车辆正面的图像中截取，道路，树木，车辆目标的部分部件等均可作为负样本；

1.2)采集行人的正负样本，从实际场景中截取；正样本包含多种光照下多种行人的正面截图；负样本的选取无特殊要求，从实际场景中不包含行人正面的图像中截取，道路，树木，行人目标的部分等均可作为负样本。

3.根据权利要求2所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤2)的具体步骤如下：

2.1)首先将行人和车辆所有的正负样本进行灰度化处理；

2.2)将行人样本的尺寸缩放至高96像素,宽48像素；车辆样本缩放至高56像素，宽56像素。

4.根据权利要求3所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤3)的具体步骤如下：

3.1)计算图像梯度

分别计算图像中的像素点I(x,y)处的灰度值的梯度幅度和角度：

$R(x,y)=\sqrt{{\left(I\right(x+1,y)-I(x-1,y\left)\right)}^2+{\left(I\right(x,y+1)-I(x,y-1\left)\right)}^2}$

$Angle\left(x,y\right)=\arctan \left(\frac{I\left(x,y+1\right)-I\left(x,y-1\right)}{I\left(x+1,y\right)-I\left(x-1,y\right)}\right)$

3.2)梯度方向投票

3.2.1)Block和Cell参数的设置和数量计算

特征向量按照图像内Block的移动顺序依次收集，每个Block包含2*2个Cell，每个Cell为8*8像素的正方形区域，Block的移动步长为8像素，从图像的左上角开始从左到右从上到下依次遍历图像；

对于行人样本，其图像宽度共包含(48-16)/8+1＝5个Block，图像高度共包括(96-16)/8+1＝11个Block；对于车辆样本，其图像宽度和图像高度均包含(56-16)/8+1＝6个Block，整幅样本图像共36个Block；

3.2.2)像素梯度在Cell内投票

在求得样本中所有像素的灰度梯度值后，按梯度角度方向在每个Block中的每个Cell内依次进行投票；若认为投票方向单向，则投票方向在0°～360°之间分布,每隔20°一个方向，即0°,20°,40°...，360°,共18个方向；若投票双向则其分布在0°～180°之间，将每相隔180°的两个方向合并为一个方向，即0°(180°),20°(200°),...,180°(360°)共9个方向，当每出现一个对应的梯度角度时，在对应梯度方向上加一票，最终统计的票数即为该Cell内的特征向量；

3.2.3)每张样本特征向量数目的计算

以双向投票为例，每个Cell内生成9维特征向量，每个Block内共有36维特征向量；由于每个行人样本共有55个Block，则每张行人样本图像共生成55*36＝1980维特征向量；每个车辆样本共有36个Block，则每张车辆样本图像共生成36*36＝1296维特征向量；每个Block内特征向量的组成可以按照规则确定，但需要与目标检测时特征向量的排序一致；将该特征向量进行归一化后即可获得每幅样本的特征数据；

3.3)梯度方向投票算法及优化

3.3.1)一维线性插值

实际中Cell内像素的梯度方向可能与9个投票方向都不一致，这时投票的权重需要依据实际梯度方向与标准梯度方向之间的距离按线性比例分配票数，离得越近，投的票数越多；如在某像素处计算出的梯度方向为35°，梯度幅度为w，则在20°和40°分别投票0.25*w和0.75*w；

3.3.2)三维线性插值投票算法优化

为了增加目标检测的鲁棒性，不但要考虑Block内某一像素对其所在Cell内的各方向投票，还须考虑其对相邻Cell产生的影响，在平面内对其相邻Cell(即x,y方向)产生的投票和对梯度方向的投票称为三维线性插值，方法如下：

3.3.2.1)4个角落的白色区域像素不再向相邻的Cell内都投票，而只向其所在Cell投票；

3.3.2.2)灰色区域的像素保持不变，只向其相邻的2个Cell投票；

3.3.2.3)中间的4个Cell临界的白色区域内的像素需要向Block内4个Cell都进行投票；

3.4)直方图归一化并收集特征向量

对提取出的特征向量进行L2-norm归一化，设特征向量为v，则根据以下公式进行归一化：

$v^{\&prime;}=v/\sqrt{\left|\right|v_2^2\left|\right|+{\mathrm{\&epsiv;}}^2},$

其中，ε取0.0001。

5.根据权利要求4所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤4)中，分类器训练算法采用SVM支撑向量机分类算法，为保证分类的精度，采用三组交叉验证方式，将训练用的样本分为三组，其中一组用作训练，另外两组样本用作验证；如将行人正样本共3000张，分为3组，轮流用其中一组用作训练，另外两组用作测试，取在测试中分类精度最高的一组样本和分类器作为最终的分类器。

6.根据权利要求5所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤4)的具体步骤如下：

4.1)选择行人正样本3000张，分为3份，每份各1000张样本图像，将每份图像按前述步骤进行样本预处理和特征提取后，得到3组1000*1980维特征向量，并建立3组1000*1维的标签向量，标记为+1；

4.2)选择行人负样本2000张，按前述步骤进行样本预处理和特征提取后，得到2000*1980维特征向量，并建立2000*1维的标签向量，标记为-1；

4.3)分类器的核函数类型选择LINEAR线性核函数，惩罚因子设置为0.5；

4.4)将组1的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器1；利用分类器1对组2和组3的正样本图像进行分类，得到检测率d1；

4.5)将组2的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器2；利用分类器2对组1和组3的正样本图像进行分类，得到检测率d2；

4.6)将组3的正样本的特征向量和标签向量、所有负样本特征向量和标签向量送入训练算法，得到分类器3；利用分类器3对组1和组2的正样本图像进行分类，得到检测率d3；

4.7)比较d1,d2和d3,将检测率最高的一个分类器作为行人检测最终的分类器；

4.8)车辆分类器的训练流程和行人一致，选择正样本1000张，分2组；负样本1000张，重复以上步骤。

7.根据权利要求6所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤5)的具体步骤如下：

5.1)图像灰度化

所有从前端摄像头获取的实时图像在进行目标检测之前进行灰度化处理，灰度范围0～255；

5.2)图像尺寸缩放

所有从前端摄像头获取的实时图像在进行目标检测之前进行缩放处理，长和宽均缩小3倍，缩放的倍数取决于图像分辨率和样本的尺寸，使得缩放后图像中目标尺寸约等于训练样本的尺寸；对于尺寸为2456*2048的图像，缩放后尺寸为818*682；

5.3)Block遍历检测区域并建立特征索引

5.3.1)从图像检测区域的左上角开始，使用2*2Cell的Block对缩放后的图像进行遍历，移动步长8像素，每次Block移动到一个新的位置，计算该Block内的特征向量；

5.3.2)记录该Block左上顶点像素点的位置，并将其作为当前Block的位置；将该Block位置、得到的36维特征向量存入一个三维结构体数组中，数组的前两维分别存储Block在帧内的行和列的位置；

5.3.3)扫描完成，共得到((818-16)/8+1)*((682-16)/8+1)＝8484个Block，特征向量8484*36＝305424维；

5.4)用检测窗口遍历检测区域并检索特征；

以行人检测为例，设置检测窗口为48*96像素，与行人样本尺寸一致，从缩放后图像的左上角开始，用检测窗口图像进行遍历，移动步长8像素，则第一个检测窗口覆盖的Block的x坐标为1～5，y坐标为1～11,从步骤(3)中存储的三维结构体特征数组检索对应的Block的特征向量，并将其作为当前检测窗口的特征向量；

5.5)分类器检测输出

5.5.1)将当前检测窗口的特征向量送入分类器，如果分类器判定为1，则认为该检测窗口存在行人目标，将该检测窗口的中心位置作为行人目标位置并输出；

5.5.2)当检测窗口对整幅图像遍历完毕，该幅图像处理完毕；车辆目标快速检测算法与行人一致，在进行目标判定时加载车辆分类器即可。

8.根据权利要求7所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤6)中车辆违法逻辑的判定是根据步骤5.5)所检测到的行人和车辆所处的位置确定，判定步骤如下：

6.1)将图像中以停止线起至停止线后方能够容纳两辆小车范围作为车辆虚拟车道并从左到右依次编号为1到3；

6.2)将图像中斑马线区域作为行人检测区域，与虚拟车道数保持一致，并将其依次编号为1到3；

6.3)根据步骤5.5)目标检测返回的所有行人中心坐标集、所有车辆中心位置坐标集、划定的车辆虚拟车道和行人检测区域，分别计算各个行人所处的检测区域编号集合N和所有车辆所处的虚拟车道编号集合M；

6.4)设定车辆和行人的安全距离为1个车道，遍历集合N和M，对于N中的任一元素n和M中的任一元素m，若存在关系

|n-m|<1

则认为车辆继续行驶时可能威胁行人安全，进入步骤6.5)；

6.5)计算m元素对应的车辆中心坐标是否进入行人检测区域，若没有进入，则启动路侧扩音装置对车辆进行远程告警，提醒其注意避让，安全驾驶；若已驶入行人检测区域，则结合路侧扩音装置对车辆进行远程告警同时启动相机进行抓拍作为违法凭证。

9.根据权利要求8所述的基于视频分析的车辆避让行人检测方法，其特征在于：所述步骤3.3.2.3)中，以蓝色像素点投票为例说明三维线性插值的过程，该像素点处于4个Cell相邻的白色区域，因此需要向4个Cell进行投票，说明如下：

其中a、b、c、d点为Block内相邻Cell的中心点，角度区间为θ，θ为9个方向中的一个；

其中e、f、g、h点为Block内相邻Cell的中心点，其x，y坐标分别与a、b、c、d一致，角度空间为θ±20°；

假设蓝色像素点的坐标为x，y，该像素点的梯度方向为θ，梯度幅值为g，则对该Block内4个Cell在相邻梯度方向上的投票为：

$vote(x1,y1,z1)=vote(x1,y1,z1)+g*(1-\frac{x-x1}{Dx})(1-\frac{y-y1}{Dy})(1-\frac{z-z1}{Dz})$

$vote(x1,y1,z2)=vote(x1,y1,z2)+g*(1-\frac{x-x1}{Dx})(1-\frac{y-y1}{Dy})\left(\frac{z-z1}{Dz}\right)$

$vote(x2,y1,z1)=vote(x2,y1,z1)+g*\left(\frac{x-x1}{Dx}\right)(1-\frac{y-y1}{Dy})(1-\frac{z-z1}{Dz})$

$vote(x1,y2,z2)=vote(x1,y2,z2)+g*(1-\frac{1-x1}{Dx})\left(\frac{1-y1}{Dy}\right)\left(\frac{1-z1}{Dz}\right)$

$vote(x2,y2,z1)=vote(x2,y2,z1)+g*\left(\frac{1-x1}{Dx}\right)\left(\frac{1-y1}{Dy}\right)(1-\frac{1-z1}{Dz})$

$vote(x1,y2,z1)=vote(x1,y2,z1)+g*(1-\frac{1-x1}{Dx})\left(\frac{1-y1}{Dy}\right)(1-\frac{1-z1}{Dz})$

$vote(x2,y1,z2)=vote(x2,y1,z2)+g*\left(\frac{1-x1}{Dx}\right)(1-\frac{1-y1}{Dy})\left(\frac{1-z1}{Dz}\right)$

$vote(x2,y2,z2)=vote(x2,y2,z2)+g*\left(\frac{1-x1}{Dx}\right)\left(\frac{1-y1}{Dy}\right)\left(\frac{1-z1}{Dz}\right)$

其中，x1,x2,y1,y2分别为各Cell的中心点坐标，z1,z2为与θ相邻的梯度方向的空间坐标，如当θ为70°时，z1,z2分别为60°和80°，Dx，Dy，Dz为常数，Dx，Dy即为两个Cell中心点之间的距离，这里为8；Dz相邻投票梯度方向间距，为20°。