CN103455795B - 一种基于交通视频数据图像的确定交通目标所在区域的方法 - Google Patents

Abstract

本发明涉及一种基于交通视频数据图像的确定交通目标所在区域的方法，技术特征在于：记录驾驶员观察真实交通视频时的关注点；训练交通目标检测模板，用交通目标检测模板与视频做卷积，提取出视频的基于物体的特征；利用时空方向滤波器，提取视频的运动特征；将人眼关注位置的像素作为正样本，除关注点以外的像素作为负样本；使用样本的标签以及样本的特征、通过机器学习的方法训练出支持向量机分类器；这样，对于任意给定的交通驾驶视频，在提取了物体级别特征和运动特征以后，将这些特征输入到训练好的支持向量机分类器中，就可以预测出交通驾驶视频中的交通目标所在区域。

Description

一种基于交通视频数据图像的确定交通目标所在区域的方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于交通视频数据图像的确定交通目标所在区域的方法。

背景技术

研究驾驶员的视觉注意力对于减少交通事故、提高驾驶舒适度、研究智能视觉导航系统和交互式负载操控系统均具有重要意义。研究驾驶员的视觉注意力的目的在于确定交通视频中引起驾驶员关注的交通目标所在区域，常见的交通目标包括了行人、车辆、交通标志等。相较于使用昂贵的高精度相机、导航仪器、传感器等硬件设备来识别和定位交通目标所在区域的方法而言，基于计算视觉的算法具有成本低、智能度高、易于移植等优势。目前已有的基于计算机视觉的定位交通目标所在区域的方法大多建立于人体视网膜系统中存在的“中心-周围对比机制”上，通过计算颜色、边缘等底层特征，找出具有明显中心-周围差异的区域、作为可能存在交通目标的区域，然后进一步通过分割、滤波等方法，最终定位出交通目标。这些方法虽然取得了较好的效果，却也具有一些难以克服的缺陷：1）只能识别出某一种交通目标，无法找出整个交通场景中的所有可能引起驾驶员关注的交通目标；2）方法繁琐复杂；3）未考虑高层视觉认知的指导，不符合真实的驾驶员视觉注意力分配情况。4）大多数是无监督的处理方法，未能充分利用已经掌握的交通目标的视觉特征。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于交通视频数据图像的确定交通目标所在区域的方法，是一种眼动跟踪数据指导的确定交通目标所在区域的方法。

技术方案

一种基于交通视频数据图像的确定交通目标所在区域的方法，其特征在于步骤如下：

步骤1、提取基于物体的特征：

步骤a：训练目标检测模板：利用Pedro Felzenszwalb在2010年发布的可变局部模型方法，训练交通目标检测模板；

所述Pedro Felzenszwalb在2010年公布的可变局部模型方法见论文Object Detectionwith Discriminatively Trained Part-Based Models；

步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；

步骤2、提取运动特征：

步骤a：构造三维高斯滤波器，并与原始视频I进行卷积：定义采样频率S_r＝0.5，在采样区间[-3，3]之间按照采样频率进行采样，获得采样值i＝-1，-2.5，-1，...2，2.5，3；定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f₁，f₂，...，f₅： 其中，e代表指数函数；

依次在x，y，z三个方向上、使用不同的滤波器常量f_i，i∈{1，2，3，4，5}，对原始视频I进行卷积运算，得出10段卷积视频I_a，I_b，...，I_j，其中z表示时间轴，x，y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：

I'_a＝ζ(I，f₁|x)，I''_a＝ζ(I'_a，f₄|y)，I_a＝ζ(I''_a，f₄|z)

I'_b＝ζ(I，f₃|x)，I''_b＝ζ(I'_b，f₂|y)，I_b＝ζ(I''_b，f₄|z)

I'_c＝ζ(I，f₂|x)，I''_c＝ζ(I'_c，f₃|y)，I_c＝ζ(I''_c，f₄|z)

I'_d＝ζ(I，f₄|x)，I''_d＝ζ(I'_d，f₁|y)，I_d＝ζ(I''_d，f₄|z)

I'_e＝ζ(I，f₃|x)，I''_e＝ζ(I'_e，f₄|y)，I_e＝ζ(I''_e，f₂|z)

I'_f＝ζ(I，f₅|x)，I''_f＝ζ(I'_f，f₂|y)，I_f＝ζ(I''_f，f₂|z)

I'_g＝ζ(I，f₄|x)，I''_g＝ζ(I'_g，f₃|y)，I_g＝ζ(I''_g，f₂|z)

I'_h＝ζ(I，f₂|x)，I''_h＝ζ(I'_h，f₄|y)，I_h＝ζ(I''_h，f₃|z)

I'_i＝ζ(I，f₄|x)，I''_i＝ζ(I'_i，f₂|y)，I_i＝ζ(I''_i，f₃|z)

I'_j＝ζ(I，f₄|x)，I''_j＝ζ(I'_j，f₄|y)，I_j＝ζ(I''_j，f₁|z)

其中，ζ代表进行卷积运算，ζ(I，f₁|x)表示将视频I与滤波器常量f₁做卷积，并且卷积运算的方向沿着z轴方向，I'_a，I'_b，...，I'_j代表用不同的滤波器常量与原始视频I沿着x方向做卷积以后得到的视频数据，I''_a，I''_b，...，I''_j代表用不同的滤波器常量与视频I'_a，I'_b，...，I'_j沿着y方向做卷积以后得到的视频数据，I_a，I_b，...，I_j代表用不同的滤波器常量与视频I''_a，I''_b，...，I''_j沿着z方向做卷积以后得到的视频数据；

步骤b：生成上、下、左、右和闪烁这5个方向向量i∈V＝{上，下，左，右，闪烁}，定义如下：

步骤c、计算在方向上的总能量 由对应4个子方向的4个子能量组成；设子方向为同时设置一个周向量A＝[0，1，0]；在每个子方向j＝0，1，2，3上，计算子能量的过程如下：首先计算卷积周向量N_a：并对卷积周向量N_a进行归一化，得到归一化卷积周向量然后计算二次卷积周向量N_b：接下来计算三角方向向量N^j：cos代表余弦三角函数，sin代表正弦三角函数，π代表圆周率；接下来计算方向向量O^j：其中，代表向量O^j在x方向的分量，代表向量O^j在y方向的分量，代表向量O^j在z方向的分量；并对O^j进行归一化，得到归一化方向向量 其中，代表归一化方向向量在x方向的分量，代表归一化方向向量在y方向的分量，代表归一化方向向量在z方向的分量；最后计算在子方向j上的子能量

其中， I_a，I_b，...，I_j为步骤a计算出的视频数据；最终对四个子方向的能量求和，得到方向上的总能量

步骤d：计算在方向上的运动特征对于，首先对步骤c计算出的5个方向能量i∈V＝{上，下，左，右，闪烁}，进行高斯滤波，并用表示高斯滤波后的能量，其中高斯滤波器的方差为1；称数值最大的为定义能量补偿项c：则不同方向总能量为其中，V＝{上，下，左，右，闪烁}；最后计算每个方向上的运动特征其中，i∈V＝{上，下，左，右，闪烁}；

步骤3：进行眼动数据采集实验：邀请18位有经验的驾驶员，观看30段真实交通驾驶视频，并应用眼动追踪仪、同步记录驾驶员的眼睛关注点位置；

步骤4：训练分类器：从视频库中随机选出24段视频用于训练，以步骤3中记录的眼睛关注点位置的像素为正样本，从非人眼关注的像素里随机选取与正样本数量等同的负样本；对于每一个正、负样本，用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量，将完备的特征向量和对应的正、负标签作为输入，学习得到一个支持向量机分类器；

步骤5：利用步骤4得出的分类器预测交通视频中的交通目标所在区域：将视频库中剩下的6段视频用来测试，先用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量；将完备的特征向量输入到步骤4训练出的分类器中，即可预测出视频中每个像素的显著值；然后对每帧图像进行二值化，即：将所有像素的显著值按照从大到小的顺序进行排序，然后令显著值排在前35%的像素值为1，令剩下的像素值为0；二值图里值为1的像素所组成的区域就是交通目标所在区域。

所述可变局部模型方法为Object Detection with Discriminatively Trained Part-BasedModels文章中的方法。

所述libSVM方法为A Library for Support Vector Machines中的方法。

所述训练支持向量机模型的参数设置为s＝2，t＝2。

有益效果

本发明提出的一种基于交通视频数据图像的确定交通目标所在区域的方法，应用高精度眼动追踪仪采集驾驶员在观察交通驾驶视频的眼动数据，从而确定视频中驾驶员关注的显著区域，将人眼关注区域的像素作为正样本，将人眼不关注区域的点作为负样本。另一方面，训练交通目标检测模板，将交通目标检测模板与交通视频进行多尺度卷积，提取物体级别的特征；用三维滤波器，提取视频的时空域运动特征；接下来将上述正负标签和特征作为输入，用机器学习的方法，训练分类器。这样，可以应用上述训练出的分类器预测出任意一段交通视频数据图像的交通目标所在区域。

本发明提出的一种基于交通视频数据图像的确定交通目标所在区域的方法，可以预测出交通驾驶视频中引起驾驶员注意力的交通目标所在区域。与常见方法相比，本文的优势在于：1）模拟驾驶员的真实视觉关注状态，引入高层认知信息——物体级别的特征——对视觉注意力的影响；2）眼动数据是视觉注意力的直观反映，用眼动数据训练出的分类器，更加符合真实的人眼关注情况；3）本文依托于近年来兴起的“物体引起视觉注意”这一理论，提取基于物体的特征，相较于常用的底层特征而言，基于物体的特征具有更丰富的语义和结构信息；4）采用机器学习的方法，学习出视频的特征与视觉关注度之间的映射关系，与以往应用特征融合来生成显著图的方法相比，本方法的智能度更高，鲁棒性更强。

总而言之，较传统方法而言，本方法更加符合实际的人眼视觉关注情况，可以同时确定视频中的多种交通目标的所在位置，解决了以往基于计算机视觉理论的确定交通目标所在区域的方法所难以克服的视角变化、局部结构变形、褪色、子类别变化等难题，取得了良好的效果。

附图说明

图1是本发明的方法流程图；

图2是提取基于物体的特征的流程图；

图3是提取运动特征的示意图；

图4是一段采集到的交通视频的截图；

图5是覆盖人眼关注点的交通视频截图；

图6是本发明实验结果图；

图7是评价本发明效果的ROC曲线图；

图8是评价本发明效果的NSS直方图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施方法的硬件环境是：因特尔酷睿2双核2.93G计算机、2.0GB内存、512M显卡，运行的软件环境是：Windows XP。用Matlab7.0软件实现了本发明提出的方法。采集眼动数据的计算机硬件环境是：因特尔速龙x5660处理器，16.0GB内存、1GB显卡，软件环境是：Windows Vista。使用的眼动追踪仪是Tobii T120。采集的眼动视频数据库包括了30段交通驾驶视频，分辨率均为1280×1024，帧速率为25帧/秒。其中24段视频用于训练分类器，6段视频用于测试。.

本发明具体实施如下：

步骤1：提取基于物体的特征：

步骤a：训练目标检测模板：在国际公开的PASCAL VOC数据库里，找出包含12类常见的交通目标的图片，并将图片里的交通目标用矩形框选定，使用PedroFelzenszwalb在2010年发布的可变局部模型方法，训练用于检测这12类交通目标的模板。这12类交通目标包括：4种交通标志（禁令（prohibition）、指示（indication）、指路（direction）、警告（warning））；2种交通灯（横排、竖排）；行人；路障；4种交通工具（小汽车、公交车、摩托车、自行车）；

所述Pedro Felzenszwalb在2010年公布的可变局部模型方法见论文Object Detectionwith Discriminatively Trained Part-Based Models.

步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；

步骤2：提取运动特征：

步骤a：构造三维高斯滤波器，并与原始视频进行卷积：定义采样频率S_r＝0.5，在采样区间[-3，3]之间按照采样频率进行采样，获得采样值i＝-1，-2.5，-1，...2，2.5，3。定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f₁，f₂，...，f₅： 其中，e代表指数函数；

依次在x，y，z三个方向上、使用不同的滤波器常量f_i，i∈{1，2，3，4，5}，对原始视频I进行卷积运算，得出10段卷积视频I_a，I_b，...，I_j，其中z表示时间轴，x，y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：

I'_a＝ζ(I，f₁|x)，I''_a＝ζ(I'_a，f₄|y)，I_a＝ζ(I''_a，f₄|z)

I'_b＝ζ(I，f₃|x)，I''_b＝ζ(I'_b，f₂|y)，I_b＝ζ(I''_b，f₄|z)

I'_c＝ζ(I，f₂|x)，I''_c＝ζ(I'_c，f₃|y)，I_c＝ζ(I''_c，f₄|z)

I'_d＝ζ(I，f₄|x)，I''_d＝ζ(I'_d，f₁|y)，I_d＝ζ(I''_d，f₄|z)

I'_e＝ζ(I，f₃|x)，I''_e＝ζ(I'_e，f₄|y)，I_e＝ζ(I''_e，f₂|z)

I'_f＝ζ(I，f₅|x)，I''_f＝ζ(I'_f，f₂|y)，I_f＝ζ(I''_f，f₂|z)

I'_g＝ζ(I，f₄|x)，I''_g＝ζ(I'_g，f₃|y)，I_g＝ζ(I''_g，f₂|z)

I'_h＝ζ(I，f₂|x)，I''_h＝ζ(I'_h，f₄|y)，I_h＝ζ(I''_h，f₃|z)

I'_i＝ζ(I，f₄|x)，I''_i＝ζ(I'_i，f₂|y)，I_i＝ζ(I''_i，f₃|z)

I'_j＝ζ(I，f₄|x)，I''_j＝ζ(I'_j，f₄|y)，I_j＝ζ(I''_j，f₁|z)

其中，ζ代表进行卷积运算，ζ(I，f₁|x)表示将视频I与滤波器常量f₁做卷积，并且卷积运算的方向沿着z轴方向，I'_a，I'_b，...，I'_j代表用不同的滤波器常量与原始视频I沿着x方向做卷积以后得到的视频数据，I''_a，I''_b，...，I''_j代表用不同的滤波器常量与视频I'_a，I'_b，...，I'_j沿着y方向做卷积以后得到的视频数据，I_a，I_b，...，I_j代表用不同的滤波器常量与视频I''_a，I''_b，...，I''_j沿着z方向做卷积以后得到的视频数据；

步骤b：生成上、下、左、右和闪烁这5个方向向量i∈V＝{上，下，左，右，闪烁}，定义如下：

步骤c：计算在方向上的总能量 由对应4个子方向的4个子能量组成；设子方向为同时设置一个周向量A＝[0，1，0]；在每个子方向j＝0，1，2，3上，计算子能量的过程如下：首先计算卷积周向量N_a：并对卷积周向量N_a进行归一化，得到归一化卷积周向量然后计算二次卷积周向量N_b：接下来计算三角方向向量N^j：cos代表余弦三角函数，sin代表正弦三角函数，π代表圆周率；接下来计算方向向量O^j：其中，代表向量O^j在x方向的分量，代表向量O^j在y方向的分量，代表向量O^j在z方向的分量；并对O^j进行归一化，得到归一化方向向量 其中，代表归一化方向向量在x方向的分量，代表归一化方向向量在y方向的分量，代表归一化方向向量在z方向的分量；最后计算在子方向j上的子能量

其中， I_a，I_b，...，I_j为步骤a计算出的视频数据；最终对四个子方向的能量求和，得到方向上的总能量

步骤d：计算在方向上的运动特征对于，首先对步骤c计算出的5个方向能量i∈V＝{上，下，左，右，闪烁}，进行高斯滤波，并用表示高斯滤波后的能量，其中高斯滤波器的方差为1；称数值最大的为定义能量补偿项c：则不同方向总能量为其中，V＝{上，下，左，右，闪烁}；最后计算每个方向上的运动特征其中，i∈V＝{上，下，左，右，闪烁}；

步骤3：进行眼动数据采集实验：在车内放置摄像机，录制在市内和高速公路环境的30段交通视频，每段持续时间在30秒到45秒之间，所有视频共计20分钟。邀请18位有经验的驾驶员，观看这30段真实交通驾驶视频，并用眼动追踪仪自动记录驾驶员的眼睛关注点位置；

步骤4：训练分类器：从采集的30段视频中随机选出24段视频用于训练，以步骤3中记录的眼睛关注点位置处的像素为正样本，共计516486个像素，从非人眼关注的像素中随机选取与正样本数量等同的负样本；对于每一个正（负）样本，步骤1和步骤2中的方法对这6段视频提取特征，将步骤1和步骤2中提取的特征线性连接组成最终用来训练分类器的17维的特征向量。将正样本的516486×17维特征向量以及标签1、负样本的516486×17维特征向量以及标签-1，输入到libSVM软件包中，即可自动学习出一个支持向量器分类器；

步骤5：利用步骤4得出的分类器预测交通视频的显著度：将视频库中剩下的6段视频用来测试，这6段视频共计有7342帧，所有视频的分辨率均为640×512，用步骤1和步骤2中的方法对这6段视频提取特征，计算出的物体特征值的某个分量越大，则越可能出现对应这个分量的交通目标；将物体特征和运动特征线性连接后输入到步骤4训练出的分类器中，即可预测出视频中每个像素的显著值，然后对每帧图像进行二值化，即：将所有像素的显著值按照从大到小的顺序进行排序，然后令显著值排在前35%的像素值为1，令剩下的像素值为0，二值图里值为1的区域就是交通目标所在区域。

选用AUC、NSS和每帧的平均运行时间对本发明的有效性进行评估。对于6段视频进行显著度计算，统计出AUC、NSS和每帧的平均运行时间见表1。在评价指标的定义公式中，TP代表正确分类的细胞像素数，TN代表正确分类的背景像素数，FP代表被错分为细胞的像素数目，FN代表被错分为背景的像素数目。在此基础上定义查全率：

显著度百分比的含义是显著值排名前百分之几的像素划分为正例，剩下的像素为负例。以显著度百分比为横坐标，以查权率为纵坐标，随着显著度百分比从0变化到1，即可画出一条查全率的变化曲线，称为ROC曲线，而ROC曲线与横轴之间的面积，即为AUC。

NSS是专门用于衡量计算出的显著值与眼动数据之间相似度的指标。NSS的计算过程如下：首先将计算出的显著图正规化为具有0均值和单位标准差；然后统计人眼关注的位置在显著图上的数值；最后对所有关注点位置上的显著值求平均值，即得到NSS值。NSS越大，说明计算出的显著图越符合真实的人眼关注情况。

AUC、NSS和每帧的平均运行时间三个评价指标均表明了本发明方法的有效性。

表1分割结果评价

Claims (1)

1.一种基于交通视频数据图像的确定交通目标所在区域的方法，其特征在于步骤如下：

步骤1、提取基于物体的特征：

步骤a：训练目标检测模板：利用Pedro Felzenszwalb在2010年发布的可变局部模型算法，训练交通目标检测模板；

所述Pedro Felzenszwalb在2010年公布的可变局部模型算法见论文Object Detectionwith Discriminatively Trained Part-Based Models；

Felzenszwalb在2010年发布的可变局部模型方法，训练用于检测这12类交通目标的模板，这12类交通目标包括：4种交通标志：禁令prohibition、指示indication、指路direction、警告warning；2种交通灯：横排、竖排；行人；路障；4种交通工具：小汽车、公交车、摩托车、自行车；

步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；

步骤2、提取运动特征：

步骤a：构造三维高斯滤波器，并与原始视频I进行卷积：定义采样频率S_r＝0.5，在采样区间[-3,3]之间按照采样频率进行采样，获得采样值i＝-1,-2.5,-1,...2,2.5,3；定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f₁,f₂,...,f₅： 其中，e代表指数函数；

依次在x,y,z三个方向上、使用不同的滤波器常量f_i,i∈{1,2,3,4,5}，对原始视频I进行卷积运算，得出10段卷积视频I_a,I_b,...,I_j，其中z表示时间轴，x,y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：

I'_a＝ζ(I,f₁|x)，I″_a＝ζ(I'_a,f₄|y)，I_a＝ζ(I″_a,f₄|z)

I'_b＝ζ(I,f₃|x)，I″_b＝ζ(I'_b,f₂|y)，I_b＝ζ(I″_b,f₄|z)

I'_c＝ζ(I,f₂|x)，I″_c＝ζ(I'_c,f₃|y)，I_c＝ζ(I″_c,f₄|z)

I'_d＝ζ(I,f₄|x)，I″_d＝ζ(I'_d,f₁|y)，I_d＝ζ(I″_d,f₄|z)

I'_e＝ζ(I,f₃|x)，I″_e＝ζ(I'_e,f₄|y)，I_e＝ζ(I″_e,f₂|z)

I'_f＝ζ(I,f₅|x)，I″_f＝ζ(I'_f,f₂|y)，I_f＝ζ(I″_f,f₂|z)

I'_g＝ζ(I,f₄|x)，I″_g＝ζ(I'_g,f₃|y)，I_g＝ζ(I″_g,f₂|z)

I'_h＝ζ(I,f₂|x)，I″_h＝ζ(I'_h,f₄|y)，I_h＝ζ(I″_h,f₃|z)

I_i'＝ζ(I,f₄|x)，I″_i＝ζ(I_i',f₂|y)，I_i＝ζ(I″_i,f₃|z)

I'_j＝ζ(I,f₄|x)，I″_j＝ζ(I'_j,f₄|y)，I_j＝ζ(I″_j,f₁|z)

其中，ζ代表进行卷积运算，ζ(I,f₁|x)表示将视频I与滤波器常量f₁做卷积，并且卷积运算的方向沿着z轴方向，I'_a,I′_b,...,I'_j代表用不同的滤波器常量与原始视频I沿着x方向做卷积以后得到的视频数据，I″_a,I″_b,...,I″_j代表用不同的滤波器常量与视频I'_a,I′_b,...,I′_j沿着y方向做卷积以后得到的视频数据，I_a,I_b,...,I_j代表用不同的滤波器常量与视频I″_a,I″_b,...,I″_j沿着z方向做卷积以后得到的视频数据；

步骤b：生成上、下、左、右和闪烁这5个方向向量i∈V＝{上,下,左,右,闪烁}，定义如下：

步骤c、计算在方向上的总能量由对应4个子方向的4个子能量组成；设子方向为同时设置一个周向量A＝[0,1,0]；在每个子方向j＝0,1,2,3上，计算子能量的过程如下：首先计算卷积周向量N_a：并对卷积周向量N_a进行归一化，得到归一化卷积周向量然后计算二次卷积周向量N_b：接下来计算三角方向向量N^j：cos代表余弦三角函数，sin代表正弦三角函数，π代表圆周率；接下来计算方向向量O^j：其中，代表向量O^j在x方向的分量，代表向量O^j在y方向的分量，代表向量O^j在z方向的分量；并对O^j进行归一化，得到归一化方向向量 其中，代表归一化方向向量在x方向的分量，代表归一化方向向量在y方向的分量，代表归一化方向向量在z方向的分量；最后计算在子方向j上的子能量

$\begin{array}{c}{E}_D^j=(I_a\·a^3+I_b\·3a^{2}b+I_c\·3{\mathrm{ab}}^2+I_d\·b^3+I_e\·3a^{2}c+\\ I_f\·6abc+I_g\·3b^{2}c+I_h\·{\mathrm{ac}}^2+I_i\·3{\mathrm{abc}}^2+I_j\·c^3{)}^2\end{array}$

其中，I_a,I_b,...,I_j为步骤a计算出的视频数据；最终对四个子方向的能量求和，得到方向上的总能量

步骤d：计算在方向上的运动特征对于，首先对步骤c计算出的5个方向能量i∈V＝{上,下,左,右,闪烁}，进行高斯滤波，并用表示高斯滤波后的能量，其中高斯滤波器的方差为1；称数值最大的为定义能量补偿项c：则不同方向总能量为其中，V＝{上,下,左,右,闪烁}；最后计算每个方向上的运动特征其中，i∈V＝{上,下,左,右,闪烁}；

步骤3：进行眼动数据采集实验：邀请18位有经验的驾驶员，观看30段真实交通驾驶视频，并应用眼动追踪仪、同步记录驾驶员的眼睛关注点位置；

步骤4：训练分类器：从视频库中随机选出24段视频用于训练，以步骤3中记录的眼睛关注点位置的像素为正样本，从非人眼关注的像素里随机选取与正样本数量等同的负样本；对于每一个正、负样本，用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量，将完备的特征向量和对应的正、负标签作为输入，学习得到一个支持向量机分类器；

步骤5：利用步骤4得出的分类器预测交通视频中的交通目标所在区域：将视频库中剩下的6段视频用来测试，先用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量；将完备的特征向量输入到步骤4训练出的分类器中，即可预测出视频中每个像素的显著值；然后对每帧图像进行二值化，即：将所有像素的显著值按照从大到小的顺序进行排序，然后令显著值排在前35％的像素值为1，令剩下的像素值为0；二值图里值为1的像素所组成的区域就是交通目标所在区域。