CN101266132B - 基于mpfg运动矢量的行车障碍检测方法 - Google Patents

Abstract

本发明提供了一种基于MPFG运动矢量的行车障碍检测方法，利用车辆前方视觉传感器获取前方视场图像的MPEG压缩序列，提取和分析码流中的运动矢量，获取图像各像块的运动规律，与正常行车安全的矢量运动规则比较判定，获得车辆行驶前方是否安全的判定，标注危险区域，以警示驾驶。本发明对大量的道路运动情景数据进行了归类统计，运用与行驶路况相关的匹配模板及经验参数门限值T，用于车辆行驶实时运动数据比较和鉴别。本发明解决了车辆安全行驶辅助系统算法较为复杂，处理速度较慢和视频数据处理量大的技术难题，易实现、计算简单，检测过程数据处理占用空间小，检测准确率高、速度快。可用于机动车辆行驶辅助系统。

Description

基于MPFG运动矢量的行车障碍检测方法

技术领域

本发明属于车辆行驶安全辅助技术领域，主要涉及车辆行驶过程中对前方威胁车辆行驶的危险障碍物进行的自动检测方法，具体是一种基于MPEG运动矢量的行车障碍检测方法。

背景技术

交通安全已成为全球性问题，而其中利用视觉方法对行车前方危险障碍进行自动检测是智能车载技术研究的核心之一。目前基于视觉的检测算法大都基于图像像素域或灰度域，即在图像空间域内进行检测。

车辆行驶过程中对于前方危险障碍物的检测，目前已提出了一些方法，主要有：基于特征的障碍物检测算法、基于光流场的障碍物检测算法、基于立体视觉的障碍物检测算法等。

基于特征的障碍物检测方法一般用于单目摄像机系统中，快速有效。但大都只能确定障碍物在图像中的位置，需要同时借助其他一些测距传感器实现障碍物的实际定位。该方法计算的是离散点信息，如果有较好的点匹配方法，该算法能取得较好的效果。但该方法的计算较为复杂，由于目前还没有较为通用的特征提取与匹配算法，该方法还只是在一些专业领域有一些应用，例如基于轮廓的检测。该算法适用于障碍物的外在特征比较明显，例如运动物体的轮廓线或颜色比较突出等的障碍物检测，适用面较窄、误判率较高、算法实现较难。

基于光流场的障碍物检测算法无需障碍物的先验知识。该方法计算连续场的信息，理论上该方法能够得到全部点的速度场，由此可以对物体运动进行更好的估计。但实际上，由于计算机中对实际像素点信息离散化处理后引起了较大的量化误差，且该算法使用了很多微分运算也引起了较大的误差。同时，由于该算法本身的缺陷，使其不能像基于特征的方法那样提供准确的运动估计，限制了算法的应用，另外该算法的运算复杂度较大，对硬件的要求较高。算法适用于障碍物运动变化较为明显，对于静止的障碍物检测失效。对于运动速度较慢的危险障碍物无法检测与识别。

基于立体视觉的障碍物检测方法，既不需要障碍物的先验知识，对障碍物是否运动也无限制，还能直接得到障碍物的实际位置。该算法在理论上能很好地提取运动目标三维的形状和深度信息，也能较好地处理旋转和非刚体运动以及摄像机运动的问题。但其对摄像机标定要求较高。在车辆行驶过程中，摄像机定标参数会发生漂移，需要对摄像机进行动态标定。该算法适用范围较广，对静止的障碍物也能达到很好的检测效果。但算法计算量较大、需占用较大空间、运行速度较慢。

综上所述，目前对于行车障碍检测方法大多数算法都存在对外界环境/光线及气候条件的敏感度较高、算法复杂、实现难度较大等等问题。这些都成为制约行车障碍检测的重要因素之一。另外，车辆在行驶过程中，其图像是连续运动的即背景是动态变化的，所以许多现成的基于静态背景的成熟检测算法无法应用，而目前对于动态背景、物体的颜色及几何形状可变的运动物体的检测的研究还比较少。

另外，前人在车辆前方障碍物检测的算法中，大都是从空间域入手考虑问题的，很少有从压缩域角度来考虑。目前直接基于压缩域的车辆前方障碍物的检测算法研究还较少。由于在空间域内进行检测要考虑运动背景、物体形状颜色变化等因素，算法较为复杂，速度较慢，并且无法解决视频数据量大等问题。本发明即是绕开空间域的诸多问题，如灰度、颜色、外部环境及光线等图像处理中的敏感条件，直接从压缩域入手，尝试一种直接在压缩域内对车辆前方障碍物进行检测的新方法。

通过对国内外专利文献和公开发表的期刊论文检索，尚未发现与本发明密切相关和一样的报道或文献。

发明内容

本发明的目的是克服上述技术或检测方法存在的缺点，提供一种在压缩域中进行检测，易实现、计算简单，检测过程数据处理占用空间小，检测准确率高、检测速度快，适用范围大的基于MPEG运动矢量的行车障碍检测方法。

本发明提出的基于MPEG码流中运动矢量的行车障碍检测方法，其核心思想是：利用车辆前方单目视觉传感器所获取前方视场图像的MPEG压缩序列，提取和分析码流中的运动矢量，获取前方图像各像块的运动规律，并将这些规律与正常行车安全的矢量运动规则进行比较判定，从而获得车辆行驶前方是否安全的判定。

下面对本发明进行详细说明。

本发明将行车障碍检测技术与成熟的运动图像压缩算法相结合，采用成熟的MPEG技术对原始图像进行压缩。

本发明的实现在于：本发明是一种基于MPEG运动矢量的行车障碍检测方法，其特征在于：行车障碍检测方法及算法在压缩域完成，利用车辆前方视觉传感器所获取前方视场图像的MPEG压缩序列，提取和分析码流中的运动矢量，获取前方图像各像块的运动规律，并将这些规律与正常行车安全的矢量运动规则进行比较判定，运用与行车状态相关的匹配模板，确定危险区域和判决危险运动矢量，获得车辆行驶前方是否安全的信息，并对危险障碍图像进行标注。

如图2a是车辆正常行驶过程中道路周围环境的运动矢量示意场图，图2b是车辆行驶过程中有危险情况发生时道路周围环境的运动矢量示意场图。两图对照可见在行人横穿马路的位置矢量箭头产生不规律的发散状，本发明正是对不规则运动矢量进行检测。

具体步骤包括有：

第一步：采集视频图像序列，首先通过车辆前端摄像机所采集到的车辆行驶过程中道路周围环境的视频图像序列的原始视频数据，利用MPEG编解码技术将其压缩成MPEG视频码流格式的视频压缩码流；

第二步：解码提取运动矢量，根据MPEG编解码压缩标准分析MPEG码流格式，从MPEG格式的视频码流中解码提取出运动矢量，具体提取解码的p帧矢量，并得出运动矢量场图；

第三步：除噪及危险区域的确定，对解码出的运动矢量场图进行处理，按照本发明所提出的危险运动矢量规则进行除噪，以消除边缘噪声和天空噪声矢量，给出除噪后的运动矢量场图，并给出确定的危险区域；

第四步：提取危险运动矢量，在确定的危险区域提取危险运动矢量并计算；

危险运动矢量是车辆在行驶过程中，突发的危险运动障碍在视频图像序列中所产生的运动矢量。危险运动矢量不符合车辆正常安全行驶过程中正常运动矢量之间的均匀规律。如：

a、行人突然横穿马路等横向运动。该种情况由于人的运动为非刚体运动，所产生的运动矢量为散乱没有规则的运动矢量。

b、前方车辆突然减速或迎面行驶等纵向运动。该种情况下所产生的运动矢量由机器视觉知识可知，在运动矢量图上体现为前方车辆存在的位置上，会出现以车辆为中心，向外发散的杂乱运动矢量簇。

第五步：危险运动矢量判决，根据门限值T来对危险区域的相邻运动矢量之差进行判别筛选，相邻运动矢量的差值小于T值则为正常安全运动矢量并将其置零，大于T值则判定为危险运动矢量而保留，得到危险障碍物所处区域的危险运动矢量场图；

危险运动矢量判决检出为：

若相邻运动矢量之差满足或符合正常安全行驶情况下相邻运动矢量之差的阈值门限T，即满足小于或在该阈值门限范围内，则认为该运动矢量是正常安全的，对行车不构成威胁，判为正常运动矢量，通过运动矢量置零将其滤除掉；若不满足即大于或不在该阈值门限范围内，则判为危险运动矢量，对其保留并检出。

第六步：标记原始视频图像中的危险障碍，对于在运动矢量场图中提取的危险运动矢量，在原始视频图像中对应位置标记该区域的危险障碍，对驾驶员起到警戒作用。

MPEG视频压缩的基本原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。为了能够有效的去除图像中的冗余信息，MPEG基本视频标准中将编码图像分为三类，分别称为I帧，P帧和B帧，其中I帧和P帧都可作为参考帧，B帧不是参考帧。I帧图像采用帧内编码方式，以消除空间冗余度。P帧和B帧图像采用帧间编码方式，以消除时间冗余度。P帧图像以前向的I帧或P帧作为参考帧，只采用前向时间预测；B帧图像以前向、后向的I帧或P帧作为参考帧，采用双向时间预测，可以大大提高压缩倍数与效率。

本发明利用MPEG视频码流中的运动矢量在压缩域内直接进行检测，因此为方便容易实现，本发明采用MPEG-2标准码流来制定检测算法。

在现有的车辆行驶安全辅助装置或安全检测方法中，多是基于空间域的处理，存在基于图像像素域或灰度域的处理，另外，在空间域内进行检测要考虑运动背景、物体形状颜色变化等因素，算法较为复杂，速度较慢，并且无法解决视频数据量大等问题。本发明别开思路，利用MPEG的视频压缩和运动矢量的特点，对摄像机所采集到的车辆行驶过程中道路周围环境的视频图像序列的原始视频数据进行压缩，进而判别、筛选、提取危险运动矢量。避免了在空间域内进行检测要考虑运动背景、物体形状、颜色、灰度及光线等图像处理中的敏感变化因素。

另外，前人在车辆前方障碍物检测的算法中，大都是从空间域入手考虑问题的，很少有从压缩域角度来考虑；目前直接基于压缩域的车辆前方障碍物的检测算法研究还较少。本发明绕开空间域的诸多问题，如灰度、颜色、外部环境及光线等敏感条件，直接从压缩域入手，提出了一种直接在压缩域内对车辆前方障碍物进行检测的易实现、检测过程数据处理占用空间小、检测速度快的新方法。

本发明的实现还在于：第三步中的除噪及危险区域确定是在选取的匹配模板下对解码出的运动矢量场图进行以消除边缘噪声和天空噪声矢量的处理。

压缩域中运动矢量只是用于编码目的，他们是有噪声的，不可靠的，直接用于检测算法会产生很大的噪声误差和错误，为了尽可能的消除噪声，增强运动矢量的可靠性，在对非法运动矢量筛选之前，首先需进行噪声运动矢量的滤除处理。

本发明对解码出的运动矢量场图首先进行除噪处理，即消除边缘噪声和天空噪声矢量，将无用的信号和与危险无关的干扰进行排除处理，留存与危险运动矢量密切相关的矢量信息作为危险区域。

运动矢量场中噪声的来源主要来源于图像边界，所以噪声的去除主要是对运动矢量场图四周噪声运动矢量的去除，通过分析提取出的运动矢量场图，利用模板确定图像四周区域，可将位于运动矢量场图坐标图中的模板边缘外侧边界四周的所有运动矢量置零来将噪声运动矢量滤除掉。

本发明对危险运动矢量的检测为危险区域的确定、危险运动矢量的确定和危险运动矢量的判决和标注。

由于车辆在行驶过程中，整个视频图像序列的背景为动态背景，因此车辆在正常行驶情况下都会产生符合正常规律的发散的运动矢量，但不是所有区域的运动矢量都会对行车构成危险，例如天空中的飞机、飞鸟以及人行道上的行人等的运动对车辆正常行驶就不会构成威胁等，因此必须首先排除对于车辆正常行驶时不构成危险的区域，从而确定对于车辆正常行驶时构成威胁的危险区域，并给予高度重视。所以首先要确定车辆在行驶过程中前方的危险区域。

本发明的实现还在于：经验阈值T的选取及设定与行驶车速及行驶路况相关，通过加速度传感器反馈信息，得出直行、转弯及上下坡路况，系统自动选定匹配模板，阈值自动确定，直行车况下具体关系符合T＝0.025V+1.5的线性关系式。

在平直公路行驶时的具体关系符合T＝0.025V+1.5的线性关系式。在视频图像统一采用格式为291×218大小，正常行驶时，车辆在车速为20km/h正常安全行驶时相邻运动矢量之差都在阈值T＝2的范围内；车辆在车速为40km/h正常安全行驶时相邻运动矢量之差在阈值T＝2.5的范围内；车辆在车速60km/h正常安全行驶时相邻运动矢量之差在阈值T＝3的范围内；在转弯行驶状态下，由于摄像机视景中道路一侧非危险区域的视景会增加，因此一些非危险运动矢量可能增加误判的可能性，在该种情况下，通过统计归纳可知，相应的检测阈值较平直公路状态有所增加，在2.5的范围内；在上下坡行驶状态下，由于上坡时摄像机视景中所出现的天空视景增加，即非危险区域增加，因此可增加误判可能性的非危险运动矢量增加，需要增加相应的检测阈值，通过统计归纳可得出针对该种情况的经验阈值在3的范围内，在下坡行驶状态下，由于摄像机视景中所出现的路面视景增加，由于摄像机视景中所出现的路面视景增加，因此获得危险运动矢量的几率相应增加，此时需降低检测阈值，通过统计归纳可得出该种情况下的经验检测阈值在2的范围内。

本发明在确定了危险区域并分析了危险运动矢量的基础上，接下来要制定在危险区域内对危险运动矢量的判别规则，其过程是通过对正常情况下运动矢量之间所遵循的渐变及均匀规律，利用此规律对危险区域内运动矢量进行比较的方法来实现的。由运动矢量的特点可知，正常情况下，运动矢量是有规律的向四周发散，相邻运动矢量之间呈现出一种渐变的均匀状态，即相邻运动矢量之差符合一定的阈值门限T；当车辆前方出现危险情况时，该区域内的相邻运动矢量之间会出现不同于车辆正常行驶时的相邻运动矢量之间的规律，即不符合正常安全行驶时的相邻运动矢量之差的阈值门限T值。基于此特点，通过判断危险区域内的各相邻运动矢量之差是否符合安全情况下相邻运动矢量之差的阈值门限T来确定危险运动矢量。

本发明的实现还在于：匹配模板与行车状态相关，具体是与车辆加速度及路况状态相关，通过行车障碍检测系统中的加速度传感器，获取直行、转弯及上下坡的具体路况，依据所得出的路况信息，系统自动选定相应的匹配模板。因此本发明的适用范围大，适用于各种动态检测和路况。

本发明确定危险区域是通过由加速度传感器反馈的路况信息，系统自动选定特制匹配模板，对危险区域进行确定，还提高了障碍检测准确率。

本发明的实现还在于：基于MPEG运动矢量的行车障碍检测方法，其特征在于：第二步解码提取运动矢量的具体程序为：

一.对车辆前方视觉传感器所获取前方视场图像数据输入MPEG格式的编码比特流；

二.在编码比特流中解码图像序列头；

三.在编码比特流中解码图像组头；

四.在编码比特流中解码图像头；

五.比较判断图像类型是否为p帧，结果为“否”时返回程序步骤四，结果为“是”时进行下一步六；

六.若为P帧则解码宏块片头；

七.解码宏块数据；

八.然后在宏块中解码可变长编码的运动矢量的预测值；

九.解码用于节省运动矢量编码的差分值；

十.计算运动矢量：变长解码值与差分值之和就是该宏块的运动矢量；

十一.判断图像序列结束头，结果为“否”时返回程序步骤三，即接着解码图像组头，结果为“是”时进行下一步十二；

十二.结束。

MPEG视频基本编解码过程为：将图像进行离散余弦变换即DCT，再经量化、扫描和比特流变长编码即生成编码比特流；原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，运动矢量再经过变长编码生成编码比特流。由运动矢量和参考帧生成原始图像的预测图像再进行运动估计编码。而后，将原始图像与预测图像之间像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流即运动补偿编码。

通过变长解码、反扫描、反量化和逆DCT变化进行帧内解码；对于帧间解码，先通过变长解码解出运动矢量，后再经过运动补偿解码得到图像序列。算法简单，所需处理的相关因素少，检测准确率高。

由于本发明利用MPEG编解码，充分发挥了其速度快的特点，实现了对障碍物的快速检测。

本发明还对大量的道路运动情景数据进行了归类并统计归纳出无危险障碍物和出现危险障碍物相邻运动矢量之差的经验参数门限值T用于对车辆行驶过程中实时的运动数据比较和鉴别，以筛选出危险图像并加以标注；本发明还在压缩域内进行运动矢量的提取；专门制定了危险运动矢量的检测规则算法：其检测规则分为危险区域的确定、危险运动矢量的确定和危险运动矢量的判决规则；对危险区域判决利用了由加速度传感器反馈信息而对应的匹配模板和灭点的概念。将以上诸多知识点有机结合，解决了车辆安全行驶辅助系统算法较为复杂，处理速度较慢的技术问题，也解决了视频数据处理量大的技术难题，提供了一种在压缩域中进行检测，易实现、计算简单，检测过程数据处理占用空间小，检测准确率高、检测速度快、适用范围大的基于MPEG运动矢量的行车障碍检测方法。

附图说明：

图1是本发明的行车障碍检测总流程框图；

图2a是车辆正常行驶过程中道路周围环境的运动矢量示意场图；

图2b是车辆行驶过程中有危险情况发生时道路周围环境的运动矢量示意场图；

图3是本发明进行第二步的运动矢量解码流程图；

图4是拍摄的行人横穿马路视频图像之一；

图5是拍摄的行人横穿马路视频图像之二；

图6是本发明仿真的行人横穿马路运动矢量场图；

图7是本发明仿真的去噪后的行人横穿马路运动矢量场图；

图8是本发明检测出的行人横穿马路危险运动矢量场图；

图9是本发明标注出危险区域的视频图像；

图10是车速为20km/h时拍摄行人横穿马路视频图像之一；

图11是车速为20km/h时拍摄行人横穿马路视频图像之二；

图12是本发明在图10，图11的基础上仿真的车速为20km/h时行人横穿马路的运动矢量场图；

图13是对图12去噪后的运动矢量场图；

图14是本发明针对图13确定的危险区域运动矢量场图；

图15是本发明检出的车速为20km/h时行人横穿马路的危险运动矢量场图；

图16是本发明标注出的车速为20km/h时行人横穿马路的危险区域视频图像；

图17是车速为60km/h时拍摄行人横穿马路视频图像之一；

图18是车速为60km/h时拍摄行人横穿马路视频图像之二；

图19是本发明在图17，图18的基础上仿真的车速为60km/h时行人横穿马路的运动矢量场图；

图20是本发明对图19去噪后的车速为60km/h时行人横穿马路的运动矢量场图；

图21是本发明仿真的车速为60km/h时行人横穿马路的危险区域运动矢量场图；

图22是本发明检出的车速为60km/h时行人横穿马路的危险运动矢量场图；

图23是本发明标注出的车速为60km/h时行人横穿马路的危险区域视频图像；

图24是车速为20km/h时拍摄行人纵向运动视频图像之一；

图25是车速为20km/h时拍摄行人纵向运动视频图像之二；

图26是本发明在图24，图25的基础上仿真的车速为20km/h时行人纵向运动的运动矢量场图；

图27是本发明对图26去噪后的车速为20km/h时行人纵向运动的运动矢量场图；

图28是本发明仿真的车速为20km/h时行人纵向运动的危险区域运动矢量场图；

图29是本发明检出的车速为20km/h时行人纵向运动的危险运动矢量场图；

图30是本发明标注出的车速为20km/h时行人纵向运动的危险区域视频图像；

图31是车速为40km/h时拍摄的行人横向和纵向运动视频图像之一；

图32是车速为40km/h时拍摄的行人横向和纵向运动视频图像之二；

图33是本发明在图31，图32的基础上仿真的车速为40km/h时行人横向和纵向运动的运动矢量场图；

图34是本发明对图33的去噪后的车速为40km/h时行人横向和纵向运动的运动矢量场图；

图35是本发明仿真的车速为40km/h时行人横向和纵向运动的危险区域运动矢量场图；

图36是本发明检出的车速为40km/h时行人横向和纵向运动的危险运动矢量场图；

图37是本发明标注出的车速为40km/h时行人横向和纵向运动的危险区域视频图像；

图38是拍摄的前方车辆正常行驶的尾部视频图像；

图39是拍摄的前方车辆突然减速行驶的尾部视频图像；

图40是本发明在图38，图39的基础上提取的前方车辆突然减速行驶的运动矢量场图；

图41是对图40去噪后的运动矢量场图；

图42是危险区域内运动矢量场图；

图43是筛选后的运动矢量场图；

图44是本发明标注出的前方车辆突然减速行驶的危险区域视频图像；

具体实施方式：

下面结合附图对本发明进行详细说明

本发明利用MPEG视频码流中的运动矢量在压缩域内直接进行检测，有效利用了压缩域的成熟技术和产品。进行仿真拍摄时选用佳能A520数码相机，利用其自带的MPEG视频图像压缩功能，将所拍摄的视频图像序列压缩编码成MPEG格式的视频图像序列，对于视频图像中的每一帧，统一设置格式为291×218大小，便于程序的实现。

实施例1：对正在突然横穿马路的行人的危险横向运动进行检测。

参见图1，图1是基于MPEG中运动矢量的行车障碍检测方法的总检测流程框图。该检测方法是在基于摄像装置、显示装置、计算机计算与处理软件而形成的行车障碍检测系统上运行，行车障碍检测系统通过摄像装置实时采集前方图像信息并通过加速度传感器等反馈路况信息，通过显示装置显示前方路况及障碍物标注。

本发明在图像压缩域进行行车安全的检测，利用车辆前方视觉传感器所获取前方视场图像的MPEG压缩序列，提取和分析码流中的运动矢量，获取前方图像各像块的运动规律，并将这些规律与正常行车安全的矢量运动规则进行比较判定，运用与行车状态相关的匹配模板，确定危险区域和判决危险运动矢量，获得车辆行驶前方是否安全的信息，对危险障碍图像进行标注。

具体步骤包括有：

第一步，采集视频图像序列，图4，图5是车速为10km/h下，所采集的视频图像序列中行人横穿马路的两帧。图5相对于图4，行人突然横穿马路从马路右侧运动到了马路中间的位置。

第二步：解码提取运动矢量，得出运动矢量场图。首先对图4，图5中两帧图像进行运动矢量的提取，提取结果如图6所示。

第三步：除噪及危险区域的确定，对解码出的运动矢量场图进行处理，即进行除噪，以消除边缘噪声和天空噪声，给出除噪后的运动矢量场图，并给出确定的危险区域。除噪结果如图7所示。

第四步：提取危险运动矢量，在确定的危险区域提取危险运动矢量并计算。

第五步：危险运动矢量判决，根据门限值T来对危险区域的相邻运动矢量之差进行判别筛选。

确定了危险区域之后，接下来要在危险区域中确定危险运动矢量。从已提取的运动矢量场图可以看出，其中处于运动矢量图中间的散乱运动矢量区域，为行人横向运动所产生的运动矢量，通过本论文算法检测出危险运动矢量，结果如图8所示。

第六步：标记原始视频图像中的危险障碍，最后，通过运动矢量图对图像中相对应的区域进行标注，如图9所示。进而提醒驾驶员检测出车辆前方所在位置存在危险障碍物。

如图9示，从本发明的最终检测结果可以看出，对车辆行驶过程中，车辆前方的行人突然横穿马路时的行人检测达到了较好的检测效果，基本满足了应用要求。

实施例2：在车速为20km/h时对行人突然横穿马路的危险障碍进行检测

检测方法及具体步骤同实施例1，当行人运动到车辆前方即危险区域时，就会在车辆前方危险区域处产生不符合正常运动矢量规律的危险运动矢量，图10、图11是行人从马路两侧相对而行横穿马路的视频图像。

通过本发明检测，就会自动检测出车辆前方的行人的危险运动的异常杂乱区域场，并分别给出图12的车速为20km/h时行人横穿马路的运动矢量场图、图13的去噪后的运动矢量场图、图14的危险区域运动矢量场图、图15的危险运动矢量场图和图16已标注出的车速为20km/h时行人横穿马路的危险区域视频图像。

实验结果较为准确的检测出了行人横穿马路时威胁车辆正常安全行驶的危险运动区域，并通过标注达到警示的目的。

实施例3：在车速为60km/h时对行人突然横穿马路的危险障碍进行检测

检测方法及具体步骤同实施例1，图17、图18是车速为60km/h时拍摄的行人突然横穿马路的视频图像。

经本发明检测，得到图19，是本发明在图17，图18的基础上仿真的车速为60km/h时行人横穿马路的运动矢量场图，图20是本发明对图19去噪后的车速为60km/h时行人横穿马路的运动矢量场图，图21是本发明仿真的车速为60km/h时行人横穿马路的危险区域运动矢量场图，图22是本发明检出的车速为60km/h时行人横穿马路的危险运动矢量场图，图23是本发明标注出的车速为60km/h时行人横穿马路的危险区域视频图像。

实施例4：对行人的纵向运动进行检测。即行人迎面朝向车辆行驶方向纵向运动的检测。

检测方法及具体步骤同实施例1，如图24至30所示，这是在行车状况为直行，20km/h车速下进行的大量的实验和检测。

第一步，采集视频图像序列，图24和图25是行人突然朝向车辆行驶方向纵向运动的视频图像序列的关键两帧，图25相对于图24，行人向车辆行驶方向更近，图26是提取的两帧图像的运动矢量场图，图27是对提取的运动矢量场图四周进行除噪的处理结果，图28是确定的危险区域即除掉天空的路面区域。

第二步：解码提取运动矢量，得出运动矢量场图。

第三步：除噪及危险区域的确定，对解码出的运动矢量场图进行处理，按照本发明所提出的危险运动矢量规则进行除噪，以消除边缘噪声和天空噪声，给出除噪后的运动矢量场图，并给出确定的危险区域，危险区域确定是在选取的匹配模板下对解码出的运动矢量场图进行处理的，由于车辆直行，因此匹配模板的选取与直行对应。

第四步：提取危险运动矢量，在确定的危险区域提取危险运动矢量并计算。当行人朝向车辆行驶方向相向运动时，就会在所在区域产生不同于正常运动矢量的发散运动矢量场图，利用该算法检测，会自动检测出车辆前方的行人的危险运动的异常发散区域场图。

第五步：危险运动矢量判决，根据门限值T来对危险区域的相邻运动矢量之差进行判别筛选。经验阈值T的选取及设定与匹配模板相关，对应当前车辆行驶状况，此例中为直行状况，附加车速信息，车速为20km/h，阈值自动确定。车辆直行时具体关系符合T＝0.025V+1.5的线性关系式，T为2。筛选结果如图29所示。

第六步：标记原始视频图像中的危险障碍，在视频图像序列中将危险运动区域标出。标注结果如图30所示。实验结果也较为准确的检测出了行人相向纵向运动的威胁车辆正常行驶的危险行人运动区域，检测准确率高、检测速度快的效果较为理想。

实施例5：对多个行人同时进行横向和纵向运动进行检测。即有行人突然横穿马路，又有行人突然朝向车辆行驶方向纵向运动，两种情况同时发生的情况进行检测。

检测方法及具体步骤同实施例1，如图31，32所示，对上述危险情况主要是在车速为40km/h时进行了大量的实验和检测。图31和图32是有行人突然横穿马路同时又有行人突然朝向车辆行驶方向纵向运动的视频图像序列的关键两帧，图33是提取的两帧图像的运动矢量场图，图34是对提取的运动矢量场图四周进行除噪的处理结果，图35是确定的危险区域即除掉天空的路面区域。当有行人突然横穿马路同时又有行人朝向车辆行驶方向相向运动时，就会在各自所在区域产生不同于正常运动矢量的杂乱的运动矢量场图，利用本发明，自动检测出车辆前方的行人的危险运动的异常危险运动矢量场图如图36所示，并在视频图像序列中将危险运动区域标出如图37所示。实验结果也较为准确的既检测出了行人突然横穿马路时威胁行人及车辆正常安全行驶的危险障碍，又同时检测出了行人相向纵向运动的威胁行人及车辆正常行驶的危险障碍，检测准确率高、检测速度快，效果较为理想。

实施例6：对车辆行驶过程中前方车辆突然减速的运动进行检测。检测方法及具体步骤同实施例1，

第一步，采集视频图像序列，在相对车速为40km/h下，所采集的视频图像序列的两帧图像如图38，图39所示。图38为车辆正常安全行驶下即前方蓝色车辆正常速度行驶过程中的一帧图像，图39为前方蓝色车辆突然减速而对后面车辆安全行驶造成威胁的一帧图像。

第二步：解码提取运动矢量，得出运动矢量场图。对图38，图39两帧图像进行运动矢量提取，提取运动矢量场图如图40所示。

第三步：除噪及危险区域的确定，对解码出的运动矢量场图进行处理，按照本发明所提出的危险运动矢量规则进行除噪，以消除边缘噪声和天空噪声，给出除噪后的运动矢量场图，并给出确定的危险区域。除去噪声后的运动矢量场图如图41所示。选择灭点以下区域为车辆行驶过程中的危险区域。对危险区域的危险运动矢量进行筛选提取，得出障碍物所在的危险区域，如图42所示。

第四步：提取危险运动矢量，在确定的危险区域提取危险运动矢量并计算。

第五步：危险运动矢量判决，根据门限值T来对危险区域的相邻运动矢量之差进行判别筛选。筛选后的危险运动矢量图如图43所示。

第六步：标记原始视频图像中的危险障碍，最后是对危险运动矢量在视频图像中相对应的位置区域进行标注，进而起到告警提示作用，如图44所示。

实施例7：

检测状况同实施例4，检测方法和检测步骤同实施例1，当车辆行驶由直行变为转弯时，通过加速度传感器反馈的路况信息，系统自动将匹配模板设定为转弯匹配模板，进行危险区域的选定，同时确定相应阈值，实现障碍物的检测。在该种情况下，T为2.5。

实施例8：

检测状况同实施例4，检测方法和检测步骤同实施例1，当车辆行驶由直行变为上坡时，通过加速度传感器反馈的路况信息，系统自动将匹配模板设定为上坡时匹配模板，进行危险区域的确定，同时确定相应阈值，实现障碍物的检测。

实施例9：

检测状况同实施例4，检测方法和检测步骤同实施例1，当车辆行驶由直行变为下坡时，通过加速度传感器反馈的路况信息，系统自动将匹配模板设定为下坡时匹配模板，进行危险区域的确定，同时确定相应阈值，实现障碍物的检测。

实施例10：

检测状况同实施例1，检测方法和检测步骤同实施例1。

具体的编码是：基于MPEG运动矢量的行车障碍检测方法，其中MPEG视频基本编解码过程为：I帧编码属于帧内编码，过程是将图像进行离散余弦变换即DCT，再经量化、扫描和比特流变长编码即生成编码比特流；P帧和B帧编码属于帧间编码，过程是原始图像首先与帧存储器中的预测图像进行比较，计算出运动矢量，运动矢量再经过变长编码生成编码比特流。由运动矢量和参考帧生成原始图像的预测图像再进行运动估计编码。而后，将原始图像与预测图像之间像素差值所生成的差分图像数据进行DCT变换，再经过量化器和比特流编码器生成输出的编码比特流即运动补偿编码。

实施例11：

检测状况同实施例1，检测方法和检测步骤同实施例1，

第二步解码提取运动矢量的具体程序为：

一.对车辆前方视觉传感器所获取前方视场图像数据输入MPEG格式的编码比特流；

二.在编码比特流中解码图像序列头；

三.在编码比特流中解码图像组头；

四.在编码比特流中解码图像头；

五.比较判断图像类型是否为p帧，结果为“否”时返回程序步骤四，结果为“是”时进行下一步六；

六.若为P帧则解码宏块片头；

七.解码宏块数据；

八.然后在宏块中解码可变长编码的运动矢量的预测值；

九.解码用于节省运动矢量编码的差分值；

十.计算运动矢量：变长解码值与差分值之和就是该宏块的运动矢量；

十一.判断图像序列结束头，结果为“否”时返回程序步骤三，即接着解码图像组头，结果为“是”时进行下一步十二；

十二.结束。

此种计算方法计算简单、检测准确率高、检测速度快。

实施例12：

检测方法及具体步骤同实施例1，基于MPEG运动矢量的行车障碍检测方法的危险运动矢量判决检出步骤为：

计算实时车辆前方图像危险区域中相邻运动矢量之差，与选取的阈值门限T进行比较，若相邻运动矢量之差符合该阈值T，则判为正常运动矢量，并对其置零滤除；若相邻运动矢量之差不符合该阈值T，则判为危险运动矢量，对其保留并检出。T为阈值门限，凡是符合以上条件的运动矢量可判为正常运动矢量，可以通过运动矢量置零滤除掉，若不符合判断条件，即判为危险运动矢量，则保留。

实施例13：

检测方法及具体步骤同实施例1，基于MPEG运动矢量的行车障碍检测方法，其中经验阈值T的选取及设定与匹配模板相关，对应当前车辆行驶状况，附加车速信息，阈值自动确定；行驶车速相关。在视频图像统一采用格式为291×218大小，正常直行行驶时，车辆在车速为20km/h正常安全行驶时相邻运动矢量之差都在阈值T＝2的范围内；车辆在车速为40km/h正常安全行驶时相邻运动矢量之差在阈值T＝2.5的范围内；车辆在车速60km/h正常安全行驶时相邻运动矢量之差在阈值T＝3的范围内。通过多次反复计算试验，通过在不同车速下对门限阈值T的设定，便可对障碍物所在位置的异常危险运动矢量进行保留及筛选。

实施例14：

门限T值是首先将大量的行车前方无危险障碍物和出现危险障碍物时所采集的道路及周围环境图像进行仿真处理，通过对危险运动矢量的提取，归纳出经验参数门限值T，当车辆在行驶时所提取的相邻运动矢量之差超过阈值门限T值时，提取为危险图像，对危险图像进行标注，此值安装于检测处理程序中。

Claims (5)

1.一种基于MPEG运动矢量的行车障碍检测方法，其特征在于：行车障碍检测方法及算法在压缩域完成，利用车辆前方视觉传感器所获取前方视场图像的MPEG压缩序列，提取和分析码流中的运动矢量，获取前方图像各像块的运动规律，并将这些规律与正常行车安全的矢量运动规则进行比较判定，运用与行车状态相关的匹配模板，确定危险区域和判决危险运动矢量，获得车辆行驶前方是否安全的信息，对危险障碍图像进行标注，

具体步骤包括有：

第一步：采集视频图像序列，首先通过车辆前端摄像机所采集到的车辆行驶过程中道路周围环境的视频图像序列的原始视频数据，利用MPEG编解码技术将其压缩成MPEG视频码流格式的视频压缩码流；

第二步：解码提取运动矢量，根据MPEG编解码压缩标准分析MPEG码流格式，从MPEG格式的视频码流中解码提取出运动矢量，具体提取解码的p帧矢量，并得出运动矢量场图；

第三步：除噪及危险区域确定，对解码出的运动矢量场图进行处理，即进行除噪处理，以确定危险区域；

第四步：提取危险运动矢量，在确定的危险区域提取危险运动矢量并计算；

第五步：危险运动矢量判决，根据门限值T来对危险区域的相邻运动矢量之差进行判别筛选，相邻运动矢量的差值小于T值则为正常安全运动矢量并将其置零，大于T值则判定为危险运动矢量而保留，得到危险障碍物所处区域的危险运动矢量场图；

第六步：标记原始视频图像中的危险障碍，对于在运动矢量场图中提取的危险运动矢量，在原始视频图像中对应位置标记该区域的危险障碍，对驾驶员起到警戒作用。

2.根据权利要求1所述的基于MPEG运动矢量的行车障碍检测方法，其特征在于：第三步中的除噪及危险区域确定是在选取的匹配模板下对解码出的运动矢量场图进行以消除边缘噪声和天空噪声矢量的处理。

3.根据权利要求2所述的基于MPEG运动矢量的行车障碍检测方法，其特征在于：第五步经验阈值T的选取及设定与匹配模板相关，对应当前车辆行驶状况，阈值自动确定；车辆直行时具体关系符合T＝0.025V+1.5的线性关系式。

4.根据权利要求1或2或3所述的基于MPEG运动矢量的行车障碍检测方法，其特征在于：所述的匹配模板与行车状态相关，具体是与车辆加速度及路况状态相关，通过加速度传感器反馈信息进入行车障碍检测系统，得出直行、转弯及上下坡具体路况，当行驶路况发生改变时，系统自动选定匹配模板。

5.根据权利要求1所述的基于MPEG运动矢量的行车障碍检测方法，其特征在于：第二步解码提取运动矢量的具体程序为：

一.对车辆前方视觉传感器所获取前方视场图像数据输入MPEG格式的编码比特流；

二.在编码比特流中解码图像序列头；

三.在编码比特流中解码图像组头；

四.在编码比特流中解码图像头；

五.比较判断图像类型是否为p帧，结果为“否”时返回程序步骤四，结果为“是”时进行下一步六；

六.若为P帧则解码宏块片头；

七.解码宏块数据；

八.然后在宏块中解码可变长编码的运动矢量的预测值；

九.解码用于节省运动矢量编码的差分值；

十.计算运动矢量：变长解码值与差分值之和就是该宏块的运动矢量；

十一.判断图像序列结束头，结果为“否”时返回程序步骤三，即接着解码图像组头，结果为“是”时进行下一步十二；

十二.结束。

Images