CN105216792A

CN105216792A - 对周围环境中的障碍物目标进行识别跟踪的方法和设备

Info

Publication number: CN105216792A
Application number: CN201410261019.1A
Authority: CN
Inventors: 戴依若; 王文佳
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2014-06-12
Filing date: 2014-06-12
Publication date: 2016-01-06

Abstract

根据本发明，提出了一种对车辆的周围环境中的障碍物目标进行识别跟踪的方法，包括：利用本车辆的摄像头采集该车辆周围的路况视频信息；根据本车辆的位置、速度、变道信息和车道宽度来限定危险区域范围；利用路况视频信息过滤出危险区域范围内的障碍物目标，检测各障碍物目标与本车辆之间的相对位置、相对速度、危险系数；对危险系数超过预定阈值的障碍物目标的运动轨迹进行跟踪，从而预测该障碍物目标相对于本车辆的相对运动；以及根据所预测的该障碍物目标相对于本车辆的相对运动，确定可能或即将来临的碰撞事件。

Description

对周围环境中的障碍物目标进行识别跟踪的方法和设备

技术领域

本发明涉及一种对车辆的周围环境中的障碍物目标进行识别跟踪的方法和设备，能够利用车载摄像机对车周边的多目标进行监测从而进行驾驶辅助。

背景技术

随着汽车时代的全面来临，机动车大量增加，道路拥挤超负荷，车辆堵塞经常发生，车祸频繁发生，造成大量的生命伤亡和重大的财产，成为全世界严重的社会问题，汽车安全技术受到越来越多的重视。其中基于车载传感器的障碍物识别和追踪算法在汽车安全领域中起着至关重要的作用。车载摄像头识别系统的实质就是对视频路况中的多种目标进行识别，识别目标包括快速移动目标(如运动的车辆，包括邻近车道上的车辆)、缓慢移动目标(如行人)和静止目标(如路障设施、车道间护栏、路旁的树木等)，再根据目标的一系列特性，包括位置、速度、危险系数、运动轨迹，对其进行跟踪。但是车载摄像机工作环境和条件十分苛刻，因为快速行驶的车辆避撞时间极短，实时要求很高。根据戴姆勒奔驰公司的研究表明：驾驶员只要能提前0.5秒得到预警，就可以避免50％的追尾事故、30％的迎面碰撞事故；如若能提前1秒采取措施，则可避免90％的交通事故发生。这就要求防撞车载摄像机系统具有实时性强、处理速度快的特点。并且在实际路况中，行驶着多辆汽车、摩托车、电动车、自行车，还有众多行人和静止路障物体，因此不可避免地会出现遇到多目标识别跟踪的问题。但是多目标识别跟踪中运算复杂，计算量大的算法往往难以满足实时性需求。

以下述专利为例，《多目标物体跟踪方法》中(中国专利申请号201110372925.5，公开日2011年11月22日，四川九洲电器集体有限责任公司申请)公开了一种利用运动物体检测算法对图像中的多目标物体进行特征提取和匹配，并且生成多目标跟踪轨迹链表。但是该专利需要进行实时跟踪视频拍摄范围内所有的运动物体，直至其在图像序列中消失，计算量很大。

发明内容

为了解决现有技术的上述问题提出了本发明。因此，本发明的目的之一是提出一种对车辆的周围环境中的障碍物目标进行识别跟踪的方法和设备，能够利用车载摄像机对车周边的多目标进行监测从而进行驾驶辅助。

为了实现上述目的，本发明提出了一种对车辆的周围环境中的障碍物目标进行识别跟踪的方法，包括：利用本车辆的摄像头采集该车辆周围的路况视频信息；根据本车辆的位置、速度、变道信息和车道宽度来限定危险区域范围；利用路况视频信息过滤出危险区域范围内的障碍物目标，检测各障碍物目标与本车辆之间的相对位置、相对速度、危险系数；对危险系数超过预定阈值的障碍物目标的运动轨迹进行跟踪，从而预测该障碍物目标相对于本车辆的相对运动；以及根据所预测的该障碍物目标相对于本车辆的相对运动，确定可能或即将来临的碰撞事件。

优选地，所述方法还包括：向本车辆的驾驶员预警所确定的可能或即将来临的碰撞事件。

优选地，所述变道信息表示本车辆是不变道、变道到左车道、还是变道到右车道的信息。

优选地，所述危险系数是根据本车辆与障碍物目标之间的距离与报警安全距离和制动安全距离之间的比较结果来确定的。

优选地，所述预警是通过语音提示或屏幕查询来实现的。

优选地，所述障碍物目标包括：车辆、行人、路障设施、车道间护栏、路旁树木。

另外，根据本发明，还提出了一种对车辆的周围环境中的障碍物目标进行识别跟踪的设备，包括：利用本车辆的摄像头采集该车辆周围的路况视频信息的单元；根据本车辆的位置、速度、变道信息和车道宽度来限定危险区域范围的单元；利用路况视频信息过滤出危险区域范围内的障碍物目标，检测各障碍物目标与本车辆之间的相对位置、相对速度、危险系数的单元；对危险系数超过预定阈值的障碍物目标的运动轨迹进行跟踪，从而预测该障碍物目标相对于本车辆的相对运动的单元；以及根据所预测的该障碍物目标相对于本车辆的相对运动，确定可能或即将来临的碰撞事件的单元。

本发明采用摄像设备采集周边环境信息，因为摄像机采集的数据信息远比测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。本发明利用安装在车体周边上的多个摄像头拍摄的影像，基于机器视觉技术进行视频中周边多个障碍物目标进行检测，并且只对处于危险区域并对本车存在危险隐患的目标，探测其位置、速度、运动轨迹、危险度，提供了一种用于汽车驾驶辅助防撞预警的多目标检测跟踪方法与系统。

本发明的系统涉及的相对应算法仅用车载摄像头单一种类传感器有效地排除不存在危险隐患的目标，确定危险区域范围，仅检测主体车辆的当前车道中的目标物体，和靠近并邻近主体车辆的车道中的目标物体，记录存在危险隐患的目标的位置、速度以及运动轨迹，判断该目标与本车存在的危险系数大小，对驾驶员进行预警提醒。

本发明包括：周边路况图像采集装置利用车载摄像机采集周边路况信息；危险区域多目标识别装置根据主车自身速度位置等信息定义危险区域范围，只识别处于该危险区域范围内的物体；危险隐患目标过滤装置根据危险区域范围内的物体所处位置、相对速度等信息计算危险系数；危险隐患目标跟踪装置仅对危险区域中存在危险隐患的目标进行跟踪，建立运动轨迹链表；危险预警装置采用声光等方式对驾驶员提供碰撞警报。

本发明的系统仅依靠单一种类的车载摄像机系统，减少了系统成本；仅对危险区域范围之内的目标进行识别，仅对该区域内存在危险隐患的目标，建立运动轨迹链表，跟踪这些目标，而对不存在危险隐患的目标不进行轨迹跟踪，大大降低了运算量。

附图说明

通过参考以下组合附图对所采用的优选实施方式的详细描述，本发明的上述目的、优点和特征将变得更显而易见，其中：

图1是示出了根据本发明的实施例的多目标识别和跟踪的方框图。

图2是示出了根据本发明的实施例产生的基于车载摄像头的周边路况图像采集的流程图。

图3是示出了根据本发明的实施例产生的基于车载摄像头的危险区域多目标识别装置中危险区域范围的定义的示意图。

图4是示出了根据本发明的实施例产生的基于车载摄像头的只存在危险区域范围之内危险隐患目标过滤的流程图。

图5是示出了根据本发明的实施例产生的基于车载摄像头的障碍危险隐患目标跟踪的流程图。

图6是示出了一个具体环境路况模拟图。

图7是示出了经过本发明的实施例的多目标识别和跟踪处理，多目标检测文件内容的变化过程。

具体实施方式

为使本发明的上述目的、特征和优点更加明显易懂，以下结合附图和具体实施例进一步详细描述本发明。需要说明的是，附图中的各结构只是示意性的而不是限定性的，以使本领域普通技术人员最佳地理解本发明的原理，其不一定按比例绘制。下面将结合附图对本发明的实施例进行详细说明。

图1示出了根据本发明的实施例的周边环境识别驾驶辅助设备的多目标识别和跟踪的方框图。如图1所示，根据本发明的多目标识别跟踪装置可以包括：周边路况图像采集装置110、危险区域多目标识别装置120、危险隐患目标过滤装置130、危险隐患目标跟踪装置140以及危险预警装置150。根据本发明，可以将该周边环境识别驾驶辅助设备安装在车辆等上，以对车辆等在周边环境识别上的驾驶进行辅助。

在本发明的实施例中，周边路况图像采集装置110为安装在车体的适当位置(可以布置在汽车前挡风玻璃的上端、汽车车尾后端、车身两侧)的摄像头系统，即多部摄像头系统，采集并存储来自车体前方、后方、两边侧面的视频信息。摄像头系统通常由光学系统与摄像头组成，光学系统可以具有变倍功能、自动调焦功能等。摄像头可以采用彩色CCD(电荷耦合元件)摄像机。

下面，将参考图2，来说明根据本发明的实施例的周边路况图像采集装置110执行过程。

在步骤S101，输入车载摄像头采集的四周路况视频信息，并将其分帧转化为图像。

在步骤S102，对图像中信息进行路标检测，包括交通信号灯在内的内容识别，并记录当前路段最大行驶速度。

在步骤S103，进行车道检测。

在步骤S104，根据步骤S102和步骤103的输出内容判断当前路况是否存在路标或者车道。

在步骤S105，如果当前环境下存在路标或者车道，则判断当前环境可能是城市道路。

在步骤S106，如果当前环境为城市道路，则对当前路面进行雨雪检测。判断当前路面是否是干燥路面、潮湿路面或者是否存在积雪(步骤S107、S108、S109)。步骤S106的输出将会影响下述数学式5中摩擦系数的选择。

在步骤S110，如果当前环境下不存在任何路标或者车道信息，则判断当前环境可能是野外环境。

在步骤S111，对当前主车车速、所处位置进行检测。

在步骤S112，通过当前主车位置以及车速方向，结合步骤S103检测的车道线位置，判断当前主车是否压线准备进行变道操作。在步骤S113，主车准备变道，而在步骤S114，主车不准备变道。步骤S112的输出将会影响下述危险区域的范围定义中数学式1和数学式2对系数的选择。

危险区域多目标识别装置120是针对城市道路环境下的应用，该装置只用来检测存在于危险区域中的物体，其中危险区域的范围划分根据主车自身信息而定。下面，将参考图3，来说明根据本发明的实施例的危险区域多目标识别装置120中危险区域范围如何划分。其中由(X_l，X_r，Y_l，Y_r)四个参数描述危险范围，根据数学式1、数学式2、数学式3、数学式4依次分别计算每个参数。其中坐标原点如图3所示位于主车车头中间正下方地面位置，X轴指向主车体正左方，Y轴指向主车体正前方，Z轴指向主车体正上方。

Y_{l} = v_{o} * (t_{f} + t_{d}) + \frac{{(v_{o})}^{2}}{2 μg}

(数学式3)

Y_{r} = (v_{o} + v_{hy}) * (t_{f} + t_{d}) + \frac{{(v_{o} + v_{hy})}^{2}}{2 μg}

(数学式4)

其中d为车道的宽度；x_l为主车离左车道的距离；x_r为主车离右车道的距离；v_o为根据步骤S102得到的车速路标显示最大速度；t_f为刹车时间，一般为1秒或以上；t_d为反应时间，一般为0.5秒以上；v_hy为主车Y轴方向上的车速；μ为摩擦系数，其中定义参考数学式5，范围选择参考步骤S106的输出；g为重力加速度。

根据步骤S112判断当前主车是否正在处于变道阶段。如果主车没有变道，则系统只关注在车体左、中、右三个车道中的障碍物；如果主车正向左车道变道，则系统关心左边两个、中间一个、右边一个这四个车道；如果主车正向右车道变道，则系统关心左边一个、中间一个、右边两个这四个车道。上述描述即数学式1和数学式2中X_l和X_r的定义。对于背景技术中所提到的现有技术，它将会跟踪视频拍摄范围内所有的运动物体。而本发明结合图6所示模拟路况和图7，如果当前主车不变道，则系统只关心左边、当前和右边车道这三个车道上处于危险距离内的目标，即目标1、目标2、目标3、目标4、目标6、目标7、目标9；不关心最左边车道上的目标5；而对于目标8，虽然也处于当前车道上，并且在拍摄范围内，但是该目标与主车的距离超过危险范围，即其跟主车在Y轴上的距离超过Y_r，所以对其也不进行跟踪检测。其中危险区域描述中Y_l和Y_r的定义是参考制动安全距离的定义，即数学式6。结合图3，主车运动方向是向Y轴右方运动，其后方车辆即Y轴左方车辆对于主车来说最大相对速度为v_o；主车前方车辆即Y轴右方车辆对于主车的最大相对速度为v_o+v_hy，该处考虑到相邻车道与主车所在车道运动方向相反。

危险隐患目标过滤装置130只将存在于危险范围内有危险隐患的目标过滤出来，并且生成一个存在危险隐患的多目标检测表，该表格内容包含此时目标与主车之间的相对位置、相对速度、危险系数。下面，将参考图4，来说明根据本发明的实施例的危险隐患目标过滤装置130执行过程中如何对危险系数进行定义和更新。

在步骤S310，建立危险区域中的多目标检测表，其中包含各个目标的位置、速度和危险系数。如果是第一次建立多目标检测表，则初始危险系数均设为0；如果上一时间段已经存在多目标检测表，则保持上一张表中的危险系数。作为示例，本系统危险系数设为四个等级：0为安全，1为较危险，2为很危险，3为极端危险。参考图7中的表1。

在步骤S320，对连续两个多目标检测表中所含目标进行比较，判断当前多目标检测表中是否存在新增的目标。

在步骤S330，如果当前多目标检测表中没有存在新目标，则对每个目标根据数学式6和数学式7进行制动安全距离和报警安全距离的计算，其中v为相对速度；t_f为刹车时间，一般为1秒或以上；t_d为反应时间，一般为0.5秒以上；μ为摩擦系数，其中定义参考数学式5；g为重力加速度，v_h为主车速度。

d_{s} = v * (t_{f} + t_{d}) + \frac{{(v)}^{2}}{2 μg}

(数学式6)

d_w＝d_s+v_h*t_d(数学式7)

在步骤S340，判断该目标与主车的距离是否大于报警安全距离或者该目标是否正在远离主车。

如果在步骤S340中该目标与主车距离大于报警安全距离并且该目标正在远离主车，此时危险系数设为0，则在步骤S350中从多目标检测表中删除该目标。结合参考图6中的目标4和目标6以及图7表2和表3，这两个目标因为都大于报警安全范围并且远离主车，所以在表3中被删除了。

如果在步骤S340中如果某目标正在接近主车，但是该目标与主车距离大于报警安全距离，则在步骤S360中将该目标危险系数设为0；如果该目标与主车距离小于报警安全距离，但是该目标与主车距离大于制动安全距离，则将该目标危险系数设为1；如果该目标与主体距离小于制动安全距离，则将该目标危险系数设为2。并且该目标正在接近主车，则在步骤S360中根据上述危险系数数值计算基础上加1。如果在步骤S320中判断该目标为新目标，同样也在步骤S360中将该目标根据其跟主车的距离计算危险系数，并在危险系数数值计算基础上加1。在步骤S370，更新每个目标的危险系数，输出危险区域中的多目标检测表，其中包含各个目标的三维位置(X，Y，Z)(其中X轴指向主车体正左方，Y轴指向主车体正前方，Z轴指向主车体正上方)、相对速度(v_X，v_Y，v_Z)和危险系数。参考图7所示的表2中的内容。

下面，将参考图5，来说明根据本发明的实施例的危险隐患目标跟踪装置140执行过程。

在步骤S410，输入危险隐患目标过滤装置130中所得到的存在危险隐患的多目标检测结果。

在步骤S420，采用多种特征提取算法处理图像，提取存在危险隐患的目标的位置、形状、颜色、尺寸等特征。

在步骤S430，遍历多目标检测表，然后将各种不同算法提取出来存在危险隐患的物体特征与目标检测表中的物体特征进行比较。防止多目标车辆经常出现的遮挡问题(多个相互遮挡物体被识别成一个目标)或分裂问题(单个物体被识别成多个目标)造成目标运动轨迹关联错误。

根据对比结果，在步骤S440中将匹配不成功的物体的特征生成一条新的目标检测列，记录其相对位置、相对速度以及危险系数；在步骤S450中将匹配成功的目标的新的相对位置、相对速度、危险系数进行更新，并将其轨迹信息形成一条跟踪链，存放入多目标检测列表中。参考图7中的表3中的内容。该目标轨迹链表文件中目标信息用于预测对主体车辆的相对运动，从而确定可能的或即将来临的碰撞事件。

本发明的实施例的危险预警装置150根据危险隐患目标跟踪装置140的输出，识别与本车危险区域之内的目标，控制本车速保持报警安全距离，对于小于报警安全距离，并且接近本车的目标，根据危险系数的大小发出警报，通过语音提示、屏幕查询或任何其它输出方法来对驾驶员进行碰撞警报，使驾驶员有一段可以避撞时间的距离，此时司机可以做出正确操作进行避撞。

本发明适用于车载视频处理技术领域，用于碰撞预警中存在危险隐患的多目标识别和追踪，是一种只利用车载摄像机单一传感器的低成本低能耗驾驶辅助系统。本发明提出了一种利用摄像头所采集的路况视频信息感知周围环境中的障碍物，对多个路障目标进行识别跟踪，确定危险范围内存在危险隐患的路障目标的位置、速度以及运动轨迹，并判断该目标与本车存在的危险系数大小，进行报警，显著提高汽车行驶安全。

以上列举了若干具体实施例来详细阐明本发明，这些个例仅说明本发明的原理及其实施方法之用，而非对本发明的限制，在不脱离本发明的精神和范围的情况下，本领域的技术人员还可以做出各种变形和改进。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims

1.一种对车辆的周围环境中的障碍物目标进行识别跟踪的方法，包括：

利用本车辆的摄像头采集该车辆周围的路况视频信息；

根据本车辆的位置、速度、变道信息和车道宽度来限定危险区域范围；

利用路况视频信息过滤出危险区域范围内的障碍物目标，检测各障碍物目标与本车辆之间的相对位置、相对速度、危险系数；

对危险系数超过预定阈值的障碍物目标的运动轨迹进行跟踪，从而预测该障碍物目标相对于本车辆的相对运动；以及

根据所预测的该障碍物目标相对于本车辆的相对运动，确定可能或即将来临的碰撞事件。

2.根据权利要求1所述的方法，还包括：

向本车辆的驾驶员预警所确定的可能或即将来临的碰撞事件。

3.根据权利要求1所述的方法，其特征在于，

所述变道信息表示本车辆是不变道、变道到左车道、还是变道到右车道的信息。

4.根据权利要求1所述的方法，其特征在于，

所述危险系数是根据本车辆与障碍物目标之间的距离与报警安全距离和制动安全距离之间的比较结果来确定的。

5.根据权利要求1所述的方法，其特征在于，

所述预警是通过语音提示或屏幕查询来实现的。

6.根据权利要求1所述的方法，其特征在于，

所述障碍物目标包括：车辆、行人、路障设施、车道间护栏、路旁树木。

7.一种对车辆的周围环境中的障碍物目标进行识别跟踪的设备，包括：

利用本车辆的摄像头采集该车辆周围的路况视频信息的单元；

根据本车辆的位置、速度、变道信息和车道宽度来限定危险区域范围的单元；

利用路况视频信息过滤出危险区域范围内的障碍物目标，检测各障碍物目标与本车辆之间的相对位置、相对速度、危险系数的单元；

对危险系数超过预定阈值的障碍物目标的运动轨迹进行跟踪，从而预测该障碍物目标相对于本车辆的相对运动的单元；以及

根据所预测的该障碍物目标相对于本车辆的相对运动，确定可能或即将来临的碰撞事件的单元。