CN108674313A - 一种基于车载后视广角相机的盲区预警系统及方法 - Google Patents

Abstract

本发明公开了一种基于车载后视广角相机的盲区预警方法，其特征在于，包括：S1，获取车载后视广角相机输入的图像；S2，根据车载后视广交相机输入的图像，检测进入盲区ROI区域内的动态目标，并生成动态目标感兴趣的区域；S3，在动态目标感兴趣区域内，生成动态目标的正面特征，并在正面特征图谱上进行限定尺寸以及高宽比的滑窗搜索，根据分类器对动态目标感兴趣区域进行验证；S4，跟踪进入盲区ROI区域内的动态目标，确定动态目标的速度Vel和到达预警区域的距离D；S5，根据动态目标的相对速度和到达预警区域的距离，确定是否发出进行预警。另外，还公开了一种基于车载后视广角相机的盲区预警系统。采用本发明，降低额外盲区视觉系统所引入的硬件成本。

Description

一种基于车载后视广角相机的盲区预警系统及方法

技术领域

本发明涉及车辆盲区预警技术领域，特别是一种基于车载后视广交相机的盲区预警系统及方法。

背景技术

现有汽车市场大部分乘用车辆装没有配置盲区预警系统,仅极少部分车型配备此安全功能,此类车型配置的盲区预警系统搭载盲区毫米波雷达硬件,并依据其探测结果对驾驶员发出相应预警信号。此类车辆配置的盲区预警系统，需要在现有的车辆上增加毫米波雷达硬件，此类毫米波雷达成本较高,且检测结果难以可视化。

盲区辅助预警系统（BSA）是车辆辅助驾驶的主要预警功能之一。现有通过车辆盲区监视实现变道辅助预警的系统方案相对较少。该系统的主要功能包括盲区监视、告诉变道预警以及停车开门提示灯，以避免上述应用场景下潜在碰撞事故的放生。

盲区辅助系统的硬件方案主要分为两大类：一类基于毫米波雷达，另一类基于视觉系统。其中，基于毫米波雷达的方案通过在车辆后保险杠左右转向灯下方添加具备障碍物检测能力的毫米波雷达传感器来实现，此类系统硬件成本较高，且近距离物体检测虚报率偏高。

目前，通过在车辆左右后视镜区域添加盲区摄像头的硬件配置实现基于视觉系统的方案，该基于视觉系统的方案仅包括盲区监视功能而不具备上述各种应用场景下的预警能力。

发明内容

本发明的目的提供一种基于车载后视广角相机的盲区预警系统及方法，与雷达系统相比，成本低、实用性、检测效果与可靠性均可满足盲区应用的需求。

为解决现有技术存在的问题，本发明提供一种基于车载后视广角相机的盲区预警方法，该方法包括：

S1，获取车载后视广角相机输入的图像；

S2，根据车载后视广交相机输入的图像，检测进入盲区ROI区域内的动态目标，并生成动态目标感兴趣的区域；

S3，在动态目标感兴趣区域内，生成动态目标的正面特征，并在正面特征图谱上进行限定尺寸以及高宽比的滑窗搜索，根据分类器对动态目标感兴趣区域进行验证；

S4，跟踪进入盲区ROI区域内的动态目标，确定动态目标的速度Vel和到达预警区域的距离D；

S5，根据动态目标的相对速度和到达预警区域的距离，确定是否发出进行预警。

优选的，所述步骤S1具体包括：

离线标定相机的内外参数；

根据离线标定的相机内外参数，生成矫正后图像像素点与现实地面坐标系投影关系映射表；

根据所述的矫正后图像像素点与现实地面坐标投影关系映射表，对获取的广角相机输入的图像进行实时畸变消除以及滤波预处理。

优选的，所述步骤S2具体包括：

在检测车辆盲区RIO区域内，生成稀疏角点特征；

采用光流方法确定角点特征的运动信息，并更新角点特征位置；

聚类并选取具有相似运动规律、朝向自身车辆运动的特征点集，生成动态目标感兴趣区域。

优选的，所述步骤S3具体包括：

在动态目标感兴趣区域内，确定动态目标的正面特征；

通过在确定的动态目标的正面特征图谱上进行限定尺度以及高度比的滑窗搜索，对动态目标进行验证。

优选的，所述步骤S4具体包括：

过滤动态目标角点特征位置，对验证通过的动态目标角点特征进行跟踪，更新动态目标角点的特征位置；

根据更新的动态目标角点的特征位置，确定动态目标的速度Vel。

根据同一动态目标感兴趣区域内相邻两帧角点特征跟踪的结果，确定动态目标的投影变换矩阵；

将动态目标底部中心点投影坐标变换到自定义车辆坐标平面，获取动态目标到达预警区域的距离D。

优选的，所述步骤S5具体包括：

将获取的动态目标到达预警区域的距离D与预设的第一阈值D1和第二阈值D2进行比较，若距离D大于第一阈值D1，则不发出预警信息，若距离D小于某第二阈值D2，则发出预警信息；若距离D小于第一阈值D1大于第二阈值D2，则根据相邻车道的动态目标进入预警区域的时间来确定是否发出报警信息；

根据相邻车道动态目标至预警区域的距离，以及相邻车道动态目标的速度Vel，确定动态目标进入预警区域所需的时间，计算公式为：

TTC=D/vel

若动态目标进入预警区域所需的时间TTC小于预设的阈值T0，则预警，反之不预警。

优选的，其特征在于，还包括：

若当前车速大于预设的车速V0，则判断当前车辆是否发出将要转向的信号，并在判断为是后，进入步骤s1 。

优选的，还包括：

若当前车速等于零，则判断当前车辆是否收到开门解锁信号，并在判断为是后，进入步骤s1 。

相应的本发明还提供一种基于车载后视广角相机的盲区预警系统，该系统包括：盲区后视系统、控制器和预警装置，所述盲区后视系统与控制器连接，所述控制器与预警装置连接；

所述盲区后视系统包括车载广角相机，所述车载广角相机安装于左右后视镜区域，用于拍摄相邻车道同向行驶动态目标的图像；

控制器，用于获取车载广角相机拍摄的图像信息，并通过光流算法生成动态目标感兴趣区域；并在所述感兴趣区域内搜索动态目标正面特征，并对已检测到的目标区域进行特征跟踪与运动估算；

预警装置，用于显示盲区ROI道路行车情况。

优选的，所述控制器包括；

检测单元，用于根据车载广角相机拍摄的图像，通过光流算法生成动态目标感兴趣区域；

验证单元，用于在动态目标感兴趣区域内，搜索动态目标的正面特征，并根据分类器对动态目标检测生成的感兴趣区域进行动态目标验证；

跟踪单元，根据相邻两帧动态目标正面特征的运动跟踪结果，通过RANSAC方法计算投影变换矩阵，确定动态目标相对运动速度和到达预警区域的距离；

预警控制单元，用于将动态目标相对运动速度、到达预警区域的距离以及预碰撞时间作为预警判断标准，确定是否发出报警信号

本发明的有益效果是：利用泊车或环视系统的后视摄像头硬件作为输入，方便系统集成入车辆，同时避免引入额外盲区传感器所产生的硬件成本（盲区雷达或盲区摄像头等）；

相比于雷达系统，视觉系统硬件成本低，且实时性、检测效果与可靠性均可满足盲区应用的需求。此外，大部分现有车辆均配备广角后视相机，此类相机具备实现盲区预警功能的可行性，从而可以进一步降低额外盲区视觉系统所引入的硬件成本。

附图说明

图1是本发明一种基于车载后视相机的预警系统的示意图；

图2是本发明一种基于车载后视相机的预警方法的流程示意图；

图3是本发明一种基于车载相机的预警方法的具体实现流程示意图。

具体实施方式

下面结合附图对本发明进行详细说明。

参考图1，该图是本发明一种基于车载后视相机的预警系统的示意图，该系统包括：输入设备11、控制器12和预警装置13，其中输入设备11与控制器12连接，控制器12与预警装置连接。

输入设备11，包括盲区后视系统，该盲区后视系统包括车载广角相机，该车载广角相机可以安装于左右后视镜区域，也可以单独安装在左右后视镜区域中的一个区域内。该车载广角相机用于拍摄相邻车间到同向行驶动态目标的图像。另外，输入设备还可以包括其他车载传感器，用于获取车速信号、转向信号和车门锁信号。

控制器12，用于获取车载广角相机拍摄的图像信息，并通过光流算法生成动态目标感兴趣区域；并在所述感兴趣区域内搜索动态目标正面特征，并对已检测到的目标区域进行特征跟踪与运动估算。该控制器可以为整车控制器也可以是单独的预警系统控制器。

本发明实施例中的控制器通过检测、验证以及跟踪的过程，能够有效确保光流计算所利用的特征点大部分都处于动态目标本身，特征提取范围更小，同时省略了特征点聚类的过程。同时检测、跟踪的车辆识别架构能有效消除两者算法单一使用时的误报。

预警装置13，用于显示盲区ROI（Region of Interest，感兴趣区域）道路行车情况，可以采用视觉、听觉以及辅助显示并行等方式进行盲区预警。例如，可以通过车辆仪表区域视觉提示，也可以通过车辆仪表区域的扬声器发出蜂鸣预警，时间可持续1秒。

需要说明的，本发明利用车载后视系统（后环视或泊车摄像头）检测相邻车道同向行驶目标，并根据该车与自身车辆的相对位置与运动关系，在如下应用场景对驾驶员发出预警提示信号：i).高速行驶中，驾驶员有变道意图时与相邻车道的快速行驶车辆可能碰撞的情况; ii).车辆静止时，车上人员有开门意图时与相邻车道的快速行驶目标可能碰撞的情况，具体的流程图，如图2所示。

下面进行详细说明，参考图3所示，该图是本发明一种基于车载后视广角相机的盲区预警方法的第一实施例的示意图，该实施例包括如下步骤：

步骤S1，获取车载后视广角相机输入的图像；该步骤利用泊车或环视系统的后视摄像头硬件作为输入，方便系统集成入车辆，同时避免引入额外盲区传感器所产生的硬件成本（盲区雷达或盲区摄像头等）；

步骤S2，根据车载后视广交相机输入的图像，检测进入盲区ROI区域内的动态目标，并生成动态目标感兴趣的区域；

步骤S3，在动态目标感兴趣区域内，生成动态目标的正面特征，并在正面特征图谱上进行限定尺寸以及高宽比的滑窗搜索，根据分类器对动态目标感兴趣区域进行验证；

步骤S4，跟踪进入盲区ROI区域内的动态目标，确定动态目标的速度Vel和到达预警区域的距离D；

步骤S5，根据动态目标的相对速度和到达预警区域的距离，确定是否发出进行预警。

下面对第一实施的具体实现过程进行详细说明，包括：

步骤s11，系统工作状态判断：当车速高于预设的车速阈值V0并且驾驶员有变道操作（无转向灯信号）时，盲区辅助系统变道预警功能开启；当车辆处于静止状态（车速为0）并且有开车请求（门锁信号为低，即车门处于可开启状态）时，盲区辅助系统开门预警功能开启；其他情况下，系统仅输出视觉辅助显示，预警功能不开启。

步骤s12，广角（鱼眼）视觉输入预处理：离线标定后视系统的内外参数，生成标定配置文件，依据此配置文件，对输入图像进行实时畸变矫正并生成动态检测ROI区域；若集成于环视系统，此步骤可继承环视系统的相关标定参数。对矫正后图像进行盲区ROI剪裁与拼接，分别送至辅助显示以及图像分析模块。

步骤s13，盲区ROI动态目标检测：在盲区ROI区域内，生成稀疏角点特征，可选用FAST或Shi-Tomasi角点。采用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置。利用运动信息相似性，选取朝向自身车辆运动的特征点集，生成动态目标感兴趣区域。

步骤s14，盲区ROI动态目标验证：在生成的动态目标感兴趣区域内，计算ACF特征，并在特征图谱上进行限定尺度以及高宽比的滑窗（检测窗）搜索（不同高宽比对应不同的目标类别，包括车辆和自行车两类）。ROI区域范围以及检测窗口大小为可配置参数，应根据不同的相机安装参数进行调整。其中，级联ACF特征与boosting分类器对应，该分类器可通过训练目标检测算法（包括自行车以及车辆两个分类器）获得。例如采用试验车辆所采集的车头以及自行车正样本图像12000张，负样本图像各20000张。通过难例挖掘和主动学习等方法提升训练效果。分类器级联层数为可配置参数。

步骤s15，目标特征角点跟踪：过滤目标角点特征位置，对目标验证通过的候选区域内的角点特征进行跟踪，方法同步骤s15，利用LK光流更新角点特征位置。

步骤s17，投影变换矩阵计算：根据同一动态目标感兴趣区域内相邻两帧角点特征跟踪结果，基于区域相似性假设（即假设车辆跟踪区域只有尺度变化和图像平面内的平移），利用RANSAC方法计算被检测车辆投影变换矩阵。并将被检测车辆底部中心点投影坐标变换到自定义车辆坐标平面。

步骤s18，预碰撞时间估算（TTC）：定义为相邻车道车辆按当前车速行驶，进入预警区域（如图3所示）所需时间，计算公式如下：

TTC= D/vel

其中D为被检测车辆至预警区域距离，可根据将被检测车辆图像区域底部中点位置投影坐标变换到自定义车辆坐标平面获得（利用相机标定参数），vel为被检测车辆相对于当前车辆的速度，可由跟踪算法获得。

步骤s19，预警条件判断：根据车辆检测以及跟踪结果，若D大于第一阈值D1,则不预警；若D小于第二阈值D2则预警；若d小于第一阈值D1且大于第二阈值D2，则根据TTC来判断是否预警，当TTC小于预设的阈值T0时，预警，反之不预警。其中，D1、D2、 T0为可配置参数，由实车测试所得。其中, 可由测试标定结果设置与调整，默认值为0.6。

步骤s20，预警信号触发：车辆仪表区域视觉提示以及扬声器发出蜂鸣预警，持续1秒。

综上所述，步骤s11中利用车辆泊车或环视系统的后视摄像头硬件作为输入，方便系统集成入车辆，同时避免引入额外盲区传感器所产生的硬件成本（盲区雷达或盲区摄像头等）；

步骤s13中采用的光流，步骤s14采用级联特征分类器验证算法，相比于纯光流算法，在不引入大量计算性能消耗能的前提下，能够有效提高盲区快速运动目标检测的准确性，降低系统的误报率。

本算法先通过光流算法生成动态目标感性却区域，然后再次感性却区域内搜索少血尺度目标正面特征，并且对已检测到的目标区域进行特征跟踪与运动估算，能够有效确保光流计算所利用的特征点大部分都处于目标本身，特征提取范围更小，同时省略了特征点聚类的过程。本方法在计算车辆相对位置时，引入了道路模型，相对与图像坐标系下的距离运算更为准确。同时检测、跟踪的车辆识别架构能有效消除两者算法单一使用时的误报。

相比于雷达系统，视觉系统硬件成本低，且实时性、检测效果与可靠性均可满足盲区应用的需求。此外，大部分现有车辆均配备广角后视相机，此类相机具备实现盲区预警功能的可行性，从而可以进一步降低额外盲区视觉系统所引入的硬件成本。

本发明利用后视广角相机实现盲区辅助显示、变道预警以及开门预警等辅助安全功能，系统的集成化程度更高，相较于现有盲区辅助系统硬件成本更低。通过动态检测、目标验证以及目标跟踪的算法主线，避免了滑窗检测的复杂搜索过程同时也降低了光流算法独自使用的误报情形，具备盲区应用中的车辆与自行车两类目标的探测能力，算法时效性以及准确性均能满足盲区应用要求。采用难例挖掘以及主动学习等方法优化级联分类器训练过程，目标验证可靠性大幅提升。预警算法综合考虑相对盲区距离D以及预碰撞时间TTC，能够在盲区内已有快速目标或即将有快速目标通过时发出有效预警信号。预警信号采用视觉与听觉预警结合的方式，预警效果更好。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于车载后视广角相机的盲区预警方法，其特征在于，包括：

S1，获取车载后视广角相机输入的图像；

S2，根据车载后视广交相机输入的图像，检测进入盲区ROI区域内的动态目标，并生成动态目标感兴趣的区域；

S3，在动态目标感兴趣区域内，生成动态目标的正面特征，并在正面特征图谱上进行限定尺寸以及高宽比的滑窗搜索，根据分类器对动态目标感兴趣区域进行验证；

S4，跟踪进入盲区ROI区域内的动态目标，确定动态目标的速度Vel和到达预警区域的距离D；

S5，根据动态目标的相对速度和到达预警区域的距离，确定是否发出进行预警。

2.根据权利要求1所述的基于车载后视广角相机的盲区预警方法，其特征在于，所述步骤S1具体包括：

离线标定相机的内外参数；

根据离线标定的相机内外参数，生成矫正后图像像素点与现实地面坐标系投影关系映射表；

根据所述的矫正后图像像素点与现实地面坐标投影关系映射表，对获取的广角相机输入的图像进行实时畸变消除以及滤波预处理。

3.根据权利要求1所述的基于车载后视广角相机的盲区预警方法，其特征在于，所述步骤S2具体包括：

在检测车辆盲区RIO区域内，生成稀疏角点特征；

采用光流方法确定角点特征的运动信息，并更新角点特征位置；

聚类并选取具有相似运动规律、朝向自身车辆运动的特征点集，生成动态目标感兴趣区域。

4.根据权利要求3所述的基于车载后视广角相机的盲区预警方法，其特征在于，所述步骤S3具体包括：

在动态目标感兴趣区域内，确定动态目标的正面特征；

通过在确定的动态目标的正面特征图谱上进行限定尺度以及高度比的滑窗搜索，对动态目标进行验证。

5.根据权利要求1所述的基于车载后视广角相机的盲区预警方法，其特征在于，所述步骤S4具体包括：

过滤动态目标角点特征位置，对验证通过的动态目标角点特征进行跟踪，更新动态目标角点的特征位置；

根据更新的动态目标角点的特征位置，确定动态目标的速度Vel

根据同一动态目标感兴趣区域内相邻两帧角点特征跟踪的结果，确定动态目标的投影变换矩阵；

将动态目标底部中心点投影坐标变换到自定义车辆坐标平面，获取动态目标到达预警区域的距离D。

6.根据权利要求1所述的基于车载后视广角相机的盲区预警方法，其特征在于，所述步骤S5具体包括：

将获取的动态目标到达预警区域的距离D与预设的第一阈值D1和第二阈值D2进行比较，若距离D大于第一阈值D1，则不发出预警信息，若距离D小于某第二阈值D2，则发出预警信息；若距离D小于第一阈值D1大于第二阈值D2，则根据相邻车道的动态目标进入预警区域的时间来确定是否发出报警信息；

根据相邻车道动态目标至预警区域的距离，以及相邻车道动态目标的速度Vel，确定动态目标进入预警区域所需的时间，计算公式为：

TTC=D/vel

若动态目标进入预警区域所需的时间TTC小于预设的阈值T0，则预警，反之不预警。

7.根据权利要求1-6中任一项所述的基于车载后视广角相机的盲区预警方法，其特征在于，还包括：

若当前车速大于预设的车速V0，则判断当前车辆是否发出将要转向的信号，并在判断为是后，进入步骤s1 。

8.根据权利要求1-6中任一项所述的基于车载后视广角相机的盲区预警方法，其特征在于，还包括：

若当前车速等于零，则判断当前车辆是否收到开门解锁信号，并在判断为是后，进入步骤s1 。

9.一种基于车载后视广角相机的盲区预警系统，其特征在于，包括盲区后视系统、控制器和预警装置，所述盲区后视系统与控制器连接，所述控制器与预警装置连接；

所述盲区后视系统包括车载广角相机，所述车载广角相机安装于左右后视镜区域，用于拍摄相邻车道同向行驶动态目标的图像；

控制器，用于获取车载广角相机拍摄的图像信息，并通过光流算法生成动态目标感兴趣区域；并在所述感兴趣区域内搜索动态目标正面特征，并对已检测到的目标区域进行特征跟踪与运动估算；

预警装置，用于显示盲区ROI道路行车情况。

10.根据权利要求9所述的基于车载后视广角相机的盲区预警系统，其特征在于，所述控制器包括；

检测单元，用于根据车载广角相机拍摄的图像，通过光流算法生成动态目标感兴趣区域；

验证单元，用于在动态目标感兴趣区域内，搜索动态目标的正面特征，并根据分类器对动态目标检测生成的感兴趣区域进行动态目标验证；

跟踪单元，根据相邻两帧动态目标正面特征的运动跟踪结果，通过RANSAC方法计算投影变换矩阵，确定动态目标相对运动速度和到达预警区域的距离；

预警控制单元，用于将动态目标相对运动速度、到达预警区域的距离以及预碰撞时间作为预警判断标准，确定是否发出报警信号。