CN107264526B - 一种横向车辆预警方法、系统、存储介质及终端设备 - Google Patents

Abstract

本发明提供一种横向车辆预警方法、系统、存储介质及终端设备，包对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像；提取车辆特征信息，并根据所提取的车辆特征信息获取车辆可能位置；基于训练好的分类器对所述车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置；根据所述车辆判断位置计算出横向车辆相对于当前车辆的速度和方向；根据所述横向车辆相对于当前车辆的车速和方向判断所述横向车辆是否会与当前车辆相撞，并在判断所述横向车辆会与当前车辆相撞时发出警报。本发明的横向车辆预警方法、系统、存储介质及终端设备实现了横向车辆预警，提升了用户体验。

Description

一种横向车辆预警方法、系统、存储介质及终端设备

技术领域

本发明涉及图像处理的技术领域，特别是涉及一种横向车辆预警方法、系统、存储介质及终端设备。

背景技术

随着经济的不断发展，道路上的汽车保有量越来越多。对车辆进行行车安全预警能够有效地避免交通事故的发生。现有技术中，通常采用微波雷达检测车身周围的横向车辆，通过获取横向车辆相对于本车的车速来判断横向车辆与本车是否会相撞，并在判断横向车辆与本车将会相撞时及时发出警报以提醒驾驶员采取相应的措施。然而，微波雷达无法区分物体的类别，当多个物体距离较近时无法区分多个物体中哪些是横向车辆哪些不是横向车辆，从而导致一定概率的预警失误，使得用户体验较差。

近年来，基于环视摄像头的高级辅助驾驶系统(Advanced Driver AssistanceSystems，ADAS)已经被越来越多的用户所接受。通过在汽车的前后左右安装广角摄像头，采集车身四周的图像，经过算法分析处理，给驾驶员提供包括全景泊车辅助、车道偏离报警、盲区车辆检测在内的各种高级辅助驾驶功能，对于提高汽车的主动安全性具有重要的意义。

其中，环视摄像头包括设置在汽车周围、能覆盖车辆周边所有视场范围的4到8个广角摄像头。将环视摄像头同一时刻采集到的多路视频影像进行处理，便能得到车辆周边360度的车身俯视图。因此，如何基于环视摄像头来实现横向车辆预警将成为一个极有前景的研究课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种横向车辆预警方法、系统、存储介质及终端设备，基于设置在车辆上的环视摄像头所采集的图像来进行横向车辆的检测，以实现横向车辆预警，从而极大地提高了横向车辆的检出率，提升了用户体验。

为实现上述目的及其他相关目的，本发明提供一种横向车辆预警方法，包括以下步骤：对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像；基于环视摄像头中每个摄像头所获取的车辆周边图像，提取车辆特征信息，并根据所提取的车辆特征信息获取车辆可能位置；基于训练好的分类器对所述车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置；基于环视摄像头中每个摄像头所获取的车辆周边图像，根据所述车辆判断位置计算出横向车辆相对于当前车辆的速度和方向；根据所述横向车辆相对于当前车辆的速度和方向判断所述横向车辆是否会与当前车辆相撞，并在判断所述横向车辆会与当前车辆相撞时发出警报。

于本发明一实施例中，所述预处理包括去噪、标定校正、裁剪以及视频平滑处理。

于本发明一实施例中，计算出横向车辆相对于当前车辆的速度和方向包括以下步骤：

基于上一帧图像中横向车辆的速度和方向预测当前帧图像中横向车辆的位置，得到当前帧中横向车辆预测位置；

在当前帧中查找与所述横向车辆预测位置相匹配的车辆判断位置；

根据所匹配的车辆判断位置，基于卡尔曼滤波器预估出下一帧图像中横向车辆的位置，并计算出所述横向车辆相对于当前车辆的速度和方向。

于本发明一实施例中，所述警报为语音警报、乐音警报、指示灯警报、蜂鸣警报中的一种或多种组合。

相应地，本发明还提供一种横向车辆预警系统，包括预处理模块、第一获取模块、第二获取模块、计算模块和判断警报模块；

所述预处理模块用于对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像；

所述第一获取模块用于基于环视摄像头中每个摄像头所获取的车辆周边图像，提取车辆特征信息，并根据所提取的车辆特征信息获取车辆可能位置；

所述第二获取模块用于基于训练好的分类器对所述车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置；

所述计算模块用于基于环视摄像头中每个摄像头所获取的车辆周边图像，根据所述车辆判断位置计算出横向车辆相对于当前车辆的速度和方向；

所述判断警报模块用于根据所述横向车辆相对于当前车辆的速度和方向判断所述横向车辆是否会与当前车辆相撞，并在判断所述横向车辆会与当前车辆相撞时发出警报。

于本发明一实施例中，所述预处理模块中，所述预处理包括去噪、标定校正、裁剪以及视频平滑处理。

于本发明一实施例中，所述计算模块执行以下操作：

基于上一帧图像中横向车辆的速度和方向预测当前帧图像中横向车辆的位置，得到当前帧中横向车辆预测位置；

在当前帧中查找与所述横向车辆预测位置相匹配的车辆判断位置；

根据所匹配的车辆判断位置，基于卡尔曼滤波器预估出下一帧图像中横向车辆的位置，并计算出所述横向车辆相对于当前车辆的速度和方向。

于本发明一实施例中，所述判断警报模块中，所述警报为语音警报、乐音警报、指示灯警报、蜂鸣警报中的一种或多种组合。

同时，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述横向车辆预警方法。

另外，本发明还提供一种终端设备，包括处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端设备执行上述任一项所述横向车辆预警方法。

另外，本发明还提供一种横向车辆预警系统，包括设置在车辆上的环视摄像头以及上述的终端设备；

所述环视摄像头用于采集车辆周边的图像，并传送至所述终端设备。

如上所述，本发明的横向车辆预警方法、系统、存储介质及终端设备，具有以下有益效果：

(1)基于设置在车辆上的环视摄像头所采集的图像来进行横向车辆的检测，以实现横向车辆预警；

(2)极大地提高了横向车辆的检出率，降低了横向车辆预警的误报率；

(3)为车辆安全行驶提供了辅助，提升了用户体验。

附图说明

图1显示为本发明的横向车辆预警方法的流程图；

图2显示为本发明的横向车辆预警系统的第一实施例的结构示意图；

图3显示为本发明的终端设备的结构示意图；

图4显示为本发明的横向车辆预警系统的第二实施例的结构示意图。

元件标号说明

11 预处理模块

12 第一获取模块

13 第二获取模块

14 计算模块

15 判断警报模块

31 处理器

32 存储器

41 环视摄像头

42 终端设备

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

横向车辆预警应用于视线受限区域，通过检测道路上行驶的横向行驶车辆的速度和方向，以直观的方式提醒驾驶员可能对本车存在危险的横向车辆。

本发明的横向车辆预警方法、系统、存储介质及终端设备基于设置在车辆上的环视摄像头所采集的图像来进行横向车辆的检测，以实现横向车辆预警，从而极大地提高了横向车辆的检出率，为车辆安全行驶提供了辅助，提升了用户体验。

如图1所示，本发明的横向车辆预警方法包括以下步骤：

步骤S1、对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像。

环视摄像头包括设置在车头、车尾、左右两侧(左右后视镜下)的四个摄像头，从而能够获取车辆周边360°的实时影像。本发明的横向车辆预警方法正是基于环视摄像头中各个摄像头所获取的图像而实现的。

具体地，所述预处理包括去噪、标定校正、裁剪以及视频平滑处理。

由于受到摄像头本身与外部环境噪声干扰等影响，摄像头直接获取的图像称为含噪图像或噪声图像，需要进行去噪处理。通常地，去噪处理可以采用均值滤波器、自适应维纳滤波器、中值滤波器或形态学噪声滤除器进行滤波去噪，也可以采用小波分析进行去噪。

在对环视摄像头所获取的图像进行应用之前，需要建立图像坐标和物理坐标之间的对应关系。该对应关系的建立过程即是标定校正过程。

裁剪是指按照预设标准对将图像进行裁剪操作，以获取满足要求的裁剪后图像。例如，对于设置在车头和左右两侧的摄像头所获取的图像，按照预设标准裁剪掉部分重合的图像。再例如，对于设置在车尾和左右两侧的摄像头所获取的图像，按照预设标准裁剪掉部分重合的图像，从而为后续的图像处理提供所需的车辆周边图像。

视频平滑处理用于减少连续图像之间的抖动现象，从而为实现后续的横向车辆预警提供基础。

步骤S2、基于环视摄像头中每个摄像头所获取的车辆周边图像，提取车辆特征信息，并根据所提取的车辆特征信息获取车辆可能位置。

其中，车辆特征信息包括车辆的阴影、尺寸参数、水平特征、垂直特征等等。车辆特征信息所对应的车辆位置即为车辆可能位置。

步骤S3、基于训练好的分类器对车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置。

分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上构造出一个分类器。该分类器能够将数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。因此，分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。

在本发明中，在车辆可能位置的样本数据上执行分类器算法，生成训练好的分类器。在训练好的分类器上输入所获取的车辆可能位置数据，进而得到对应的分类结果，并选择其中高于预设概率的车辆可能位置作为车辆判断位置，作为后续横向车辆预警的基础。

步骤S4、基于环视摄像头中每个摄像头所获取的车辆周边图像，根据车辆判断位置计算出横向车辆相对于当前车辆的速度和方向。

其中，根据连续多帧车辆周边图像中的车辆判断位置，可以将车辆分为沿当前车辆横向移动的横向车辆和沿当前车辆纵向移动的纵向车辆。本发明中，仅针对横向车辆进行预警，故仅需计算出横向车辆相对应当前车辆的实时速度和方向。

具体地，步骤S4包括以下步骤：

41)基于上一帧图像中横向车辆的速度和方向预测当前帧图像中横向车辆的位置，得到当前帧中横向车辆预测位置。

42)在当前帧中查找与横向车辆预测位置相匹配的车辆判断位置。

其中，当横向车辆预测位置与某一车辆判断位置的差值在预设阈值内时，则判断该车辆判断位置与横向车辆预测位置相匹配。

43)根据所匹配的车辆判断位置，基于卡尔曼滤波器预估出下一帧图像中横向车辆的位置，并计算出横向车辆相对于当前车辆的速度和方向。

具体地，根据所获得的横向车辆的位置坐标，利用横向车辆在相邻两帧上的相对移动距离，通过公式s＝v*t计算横向车辆相对于当前车辆的速度和方向，再通过多帧之间的平滑可以推算出更为准确的相对速度和方向。

需要说明的是，上一帧图像中横向车辆的速度和方向也是通过上述方法计算得到的。设定初始帧中，横向车辆的速度为0，则可根据上述方法不停迭代，计算中每个当前帧所对应的横向车辆的实时速度和方向。

步骤S5、根据横向车辆相对于当前车辆的车速和方向判断横向车辆是否会与当前车辆相撞，并在判断横向车辆会与当前车辆相撞时发出警报。

具体地，根据横向车辆相对于当前车辆的车速和方向以及横向车辆与当前车辆之间的距离，可以计算出横向车辆与当前车辆发生碰撞所需的时间；若该时间低于预设长度，则可判断横向车辆会与当前车辆相撞。

优选地，所述警报为语音警报、乐音警报、指示灯警报、蜂鸣警报中的一种或多种组合。

如图2所示，本发明的横向车辆预警系统的第一实施例中，包括预处理模块11、第一获取模块12、第二获取模块13、计算模块14和判断警报模块15。

预处理模块11用于对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像。

环视摄像头包括设置在车头、车尾、左右两侧(左右后视镜下)的四个摄像头，从而能够获取车辆周边360°的实时影像。本发明的横向车辆预警方法正是基于环视摄像头中各个摄像头所获取的图像而实现的。

具体地，所述预处理包括去噪、标定校正、裁剪以及视频平滑处理。

由于受到摄像头本身与外部环境噪声干扰等影响，摄像头直接获取的图像称为含噪图像或噪声图像，需要进行去噪处理。通常地，去噪处理可以采用均值滤波器、自适应维纳滤波器、中值滤波器或形态学噪声滤除器进行滤波去噪，也可以采用小波分析进行去噪。

在对环视摄像头所获取的图像进行应用之前，需要建立图像坐标和物理坐标之间的对应关系。该对应关系的建立过程即是标定校正过程。

裁剪是指按照预设标准对将图像进行裁剪操作，以获取满足要求的裁剪后图像。例如，对于设置在车头和左右两侧的摄像头所获取的图像，按照预设标准裁剪掉部分重合的图像。再例如，对于设置在车尾和左右两侧的摄像头所获取的图像，按照预设标准裁剪掉部分重合的图像，从而为后续的图像处理提供所需的车辆周边图像。

视频平滑处理用于减少连续图像之间的抖动现象，从而为实现后续的横向车辆预警提供基础。

第一获取模块12与预处理模块11相连，用基于环视摄像头中每个摄像头所获取的车辆周边图像，提取车辆特征信息，并根据所提取的车辆特征信息获取车辆可能位置。

其中，车辆特征信息包括车辆的阴影、尺寸参数、水平特征、垂直特征等等。车辆特征信息所对应的车辆位置即为车辆可能位置。

第二获取模块13与第一获取模块12相连，用于基于训练好的分类器对车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置。

分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上构造出一个分类器。该分类器能够将数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。因此，分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。

在本发明中，在车辆可能位置的样本数据上执行分类器算法，生成训练好的分类器。在训练好的分类器上输入所获取的车辆可能位置数据，进而得到对应的分类结果，并选择其中高于预设概率的车辆可能位置作为车辆判断位置，作为后续横向车辆预警的基础。

计算模块14与预处理模块11和第二获取模块13相连，用于基于环视摄像头中每个摄像头所获取的车辆周边图像，根据车辆判断位置计算出横向车辆相对于当前车辆的实时速度和方向。

其中，根据连续多帧车辆周边图像中的车辆判断位置，可以将车辆分为沿当前车辆横向移动的横向车辆和沿当前车辆纵向移动的纵向车辆。本发明中，仅针对横向车辆进行预警，故仅需计算出横向车辆相对应当前车辆的速度和方向。

具体地，计算模块执行以下操作：

41)基于上一帧图像中横向车辆的速度和方向预测当前帧图像中横向车辆的位置，得到当前帧中横向车辆预测位置。

42)在当前帧中查找与横向车辆预测位置相匹配的车辆判断位置。

其中，当横向车辆预测位置与某一车辆判断位置的差值在预设阈值内时，则判断该车辆判断位置与横向车辆预测位置相匹配。

43)根据所匹配的车辆判断位置，基于卡尔曼滤波器预估出下一帧图像中横向车辆的位置，并计算出横向车辆相对于当前车辆的速度和方向。

具体地，根据所获得的横向车辆的位置坐标，利用横向车辆在相邻两帧上的相对移动距离，通过公式s＝v*t计算横向车辆相对于当前车辆的速度和方向，再通过多帧之间的平滑可以推算出更为准确的相对速度和方向。

需要说明的是，上一帧图像中横向车辆的速度和方向也是通过上述方法计算得到的。设定初始帧中，横向车辆的速度为0，则可根据上述方法不停迭代，计算中每个当前帧所对应的横向车辆的实时速度和方向。

判断警报模块15与计算模块14相连，用于根据横向车辆相对于当前车辆的车速和方向判断横向车辆是否会与当前车辆相撞，并在判断横向车辆会与当前车辆相撞时发出警报。

具体地，根据横向车辆相对于当前车辆的车速和方向以及横向车辆与当前车辆之间的距离，可以计算出横向车辆与当前车辆发生碰撞所需的时间；若该时间低于预设长度，则可判断横向车辆会与当前车辆相撞。

优选地，所述警报为语音警报、乐音警报、指示灯警报、蜂鸣警报中的一种或多种组合。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述横向车辆预警方法。

如图3所示，本发明的终端设备包括处理器31及存储器32；

存储器32用于存储计算机程序；

处理器31用于执行存储器32存储的计算机程序，以使终端设备执行上述任一项所述横向车辆预警方法。

如图4所示，本发明的横向车辆预警系统第二实施例中，包括设置在车辆上的环视摄像头41以及上述的终端设备42；

环视摄像头41用于采集车辆周边的图像，并传送至终端设备42。其中，环视摄像头41与终端设备42通过有线或者无线的方式实现数据通信。

综上所述，本发明的横向车辆预警方法、系统、存储介质及终端设备基于设置在车辆上的环视摄像头所采集的图像来进行横向车辆的检测，以实现横向车辆预警；极大地提高了横向车辆的检出率，降低了横向车辆预警的误报率；为车辆安全行驶提供了辅助，提升了用户体验。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种横向车辆预警方法，其特征在于：包括以下步骤：

对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像；

基于环视摄像头中每个摄像头所获取的车辆周边图像，提取所述车辆周边图像中的车辆特征信息，并根据所提取的车辆特征信息获取所述车辆周边图像中的车辆可能位置；

基于训练好的分类器对所述车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置；

基于环视摄像头中每个摄像头所获取的车辆周边图像，根据所述车辆判断位置计算出横向车辆相对于当前车辆的速度和方向；

根据所述横向车辆相对于当前车辆的速度和方向判断所述横向车辆是否会与当前车辆相撞，并在判断所述横向车辆会与当前车辆相撞时发出警报。

2.根据权利要求1所述的横向车辆预警方法，其特征在于：所述预处理包括去噪、标定校正、裁剪以及视频平滑处理。

3.根据权利要求1所述的横向车辆预警方法，其特征在于：计算出横向车辆相对于当前车辆的速度和方向包括以下步骤：

基于上一帧图像中横向车辆的速度和方向预测当前帧图像中横向车辆的位置，得到当前帧中横向车辆预测位置；

在当前帧中查找与所述横向车辆预测位置相匹配的车辆判断位置；

根据所匹配的车辆判断位置，基于卡尔曼滤波器预估出下一帧图像中横向车辆的位置，并计算出所述横向车辆相对于当前车辆的速度和方向。

4.根据权利要求1所述的横向车辆预警方法，其特征在于：所述警报为语音警报、乐音警报、指示灯警报、蜂鸣警报中的一种或多种组合。

5.一种横向车辆预警系统，其特征在于：包括预处理模块、第一获取模块、第二获取模块、计算模块和判断警报模块；

所述预处理模块用于对设置在当前车辆上的环视摄像头中每个摄像头所获取的图像进行预处理，获取车辆周边图像；

所述第一获取模块用于基于环视摄像头中每个摄像头所获取的车辆周边图像，提取所述车辆周边图像中的车辆特征信息，并根据所提取的车辆特征信息获取所述车辆周边图像中的车辆可能位置；

所述第二获取模块用于基于训练好的分类器对所述车辆可能位置进行分类，获取高于预设概率的车辆可能位置作为车辆判断位置；

所述计算模块用于基于环视摄像头中每个摄像头所获取的车辆周边图像，根据所述车辆判断位置计算出横向车辆相对于当前车辆的速度和方向；

所述判断警报模块用于根据所述横向车辆相对于当前车辆的速度和方向判断所述横向车辆是否会与当前车辆相撞，并在判断所述横向车辆会与当前车辆相撞时发出警报。

6.根据权利要求5所述的横向车辆预警系统，其特征在于：所述预处理模块中，所述预处理包括去噪、标定校正、裁剪以及视频平滑处理。

7.根据权利要求5所述的横向车辆预警系统，其特征在于：所述计算模块执行以下操作：

基于上一帧图像中横向车辆的速度和方向预测当前帧图像中横向车辆的位置，得到当前帧中横向车辆预测位置；

在当前帧中查找与所述横向车辆预测位置相匹配的车辆判断位置；

根据所匹配的车辆判断位置，基于卡尔曼滤波器预估出下一帧图像中横向车辆的位置，并计算出所述横向车辆相对于当前车辆的速度和方向。

8.根据权利要求5所述的横向车辆预警系统，其特征在于：所述判断警报模块中，所述警报为语音警报、乐音警报、指示灯警报、蜂鸣警报中的一种或多种组合。

9.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，该程序被处理器执行时实现权利要求1至4中任一项所述横向车辆预警方法。

10.一种终端设备，其特征在于：包括处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端设备执行如权利要求1至4中任一项所述横向车辆预警方法。

11.一种横向车辆预警系统，其特征在于：包括设置在车辆上的环视摄像头以及权利要求10所述的终端设备；

所述环视摄像头用于采集车辆周边的图像，并传送至所述终端设备。