CN117774963A - 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 - Google Patents
前向碰撞预警方法、装置、电子设备及智能驾驶车辆 Download PDFInfo
- Publication number
- CN117774963A CN117774963A CN202410212986.2A CN202410212986A CN117774963A CN 117774963 A CN117774963 A CN 117774963A CN 202410212986 A CN202410212986 A CN 202410212986A CN 117774963 A CN117774963 A CN 117774963A
- Authority
- CN
- China
- Prior art keywords
- tracking
- vehicle
- current
- target
- detected image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005192 partition Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims 1
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及智能驾驶领域,具体涉及前向碰撞预警方法、装置、电子设备及智能驾驶车辆。获取本车前方的当前帧待检图像;对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆;分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数;当危险系数大于预设危险系数阈值时,输出提示信息。不仅对当前帧待检图像中各当前行驶车辆进行识别,且利用预设跟踪算法确定本车对应的当前跟踪车辆,从而可以保证检测得到的当前跟踪车辆的准确性。进而可以保证输出的提示信息的准确性。
Description
技术领域
本发明涉及智能驾驶领域,具体涉及前向碰撞预警方法、装置、电子设备及智能驾驶车辆。
背景技术
随着我国人民生活水平的提高以及城镇化建设的飞快发展,汽车的保有量越来越多。随之而来的是交通事故的增多,给广大人民群众的生活带来众多的困难和财产损失。因此ADAS(高级辅助驾驶系统)应运而生,越来越多的高科技公司、研究机构对此技术进行了大量的研究。
其中,前向碰撞预警系统(Forward ColliSion Warning,FCW)作为ADAS(高级辅助驾驶系统)中的重要功能,越来越受到高科技公司、研究机构以及车企等单位的重视。
现有技术中,通常是对当前驾驶场景中的前车进行识别,根据识别结果输出提示信息。但是,现有技术中,对前车进行简单识别,可能导致识别结果不准确,因此无法保证提示信息的准确性。
发明内容
有鉴于此,本发明提供了一种前向碰撞预警方法、装置、电子设备及智能驾驶车辆,以解决现有技术中,对前车进行简单识别,可能导致识别结果不准确,因此无法保证提示信息的准确性的问题。
第一方面,本发明提供了一种前向碰撞预警方法,该方法包括:
获取本车前方的当前帧待检图像;
对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆;
分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数;
当危险系数大于预设危险系数阈值时,输出提示信息。
本申请实施例提供的前向碰撞预警方法,获取本车前方的当前帧待检图像;对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,保证了确定的当前帧待检图像中的至少一个当前行驶车辆的准确性。并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,保证了确定的当前跟踪车辆的准确性。分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数,保证了计算得到的危险系数的准确性。当危险系数大于预设危险系数阈值时,输出提示信息,从而可以保证驾驶的安全性。上述方法,不仅对当前帧待检图像中各当前行驶车辆进行识别,且在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,从而可以保证检测得到的当前跟踪车辆的准确性。进而可以保证输出的提示信息的准确性。从而可以帮助司机与前方车辆保持安全距离,能有效地提高车辆安全,减少交通事故的发生,减少经济损失。
在一种可选的实施方式中,在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,包括:
获取当前帧待检图像之前的预设数量连续的历史待检图像;预设数量大于2;
对各历史待检图像进行识别,根据识别结果,确定在当前帧待检图像中存在本车对应的当前跟踪车辆;
利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆。
本申请实施例提供的前向碰撞预警方法,获取当前帧待检图像之前的预设数量连续的历史待检图像;预设数量大于2;对各历史待检图像进行识别,根据识别结果,确定在当前帧待检图像中存在本车对应的当前跟踪车辆,保证了确定的在当前帧待检图像中存在本车对应的当前跟踪车辆的结果的准确性。利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,保证了从当前帧待检图像中确定的本车对应的当前跟踪车辆的准确性,进而可以保证输出的提示信息的准确性。
在一种可选的实施方式中,对各历史待检图像进行识别,根据识别结果,确定在当前帧待检图像中存在本车对应的当前跟踪车辆,包括:
对各历史待检图像进行识别,确定历史待检图像中包括至少一辆历史行驶车辆;
将各帧历史待检图像中的各历史行驶车辆进行对比;
当存在至少连续两帧的历史待检图像中存在相同的历史行驶车辆时,确定历史行驶车辆为本车对应的当前跟踪车辆,即确定当前帧待检图像中存在本车对应的当前跟踪车辆。
本申请实施例提供的前向碰撞预警方法,对各历史待检图像进行识别,确定历史待检图像中包括至少一辆历史行驶车辆;保证了识别得到的各历史待检图像中包括各历史行驶车辆的准确性。将各帧历史待检图像中的各历史行驶车辆进行对比;当存在至少连续两帧的历史待检图像中存在相同的历史行驶车辆时,确定历史行驶车辆为本车对应的当前跟踪车辆,即确定当前帧待检图像中存在本车对应的当前跟踪车辆。保证了确定的当前帧待检图像中存在本车对应的当前跟踪车辆的准确性。
在一种可选的实施方式中,确定在当前帧待检图像中存在本车对应的当前跟踪车辆之后,方法还包括:
获取当前跟踪车辆在历史待检图像中的历史跟踪区域;
对历史跟踪区域进行划分并对划分后的历史跟踪区域进行特征提取,生成当前跟踪车辆对应的跟踪模板。
本申请实施例提供的前向碰撞预警方法,获取当前跟踪车辆在历史待检图像中的历史跟踪区域;对历史跟踪区域进行划分并对划分后的历史跟踪区域进行特征提取,生成当前跟踪车辆对应的跟踪模板,保证了生成的跟踪模板的准确性,进而可以保证根据跟踪模板确定本车对应的当前跟踪车辆的准确性。
在一种可选的实施方式中,对历史跟踪区域进行划分并对划分后的历史跟踪区域进行特征提取,生成当前跟踪车辆对应的跟踪模板,包括:
对历史跟踪区域进行梯度计算,生成历史跟踪区域对应的目标像素梯度方向图;
对目标像素梯度方向图进行划分,生成多个跟踪分块,并计算各跟踪分块的特征,生成各跟踪分块对应的跟踪特征数据;
根据各跟踪分块对应的跟踪特征数据,生成跟踪模板。
本申请实施例提供的前向碰撞预警方法,对历史跟踪区域进行梯度计算,生成历史跟踪区域对应的目标像素梯度方向图,保证了生成的历史跟踪区域对应的目标像素梯度方向图的准确性。对目标像素梯度方向图进行划分,生成多个跟踪分块,并计算各跟踪分块的特征,生成各跟踪分块对应的跟踪特征数据,保证了生成的跟踪特征数据的准确性。根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,保证了生成的跟踪模板的准确性,进而可以保证根据跟踪模板确定本车对应的当前跟踪车辆的准确性。
在一种可选的实施方式中,对历史跟踪区域进行梯度计算,生成历史跟踪区域对应的目标像素梯度方向图,包括:
针对历史跟踪区域中的各像素点,计算各像素点的梯度,并确定各像素点的梯度方向,生成目标像素梯度方向图。
本申请实施例提供的前向碰撞预警方法,针对历史跟踪区域中的各像素点,计算各像素点的梯度,并确定各像素点的梯度方向,生成目标像素梯度方向图,保证了生成的目标像素梯度方向图的准确性。
在一种可选的实施方式中,计算各跟踪分块的特征,生成各跟踪分块对应的跟踪特征数据,包括:
针对各跟踪分块,在x坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目;在y坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目,生成各跟踪分块对应的跟踪特征数据。
本申请实施例提供的前向碰撞预警方法,针对各跟踪分块,在x坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目;在y坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目,生成各跟踪分块对应的跟踪特征数据。保证了生成的各跟踪分块对应的跟踪特征数据的准确性。
在一种可选的实施方式中,跟踪模板的数量为多个;对目标像素梯度方向图进行划分,生成多个跟踪分块,并计算各跟踪分块的特征,生成各跟踪分块对应的跟踪特征数据,包括:
根据第一划分方案对目标像素梯度方向图进行划分,生成多个第一跟踪分块,并计算各第一跟踪分块的特征,生成各第一跟踪分块对应的第一跟踪特征数据;
对应的,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,包括:
根据各第一跟踪分块对应的第一跟踪特征数据,生成近距离跟踪模板;
根据第二划分方案对目标像素梯度方向图进行划分,生成多个第二跟踪分块,并计算各第二跟踪分块的特征,生成各第二跟踪分块对应的第二跟踪特征数据;
对应的,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,包括:
根据各第二跟踪分块对应的第二跟踪特征数据,生成中距离跟踪模板;
根据第三划分方案对目标像素梯度方向图进行划分,生成多个第三跟踪分块,并计算各第三跟踪分块的特征,生成各第三跟踪分块对应的第三跟踪特征数据;
对应的,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,包括:
根据各第三跟踪分块对应的第三跟踪特征数据,生成远距离跟踪模板;其中,第一跟踪分块的尺寸大于第二跟踪分块;第二跟踪分块的尺寸大于第三个跟踪分块。
本申请实施例提供的前向碰撞预警方法,分别根据第一划分方案、第二划分方案、第三划分方案对目标像素梯度方向图进行划分,依次生成多个第一跟踪分块、第二跟踪分块以及第三跟踪分块。然后,计算各第一跟踪分块的特征,生成各第一跟踪分块对应的第一跟踪特征数据,进而生成近距离跟踪模板;计算各第二跟踪分块的特征,生成各第二跟踪分块对应的第二跟踪特征数据,进而生成中距离跟踪模板;计算各第三跟踪分块的特征,生成各第三跟踪分块对应的第三跟踪特征数据,进而生成远距离跟踪模板。保证了生成近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板的准确性。进而使得生成的近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板可以满足任何跟踪距离。
在一种可选的实施方式中,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,包括:
获取当前跟踪车辆对应的目标跟踪模板;目标跟踪模板中包括当前跟踪车辆对应的目标划分方案以及目标划分方案对应的各目标跟踪分块的跟踪特征数据;目标划分方案用于将当前跟踪车辆对应的历史跟踪区域对应的历史像素梯度方向图均匀划分为多个目标跟踪分块;
利用目标跟踪模板与当前帧待检图像中各个位置之间的关系,从当前帧待检图像中确定目标位置;
根据目标位置,在当前帧待检图像中确定本车对应的当前跟踪车辆。
本申请实施例提供的前向碰撞预警方法,获取当前跟踪车辆对应的目标跟踪模板,利用目标跟踪模板与当前帧待检图像中各个位置之间的关系,从当前帧待检图像中确定目标位置;保证了确定的目标位置的准确性。根据目标位置,在当前帧待检图像中确定本车对应的当前跟踪车辆,保证了确定的当前跟踪车辆的准确性。
在一种可选的实施方式中,获取当前跟踪车辆对应的目标跟踪模板,包括:
在当前帧待检图像之前的上一帧历史待检图像中确定当前跟踪车辆;
根据当前跟踪车辆在上一帧历史待检图像中的尺寸大小,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定目标跟踪模板。
本申请实施例提供的前向碰撞预警方法,在当前帧待检图像之前的上一帧历史待检图像中确定当前跟踪车辆;根据当前跟踪车辆在上一帧历史待检图像中的尺寸大小,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定目标跟踪模板,保证了确定的目标跟踪模板与当前跟踪车辆在当前帧待检图像中的尺寸大小相匹配。
在一种可选的实施方式中,根据当前跟踪车辆在上一帧历史待检图像中的尺寸大小,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定目标跟踪模板,包括:
将当前跟踪车辆在上一帧历史待检图像中的尺寸与预设尺寸范围中的最大尺寸和最小尺寸进行对比;
当当前跟踪车辆在上一帧历史待检图像中的尺寸大于最大尺寸时,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定近距离跟踪模板为目标跟踪模板;
当当前跟踪车辆在上一帧历史待检图像中的尺寸小于最大尺寸,且大于最小尺寸时,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定中距离跟踪模板为目标跟踪模板;
当当前跟踪车辆在上一帧历史待检图像中的尺寸小于最小尺寸时,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定远距离跟踪模板为目标跟踪模板。
本申请实施例提供的前向碰撞预警方法,将当前跟踪车辆在上一帧历史待检图像中的尺寸与预设尺寸范围中的最大尺寸和最小尺寸进行对比,然后根据对比结果,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定目标跟踪模板,保证了确定的目标跟踪模板与当前跟踪车辆在当前帧待检图像中的尺寸大小相匹配。
在一种可选的实施方式中,利用目标跟踪模板与当前帧待检图像中各个位置之间的关系,从当前帧待检图像中确定目标位置,包括:
利用目标跟踪模板遍历当前帧待检图像,并在目标跟踪模板遍历当前帧待检图像的过程中,获取目标跟踪模板在当前帧待检图像中各个位置对应的第一对应待检区域;
依次计算目标跟踪模板与各第一对应待检区域之间的第一相似度,生成当前帧待检图像相对于目标跟踪模板的第一相似度地图;
对目标跟踪模板缩小第一预设倍数,得到缩小版目标跟踪模板;
利用缩小版目标跟踪模板遍历当前帧待检图像,并在缩小版目标跟踪模板遍历当前帧待检图像的过程中,获取缩小版目标跟踪模板在当前帧待检图像中各个位置对应的第二对应待检区域;
依次计算缩小版目标跟踪模板与各第二对应待检区域之间的第二相似度,生成当前帧待检图像相对于缩小版目标跟踪模板的第二相似度地图;
对目标跟踪模板放大第二预设倍数,得到放大版目标跟踪模板;
利用放大版目标跟踪模板遍历当前帧待检图像,并在放大版目标跟踪模板遍历当前帧待检图像的过程中,获取放大版目标跟踪模板在当前帧待检图像中各个位置对应的第三对应待检区域;
依次计算放大版目标跟踪模板与各第三对应待检区域之间的第三相似度,生成当前帧待检图像相对于放大版目标跟踪模板的第三相似度地图;
根据第一相似度地图、第二相似度地图以及第三相似度地图,从当前帧待检图像中确定目标位置。
本申请实施例提供的前向碰撞预警方法,分别利用目标跟踪模板、缩小版目标跟踪模板以及放大版目标跟踪模板遍历当前帧待检图像,且依次计算得到第一相似度地图、第二相似度地图以及第三相似度地图,从而可以保证计算得到的第一相似度地图、第二相似度地图以及第三相似度地图的准确性。然后根据第一相似度地图、第二相似度地图以及第三相似度地图,从当前帧待检图像中确定目标位置,保证了确定的目标位置的准确性。上述方法通过对目标跟踪模板进行缩放,可以避免由于目标跟踪模板与当前跟踪车辆在当前帧待检图像中的尺寸大小不匹配,导致得到的相似度地图不准确性的问题。
在一种可选的实施方式中,依次计算目标跟踪模板与各第一对应待检区域之间的第一相似度,包括:
针对各第一对应待检区域,对第一对应待检区域进行梯度计算,生成第一对应待检区域对应的待检像素梯度方向图;
根据目标跟踪模板对应的划分方案,对待检像素梯度方向图进行划分,生成多个第一待检分块;
计算各第一待检分块对应的特征,生成各第一待检分块对应的待检特征数据;
计算各第一待检分块对应的待检特征数据与对应的各跟踪分块对应的跟踪特征数据之间的分块相似度;
从各分块相似度中,确定中位值为目标跟踪模板与第一对应待检区域之间的第一相似度。
本申请实施例提供的前向碰撞预警方法,针对各第一对应待检区域,对第一对应待检区域进行梯度计算,生成第一对应待检区域对应的待检像素梯度方向图;保证了得到的第一对应待检区域对应的待检像素梯度方向图的准确性。根据目标跟踪模板对应的划分方案,对待检像素梯度方向图进行划分,生成多个第一待检分块,保证了生成的各第一待检分块与各跟踪分块相匹配。计算各第一待检分块对应的特征,生成各第一待检分块对应的待检特征数据,保证了计算得到的待检特征数据的准确性。计算各第一待检分块对应的待检特征数据与对应的各跟踪分块对应的跟踪特征数据之间的分块相似度;保证了计算得到的分块相似度的准确性。从各分块相似度中,确定中位值为目标跟踪模板与第一对应待检区域之间的第一相似度,保证了确定的第一相似度的准确性。
在一种可选的实施方式中,根据第一相似度地图、第二相似度地图以及第三相似度地图,从当前帧待检图像中确定目标位置,包括:
计算第一相似度地图中的各第一相似度对应的第一平均值;
计算第二相似度地图中的各第二相似度对应的第二平均值;
计算第三相似度地图中的各第三相似度对应的第三平均值;
从第一平均值、第二平均值以及第三平均值中确定最大平均值,并将最大平均值对应的相似度地图确定为目标相似度地图;
根据目标相似度地图,从当前帧待检图像中确定目标位置。
本申请实施例提供的前向碰撞预警方法,计算第一相似度地图中的各第一相似度对应的第一平均值;计算第二相似度地图中的各第二相似度对应的第二平均值;计算第三相似度地图中的各第三相似度对应的第三平均值;保证了计算得到的第一平均值、第二平均值以及第三平均值的准确性。从第一平均值、第二平均值以及第三平均值中确定最大平均值,并将最大平均值对应的相似度地图确定为目标相似度地图,保证了确定的目标相似度地图的准确性。根据目标相似度地图,从当前帧待检图像中确定目标位置。保证了确定的目标位置的准确性,进而可以保证确定的当前跟踪车辆的准确性。
在一种可选的实施方式中,根据目标相似度地图,从当前帧待检图像中确定目标位置,包括:
在目标相似度地图中包括的各个相似度中,确定最大相似度;
将最大相似度对应的对应区域,确定为目标位置。
本申请实施例提供的前向碰撞预警方法,在目标相似度地图中包括的各个相似度中,确定最大相似度;将最大相似度对应的对应区域,确定为目标位置,保证了确定的目标位置的准确性。
在一种可选的实施方式中,根据目标位置,在当前帧待检图像中确定本车对应的当前跟踪车辆,包括:
获取预设相似度范围;
将最大相似度与预设相似度范围中的最大相似度阈值和最小相似度阈值进行对比;
当最大相似度大于或者等于最大相似度阈值时,确定目标位置对应的目标车辆为当前跟踪车辆。
本申请实施例提供的前向碰撞预警方法,获取预设相似度范围;将最大相似度与预设相似度范围中的最大相似度阈值和最小相似度阈值进行对比;当最大相似度大于或者等于最大相似度阈值时,确定目标位置对应的目标车辆为当前跟踪车辆,保证了确定的目标位置对应的目标车辆为当前跟踪车辆的准确性。
在一种可选的实施方式中,方法还包括:
当最大相似度小于最大相似度阈值时,对目标位置进行识别,确定目标位置中目标车辆对应的车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角;
根据车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角,计算目标车辆为当前跟踪车辆的可能值;
当可能值大于预设可能值时,确定目标车辆为当前跟踪车辆。
本申请实施例提供的前向碰撞预警方法,当最大相似度小于最大相似度阈值时,对目标位置进行识别,确定目标位置中目标车辆对应的车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角;根据车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角,计算目标车辆为当前跟踪车辆的可能值,保证了计算得到的目标车辆为当前跟踪车辆的可能值的准确性。当可能值大于预设可能值时,确定目标车辆为当前跟踪车辆,保证了确定的目标车辆为当前跟踪车辆的准确性。
在一种可选的实施方式中,方法还包括:
当确定目标车辆为当前跟踪车辆时,根据目标车辆对应的目标位置,更新目标跟踪模板。
本申请实施例提供的前向碰撞预警方法,当确定目标车辆为当前跟踪车辆时,根据目标车辆对应的目标位置,更新目标跟踪模板,从而可以保证更新后的目标跟踪模板的准确性,进而可以保证在下一帧待检图像中确定当前跟踪车辆的准确性。
在一种可选的实施方式中,对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,包括:
对当前帧待检图像进行遍历,得到当前帧待检图像对应的多个子窗口,将各子窗口输入至预设车辆检测分类器模型,输出当前帧待检图像中的各当前行驶车辆。
本申请实施例提供的前向碰撞预警方法,对当前帧待检图像进行遍历,得到当前帧待检图像对应的多个子窗口,将各子窗口输入至预设车辆检测分类器模型,输出当前帧待检图像中的各当前行驶车辆,保证了输出的当前帧待检图像中的各当前行驶车辆的准确性。
在一种可选的实施方式中,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数,包括:
根据各当前行驶车辆和当前跟踪车辆在当前帧待检图像中的位置,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的相对速度和相对距离;
根据相对速度和相对距离之间的关系,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的碰撞时间;
根据各碰撞时间,确定各当前行驶车辆和当前跟踪车辆相对于本车的危险系数。
本申请实施例提供的前向碰撞预警方法,根据各当前行驶车辆和当前跟踪车辆在当前帧待检图像中的位置,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的相对速度和相对距离;根据相对速度和相对距离之间的关系,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的碰撞时间;
根据各碰撞时间,确定各当前行驶车辆和当前跟踪车辆相对于本车的危险系数,保证了计算得到危险系数的准确性,进而可以保证输出的提示信息的准确性。
第二方面,本发明提供了一种前向碰撞预警装置,装置包括:
获取模块,用于获取本车前方的当前帧待检图像;
确定模块,用于对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆;
计算模块,用于分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数;
输出模块,用于当危险系数大于预设危险系数阈值时,输出提示信息。
本申请实施例提供的前向碰撞预警装置,获取本车前方的当前帧待检图像;对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,保证了确定的当前帧待检图像中的至少一个当前行驶车辆的准确性。并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,保证了确定的当前跟踪车辆的准确性。分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数,保证了计算得到的危险系数的准确性。当危险系数大于预设危险系数阈值时,输出提示信息,从而可以保证驾驶的安全性。上述方法,不仅对当前帧待检图像中各当前行驶车辆进行识别,且在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,从而可以保证检测得到的当前跟踪车辆的准确性。进而可以保证输出的提示信息的准确性。从而可以帮助司机与前方车辆保持安全距离,能有效地提高车辆安全,减少交通事故的发生,减少经济损失。
第三方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的前向碰撞预警方法。
第四方面,本发明提供了一种智能驾驶车辆,包括:电子设备,该电子设备用于执行上述第一方面或其对应的任一实施方式的前向碰撞预警方法。
第五方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的前向碰撞预警方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的前向碰撞预警方法的流程示意图;
图2是根据本发明实施例的另一前向碰撞预警方法的流程示意图;
图3是根据本发明实施例的对当前帧待检图像中的至少一个当前行驶车辆进行检测的流程图;
图4是根据本发明实施例的对历史跟踪区域进行特征提取,生成当前跟踪车辆对应的跟踪模板流程图;
图5是根据本发明实施例的利用目标跟踪模板遍历当前帧待检图像的示意图;
图6是根据本发明实施例的又一前向碰撞预警方法的流程示意图;
图7是根据本发明实施例的前向碰撞预警装置的结构框图;
图8是本发明实施例的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着我国人民生活水平的提高以及城镇化建设的飞快发展,汽车的保有量越来越多。随之而来的是交通事故的增多,给广大人民群众的生活带来众多的困难和财产损失。因此ADAS(高级辅助驾驶系统)应运而生,越来越多的高科技公司、研究机构对此技术进行了大量的研究。
其中,前向碰撞预警系统(Forward ColliSion Warning,FCW)作为ADAS(高级辅助驾驶系统)中的重要功能,越来越受到高科技公司、研究机构以及车企等单位的重视。开启前向碰撞预警系统(Forward ColliSion Warning,FCW)功能,可以让本车和前车保持一定的安全距离行驶。其中车辆检测就成为了前向碰撞预警系统中的比较基本且关键的技术之一,因为要让车辆保持在安全的距离,首要任务就是识别出前车的位置,要识别出前车的位置,不仅需要一种车辆识别准确率高的分类器,而且需要实时的将识别的前车的信息发送给报警模块,帮助司机与前方车辆保持安全距离,在距离前车达到危险距离后,系统用语音报警和视觉警告等方式提醒司机可能发生追尾,能有效地提高车辆安全,减少交通事故的发生,减少经济损失。
但是,现有技术中,通常是对当前驾驶场景中的前车进行识别,根据识别结果输出提示信息。但是,现有技术中,对前车进行简单识别,可能导致识别结果不准确,因此无法保证提示信息的准确性。
基于上述问题,本申请实施例提供了一种前向碰撞预警方法,获取本车前方的当前帧待检图像;不仅对当前帧待检图像中各当前行驶车辆进行识别,且在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,从而可以保证检测得到的当前跟踪车辆的准确性。进而可以保证输出的提示信息的准确性。从而可以帮助司机与前方车辆保持安全距离,能有效地提高车辆安全,减少交通事故的发生,减少经济损失。
根据本发明实施例,提供了一种前向碰撞预警方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
需要说明的是,本申请实施例提供的前向碰撞预警的方法,其执行主体可以是前向碰撞预警的装置,该前向碰撞预警的装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部。该电子设备可以是智能驾驶车辆中的控制终端。下述方法实施例中,均以执行主体是电子设备为例来进行说明。
在本实施例中提供了一种前向碰撞预警方法,图1是根据本发明实施例的前向碰撞预警方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取本车前方的当前帧待检图像。
具体地,电子设备可以基于与摄像组件之间的通信连接,获取摄像组件拍摄的本车前方的当前帧待检图像。
步骤S102,对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆。
具体地,电子设备可以首先将当前帧待检图像输入至车辆识别模型中,输出当前帧待检图像中的至少一个当前行驶车辆。然后,电子设备检测当前帧待检图像中是否存在本车对应的当前跟踪车辆,当当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆。
其中,预设跟踪算法可以是经典跟踪算法、基于核相关滤波的跟踪算法以及基于深度学习的跟踪算法等跟踪算法中的任意一种,本申请实施例对预设跟踪算法不做具体限定。
关于该步骤将在下文进行详细介绍。
步骤S103,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数。
具体地,电子设备在检测到各当前行驶车辆和当前跟踪车辆之后,可以将激光雷达设备检测到的与各个障碍物之间的距离与各当前行驶车辆和当前跟踪车辆相对于本车的位置进行结合,从而确定当前行驶车辆和当前跟踪车辆与本车的相对距离。
示例性的,激光雷达设备检测到前方障碍物距离本车10米,其中,当前跟踪车辆在本车前车,因此,电子设备确定当前跟踪车辆与本车的相对距离为10米。
电子设备可以基于当前行驶车辆和当前跟踪车辆与本车的相对距离,确定当前行驶车辆和当前跟踪车辆相对于本车的危险系数。其中,相对距离越近,危险系数越高。
示例性的,当当前跟踪车辆与本车的相对距离为0.5米时,确定危险系数为9,当当前跟踪车辆与本车的相对距离为1米时,确定危险系数为8。
步骤S104,当危险系数大于预设危险系数阈值时,输出提示信息。
具体地,电子设备就可以接收用户输入的预设危险系数阈值,也可以接收其他设备发送的预设危险系数阈值,电子设备还可以根据实际驾驶场景设定预设危险系数阈值,例如早高峰和晚高峰时期,设定预设危险系数阈值为6,其他时间段设定为5。
电子设备将危险系数与预设危险系数阈值进行对比,当危险系数大于预设危险系数阈值时,输出提示信息。
其中,电子设备输出提示信息的方式可以是通过声音、灯光或者震动等。
可选的,当危险系数大于预设危险系数阈值时,电子设备还可以控制本车制动,从而进行避让操作。
本申请实施例提供的前向碰撞预警方法,获取本车前方的当前帧待检图像;对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,保证了确定的当前帧待检图像中的至少一个当前行驶车辆的准确性。并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,保证了确定的当前跟踪车辆的准确性。分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数,保证了计算得到的危险系数的准确性。当危险系数大于预设危险系数阈值时,输出提示信息,从而可以保证驾驶的安全性。上述方法,不仅对当前帧待检图像中各当前行驶车辆进行识别,且在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆,从而可以保证检测得到的当前跟踪车辆的准确性。进而可以保证输出的提示信息的准确性。从而可以帮助司机与前方车辆保持安全距离,能有效地提高车辆安全,减少交通事故的发生,减少经济损失。
在本实施例中提供了一种前向碰撞预警方法,图2是根据本发明实施例的前向碰撞预警方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取本车前方的当前帧待检图像。
关于该步骤请参见图1对步骤S101的介绍,在此不进行赘述。
步骤S202,对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆。
具体地,上述步骤S202,可以包括:
步骤S2021,对当前帧待检图像进行遍历,得到当前帧待检图像对应的多个子窗口,将各子窗口输入至预设车辆检测分类器模型,输出当前帧待检图像中的各当前行驶车辆。
具体地,如图3所示,电子设备可以对当前帧待检图像进行遍历,得到当前帧待检图像对应的多个子窗口,将各子窗口输入至预设车辆检测分类器模型中,预设车辆检测分类器模型可以对各子窗口进行识别,并检测子窗口是否为当前行驶车辆,根据检测结果,输出当前帧待检图像中的至少一个当前行驶车辆。
其中,预设车辆检测分类器模型可以是基于手工特征的模型,例如DPM(Deformable Parts Model,可变形零件模型),预设车辆检测分类器模型也可以是基于卷积神经网络的模型,例如YOLO(You Only Look Once ,你只看一次)检测器、R-CNN,(Region-based Convolutional Neural Networks,基于区域的卷积神经网络)模型、SSD(Single Shot MultiBox,单发多框)检测器以及Mask R-CNN(Mask Region-basedConvolutional Neural Networks,带掩码的基于区域的卷积神经网络)模型等。本申请实施例对于预设车辆检测分类器模型不做具体限定。
其中,跟踪算法与检测算法的原理性区别如同由机器学习中的判别式学习与生成式学习的区别,其中检测算法是学习用以区分目标和背景的迥异特征,在车辆检测中是直接学习P(y=v|x),而生成式学习是学习目标的特征P(x|y=v),继而用以区分目标和背景:。后者可以更好地利用每个车辆的特点,在特异场景下更可能取得更稳定、准确的定位效果。
步骤S2022,获取当前帧待检图像之前的预设数量连续的历史待检图像。
其中,预设数量大于2,预设数量可以是3,也可以是4,还可以是其他数值,本申请实施例不对预设数量进行具体限定。
可选的,电子设备可以从存储空间中获取当前帧待检图像之前的预设数量连续的历史待检图像。
步骤S2023,对各历史待检图像进行识别,根据识别结果,确定在当前帧待检图像中存在本车对应的当前跟踪车辆。
具体地,上述步骤S2023可以包括如下步骤:
步骤a1,对各历史待检图像进行识别,确定历史待检图像中包括至少一辆历史行驶车辆。
具体地,电子设备可以对各历史待检图像进行遍历,得到各历史待检图像对应的多个子窗口,将各子窗口输入至预设车辆检测分类器模型中,预设车辆检测分类器模型可以对各子窗口进行识别,并检测子窗口是否为历史行驶车辆,根据检测结果,输出历史待检图像中包括至少一辆历史行驶车辆。
可选的,电子设备还可以在每次获取到历史待检图像后,均对历史待检图像进行识别,确定历史待检图像中包括至少一辆历史行驶车辆。
然后,从存储空间中获取各帧历史待检图像对应的检测结果,即获取各历史待检图像中包括至少一辆历史行驶车辆。
步骤a2,将各帧历史待检图像中的各历史行驶车辆进行对比。
具体地,电子设备可以将各帧历史待检图像中的各历史行驶车辆进行对比。
步骤a3,当存在至少连续两帧的历史待检图像中存在相同的历史行驶车辆时,确定历史行驶车辆为本车对应的当前跟踪车辆,即确定当前帧待检图像中存在本车对应的当前跟踪车辆。
具体地,当存在至少连续两帧的历史待检图像中存在相同的历史行驶车辆时,确定历史行驶车辆为本车对应的当前跟踪车辆,即确定当前帧待检图像中存在本车对应的当前跟踪车辆。
步骤S2024,获取当前跟踪车辆在历史待检图像中的历史跟踪区域。
具体地,电子设备在确定了当前跟踪车辆之后,可以在历史待检图像获取当前跟踪车辆对应的历史跟踪区域。
步骤S2025,对历史跟踪区域进行划分并对划分后的历史跟踪区域进行特征提取,生成当前跟踪车辆对应的跟踪模板。
具体地,上述步骤S2025,可以包括如下步骤:
步骤b1,对历史跟踪区域进行梯度计算,生成历史跟踪区域对应的目标像素梯度方向图。
具体地,上述步骤b1可以包括:
针对历史跟踪区域中的各像素点,计算各像素点的梯度,并确定各像素点的梯度方向,生成目标像素梯度方向图。
具体地,为了减少光照影响,处理光线太暗或太强的情况,电子设备可以将历史跟踪区域进行归一化处理。其中,归一化处理的方法可以是灰度化和Gamma校正。在历史跟踪区域的纹理强度中,局部的表层曝光贡献的比重较大,这种处理能够有效地减少图像局部的阴影和光照变化。
具体地,方向梯度直方图特征考虑的是代表边缘和形状特性的梯度信息,色彩几乎没有贡献,作用不大,可直接转化为灰度图,示例性如下公式所示:
Gray=0.3×R+0.59×G+0.11×B(1)
为了减少图像局部的阴影和光照变化,首先需要对整个历史跟踪区域进行Gamma校正,将历史跟踪区域整体亮度提高或减少。在实际中可以采用两种不同的方式进行Gamma标准化:平方根或对数法。
其中,平方根法的公式如下(其中γ=0.5):
I(x,y)=I(x,y)γ(2)
然后,如图4所示,电子设备计算历史跟踪区域横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向,生成目标像素梯度方向图。
步骤b2,对目标像素梯度方向图进行划分,生成多个跟踪分块,并计算各跟踪分块的特征,生成各跟踪分块对应的跟踪特征数据。
具体地,上述步骤b2可以包括:
针对各跟踪分块,在x坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目;在y坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目,生成各跟踪分块对应的跟踪特征数据。
具体地,如图4所示,针对各跟踪分块,在x坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目,从而确定在x坐标轴方向,各个像素点的变化情况;在y坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目,从而确定在x坐标轴方向,各个像素点的变化情况。然后,根据统计结果生成各跟踪分块对应的跟踪特征数据。
步骤b3,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板。
具体地,电子设备可以将各跟踪分块对应的跟踪特征数据与各跟踪分块对应的划分方案进行融合,生成历史跟踪区域对应的跟踪模板。
示例性的,如图4所示,电子设备将历史跟踪区域划分为16个跟踪分块,每个跟踪分块在每个方向得到两组向量,一共是八组数据,组成了当前历史跟踪区域的特征。整个历史跟踪区域因此有16*8=128组特征。
在本申请一种可选的实施方式中,跟踪模板的数量为多个;上述步骤b2,可以包括如下步骤:
步骤b21,根据第一划分方案对目标像素梯度方向图进行划分,生成多个第一跟踪分块,并计算各第一跟踪分块的特征,生成各第一跟踪分块对应的第一跟踪特征数据。
具体地,电子设备可以根据第一划分方案对目标像素梯度方向图进行划分,生成多个第一跟踪分块,并基于上述实施方式,计算各第一跟踪分块的特征,生成各第一跟踪分块对应的第一跟踪特征数据。
其中,第一划分方案可以是将目标像素梯度方向图划分为6×6个第一跟踪分块,也可以是将目标像素梯度方向图划分为7×7个第一跟踪分块,本申请实施例对第一划分方案不做具体限定。
对应的,步骤b3,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,包括:
步骤b31,根据各第一跟踪分块对应的第一跟踪特征数据,生成近距离跟踪模板。
具体地,电子设备可以根据上述实施方式,各第一跟踪分块对应的第一跟踪特征数据,生成近距离跟踪模板。
步骤b22,根据第二划分方案对目标像素梯度方向图进行划分,生成多个第二跟踪分块,并计算各第二跟踪分块的特征,生成各第二跟踪分块对应的第二跟踪特征数据。
具体地,电子设备可以根据第二划分方案对目标像素梯度方向图进行划分,生成多个第二跟踪分块,并基于上述实施方式,计算各第二跟踪分块的特征,生成各第二跟踪分块对应的第二跟踪特征数据。
其中,第二划分方案可以是将目标像素梯度方向图划分为4×4个第二跟踪分块,也可以是将目标像素梯度方向图划分为5×5个第二跟踪分块,本申请实施例对第二划分方案不做具体限定。
对应的,步骤b3,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,包括:
步骤b32,根据各第二跟踪分块对应的第二跟踪特征数据,生成中距离跟踪模板。
具体地,电子设备可以根据上述实施方式生成中距离跟踪模板。
步骤b23,根据第三划分方案对目标像素梯度方向图进行划分,生成多个第三跟踪分块,并计算各第三跟踪分块的特征,生成各第三跟踪分块对应的第三跟踪特征数据。
具体地,电子设备可以根据第三划分方案对目标像素梯度方向图进行划分,生成多个第三跟踪分块,并基于上述实施方式,计算各第三跟踪分块的特征,生成各第三跟踪分块对应的第三跟踪特征数据。
其中,第三划分方案可以是将目标像素梯度方向图划分为2×2个第三跟踪分块,也可以是将目标像素梯度方向图划分为3×3个第三跟踪分块,本申请实施例对第三划分方案不做具体限定。
对应的,步骤b3,根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,包括:
步骤b33,根据各第三跟踪分块对应的第三跟踪特征数据,生成远距离跟踪模板。
其中,第一跟踪分块的尺寸大于第二跟踪分块;第二跟踪分块的尺寸大于第三个跟踪分块。
具体地,电子设备可以根据上述实施方式生成远距离跟踪模板。
步骤S2026,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆。
具体地,上述步骤S2026可以包括如下步骤:
步骤c1,获取当前跟踪车辆对应的目标跟踪模板。
其中,目标跟踪模板中包括当前跟踪车辆对应的目标划分方案以及目标划分方案对应的各目标跟踪分块的跟踪特征数据;目标划分方案用于将当前跟踪车辆对应的历史跟踪区域对应的历史像素梯度方向图均匀划分为多个目标跟踪分块。
在本申请一个可选的实施方式中,当生成的跟踪模板的数量为一个时,电子设备可以将生成的跟踪模板确定为目标跟踪模板。
在本申请另一个可选的实施方式中,当生成的跟踪模板的数量为多个时,上述步骤c1,可以包括如下步骤:
步骤c11,在当前帧待检图像之前的上一帧历史待检图像中确定当前跟踪车辆。
具体地,电子设备在存储空间中获取当前帧待检图像之前的上一帧历史待检图像,然后,电子设备确定当前跟踪车辆在上一帧历史待检图像中的位置。
步骤c12,根据当前跟踪车辆在上一帧历史待检图像中的尺寸大小,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定目标跟踪模板。
具体地,上述步骤c12,可以包括如下步骤:
步骤c121,将当前跟踪车辆在上一帧历史待检图像中的尺寸与预设尺寸范围中的最大尺寸和最小尺寸进行对比。
具体地,电子设备可以根据当前跟踪车辆在上一帧历史待检图像中的位置,确定当前跟踪车辆在上一帧历史待检图像中的尺寸。
电子设备可以接收用户输入的预设尺寸范围,也可以接收其他设备发送的预设尺寸范围,电子设备还可以根据实际驾驶情况,生成预设尺寸范围,本申请实施例对电子设备获取预设尺寸范围的方式不做具体限定。
然后,电子将当前跟踪车辆在上一帧历史待检图像中的尺寸与预设尺寸范围中的最大尺寸和最小尺寸进行对比。
步骤c122,当当前跟踪车辆在上一帧历史待检图像中的尺寸大于最大尺寸时,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定近距离跟踪模板为目标跟踪模板。
具体地,当当前跟踪车辆在上一帧历史待检图像中的尺寸大于最大尺寸时,电子设备确定当前为近距离跟踪,因此,确定近距离跟踪模板为目标跟踪模板。
步骤c123,当当前跟踪车辆在上一帧历史待检图像中的尺寸小于最大尺寸,且大于最小尺寸时,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定中距离跟踪模板为目标跟踪模板。
具体地,当当前跟踪车辆在上一帧历史待检图像中的尺寸小于最大尺寸,且大于最小尺寸时,电子设备确定当前为中距离跟踪,因此从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定中距离跟踪模板为目标跟踪模板。
步骤c124,当当前跟踪车辆在上一帧历史待检图像中的尺寸小于最小尺寸时,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定远距离跟踪模板为目标跟踪模板。
具体地,当当前跟踪车辆在上一帧历史待检图像中的尺寸小于最小尺寸时,电子设备确定当前为远距离跟踪,因此,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定远距离跟踪模板为目标跟踪模板。
步骤c2,利用目标跟踪模板与当前帧待检图像中各个位置之间的关系,从当前帧待检图像中确定目标位置。
具体地,上述步骤c2,可以包括如下步骤:
步骤c21,利用目标跟踪模板遍历当前帧待检图像,并在目标跟踪模板遍历当前帧待检图像的过程中,获取目标跟踪模板在当前帧待检图像中各个位置对应的第一对应待检区域。
具体地,如图5所示,电子设备可以利用目标跟踪模板遍历当前帧待检图像,并在目标跟踪模板遍历当前帧待检图像的过程中,获取目标跟踪模板在当前帧待检图像中各个位置对应的第一对应待检区域。
步骤c22,依次计算目标跟踪模板与各第一对应待检区域之间的第一相似度,生成当前帧待检图像相对于目标跟踪模板的第一相似度地图。
具体地,上述步骤c22中的“依次计算目标跟踪模板与各第一对应待检区域之间的第一相似度”,可以包括如下步骤:
步骤c221,针对各第一对应待检区域,对第一对应待检区域进行梯度计算,生成第一对应待检区域对应的待检像素梯度方向图;
具体地,针对各第一对应待检区域,电子设备可以对第一对应待检区域进行梯度计算,生成第一对应待检区域对应的待检像素梯度方向图。
其中,生成待检像素梯度方向图的过程与生成目标待检像素梯度方向图的过程相同,在此不进行赘述。
步骤c222,根据目标跟踪模板对应的划分方案,对待检像素梯度方向图进行划分,生成多个第一待检分块。
具体地,电子设备可以根据目标跟踪模板对应的划分方案,对待检像素梯度方向图进行划分,生成多个第一待检分块。
示例性的,假设目标跟踪模板对应的划分方案为将目标像素梯度方向图划分为3×3个跟踪分块,则电子设备将待检像素梯度方向图划分为3×3个第一待检分块。
步骤c223,计算各第一待检分块对应的特征,生成各第一待检分块对应的待检特征数据。
具体地,电子设备利用生成跟踪特征数据的方法,计算各第一待检分块对应的特征,生成各第一待检分块对应的待检特征数据。
步骤c224,计算各第一待检分块对应的待检特征数据与对应的各跟踪分块对应的跟踪特征数据之间的分块相似度。
具体地,电子设备利用预设相似度计算算法分别计算各第一待检分块对应的待检特征数据与对应的各跟踪分块对应的跟踪特征数据之间的分块相似度。
其中,预设相似度计算算法可以是欧氏距离算法、皮尔逊相关系数算法、Cosine相似度算法、Jaccard 系数算法等相似度计算算法中的任一种,本申请实施例对预设相似度计算算法不做具体限定。
其中,需要说明的是,计算第一待检分块和跟踪分块之间相似度采用的是将分块中包含的所有特征都进行对应匹配,由于尺度不同会带来特征的维度不同的问题(即一维向量包含的元素的个数不同,也即第一待检分块和跟踪分块的x或者y方向长度不同),故需要将第一待检分块和跟踪分块对应的两组特征中长度更长的一组进行放缩处理,即缩小到与较小特征长度一致,再对两组中的每个元素做差,对差的绝对值求和则得到了两组特征的匹配距离。为了提升速度,并未对数据做放缩处理,而是建立了一组指针,使得这组指针指向特定的位置,从而避免了大量的运算。
步骤c225,从各分块相似度中,确定中位值为目标跟踪模板与第一对应待检区域之间的第一相似度。
具体地,在计算得到各分块相似度后,电子设备可以从各分块相似度中,确定中位值为目标跟踪模板与第一对应待检区域之间的第一相似度。
然后,电子设备根据目标跟踪模板与第一对应待检区域之间的第一相似度,生成第一相似度地图。
步骤c23,对目标跟踪模板缩小第一预设倍数,得到缩小版目标跟踪模板。
具体地,电子设备还可以目标跟踪模板缩小第一预设倍数,得到缩小版目标跟踪模板。
其中,第一预设倍数可以是1.2倍,也可以是1.2倍,本申请实施例对第一预设倍数不做具体限定。
步骤c24,利用缩小版目标跟踪模板遍历当前帧待检图像,并在缩小版目标跟踪模板遍历当前帧待检图像的过程中,获取缩小版目标跟踪模板在当前帧待检图像中各个位置对应的第二对应待检区域。
具体地,电子设备利用缩小版目标跟踪模板遍历当前帧待检图像,并在缩小版目标跟踪模板遍历当前帧待检图像的过程中,获取缩小版目标跟踪模板在当前帧待检图像中各个位置对应的第二对应待检区域。
步骤c25,依次计算缩小版目标跟踪模板与各第二对应待检区域之间的第二相似度,生成当前帧待检图像相对于缩小版目标跟踪模板的第二相似度地图。
具体地,电子设备依次计算缩小版目标跟踪模板与各第二对应待检区域之间的第二相似度,生成当前帧待检图像相对于缩小版目标跟踪模板的第二相似度地图。
步骤c26,对目标跟踪模板放大第二预设倍数,得到放大版目标跟踪模板。
具体地,电子设备还可以对目标跟踪模板放大第二预设倍数,得到放大版目标跟踪模板。
其中,第二预设倍数可以是1.1倍,也可以是1.2倍,本申请实施例对第二预设倍数不做具体限定。其中,第一预设倍数和第二预设倍数可以相同也可以不相同。本申请实施例对第二预设倍数不做具体限定。
步骤c27,利用放大版目标跟踪模板遍历当前帧待检图像,并在放大版目标跟踪模板遍历当前帧待检图像的过程中,获取放大版目标跟踪模板在当前帧待检图像中各个位置对应的第三对应待检区域。
具体地,电子设备利用放大版目标跟踪模板遍历当前帧待检图像,并在放大版目标跟踪模板遍历当前帧待检图像的过程中,获取放大版目标跟踪模板在当前帧待检图像中各个位置对应的第三对应待检区域。
步骤c28,依次计算放大版目标跟踪模板与各第三对应待检区域之间的第三相似度,生成当前帧待检图像相对于放大版目标跟踪模板的第三相似度地图。
具体地,电子设备依次计算放大版目标跟踪模板与各第三对应待检区域之间的第三相似度,生成当前帧待检图像相对于放大版目标跟踪模板的第三相似度地图。
步骤c29,根据第一相似度地图、第二相似度地图以及第三相似度地图,从当前帧待检图像中确定目标位置。
具体地,上述步骤c29,可以包括如下步骤:
步骤c291,计算第一相似度地图中的各第一相似度对应的第一平均值。
具体地,电子设备计算第一相似度地图中的各第一相似度对应的第一平均值。
步骤c292,计算第二相似度地图中的各第二相似度对应的第二平均值。
具体地,电子设备计算第二相似度地图中的各第二相似度对应的第二平均值。
步骤c293,计算第三相似度地图中的各第三相似度对应的第三平均值。
具体地,电子设备计算第三相似度地图中的各第三相似度对应的第三平均值。
步骤c294,从第一平均值、第二平均值以及第三平均值中确定最大平均值,并将最大平均值对应的相似度地图确定为目标相似度地图。
具体地,电子设备将第一平均值、第二平均值以及第三平均值进行对比,从第一平均值、第二平均值以及第三平均值中确定最大平均值,并将最大平均值对应的相似度地图确定为目标相似度地图。
其中,目标相似度地图是第一相似度地图、第二相似度地图以及第三相似度地图中的一个。
步骤c295,根据目标相似度地图,从当前帧待检图像中确定目标位置。
具体地,上述步骤c295,可以包括如下步骤:
步骤c2951,在目标相似度地图中包括的各个相似度中,确定最大相似度。
具体地,电子设备在目标相似度地图中包括的各个相似度中,确定最大相似度。
步骤c2952,将最大相似度对应的对应区域,确定为目标位置。
具体地,电子设备将最大相似度对应的对应区域,确定为目标位置。
步骤c3,根据目标位置,在当前帧待检图像中确定本车对应的当前跟踪车辆。
具体地,上述步骤c3,可以包括如下步骤:
步骤c31,获取预设相似度范围。
具体地,电子设备可以接收用户输入的预设相似度范围,也可以接收其他设备发送的预设相似度范围,还可以基于实际驾驶场景生成预设相似度范围,本申请实施例对电子设备获取预设相似度范围的方式不做具体限定。
步骤c32,将最大相似度与预设相似度范围中的最大相似度阈值和最小相似度阈值进行对比。
具体地,电子设备将最大相似度与预设相似度范围中的最大相似度阈值和最小相似度阈值进行对比。
步骤c33,当最大相似度大于或者等于最大相似度阈值时,确定目标位置对应的目标车辆为当前跟踪车辆。
具体地,当最大相似度大于或者等于最大相似度阈值时,确定目标位置对应的目标车辆为当前跟踪车辆。
步骤c34,当最大相似度小于最大相似度阈值时,对目标位置进行识别,确定目标位置中目标车辆对应的车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角。
具体地,当最大相似度小于最大相似度阈值,大于最小相似度阈值时,电子设备确定目标位置对应的目标车辆可能是当前跟踪车辆。
当最大相似度小于最小相似度阈值,电子设备确定目标位置对应的目标车辆不是当前跟踪车辆。
当电子设备确定目标位置对应的目标车辆可能是当前跟踪车辆,或者目标位置对应的目标车辆可能是当前跟踪车辆时,电子设备需要对目标位置进行再次识别,确定目标位置中目标车辆对应的车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角。
步骤c35,根据车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角,计算目标车辆为当前跟踪车辆的可能值。
具体地,电子设备根据车道线信息确定第一子可能值;电子设备根据目标车辆与本车之间的车距,确定第二子可能值;电子设备根据本车之间的连线与本车前进方向的夹角,确定第三子可能值。然后,电子设备将第一子可能值、第二子可能值以及第三子可能值进行相加,计算得到目标车辆为当前跟踪车辆的可能值。
示例性的,当车道线信息为1时,确定目标车辆与本车处于同一车道,第一子可能值为28。当车道线信息为0时,确定目标车辆未与本车处于同一车道,第一子可能值为20。
目标车辆与本车之间的车距在预设车距范围内时,第二子可能值为30;目标车辆与本车之间的车距不在预设车距范围内时,第二子可能值为10;其中,目标车辆与本车之间的车距与预设车距范围中的最大车距或者最小车距之间的差值越大,第二子可能值越小。其中,预设车距范围可以根据各帧历史待检图像中的各历史行驶车辆与本车的历史车距进行设定。
目标车辆与本车之间的连线与本车前进方向的夹角在预设夹角范围内,第三子可能值为31,目标车辆与本车之间的连线与本车前进方向的夹角不在预设夹角范围内,第三子可能值为10。其中,目标车辆与本车之间的连线与本车前进方向的夹角与预设夹角范围中的最大夹角或最小夹角之间的差值越大,第三子可能值越小。其中,预设夹角范围可以根据各帧历史待检图像中的各历史行驶车辆与本车之间的连线与本车前进方向的夹角进行设定。
步骤c36,当可能值大于预设可能值时,确定目标车辆为当前跟踪车辆。
具体地,电子设备可以将可能值与预设可能值进行对比,当可能值大于预设可能值时,确定目标车辆为当前跟踪车辆。
当可能值小于预设可能值时,确定目标车辆不为当前跟踪车辆。
步骤c37,当确定目标车辆为当前跟踪车辆时,根据目标车辆对应的目标位置,更新目标跟踪模板。
具体地,在确定目标车辆为当前跟踪车辆时,根据目标车辆对应的目标位置,更新目标跟踪模板。
步骤S203,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数。
关于该步骤请参见图1对S103的介绍,在此不进行赘述。
步骤S204,当危险系数大于预设危险系数阈值时,输出提示信息。
关于该步骤请参见图1对S104的介绍,在此不进行赘述。
本申请实施例提供的前向碰撞预警方法,对当前帧待检图像进行遍历,得到当前帧待检图像对应的多个子窗口,将各子窗口输入至预设车辆检测分类器模型,输出当前帧待检图像中的各当前行驶车辆,保证了输出的当前帧待检图像中的各当前行驶车辆的准确性。
然后,获取当前帧待检图像之前的预设数量连续的历史待检图像;对各历史待检图像进行识别,确定历史待检图像中包括至少一辆历史行驶车辆;保证了识别得到的各历史待检图像中包括各历史行驶车辆的准确性。将各帧历史待检图像中的各历史行驶车辆进行对比;当存在至少连续两帧的历史待检图像中存在相同的历史行驶车辆时,确定历史行驶车辆为本车对应的当前跟踪车辆,即确定当前帧待检图像中存在本车对应的当前跟踪车辆。保证了确定的当前帧待检图像中存在本车对应的当前跟踪车辆的准确性。获取当前跟踪车辆在历史待检图像中的历史跟踪区域。针对历史跟踪区域中的各像素点,计算各像素点的梯度,并确定各像素点的梯度方向,生成目标像素梯度方向图,保证了生成的目标像素梯度方向图的准确性。对目标像素梯度方向图进行划分,生成多个跟踪分块。针对各跟踪分块,在x坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目;在y坐标轴方向上,统计跟踪分块中具有相同梯度方向的像素点数目,生成各跟踪分块对应的跟踪特征数据。保证了生成的各跟踪分块对应的跟踪特征数据的准确性。根据各跟踪分块对应的跟踪特征数据,生成跟踪模板,保证了生成的跟踪模板的准确性,进而可以保证根据跟踪模板确定本车对应的当前跟踪车辆的准确性。可选的,根据上述方法,电子设备还可以生成近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板。
然后,在当前帧待检图像之前的上一帧历史待检图像中确定当前跟踪车辆;将当前跟踪车辆在上一帧历史待检图像中的尺寸与预设尺寸范围中的最大尺寸和最小尺寸进行对比,然后根据对比结果,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定目标跟踪模板,保证了确定的目标跟踪模板与当前跟踪车辆在当前帧待检图像中的尺寸大小相匹配。
分别利用目标跟踪模板、缩小版目标跟踪模板以及放大版目标跟踪模板遍历当前帧待检图像,且依次计算得到第一相似度地图、第二相似度地图以及第三相似度地图,从而可以保证计算得到的第一相似度地图、第二相似度地图以及第三相似度地图的准确性。计算第一相似度地图中的各第一相似度对应的第一平均值;计算第二相似度地图中的各第二相似度对应的第二平均值;计算第三相似度地图中的各第三相似度对应的第三平均值;保证了计算得到的第一平均值、第二平均值以及第三平均值的准确性。从第一平均值、第二平均值以及第三平均值中确定最大平均值,并将最大平均值对应的相似度地图确定为目标相似度地图,保证了确定的目标相似度地图的准确性。根据目标相似度地图,从当前帧待检图像中确定目标位置。保证了确定的目标位置的准确性,进而可以保证确定的当前跟踪车辆的准确性。
在目标相似度地图中包括的各个相似度中,确定最大相似度;将最大相似度对应的对应区域,确定为目标位置,保证了确定的目标位置的准确性。获取预设相似度范围;将最大相似度与预设相似度范围中的最大相似度阈值和最小相似度阈值进行对比;当最大相似度大于或者等于最大相似度阈值时,确定目标位置对应的目标车辆为当前跟踪车辆,保证了确定的目标位置对应的目标车辆为当前跟踪车辆的准确性。当最大相似度小于最大相似度阈值时,对目标位置进行识别,确定目标位置中目标车辆对应的车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角;根据车道线信息、目标车辆与本车之间的车距以及目标车辆与本车之间的连线与本车前进方向的夹角,计算目标车辆为当前跟踪车辆的可能值,保证了计算得到的目标车辆为当前跟踪车辆的可能值的准确性。当可能值大于预设可能值时,确定目标车辆为当前跟踪车辆,保证了确定的目标车辆为当前跟踪车辆的准确性。
此外,当确定目标车辆为当前跟踪车辆时,根据目标车辆对应的目标位置,更新目标跟踪模板,从而可以保证更新后的目标跟踪模板的准确性,进而可以保证在下一帧待检图像中确定当前跟踪车辆的准确性。
在本实施例中提供了一种前向碰撞预警方法,图6是根据本发明实施例的前向碰撞预警方法的流程图,如图6所示,该流程包括如下步骤:
步骤S301,获取本车前方的当前帧待检图像。
关于该步骤请见图2对步骤S201的介绍,在此不进行赘述。
步骤S302,对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆。
关于该步骤请见图2对步骤S202的介绍,在此不进行赘述。
步骤S303,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数。
具体地,上述步骤S303,可以包括如下步骤:
步骤S3031,根据各当前行驶车辆和当前跟踪车辆在当前帧待检图像中的位置,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的相对速度和相对距离。
具体地,电子设备可以各当前行驶车辆和当前跟踪车辆在当前帧待检图像中的位置,计算各当前行驶车辆和当前跟踪车辆相对于本车的相对距离。
然后,电子设备可以根据各当前行驶车辆和当前跟踪车辆从上一帧历史待检图像到当前帧待检图像中的位置变化,确定计算各当前行驶车辆和当前跟踪车辆相对于本车的相对速度。
步骤S3032,根据相对速度和相对距离之间的关系,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的碰撞时间。
具体地,电子设备利用各当前行驶车辆和当前跟踪车辆相对于本车的相对距离除以相对速度,分别计算得到当前行驶车辆和当前跟踪车辆相对于本车的碰撞时间。
步骤S3033,根据各碰撞时间,确定各当前行驶车辆和当前跟踪车辆相对于本车的危险系数。
具体地,电子设备可以根据碰撞时间与危险系数之间的对应关系,确定各当前行驶车辆和当前跟踪车辆相对于本车的危险系数。
其中,碰撞时间越小,危险系数越大。
步骤S304,当危险系数大于预设危险系数阈值时,输出提示信息。
关于该步骤请参见图2对步骤S204的介绍,在此不进行赘述。
本申请实施例提供的前向碰撞预警方法,根据各当前行驶车辆和当前跟踪车辆在当前帧待检图像中的位置,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的相对速度和相对距离;根据相对速度和相对距离之间的关系,分别计算各当前行驶车辆和当前跟踪车辆相对于本车的碰撞时间;
根据各碰撞时间,确定各当前行驶车辆和当前跟踪车辆相对于本车的危险系数,保证了计算得到危险系数的准确性,进而可以保证输出的提示信息的准确性。
在本实施例中还提供了一种前向碰撞预警装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种前向碰撞预警装置,如图7所示,包括:
获取模块401,用于获取本车前方的当前帧待检图像;
确定模块402,用于对当前帧待检图像进行识别,确定当前帧待检图像中的至少一个当前行驶车辆,并在当前帧待检图像中存在本车对应的当前跟踪车辆时,利用预设跟踪算法从当前帧待检图像中确定本车对应的当前跟踪车辆;
计算模块403,用于分别计算各当前行驶车辆和当前跟踪车辆相对于本车的危险系数;
输出模块404,用于当危险系数大于预设危险系数阈值时,输出提示信息。
本实施例中的前向碰撞预警装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图7所示的前向碰撞预警装置。
请参阅图8,图8是本发明可选实施例提供的一种电子设备的结构示意图,如图8所示,该电子设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据一种小程序落地页的展现的电子设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该电子设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接,图8中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息,以及产生与该电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。上述显示设备包括但不限于液晶显示器,发光二极管,显示器和等离子体显示器。在一些可选的实施方式中,显示设备可以是触摸屏。
本申请实施例还提供了一种智能驾驶车辆,包括上述电子设备,该电子设备用于执行上述实施方式中任一项所述的前向碰撞预警方法。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (24)
1.一种前向碰撞预警方法,其特征在于,所述方法包括:
获取本车前方的当前帧待检图像;
对所述当前帧待检图像进行识别,确定所述当前帧待检图像中的至少一个当前行驶车辆,并在所述当前帧待检图像中存在所述本车对应的当前跟踪车辆时,利用预设跟踪算法从所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆;
分别计算各所述当前行驶车辆和所述当前跟踪车辆相对于所述本车的危险系数;
当所述危险系数大于预设危险系数阈值时,输出提示信息。
2.根据权利要求1所述的方法,其特征在于,所述在所述当前帧待检图像中存在所述本车对应的所述当前跟踪车辆时,利用预设跟踪算法从所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆,包括:
获取所述当前帧待检图像之前的预设数量连续的历史待检图像;所述预设数量大于2;
对各所述历史待检图像进行识别,根据识别结果,确定在所述当前帧待检图像中存在所述本车对应的所述当前跟踪车辆;
利用所述预设跟踪算法从所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆。
3.根据权利要求2所述的方法,其特征在于,所述对各所述历史待检图像进行识别,根据识别结果,确定在所述当前帧待检图像中存在所述本车对应的所述当前跟踪车辆,包括:
对各所述历史待检图像进行识别,确定所述历史待检图像中包括至少一辆历史行驶车辆;
将各帧所述历史待检图像中的各所述历史行驶车辆进行对比;
当存在至少连续两帧的所述历史待检图像中存在相同的所述历史行驶车辆时,确定所述历史行驶车辆为所述本车对应的所述当前跟踪车辆,即确定所述当前帧待检图像中存在所述本车对应的所述当前跟踪车辆。
4.根据权利要求2所述的方法,其特征在于,所述确定在所述当前帧待检图像中存在所述本车对应的所述当前跟踪车辆之后,所述方法还包括:
获取所述当前跟踪车辆在所述历史待检图像中的历史跟踪区域;
对所述历史跟踪区域进行划分并对划分后的所述历史跟踪区域进行特征提取,生成所述当前跟踪车辆对应的跟踪模板。
5.根据权利要求4所述的方法,其特征在于,所述对所述历史跟踪区域进行划分并对划分后的所述历史跟踪区域进行特征提取,生成所述当前跟踪车辆对应的跟踪模板,包括:
对所述历史跟踪区域进行梯度计算,生成所述历史跟踪区域对应的目标像素梯度方向图;
对所述目标像素梯度方向图进行划分,生成多个跟踪分块,并计算各所述跟踪分块的特征,生成各所述跟踪分块对应的跟踪特征数据;
根据各所述跟踪分块对应的跟踪特征数据,生成所述跟踪模板。
6.根据权利要求5所述的方法,其特征在于,所述对所述历史跟踪区域进行梯度计算,生成所述历史跟踪区域对应的目标像素梯度方向图,包括:
针对所述历史跟踪区域中的各像素点,计算各所述像素点的梯度,并确定各所述像素点的梯度方向,生成所述目标像素梯度方向图。
7.根据权利要求6所述的方法,其特征在于,所述计算各所述跟踪分块的特征,生成各所述跟踪分块对应的跟踪特征数据,包括:
针对各所述跟踪分块,在x坐标轴方向上,统计所述跟踪分块中具有相同梯度方向的像素点数目;在y坐标轴方向上,统计所述跟踪分块中具有相同梯度方向的像素点数目,生成各所述跟踪分块对应的跟踪特征数据。
8.根据权利要求5所述的方法,其特征在于,所述跟踪模板的数量为多个;所述对所述目标像素梯度方向图进行划分,生成多个跟踪分块,并计算各所述跟踪分块的特征,生成各所述跟踪分块对应的跟踪特征数据,包括:
根据第一划分方案对所述目标像素梯度方向图进行划分,生成多个第一跟踪分块,并计算各所述第一跟踪分块的特征,生成各所述第一跟踪分块对应的第一跟踪特征数据;
对应的,根据各所述跟踪分块对应的跟踪特征数据,生成所述跟踪模板,包括:
根据各所述第一跟踪分块对应的第一跟踪特征数据,生成近距离跟踪模板;
根据第二划分方案对所述目标像素梯度方向图进行划分,生成多个第二跟踪分块,并计算各所述第二跟踪分块的特征,生成各所述第二跟踪分块对应的第二跟踪特征数据;
对应的,根据各所述跟踪分块对应的跟踪特征数据,生成所述跟踪模板,包括:
根据各所述第二跟踪分块对应的第二跟踪特征数据,生成中距离跟踪模板;
根据第三划分方案对所述目标像素梯度方向图进行划分,生成多个第三跟踪分块,并计算各所述第三跟踪分块的特征,生成各所述第三跟踪分块对应的第三跟踪特征数据;
对应的,根据各所述跟踪分块对应的跟踪特征数据,生成所述跟踪模板,包括:
根据各所述第三跟踪分块对应的第三跟踪特征数据,生成远距离跟踪模板;其中,所述第一跟踪分块的尺寸大于所述第二跟踪分块;所述第二跟踪分块的尺寸大于所述第三个跟踪分块。
9.根据权利要求5或者8所述的方法,其特征在于,所述利用所述预设跟踪算法从所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆,包括:
获取所述当前跟踪车辆对应的目标跟踪模板;所述目标跟踪模板中包括所述当前跟踪车辆对应的目标划分方案以及所述目标划分方案对应的各目标跟踪分块的跟踪特征数据;所述目标划分方案用于将所述当前跟踪车辆对应的所述历史跟踪区域对应的历史像素梯度方向图均匀划分为多个所述目标跟踪分块;
利用所述目标跟踪模板与所述当前帧待检图像中各个位置之间的关系,从所述当前帧待检图像中确定目标位置;
根据所述目标位置,在所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆。
10.根据权利要求9所述的方法,其特征在于,所述获取所述当前跟踪车辆对应的目标跟踪模板,包括:
在所述当前帧待检图像之前的上一帧历史待检图像中确定所述当前跟踪车辆;
根据所述当前跟踪车辆在所述上一帧历史待检图像中的尺寸大小,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定所述目标跟踪模板。
11.根据权利要求10所述的方法,其特征在于,所述根据所述当前跟踪车辆在所述上一帧历史待检图像中的尺寸大小,从近距离跟踪模板、中距离跟踪模板以及远距离跟踪模板中确定所述目标跟踪模板,包括:
将所述当前跟踪车辆在所述上一帧历史待检图像中的尺寸与预设尺寸范围中的最大尺寸和最小尺寸进行对比;
当所述当前跟踪车辆在所述上一帧历史待检图像中的尺寸大于所述最大尺寸时,从所述近距离跟踪模板、所述中距离跟踪模板以及所述远距离跟踪模板中确定所述近距离跟踪模板为所述目标跟踪模板;
当所述当前跟踪车辆在所述上一帧历史待检图像中的尺寸小于所述最大尺寸,且大于所述最小尺寸时,从所述近距离跟踪模板、所述中距离跟踪模板以及所述远距离跟踪模板中确定所述中距离跟踪模板为所述目标跟踪模板;
当所述当前跟踪车辆在所述上一帧历史待检图像中的尺寸小于所述最小尺寸时,从所述近距离跟踪模板、所述中距离跟踪模板以及所述远距离跟踪模板中确定所述远距离跟踪模板为所述目标跟踪模板。
12.根据权利要求9所述的方法,其特征在于,所述利用所述目标跟踪模板与所述当前帧待检图像中各个位置之间的关系,从所述当前帧待检图像中确定目标位置,包括:
利用所述目标跟踪模板遍历所述当前帧待检图像,并在所述目标跟踪模板遍历所述当前帧待检图像的过程中,获取所述目标跟踪模板在所述当前帧待检图像中各个位置对应的第一对应待检区域;
依次计算所述目标跟踪模板与各所述第一对应待检区域之间的第一相似度,生成所述当前帧待检图像相对于所述目标跟踪模板的第一相似度地图;
对所述目标跟踪模板缩小第一预设倍数,得到缩小版目标跟踪模板;
利用所述缩小版目标跟踪模板遍历所述当前帧待检图像,并在所述缩小版目标跟踪模板遍历所述当前帧待检图像的过程中,获取所述缩小版目标跟踪模板在所述当前帧待检图像中各个位置对应的第二对应待检区域;
依次计算所述缩小版目标跟踪模板与各所述第二对应待检区域之间的第二相似度,生成所述当前帧待检图像相对于所述缩小版目标跟踪模板的第二相似度地图;
对所述目标跟踪模板放大第二预设倍数,得到放大版目标跟踪模板;
利用所述放大版目标跟踪模板遍历所述当前帧待检图像,并在所述放大版目标跟踪模板遍历所述当前帧待检图像的过程中,获取所述放大版目标跟踪模板在所述当前帧待检图像中各个位置对应的第三对应待检区域;
依次计算所述放大版目标跟踪模板与各所述第三对应待检区域之间的第三相似度,生成所述当前帧待检图像相对于所述放大版目标跟踪模板的第三相似度地图;
根据所述第一相似度地图、所述第二相似度地图以及所述第三相似度地图,从所述当前帧待检图像中确定目标位置。
13.根据权利要求12所述的方法,其特征在于,所述依次计算所述目标跟踪模板与各所述第一对应待检区域之间的第一相似度,包括:
针对各所述第一对应待检区域,对所述第一对应待检区域进行梯度计算,生成所述第一对应待检区域对应的待检像素梯度方向图;
根据所述目标跟踪模板对应的划分方案,对所述待检像素梯度方向图进行划分,生成多个第一待检分块;
计算各所述第一待检分块对应的特征,生成各所述第一待检分块对应的待检特征数据;
计算各所述第一待检分块对应的所述待检特征数据与对应的各所述跟踪分块对应的所述跟踪特征数据之间的分块相似度;
从各所述分块相似度中,确定中位值为所述目标跟踪模板与所述第一对应待检区域之间的所述第一相似度。
14.根据权利要求12所述的方法,其特征在于,所述根据所述第一相似度地图、所述第二相似度地图以及所述第三相似度地图,从所述当前帧待检图像中确定目标位置,包括:
计算所述第一相似度地图中的各所述第一相似度对应的第一平均值;
计算所述第二相似度地图中的各所述第二相似度对应的第二平均值;
计算所述第三相似度地图中的各所述第三相似度对应的第三平均值;
从所述第一平均值、所述第二平均值以及所述第三平均值中确定最大平均值,并将所述最大平均值对应的相似度地图确定为目标相似度地图;
根据所述目标相似度地图,从所述当前帧待检图像中确定目标位置。
15.根据权利要求14所述的方法,其特征在于,所述根据所述目标相似度地图,从所述当前帧待检图像中确定目标位置,包括:
在所述目标相似度地图中包括的各个相似度中,确定最大相似度;
将所述最大相似度对应的对应区域,确定为所述目标位置。
16.根据权利要求15所述的方法,其特征在于,所述根据所述目标位置,在所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆,包括:
获取预设相似度范围;
将所述最大相似度与所述预设相似度范围中的最大相似度阈值和最小相似度阈值进行对比;
当所述最大相似度大于或者等于所述最大相似度阈值时,确定所述目标位置对应的目标车辆为所述当前跟踪车辆。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
当所述最大相似度小于所述最大相似度阈值时,对所述目标位置进行识别,确定所述目标位置中所述目标车辆对应的车道线信息、所述目标车辆与所述本车之间的车距以及所述目标车辆与所述本车之间的连线与所述本车前进方向的夹角;
根据所述车道线信息、所述目标车辆与所述本车之间的车距以及所述目标车辆与所述本车之间的连线与所述本车前进方向的夹角,计算所述目标车辆为所述当前跟踪车辆的可能值;
当所述可能值大于预设可能值时,确定所述目标车辆为所述当前跟踪车辆。
18.根据权利要求17所述的方法,其特征在于,所述方法还包括:
当确定所述目标车辆为所述当前跟踪车辆时,根据所述目标车辆对应的所述目标位置,更新所述目标跟踪模板。
19.根据权利要求1所述的方法,其特征在于,所述对所述当前帧待检图像进行识别,确定所述当前帧待检图像中的至少一个当前行驶车辆,包括:
对所述当前帧待检图像进行遍历,得到所述当前帧待检图像对应的多个子窗口,将各所述子窗口输入至预设车辆检测分类器模型,输出所述当前帧待检图像中的各所述当前行驶车辆。
20.根据权利要求1所述的方法,其特征在于,所述分别计算各所述当前行驶车辆和所述当前跟踪车辆相对于所述本车的危险系数,包括:
根据各所述当前行驶车辆和所述当前跟踪车辆在所述当前帧待检图像中的位置,分别计算各所述当前行驶车辆和所述当前跟踪车辆相对于所述本车的相对速度和相对距离;
根据所述相对速度和所述相对距离之间的关系,分别计算各所述当前行驶车辆和所述当前跟踪车辆相对于所述本车的碰撞时间;
根据各所述碰撞时间,确定各所述当前行驶车辆和所述当前跟踪车辆相对于所述本车的危险系数。
21.一种前向碰撞预警装置,其特征在于,所述装置包括:
获取模块,用于获取本车前方的当前帧待检图像;
确定模块,用于对所述当前帧待检图像进行识别,确定所述当前帧待检图像中的至少一个当前行驶车辆,并在所述当前帧待检图像中存在所述本车对应的当前跟踪车辆时,利用预设跟踪算法从所述当前帧待检图像中确定所述本车对应的所述当前跟踪车辆;
计算模块,用于分别计算各所述当前行驶车辆和所述当前跟踪车辆相对于所述本车的危险系数;
输出模块,用于当所述危险系数大于预设危险系数阈值时,输出提示信息。
22.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至20中任一项所述的前向碰撞预警方法。
23.一种智能驾驶车辆,其特征在于,包括:电子设备,所述电子设备用于执行权利要求1至20中任一项所述的前向碰撞预警方法。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至20中任一项所述的前向碰撞预警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410212986.2A CN117774963B (zh) | 2024-02-27 | 2024-02-27 | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410212986.2A CN117774963B (zh) | 2024-02-27 | 2024-02-27 | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117774963A true CN117774963A (zh) | 2024-03-29 |
CN117774963B CN117774963B (zh) | 2024-05-24 |
Family
ID=90402133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410212986.2A Active CN117774963B (zh) | 2024-02-27 | 2024-02-27 | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117774963B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140002657A1 (en) * | 2012-06-29 | 2014-01-02 | Lg Innotek Co., Ltd. | Forward collision warning system and forward collision warning method |
US20140072168A1 (en) * | 2012-09-12 | 2014-03-13 | Xerox Corporation | Video-tracking for video-based speed enforcement |
KR20150002038A (ko) * | 2013-06-28 | 2015-01-07 | (주) 세인 | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 |
US20170162042A1 (en) * | 2014-06-27 | 2017-06-08 | Connaught Electronics Ltd. | Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle |
US20180134288A1 (en) * | 2016-11-14 | 2018-05-17 | Nec Laboratories America, Inc. | Advanced driver-assistance system using accurate object proposals by tracking detections |
CN111422190A (zh) * | 2020-04-03 | 2020-07-17 | 北京四维智联科技有限公司 | 一种后装车机的前向碰撞预警方法及系统 |
CN113903012A (zh) * | 2021-10-29 | 2022-01-07 | 合肥英睿系统技术有限公司 | 碰撞预警方法及装置、车载设备及存储介质 |
CN114005093A (zh) * | 2021-10-28 | 2022-02-01 | 平安普惠企业管理有限公司 | 基于视频分析的驾驶行为告警方法、装置、设备及介质 |
KR102510122B1 (ko) * | 2021-11-24 | 2023-03-15 | (주)카네비모빌리티 | 전방 추돌 경보를 위한 영상 기반 실시간 차량 검출과 추적 방법, 및 그 장치 |
-
2024
- 2024-02-27 CN CN202410212986.2A patent/CN117774963B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140002657A1 (en) * | 2012-06-29 | 2014-01-02 | Lg Innotek Co., Ltd. | Forward collision warning system and forward collision warning method |
US20140072168A1 (en) * | 2012-09-12 | 2014-03-13 | Xerox Corporation | Video-tracking for video-based speed enforcement |
KR20150002038A (ko) * | 2013-06-28 | 2015-01-07 | (주) 세인 | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 |
US20170162042A1 (en) * | 2014-06-27 | 2017-06-08 | Connaught Electronics Ltd. | Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle |
US20180134288A1 (en) * | 2016-11-14 | 2018-05-17 | Nec Laboratories America, Inc. | Advanced driver-assistance system using accurate object proposals by tracking detections |
CN111422190A (zh) * | 2020-04-03 | 2020-07-17 | 北京四维智联科技有限公司 | 一种后装车机的前向碰撞预警方法及系统 |
CN114005093A (zh) * | 2021-10-28 | 2022-02-01 | 平安普惠企业管理有限公司 | 基于视频分析的驾驶行为告警方法、装置、设备及介质 |
CN113903012A (zh) * | 2021-10-29 | 2022-01-07 | 合肥英睿系统技术有限公司 | 碰撞预警方法及装置、车载设备及存储介质 |
KR102510122B1 (ko) * | 2021-11-24 | 2023-03-15 | (주)카네비모빌리티 | 전방 추돌 경보를 위한 영상 기반 실시간 차량 검출과 추적 방법, 및 그 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN117774963B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ding et al. | Fast lane detection based on bird’s eye view and improved random sample consensus algorithm | |
WO2020107326A1 (zh) | 车道线检测方法、设备、计算机可读存储介质 | |
Chao et al. | Multi-lane detection based on deep convolutional neural network | |
EP4016474A2 (en) | Method and apparatus of recognizing illegal parking of vehicle, device and storage medium | |
CN110705338A (zh) | 车辆检测方法、装置及监控设备 | |
Meus et al. | Embedded vision system for pedestrian detection based on HOG+ SVM and use of motion information implemented in Zynq heterogeneous device | |
CN113129423B (zh) | 车辆三维模型的获取方法、装置、电子设备和存储介质 | |
CN113239746A (zh) | 电动车检测方法、装置、终端设备及计算机可读存储介质 | |
CN117218622A (zh) | 路况检测方法、电子设备及存储介质 | |
CN114677653A (zh) | 模型训练方法、车辆关键点检测方法及相应的装置 | |
CN114092909A (zh) | 一种车道线提取方法、装置、车辆及存储介质 | |
JP4583493B2 (ja) | 移動物体認識方法及び装置 | |
CN117774963B (zh) | 前向碰撞预警方法、装置、电子设备及智能驾驶车辆 | |
Dai et al. | A driving assistance system with vision based vehicle detection techniques | |
CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
CN111639640B (zh) | 基于人工智能的车牌识别方法、装置及设备 | |
CN115131240A (zh) | 一种用于三维点云数据的目标识别方法和系统 | |
CN114998883A (zh) | 车牌识别方法、装置、电子设备、智能交通设备 | |
CN114510996A (zh) | 基于视频的车辆匹配方法、装置、电子设备及存储介质 | |
Blair et al. | Event-driven dynamic platform selection for power-aware real-time anomaly detection in video | |
CN117576926B (zh) | 车辆违规检测方法、设备及存储介质 | |
CN117125057B (zh) | 一种基于车辆变道的碰撞检测方法、装置、设备及存储介质 | |
CN113255397B (zh) | 目标检测方法和装置 | |
CN110765821B (zh) | 图像识别的方法及装置 | |
CN110610514A (zh) | 实现多目标跟踪的方法、装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |