CN110077399A - 一种基于道路标线、车轮检测融合的车辆防碰撞方法 - Google Patents
一种基于道路标线、车轮检测融合的车辆防碰撞方法 Download PDFInfo
- Publication number
- CN110077399A CN110077399A CN201910279775.XA CN201910279775A CN110077399A CN 110077399 A CN110077399 A CN 110077399A CN 201910279775 A CN201910279775 A CN 201910279775A CN 110077399 A CN110077399 A CN 110077399A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- wheel
- point
- crimping
- collision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000002788 crimping Methods 0.000 claims abstract description 59
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims abstract description 11
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 8
- FNMKZDDKPDBYJM-UHFFFAOYSA-N 3-(1,3-benzodioxol-5-yl)-7-(3-methylbut-2-enoxy)chromen-4-one Chemical compound C1=C2OCOC2=CC(C2=COC=3C(C2=O)=CC=C(C=3)OCC=C(C)C)=C1 FNMKZDDKPDBYJM-UHFFFAOYSA-N 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 239000004020 conductor Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004283 incisor Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于道路标线、车轮检测融合的车辆防碰撞方法，包括：步骤a：建立以本车中心点在地面上的垂直投影点为坐标原点的世界坐标系，并在本车上安装至少三个视觉传感器；步骤b：实时采集本车周围的一个以上车辆、一个以上车轮以及本车两侧的左/右车道线的图像；步骤c：对采集到的所有图像分别进行车辆识别、车轮识别以及车道线识别；步骤d：获得车轮和车辆之间的从属关系；步骤e：计算每一个目标车辆的前轮最低点和后轮最低点到相邻车道线轮廓上距离最近一点的欧式距离；并在相应条件下进入压线计算步骤f和碰撞计算步骤g；步骤h：根据压线点和压线时间进行压线危险等级评估；以及步骤i：根据碰撞点和碰撞时间进行碰撞危险等级评估。
Description
技术领域
本发明涉及机器视觉领域，尤其涉及一种基于道路标线、车轮检测融合的车辆防碰撞方法。
背景技术
在高级辅助驾驶领域及自动驾驶领域，一般利用单目、多目摄像头对车辆前方及周围目标进行距离探测、预警，提醒驾驶员或者控制车辆，避免车辆碰撞发生，减少交通事故及人员死亡。目前使用的视觉系统，绝大多数安装在车辆前方，由于摄像头本身的视觉问题，不能观测到自身车辆左、右边的目标，无法解决车辆切入本车道时的车辆探测。另外，现有的车辆环视系统应用比较广泛，但是该类系统目前不带自动分析周围车辆的行为，主要依靠驾驶员自己根据环视画面观察周围情况、分析潜在危险。由于驾驶员需要观察环视系统图像，很容易导致驾驶分神，从而导致其他事故发生。其次，也有应用毫米波雷达和激光雷达方案实现防碰撞功能，激光雷达是很好的方案，能够对车辆周围进行密集扫描，得到车辆自身及周围车辆的信息，但是由于价格昂贵，限制了大规模的量产应用。毫米波雷达能够解决大多数工况下的目标探测及距离测量，但是在对方车辆切入的时候，由于毫米波雷达自身的特性，不能准确的探测目标距离，且受天气影响较大，例如下雨和雾天，在越危险的交通条件下毫米波雷达反而容易产生各种误报。
发明名称为“基于切道行为检测的车辆驾驶状态评价方法”、公开号为“CN101870293B”的发明专利揭示了如下技术方案：该方案只使用了一个摄像头且安装在车内或者车辆顶部，只能获取前方视角的图像，而本专利中提及的视觉传感器组要求最少三个，尤其是安装在车辆两侧的摄像头可以将视野范围扩展到最少270度范围。该专利可对本车辆前方车辆出现变道或者压线行为分析并根据危险度做出预警，本专利的方法使得预警覆盖的区域不仅仅限于道路前方，同时也覆盖了车辆的左侧和右侧。
另外，发明名称为“用于汽车防碰撞的方法、装置及汽车”、公开号为“CN105620476B”的发明专利揭示了如下技术方案：该方案对于预警碰撞的信号传递方式是通过卫星定位装置和云端存储系统协同工作下，计算得到本车与前后车辆在电子地图上的位置，该专利的这种方法对于车辆的瞬时制动会因为天气问题和通信设备信号延迟问题产生不可控影响，本专利则不受这些外部环境原因影响。
以及，发明名称为“用于防止与车辆碰撞的装置和方法”、公开号为“CN104176052B”的发明专利揭示了如下技术方案：该方案在本车与前方车辆有可能发生碰撞且车辆两侧都有车的情况下产生碰撞预警或者刹车制动，在车辆左后方或者右后方在有车的情况下启动转向制动。本专利的预警策略比该专利更加全面安全，该专利没有覆盖到当前方无危险而车体左右两侧有危险可能的情况，也没有覆盖到当车体左右两侧和前方对于本车的危险等级来回变化且较长时间存在的情况。
以及，发明名称为“一种防止车辆碰撞的预警系统”、公告号为“CN208400321U”的实用新型专利揭示了如下技术方案：该方案的检测装置基于毫米波雷达，可对相邻第一第二车道的车辆实时检测，但是与摄像头相比，该专利需要的设备价格偏贵，量产的优势远没有本专利强。
发明内容
针对现有技术的上述缺陷，本发明提出了一种基于道路标线、车轮检测融合的车辆防碰撞方法，基于至少三个视觉传感器所组成的同步图像采集装置，通过视觉传感器返回的图像检测并跟踪相邻车道内的1)无意图靠近本车；2)有意图靠近本车左/右车道线；3)车体前轮已经覆盖本车左/右车道线；4)单边全部覆盖左/右车道线；5)在靠近、覆盖和远离状态来回变换；6)正在进行变入本车车道行为的车辆的车轮(轮胎)，计算出发生碰撞的可能性并根据预警等级做出反馈。
本发明的一种基于道路标线(车道线)、车轮检测融合的车辆防碰撞方法，包括如下步骤：
步骤a：建立以本车中心点在地面上的垂直投影点为坐标原点的世界坐标系，并在本车上安装至少三个视觉传感器，获得所述世界坐标系与摄像机视场之间的关系；
步骤b：通过本车上的所述至少三个视觉传感器实时采集本车周围的一个以上车辆、一个以上车轮以及本车两侧的左/右车道线的图像；
步骤c：对采集到的所有图像分别进行车辆识别、车轮识别以及车道线识别，获得图像坐标系下的车辆位置、车轮位置和左/右车道线位置；
步骤d：根据步骤c中获得的所述车辆位置和所述车轮位置的几何相对关系，获得车轮和车辆之间的从属关系；
步骤e：基于步骤c和d的结果，实时计算每一个目标车辆的前轮最低点和后轮最低点到相邻车道线轮廓上距离最近一点的欧式距离，即前轮欧式距离和后轮欧式距离；若所述欧式距离均为正数且后轮欧式距离大于前轮欧式距离，表明该目标车辆现在正在靠近所述相邻车道线，则进入压线计算步骤f；若所述欧式距离中有一个为负，表明该目标车辆处于正在压线或者正在变道的状态内，则进入碰撞计算步骤g；
步骤f：压线计算步骤中，获得相邻车道内的每一个目标车辆在当前行驶状态下和所述目标车辆与本车之间的车道线相交的压线点和压线时间，并进入步骤h；
步骤g：碰撞计算步骤中，获得相邻车道内的已有压线行为或者已有部分车身进入本车道的每一个目标车辆可能与本车相撞的碰撞点和碰撞时间，并进入步骤i；
步骤h：根据所述压线点和压线时间进行压线危险等级评估；以及
步骤i：根据所述碰撞点和碰撞时间进行碰撞危险等级评估。
优选地，步骤a中，所述视觉传感器设置在车头部位、车辆左侧和车辆右侧，以确保相邻视觉传感器采集的图像范围至少部分重叠。
优选地，步骤a中，获得所述世界坐标系与摄像机视场之间的关系包括：在对每个视觉传感器做好内参标定之后，再在世界坐标系下对每个视觉传感器标定外参，以及，根据视角计算相邻的两个视觉传感器之间重叠的视角范围。
优选地，步骤c中，进行车辆识别或车轮识别的方法为基于深度神经网络学习的目标检测或语义分割方法，或基于提取特定多特征训练指定目标分类器的方法；所述车辆位置包括车辆的2D框位置，车辆3D框位置和车辆轮廓的曲线；所述车轮位置包括车轮的2D框位置和车轮轮廓曲线；所述车道线位置包括车道线轮廓曲线。
优选地，步骤c中还包括对相邻视觉传感器之间重叠的图像范围内同一辆车识别到的多个车辆位置进行车辆位置合并，对相邻视觉传感器之间重叠的图像范围内同一个车轮识别到的多个车轮位置进行车轮位置合并，以及对相邻视觉传感器之间重叠的图像范围内同一根车道线识别到的多个车道线位置进行车道线位置合并。
优选地，步骤d中计算从属关系进一步包括如下步骤：
步骤d1：基于每一辆车的车辆轮廓曲线上的所有点坐标遍历比较得到该车辆车体横向最大最小值和纵向最大最小值；
步骤d2：基于每一个车轮的车轮轮廓曲线将车轮边缘点坐标值与上一步计算得到的车体最值范围进行比较；以及
步骤d3：如果车轮2D框顶点中有三个以上的边缘点或者车轮轮廓曲线上的所有点内有超过一半数量在某一车辆的车体最值范围内则判断该车轮属于该车辆，从而获得所有检测到的车辆和所有检测到的车轮之间的从属关系。
优选地，步骤e中计算所述欧式距离之前先进行关联步骤：对本车周围所有检测到的车辆建立关联，以确保被多个视觉传感器采集到的被跟踪的同一目标车辆的跟踪目标编号保持一致，以及对多个视觉传感器采集到的同一条车道线建立目标关联。
优选地，步骤f进一步包括如下步骤：
步骤f1：计算目标车辆的前后轮最低点连线直线方程，计算车道线曲线拟合方程，将前述两个方程联立求交点位置，通过投影变换计算出该交点在世界坐标系下的坐标，即为该目标车辆在当前状态下可能压线的压线点的坐标；
步骤f2：通过限定帧内对于所述目标车辆的车轮连续跟踪计算得到该目标车辆当前相对时速，计算目标车辆的前轮最低点到压线点的直线距离，则压线时间等于所述距离和所述相对时速的比值；
优选地，步骤g进一步包括如下步骤：
步骤g1：在图像坐标系下根据目标车辆的前轮和后轮触地点相连求解的直线方程和本车辆中轴线延长线直线方程联立求解得到交点，通过投影变换计算出该交点在世界坐标系下的坐标，即为该机动车在当前状态下可能与本车相撞的碰撞点的坐标；
步骤g2：计算碰撞时间，包括：
步骤g21：计算每一个目标车辆前后轮连线中心点在X轴方向上与本车中心点的横向距离和在Y轴方向上与本车中心点的纵向距离；
步骤g22：通过限定帧内对于所述每一个目标车辆的车轮连续跟踪计算得到该车辆当前相对时速，通过分解得到X轴方向的横向相对速度和Y轴方向的纵向相对速度；
步骤g23：在世界坐标系下若碰撞点位于车身覆盖范围之内，则碰撞时间为横向距离与横向相对速度的比值；在世界坐标系下若碰撞点位于车身覆盖范围之外，则计算横向距离与横向相对速度的比值，以及计算纵向距离与纵向相对速度的比值，碰撞时间为这两个值中较小的值。
优选地，步骤h中，压线危险等级评估按照压线时间从短到长认定危险等级变高，按照压线交点位置由远及近认定危险等级变高，由前述两个因素共同计算压线危险等级。
优选地，步骤i中，所述碰撞危险评估根据碰撞点是否在本车车体范围之内分为高级危险等级和次级危险等级，再在前述两个等级内按照碰撞时间从短到长认定危险等级变高，按照碰撞交点位置由远及近认定危险等级变高，由前述两个因素共同计算碰撞危险等级。
本发明具有如下有益效果：本发明方法通过至少三个视觉传感器返回的图像，分别进行车辆识别、车轮和车道线识别，大大提高了图像识别的精确性；并且，通过识别到的车辆位置、车轮位置和车道线位置计算被跟踪的目标车辆与本车两侧的车道线可能发生压线的压线点和压线时间或与本车可能发生碰撞的碰撞点和碰撞时间，并相应作出压线危险等级评估和碰撞危险等级评估，以及根据危险等级做出反馈。本发明可以精确地进行压线可能性的计算以及碰撞可能性的计算，从而精确地进行危险等级评估；另外，本发明具有压线和碰撞两级危险等级评估，可覆盖更复杂多变的道路危险情况，更可靠和安全。
附图说明
图1是本发明的一个实施例的基于道路标线、车轮检测融合的车辆防碰撞方法的流程图。
具体实施方式
下面通过实施例对本发明作进一步说明，其目的仅在于更好地理解本发明的研究内容而非限制本发明的保护范围。
如图1所示为本发明的另一个实施例的基于道路标线、车轮检测融合的车辆防碰撞方法，包括如下步骤。下面对各步骤进行详细说明。
步骤a：建立以本车中心点在地面上的垂直投影点为坐标原点的世界坐标系，并在本车上安装三个视觉传感器，获得所述世界坐标系与摄像机视场之间的关系。所述世界坐标系中，以本车中心点在地面上的垂直投影点为坐标原点，通过该原点与车辆纵轴平行为X轴，方向为车辆前进方向，通过该原点与车辆横轴平行为Y轴，方向为向右，通过该原点垂直向上为Z轴。
另外，所述视觉传感器设置在车头部位、车辆左侧和车辆右侧，以确保相邻两个视觉传感器采集的图像范围至少部分重叠，不会出现采集盲区。较佳地，例如所述视觉传感器分别设置在车前保险杠中间点、车辆左右后视镜下。所述视觉传感器例如是鱼眼摄像头。
步骤a中，获得所述世界坐标系与摄像机视场之间的关系包括：在对每个视觉传感器做好内参标定之后，再在世界坐标系下对每个视觉传感器标定外参，以及，根据视角计算相邻的两个视觉传感器之间重叠的视角范围。获得该重叠的视角范围可用于后续进行跟踪目标合并。
步骤b：通过本车上的所述至少三个视觉传感器实时采集本车周围的一个以上车辆、一个以上车轮以及本车两侧的左/右车道线的图像。
步骤c：对采集到的所有图像分别进行车辆识别、车轮识别以及车道线识别，获得图像坐标系下的车辆位置、车轮位置和左/右车道线位置。
步骤c中，进行车辆识别、车轮识别和车道线识别的方法包括并不限于基于深度神经网络学习的目标检测或语义分割方法，或基于提取特定多特征训练指定目标分类器的方法。
具体地，例如，对多路视觉传感器同步采集的图片做图像拼接，将拼接之后的训练数据传入深度神经网络中训练生成特定目标分类器，或者提取目标图像特征训练传统分类器。对于实时的同步图像，使用图像拼接的方法完成拼接之后使用训练好的分类器分别识别出车辆、车轮和车道线。
另外，多路视觉传感器同步采集的图片也可以直接传入深度神经网络中训练生成特定目标分类器，或者提取目标图像特征训练传统分类器。实际应用中，每一路采集的图片将直接使用分类器分别识别出车辆、车轮和车道线之后再进行目标融合。
也就是说，本发明中对车辆和车轮分别进行识别，通过分别识别可大大提高识别的精确度和鲁棒性，而现有技术中对车辆整体进行识别，识别的精度较低，鲁棒性也不高。
步骤c中，所述车辆位置包括车辆的2D框位置，车辆3D框位置和车辆轮廓的曲线；所述车轮位置包括车辆的2D框位置和车轮轮廓曲线；所述车道线位置包括车道线轮廓曲线。
步骤c中还包括对相邻视觉传感器之间重叠的图像范围内同一辆车识别到的多个车辆位置进行车辆位置合并，对相邻视觉传感器之间重叠的图像范围内同一个车轮识别到的多个车轮位置进行车轮位置合并，以及对相邻视觉传感器之间重叠的图像范围内同一根车道线识别到的多个车道线位置进行车道线位置合并。
步骤d：根据步骤c中获得的所述车辆位置和所述车轮位置的几何相对关系，获得车轮和车辆之间的从属关系。由于本发明中车辆与车轮是分别识别，因此需要计算车辆与车轮之间的从属关系，以获得车轮位置与车辆位置之间的对应关系。计算从属关系进一步包括如下步骤：
步骤d1：基于每一辆车的车辆轮廓曲线上的所有点坐标遍历比较得到该车辆车体横向最大最小值和纵向最大最小值；
步骤d2：基于每一个车轮的车轮轮廓曲线将车轮边缘点坐标值与上一步计算得到的车体最值范围进行比较；以及
步骤d3：如果车轮2D框顶点中有三个以上的边缘点或者车轮轮廓曲线上的所有点内有超过一半数量在某一车辆的车体最值范围内则判断该车轮属于该车辆，从而获得所有检测到的车辆和所有检测到的车轮之间的从属关系。
步骤e：基于步骤c和d的结果，实时计算每一个目标车辆的前轮最低点和后轮最低点到相邻车道线轮廓上距离最近一点的欧式距离，即前轮欧式距离和后轮欧式距离；若所述欧式距离均为正数且后轮欧式距离大于前轮欧式距离，表明该目标车辆现在正在靠近所述相邻车道线，则进入压线计算步骤f；若所述欧式距离中有一个为负，表明该目标车辆处于正在压线或者正在变道的状态内，则进入碰撞计算步骤g。
步骤e中计算所述欧式距离之前先进行关联步骤：对本车周围所有检测到的车辆建立关联，以确保被多个视觉传感器采集到的被跟踪的同一目标车辆的跟踪目标编号保持一致，以及对多个视觉传感器采集到的同一条车道线建立目标关联。
接下来介绍步骤f：压线计算步骤中，获得相邻车道内的每一个目标车辆在当前行驶状态下和所述目标车辆与本车之间的车道线相交的压线点和压线时间。具体包括：
步骤f1：计算目标车辆的前后轮最低点连线直线方程，计算车道线曲线拟合方程，将前述两个方程联立求交点位置，通过投影变换计算出该交点在世界坐标系下的坐标，即为该目标车辆在当前状态下可能压线的压线点的坐标；
步骤f2：通过限定帧内对于所述目标车辆的车轮连续跟踪计算得到该目标车辆当前相对时速，计算目标车辆的前轮最低点到压线点的直线距离，则压线时间等于所述距离和所述相对时速的比值。
步骤f之后进入步骤h：根据所述压线点和压线时间进行压线危险等级评估。步骤h中，压线危险等级评估按照压线时间从短到长认定危险等级变高，按照压线交点位置由远及近认定危险等级变高，由前述两个因素共同计算压线危险等级。
接下来再介绍步骤g：碰撞计算步骤中，获得相邻车道内的已有压线行为或者已有部分车身进入本车道的每一个目标车辆可能与本车相撞的碰撞点和碰撞时间。
步骤g进一步包括如下步骤：
步骤g1：在图像坐标系下根据目标车辆的前轮和后轮触地点相连求解的直线方程和本车辆中轴线延长线直线方程联立求解得到交点，通过投影变换计算出该交点在世界坐标系下的坐标，即为该机动车在当前状态下可能与本车相撞的碰撞点的坐标；
步骤g2：计算碰撞时间，包括：
步骤g21：计算每一个目标车辆前后轮连线中心点在X轴方向上与本车中心点的横向距离和在Y轴方向上与本车中心点的纵向距离；
步骤g22：通过限定帧内对于所述每一个目标车辆的车轮连续跟踪计算得到该车辆当前相对时速，通过分解得到X轴方向的横向相对速度和Y轴方向的纵向相对速度；
步骤g23：在世界坐标系下若碰撞点位于车身覆盖范围之内，则碰撞时间为横向距离与横向相对速度的比值；在世界坐标系下若碰撞点位于车身覆盖范围之外，则计算横向距离与横向相对速度的比值，以及计算纵向距离与纵向相对速度的比值，碰撞时间为这两个值中较小的值。
步骤g之后进入步骤i：根据所述碰撞点和碰撞时间进行碰撞危险等级评估。步骤i中，所述碰撞危险评估根据碰撞点是否在本车车体范围之内分为高级危险等级和次级危险等级，再在前述两个等级内按照碰撞时间从短到长认定危险等级变高，按照碰撞交点位置由远及近认定危险等级变高，由前述两个因素共同计算碰撞危险等级。另外，在未能计算到碰撞点的情况下，例如目标车辆在一段时间内保持压线而平行于本车行驶的状态，则将该目标车辆认定为压线危险等级。
在实时对各目标车辆判断出危险等级后，对于危险等级超过某一设定值的目标车辆瞬时给本车预警或者介入驾驶，以达到避免碰撞、安全驾驶的目的。
显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围。
Claims (10)
1.一种基于道路标线、车轮检测融合的车辆防碰撞方法，其特征在于，包括如下步骤：
步骤a：建立以本车中心点在地面上的垂直投影点为坐标原点的世界坐标系，并在本车上安装至少三个视觉传感器，获得所述世界坐标系与摄像机视场之间的关系；
步骤b：通过本车上的所述至少三个视觉传感器实时采集本车周围的一个以上车辆、一个以上车轮以及本车两侧的左/右车道线的图像；
步骤c：对采集到的所有图像分别进行车辆识别、车轮识别以及车道线识别，获得图像坐标系下的车辆位置、车轮位置和左/右车道线位置；
步骤d：根据步骤c中获得的所述车辆位置和所述车轮位置的几何相对关系，获得车轮和车辆之间的从属关系；
步骤e：基于步骤c和d的结果，实时计算每一个目标车辆的前轮最低点和后轮最低点到相邻车道线轮廓上距离最近一点的欧式距离，即前轮欧式距离和后轮欧式距离；若所述欧式距离均为正数且后轮欧式距离大于前轮欧式距离，表明该目标车辆现在正在靠近所述相邻车道线，则进入压线计算步骤f；若所述欧式距离中有一个为负，表明该目标车辆处于正在压线或者正在变道的状态内，则进入碰撞计算步骤g；
步骤f：压线计算步骤中，获得相邻车道内的每一个目标车辆在当前行驶状态下和所述目标车辆与本车之间的车道线相交的压线点和压线时间，并进入步骤h；
步骤g：碰撞计算步骤中，获得相邻车道内的已有压线行为或者已有部分车身进入本车道的每一个目标车辆可能与本车相撞的碰撞点和碰撞时间，并进入步骤i；
步骤h：根据所述压线点和压线时间进行压线危险等级评估；以及
步骤i：根据所述碰撞点和碰撞时间进行碰撞危险等级评估。
2.根据权利要求1所述的方法，其特征在于，步骤a中，所述视觉传感器设置在车头部位、车辆左侧和车辆右侧，以确保相邻视觉传感器采集的图像范围至少部分重叠；获得所述世界坐标系与摄像机视场之间的关系包括：在对每个视觉传感器做好内参标定之后，再在世界坐标系下对每个视觉传感器标定外参，以及，根据视角计算相邻的两个视觉传感器之间重叠的视角范围。
3.根据权利要求1所述的方法，其特征在于，步骤c中，进行车辆识别或车轮识别的方法为基于深度神经网络学习的目标检测或语义分割方法，或基于提取特定多特征训练指定目标分类器的方法；所述车辆位置包括车辆的2D框位置，车辆3D框位置和车辆轮廓的曲线；所述车轮位置包括车轮的2D框位置和车轮轮廓曲线；所述车道线位置包括车道线轮廓曲线。
4.根据权利要求3所述的方法，其特征在于，步骤c中还包括对相邻视觉传感器之间重叠的图像范围内同一辆车识别到的多个车辆位置进行车辆位置合并，对相邻视觉传感器之间重叠的图像范围内同一个车轮识别到的多个车轮位置进行车轮位置合并，以及对相邻视觉传感器之间重叠的图像范围内同一根车道线识别到的多个车道线位置进行车道线位置合并。
5.根据权利要求4所述的方法，其特征在于，步骤d中计算从属关系进一步包括如下步骤：
步骤d1：基于每一辆车的车辆轮廓曲线上的所有点坐标遍历比较得到该车辆车体横向最大最小值和纵向最大最小值；
步骤d2：基于每一个车轮的车轮轮廓曲线将车轮边缘点坐标值与上一步计算得到的车体最值范围进行比较；以及
步骤d3：如果车轮2D框顶点中有三个以上的边缘点或者车轮轮廓曲线上的所有点内有超过一半数量在某一车辆的车体最值范围内则判断该车轮属于该车辆，从而获得所有检测到的车辆和所有检测到的车轮之间的从属关系。
6.根据权利要求5所述的方法，其特征在于，步骤e中计算所述欧式距离之前先进行关联步骤：对本车周围所有检测到的车辆建立关联，以确保被多个视觉传感器采集到的被跟踪的同一目标车辆的跟踪目标编号保持一致，以及对多个视觉传感器采集到的同一条车道线建立目标关联。
7.根据权利要求6所述的方法，其特征在于，步骤f进一步包括如下步骤：
步骤f1：计算目标车辆的前后轮最低点连线直线方程，计算车道线曲线拟合方程，将前述两个方程联立求交点位置，通过投影变换计算出该交点在世界坐标系下的坐标，即为该目标车辆在当前状态下可能压线的压线点的坐标；
步骤f2：通过限定帧内对于所述目标车辆的车轮连续跟踪计算得到该目标车辆当前相对时速，计算目标车辆的前轮最低点到压线点的直线距离，则压线时间等于所述距离和所述相对时速的比值。
8.根据权利要求7所述的方法，其特征在于，步骤g进一步包括如下步骤：
步骤g1：在图像坐标系下根据目标车辆的前轮和后轮触地点相连求解的直线方程和本车辆中轴线延长线直线方程联立求解得到交点，通过投影变换计算出该交点在世界坐标系下的坐标，即为该机动车在当前状态下可能与本车相撞的碰撞点的坐标；
步骤g2：计算碰撞时间，包括：
步骤g21：计算每一个目标车辆前后轮连线中心点在X轴方向上与本车中心点的横向距离和在Y轴方向上与本车中心点的纵向距离；
步骤g22：通过限定帧内对于所述每一个目标车辆的车轮连续跟踪计算得到该车辆当前相对时速，通过分解得到X轴方向的横向相对速度和Y轴方向的纵向相对速度；
步骤g23：在世界坐标系下若碰撞点位于车身覆盖范围之内，则碰撞时间为横向距离与横向相对速度的比值；在世界坐标系下若碰撞点位于车身覆盖范围之外，则计算横向距离与横向相对速度的比值，以及计算纵向距离与纵向相对速度的比值，碰撞时间为这两个值中较小的值。
9.根据权利要求8所述的方法，其特征在于，步骤h中，压线危险等级评估按照压线时间从短到长认定危险等级变高，按照压线交点位置由远及近认定危险等级变高，由前述两个因素共同计算压线危险等级。
10.根据权利要求9所述的方法，其特征在于，步骤i中，所述碰撞危险评估根据碰撞点是否在本车车体范围之内分为高级危险等级和次级危险等级，再在前述两个等级内按照碰撞时间从短到长认定危险等级变高，按照碰撞交点位置由远及近认定危险等级变高，由前述两个因素共同计算碰撞危险等级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910279775.XA CN110077399B (zh) | 2019-04-09 | 2019-04-09 | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910279775.XA CN110077399B (zh) | 2019-04-09 | 2019-04-09 | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110077399A true CN110077399A (zh) | 2019-08-02 |
| CN110077399B CN110077399B (zh) | 2020-11-06 |
Family
ID=67414682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910279775.XA Active CN110077399B (zh) | 2019-04-09 | 2019-04-09 | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110077399B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110539748A (zh) * | 2019-08-27 | 2019-12-06 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车系统和终端 |
| CN110555402A (zh) * | 2019-08-27 | 2019-12-10 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车方法、系统、终端和存储介质 |
| CN110796023A (zh) * | 2019-10-09 | 2020-02-14 | 华南理工大学 | Agv智能泊车系统交互区停车状态车轮位置的识别方法 |
| CN110956081A (zh) * | 2019-10-14 | 2020-04-03 | 广东星舆科技有限公司 | 车辆与交通标线位置关系的识别方法、装置及存储介质 |
| CN111231950A (zh) * | 2020-03-05 | 2020-06-05 | 北京百度网讯科技有限公司 | 规划车辆变道路径的方法、装置、设备及可读存储介质 |
| CN111256707A (zh) * | 2019-08-27 | 2020-06-09 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车系统和终端 |
| CN111332298A (zh) * | 2020-02-19 | 2020-06-26 | 北京百度网讯科技有限公司 | 可行驶区域确定方法、装置、设备及存储介质 |
| CN111402329A (zh) * | 2020-03-24 | 2020-07-10 | 上海眼控科技股份有限公司 | 车辆压线检测方法、装置、计算机设备和存储介质 |
| CN111605481A (zh) * | 2019-08-27 | 2020-09-01 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车系统和终端 |
| CN111750886A (zh) * | 2020-05-12 | 2020-10-09 | 北京智行者科技有限公司 | 局部路径规划方法及装置 |
| CN112464790A (zh) * | 2020-11-25 | 2021-03-09 | 上海眼控科技股份有限公司 | 一种车辆压线等级确定方法、装置、设备及存储介质 |
| CN112464841A (zh) * | 2020-12-04 | 2021-03-09 | 四川长虹电器股份有限公司 | 一种用于专用道路违规行驶车辆检测的方法、存储介质 |
| CN112530160A (zh) * | 2020-11-18 | 2021-03-19 | 合肥湛达智能科技有限公司 | 一种基于深度学习的目标距离检测方法 |
| CN113255404A (zh) * | 2020-02-11 | 2021-08-13 | 北京百度网讯科技有限公司 | 车道线识别方法、装置、电子设备和计算机可读存储介质 |
| CN114582132A (zh) * | 2022-05-05 | 2022-06-03 | 四川九通智路科技有限公司 | 一种基于机器视觉的车辆碰撞检测预警系统及方法 |
| CN115147791A (zh) * | 2022-06-28 | 2022-10-04 | 广州文远知行科技有限公司 | 一种车辆变道检测方法、装置、交通工具及存储介质 |
| CN115601435A (zh) * | 2022-12-14 | 2023-01-13 | 天津所托瑞安汽车科技有限公司（Cn） | 车辆姿态检测方法、装置、车辆及存储介质 |
| WO2023072135A1 (zh) * | 2021-10-26 | 2023-05-04 | 中国第一汽车股份有限公司 | 车辆安全行驶的评估方法、装置、车辆及存储介质 |
| CN117576650A (zh) * | 2024-01-16 | 2024-02-20 | 合众新能源汽车股份有限公司 | 基于融合的车辆变道检测方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101870293A (zh) * | 2009-04-24 | 2010-10-27 | 南京理工大学 | 基于切道行为检测的车辆驾驶状态评价方法 |
| US20160203720A1 (en) * | 2015-01-13 | 2016-07-14 | Hyundai Mobis Co., Ltd. | Apparatus for safety-driving of vehicle |
| CN106056100A (zh) * | 2016-06-28 | 2016-10-26 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
| JP2017102827A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社デンソー | 走行軌跡生成装置、走行軌跡生成方法 |
| US20180215333A1 (en) * | 2011-04-27 | 2018-08-02 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
| CN109190483A (zh) * | 2018-08-06 | 2019-01-11 | 武汉大学 | 一种基于视觉的车道线检测方法 |
-
2019
- 2019-04-09 CN CN201910279775.XA patent/CN110077399B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101870293A (zh) * | 2009-04-24 | 2010-10-27 | 南京理工大学 | 基于切道行为检测的车辆驾驶状态评价方法 |
| US20180215333A1 (en) * | 2011-04-27 | 2018-08-02 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
| US20160203720A1 (en) * | 2015-01-13 | 2016-07-14 | Hyundai Mobis Co., Ltd. | Apparatus for safety-driving of vehicle |
| JP2017102827A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社デンソー | 走行軌跡生成装置、走行軌跡生成方法 |
| CN106056100A (zh) * | 2016-06-28 | 2016-10-26 | 重庆邮电大学 | 一种基于车道检测与目标跟踪的车辆辅助定位方法 |
| CN109190483A (zh) * | 2018-08-06 | 2019-01-11 | 武汉大学 | 一种基于视觉的车道线检测方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555402A (zh) * | 2019-08-27 | 2019-12-10 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车方法、系统、终端和存储介质 |
| CN111256707A (zh) * | 2019-08-27 | 2020-06-09 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车系统和终端 |
| CN110539748A (zh) * | 2019-08-27 | 2019-12-06 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车系统和终端 |
| CN111605481A (zh) * | 2019-08-27 | 2020-09-01 | 北京纵目安驰智能科技有限公司 | 基于环视的拥堵跟车系统和终端 |
| CN110796023A (zh) * | 2019-10-09 | 2020-02-14 | 华南理工大学 | Agv智能泊车系统交互区停车状态车轮位置的识别方法 |
| CN110796023B (zh) * | 2019-10-09 | 2022-03-29 | 华南理工大学 | Agv智能泊车系统交互区停车状态车轮位置的识别方法 |
| CN110956081B (zh) * | 2019-10-14 | 2023-05-23 | 广东星舆科技有限公司 | 车辆与交通标线位置关系的识别方法、装置及存储介质 |
| CN110956081A (zh) * | 2019-10-14 | 2020-04-03 | 广东星舆科技有限公司 | 车辆与交通标线位置关系的识别方法、装置及存储介质 |
| CN113255404A (zh) * | 2020-02-11 | 2021-08-13 | 北京百度网讯科技有限公司 | 车道线识别方法、装置、电子设备和计算机可读存储介质 |
| CN111332298A (zh) * | 2020-02-19 | 2020-06-26 | 北京百度网讯科技有限公司 | 可行驶区域确定方法、装置、设备及存储介质 |
| CN111332298B (zh) * | 2020-02-19 | 2021-08-31 | 北京百度网讯科技有限公司 | 可行驶区域确定方法、装置、设备及存储介质 |
| CN111231950A (zh) * | 2020-03-05 | 2020-06-05 | 北京百度网讯科技有限公司 | 规划车辆变道路径的方法、装置、设备及可读存储介质 |
| CN111402329A (zh) * | 2020-03-24 | 2020-07-10 | 上海眼控科技股份有限公司 | 车辆压线检测方法、装置、计算机设备和存储介质 |
| CN111750886A (zh) * | 2020-05-12 | 2020-10-09 | 北京智行者科技有限公司 | 局部路径规划方法及装置 |
| CN111750886B (zh) * | 2020-05-12 | 2022-06-28 | 重庆兰德适普信息科技有限公司 | 局部路径规划方法及装置 |
| CN112530160A (zh) * | 2020-11-18 | 2021-03-19 | 合肥湛达智能科技有限公司 | 一种基于深度学习的目标距离检测方法 |
| CN112464790A (zh) * | 2020-11-25 | 2021-03-09 | 上海眼控科技股份有限公司 | 一种车辆压线等级确定方法、装置、设备及存储介质 |
| CN112464841A (zh) * | 2020-12-04 | 2021-03-09 | 四川长虹电器股份有限公司 | 一种用于专用道路违规行驶车辆检测的方法、存储介质 |
| WO2023072135A1 (zh) * | 2021-10-26 | 2023-05-04 | 中国第一汽车股份有限公司 | 车辆安全行驶的评估方法、装置、车辆及存储介质 |
| CN114582132A (zh) * | 2022-05-05 | 2022-06-03 | 四川九通智路科技有限公司 | 一种基于机器视觉的车辆碰撞检测预警系统及方法 |
| CN115147791A (zh) * | 2022-06-28 | 2022-10-04 | 广州文远知行科技有限公司 | 一种车辆变道检测方法、装置、交通工具及存储介质 |
| CN115601435A (zh) * | 2022-12-14 | 2023-01-13 | 天津所托瑞安汽车科技有限公司（Cn） | 车辆姿态检测方法、装置、车辆及存储介质 |
| CN115601435B (zh) * | 2022-12-14 | 2023-03-14 | 天津所托瑞安汽车科技有限公司 | 车辆姿态检测方法、装置、车辆及存储介质 |
| CN117576650A (zh) * | 2024-01-16 | 2024-02-20 | 合众新能源汽车股份有限公司 | 基于融合的车辆变道检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110077399B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110077399A (zh) | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 | |
| CN110065494A (zh) | 一种基于车轮检测的车辆防碰撞方法 | |
| CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
| CN106240458B (zh) | 一种基于车载双目相机的车辆前方碰撞预警方法 | |
| CN106908783B (zh) | 基于多传感器信息融合的障碍物检测方法 | |
| CN110356325B (zh) | 一种城市交通客运车辆盲区预警系统 | |
| CN105844222B (zh) | 基于视觉的前方车辆碰撞预警系统及方法 | |
| CN104386092B (zh) | 基于图像识别和多感知融合的列车自动防护系统及方法 | |
| US9359009B2 (en) | Object detection during vehicle parking | |
| CN107031623A (zh) | 一种基于车载盲区相机的道路预警方法 | |
| CN104573646A (zh) | 基于激光雷达和双目相机的车前行人检测方法及系统 | |
| CN107862287A (zh) | 一种前方小区域物体识别及车辆预警方法 | |
| CN107991671A (zh) | 一种基于雷达数据和视频信号融合识别危险目标的方法 | |
| CN102685516A (zh) | 立体视觉主动安全辅助驾驶方法 | |
| CN109733283B (zh) | 基于ar的被遮挡障碍物识别预警系统及识别预警方法 | |
| CN109001743B (zh) | 有轨电车防撞系统 | |
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| CN110816527A (zh) | 一种车载夜视安全方法和系统 | |
| Gavrila et al. | A multi-sensor approach for the protection of vulnerable traffic participants the PROTECTOR project | |
| CN114415171A (zh) | 一种基于4d毫米波雷达的汽车可行驶区域检测方法 | |
| CN113568002A (zh) | 基于激光和图像数据融合的轨道交通主动障碍物检测装置 | |
| US11403951B2 (en) | Driving assistance for a motor vehicle when approaching a tollgate | |
| CN114537374A (zh) | 一种基于可行驶区域的车辆前方防碰撞系统 | |
| CN114419874A (zh) | 基于路侧感知设备数据融合的目标行车安全风险预警方法 | |
| CN113432615A (zh) | 基于多传感器融合可驾驶区域的检测方法、系统和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |