CN116682091A - 用于自动驾驶车辆的障碍物感知方法、装置 - Google Patents

用于自动驾驶车辆的障碍物感知方法、装置 Download PDF

Info

Publication number
CN116682091A
CN116682091A CN202310538397.9A CN202310538397A CN116682091A CN 116682091 A CN116682091 A CN 116682091A CN 202310538397 A CN202310538397 A CN 202310538397A CN 116682091 A CN116682091 A CN 116682091A
Authority
CN
China
Prior art keywords
lane
obstacle
result
positioning result
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310538397.9A
Other languages
English (en)
Inventor
刘梦迪
关梅茹
张东好
曹坤
彭海娟
田山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingxiang Technology Co Ltd
Original Assignee
Beijing Jingxiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingxiang Technology Co Ltd filed Critical Beijing Jingxiang Technology Co Ltd
Priority to CN202310538397.9A priority Critical patent/CN116682091A/zh
Publication of CN116682091A publication Critical patent/CN116682091A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种用于自动驾驶车辆的障碍物感知方法、装置，所述方法在自动驾驶车辆上执行，其包括根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。通过本申请采用2D像素和3D场景结合的方法，识别障碍物处于哪个车道，提升了自车障碍物感知结果的准确率。

Description

用于自动驾驶车辆的障碍物感知方法、装置
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种用于自动驾驶车辆的障碍物感知方法、装置。
背景技术
精准感知自车周围所有的障碍物并明确障碍物所处的车道，对于自动驾驶系统决策规划模块合理规划自车行驶路线、规避碰撞风险等具有重要意义。
相关技术中，对于自动驾驶车辆明确自身周围障碍物分别处于哪条车道时的感知准确率较差。
发明内容
本申请实施例提供了一种用于自动驾驶车辆的障碍物感知方法、装置，以提高障碍物感知准确率。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种用于自动驾驶车辆的障碍物感知方法，其中，所述方法包括：
根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；
根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；
根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
在一些实施例中，所述方法还包括：
预先获取所述自动驾驶车辆当前行驶路段的高精地图数据中的车道信息；
根据所述自动驾驶车辆上的相机感知结果中的车道线信息与所述高精地图数据中的车道信息的数据融合后进行关联跟踪，得到基于高精地图车道线和相机感知车道线的车道结构信息，所述车道结构信息至少包括车道ID、车道线ID。
在一些实施例中，所述根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果，包括：
根据所述自动驾驶车辆上的相机感知结果，获取同一图像帧上感知车道线在图像坐标系下的曲线参数和所述障碍物在图像坐标系下的包络框的四个角点坐标；
根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果。
在一些实施例中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，包括：
在车道线未被所述障碍物遮挡的情况下，根据所述车道结构信息遍历车道结构中的所有车道，并计算该障碍物与其中一车道的左右车道线的比例关系；
根据所述障碍物与其中一车道的左右车道线的比例关系，确定所述障碍物在哪个车道；
如果所述障碍物的左下点和右下点均处于某一车道内部，则所述障碍物处于当前一个车道内；
如果所述障碍物横跨了两个车道，则计算所述障碍物的宽度在两个车道中的比例，并确定所述障碍物是否处于当前一个车道内或者横跨两个车道。
在一些实施例中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，还包括：
分别计算所述障碍物的包络框左下点bottom_left和右下点bottom_right与每条车道两条车道线left_line[i]和right_line[i]之间的横向位置关系与包络框的宽度bottom_width比例关系，所述left_line[i]、right_line[i]为车道线在图像坐标系下的横向位置；
如果所述障碍物位于当前自动驾驶车辆行驶的车道，则预设比例关系中的left_over和right_over均为正值；
若障碍物位于当前自车行驶的右侧车道，则所述right_over为负值；
若障碍物位于当前自车行驶的左侧车道，则所述right_over为正值；
判断出所述障碍物处于哪条车道ID，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
在一些实施例中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，还包括：
当所述障碍物横跨两条车道，且有一条车道线被所述障碍物遮挡属于无效车道线时：
当有一条车道的左车道线无效，则使用right_over；
若right_over为负值，则所述障碍物位于当前车道的右侧车道；
若right_over为正值，则所述障碍物位于当前车道或者当前车道的左侧车道；
将所述right_over为负值且所述障碍物位于当前车道右侧车道ID的情况记录作为检测结果，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
在一些实施例中，所述方法还包括：
当所述障碍物在图像中是不完整的时：
如果根据自动驾驶车辆的图像感知结果的截断的标志位，判断所述障碍物为截断状态，则根据得到的截断的障碍物计算其处于哪条车道；
根据所述截断的障碍物在2D像素平面上计算出来的2D车道定位结果，置信度赋予第二置信度，所述第二置信度小于所述第一置信度。
在一些实施例中，所述根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果，包括：
在自动驾驶车辆的车体坐标系下，获取多传感器数据融合之后的所述障碍物的3D包络框数据、中心点坐标及车道线信息；
根据3D包络框底面上的四个角点与车道线之间的相对位置，判断所述障碍物在哪条车道；
如果所述障碍物在一个车道，则将该车道记录，如果所述障碍物横跨两个车道，则将两个车道都记录；
根据车道记录结果，将在3D空间下计算出来的3D车道定位结果赋予第三置信度。
在一些实施例中，所述根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道，包括：
比较所述2D车道定位结果以及所述3D车道定位结果的置信度，取置信度高的结果作为最终结果，以确定所述障碍物所在的车道。
第二方面，本申请实施例还提供一种用于自动驾驶车辆的障碍物感知装置，其中，所述装置包括：
2D像素平面定位模块，用于根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；
3D空间定位模块，用于根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；
确定模块，用于根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：首先根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果。然后根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果。最后根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。也就是说可以在车道线丢失时使用高精地图的车道线判断障碍物在哪个车道，或者亦可以在没有高精地图的场景中使用感知的车道线去判断障碍物在哪个车道。此外，利用2D图像中障碍物和车道线相对位置清晰明确可以提高感知的准确率；或在障碍物在2D图像中部分遮挡或异常的时候根据3D车道定位结果，利用后向和侧向传感器跟踪的包络框尺寸判断中障碍物在哪个车道在2D图像被遮挡时进行辅助。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中用于自动驾驶车辆的障碍物感知方法的流程示意图；
图2为本申请实施例中用于自动驾驶车辆的障碍物感知方法的实现原理示意图；
图3为本申请实施例中用于自动驾驶车辆的障碍物感知方法中车道ID和车道线ID；
图4为本申请实施例中障碍物处于某一条车道的情况示意图；
图5为本申请实施例中障碍物横跨两条车道的情况示意图；
图6为本申请实施例中障碍物被截断的情况示意图；
图7为本申请实施例中用于自动驾驶车辆的障碍物感知装置结构示意图；
图8为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人研究时发现，在相关技术中，对于自动驾驶车辆明确自身周围障碍物分别处于哪条车道的方法主要包括如下几种方式：
方式1，结合障碍物中心点在自车坐标系下的坐标及感知给出的车道线曲线方程，判断障碍物和车道线之间的关系，进而确定障碍物所处的车道。
方式2，不使用感知车道线，而是将前方待测范围的地图数据投射到图像数据中，在图像域中找到与障碍物包围框距离最小的两条车道线，从而得到障碍物所在车道。
方式3，从高精地图获取车道线的坐标点，基于车道中心线构造Frenet道路坐标系，在Frenet坐标系下拟合出左右车道线的曲线方程，构建每两条车道线的约范围，判断车辆是否在某两条车道得约束范围内从而确定障碍物所处车道。
方式4，根据相机等传感器检测到的障碍物及其围栏(包络框)与驾驶表面上的车道及其车道掩码之间的重叠关系，选择重叠率最高的车道，认为是障碍物所处的车道。
基于进一步研究，在方式1中的缺陷在于：使用感知给出的障碍物中心点在自车坐标系下的坐标，只能给出障碍物的中心点所处的车道。若障碍物跨车道，则会造成判断不准确，比如障碍物换道，车体已经跨越车道，但是中心点还在原车道，会导致判断不准确。此外，感知车道线的有效距离是有限的，当障碍物超出感知车道线的有限范围之后，就不能判断障碍物所处得车道了。另外，当前方有大车行驶，会出现感知车道线被遮挡的情况，左右两条车道中间的车道线在感知结果中丢失，便不能准确定位障碍物车道了。
在方式2以及3中的缺陷在于：较为依赖高精地图，在没有车道级高精地图的场景下，功能则会失效。同时，将高精地图的数据实时投影到车体坐标系下时，依赖于车辆的定位信息及车身的航向角，误差层层积累，精度较差。对于远距离的目标，相机测距准确率会大幅度降低，此时再将相机感知到的障碍物和高精地图做转换，误差较大。
在方式4的缺陷在于：a.只适用于车辆前方可行驶区域内的障碍物的车道判断，在车辆两侧及后方的障碍物不能使用该方法判断其处于哪条车道。b.只在像素平面上判断障碍物在哪个车道，当障碍物被遮挡等只有一部分被识别到的时候，障碍物的对象围栏是残缺的，将不能给出正确的车道归属。
针对上述不足，本申请实施例中的用于自动驾驶车辆的障碍物感知方法，可以在车道线丢失时使用高精地图的车道线判断障碍物在哪个车道，也可以在没有高精地图的场景中使用感知的车道线去判断障碍物在哪个车道。
进一步地，本申请中的方法既可以利用2D图像中障碍物和车道线相对位置清晰明确的优点，又可以在障碍物在2D图像中部分遮挡的时候，利用后向和侧向传感器跟踪的包络框尺寸判断中障碍物在哪个车道。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种用于自动驾驶车辆的障碍物感知方法，如图1所示，提供了本申请实施例中用于自动驾驶车辆的障碍物感知方法流程示意图，所述方法至少包括如下的步骤S110至步骤S130：
步骤S110，根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果。
为了更好地确定障碍物所在的车道，可以提前获取当前行驶道路的高精地图数据中的车道信息以及自动驾驶车辆上的相机给出的车道线的信息，将二者进行多传感器数据融合的关联和跟踪，给出一个结合高精地图车道线和感知车道线的车道结构结果；当感知车道线和高精地图车道线其中一者丢失时，则不做目标数据关联和跟踪，可以直接发出单传感器的车道线结果。
自动驾驶车辆通常具有多种类型的传感器，包括激光雷达、毫米波雷达、视觉传感器等，通过多种类型的传感器作为多传感器融合感知结果。
对于视觉传感器而言，可以包括安装在自动驾驶车辆上的多个相机，相机的具体安装位置在本申请的实施例中并不进行具体限定，本领域技术人员可以根据实际情况进行选择。对于自动驾驶车辆上的相机感知结果(至少包括一个相机)，在2D图像像素中判断障碍物在图像坐标系中的位置，作为2D车道定位结果。
需要注意的是，此时并不需要判断感知结果中是否存在被遮挡的情况，只需要之后计算感知结果的置信度即可。
进一步地，由于在相机的每一帧图像中均含有车道线和障碍物的信息(不包含的图像不作为结果)，图像感知的车道线检测和障碍物检测的结果均可在同一帧图像中体现，如图4所示，可以通过获取同一帧上感知车道线在图像坐标系下的曲线参数(比如，车道线、交通标识)及目标障碍物在图像坐标系下的包络框的四个角点坐标。
步骤S120，根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果。
如前所述，在自动驾驶车辆上包括多种类型传感器，可以根据多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到在三维场景中3D车道定位结果。
进一步地，在当前车体坐标系下，获取多传感器(可以是相机、激光雷达，甚至是更多的传感器)数据融合之后的障碍物的3D包络框数据、中心点坐标及车道线信息。根据3D包络框底面上的四个角点与车道线之间的相对位置，判断障碍物在哪条车道。也就是说通过多传感器感知融合结果，可以确定出目标障碍物(自车前方或后方，以及左侧右侧出现的障碍物)在哪一条车道。由于有高精地图的数据，故可以根据融合感知结果确定出目标障碍物在哪一条车道。
示例性地，采用视觉SLAM或者激光SLAM的方式均可确定障碍物在哪一个具体车道。
需要注意的是，在3D空间下，无论是多传感器数据融合给出的障碍物的位置信息还是感知和高精地图融合得到的车道线信息，都会随着距离的变远，精度下降。
步骤S130，根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
根据上述获得的所述2D车道定位结果和所述3D车道定位结果，通过比较2D和3D空间下，车道划分结果的置信度，取置信度高的结果作为最终结果。
如果仅采用相机感知到的车道线结果，通常有效距离一般在80-100米以内，遇到弯道时车道线的感知有效距离会更短，通过3D车道定位结果可以解决当障碍物的纵向位置超出感知车道线的有效范围时，周围没有车道线，不能根据相对位置去判断障碍物在哪条车道的问题。
通过上述方法，基于2D车道定位结果，可以在目标障碍物未被遮挡的情况下，将利用2D图像中障碍物和车道线相对位置清晰明确的2D车道定位结果作为障碍物感知结果。基于3D车道定位结果，可以在在车道线丢失时使用高精地图的车道线判断障碍物在哪个车道，同时也可以在没有高精地图的场景中使用感知的车道线去判断障碍物在哪个车道。
进一步地，通过将障碍物的车道定位进行分情况分析，可以得到障碍物所在的具体车道或者车道线，覆盖所有可能出现的情况，即当障碍物轮廓完全暴露在2D图像中时，车道线和障碍物的相对位置准确；但当障碍物刚进入视觉传感器的FOV视场角时，障碍物轮廓不全，视觉无法判断障碍物处于哪个车道，这时可以在3D空间中，利用障碍物后方、左右侧方多传感器融合多帧跟踪结果，综合判断障碍物处于哪个车道。
采用上述方法，在没有车道级高精地图的场景下，也能够准确判断障碍物处在哪条车道。不仅能够判断车辆后方可行驶区域的障碍物在哪个车道，还能够判断在自动驾驶车辆的左、右方障碍物处于哪个车道。
区别于相关技术中，使用的传感器类型单一的问题，当出现障碍物正好处于某一条车道、或者障碍物出现横跨两条车道，或者障碍物被截断/遮挡的情况，可以在2D图像中根据障碍物的包络框以及角点坐标信息，确定障碍物具体属于哪一个情况。
区别于相关技术中，自动驾驶车辆的感知结果对高精地图的强依赖，在没有车道级高精地图的场景下，无法较为准确判断障碍物处在哪条车道的问题。在车道线丢失时使用高精地图的车道线判断障碍物在哪个车道，也可以在没有高精地图的场景中使用感知的车道线去判断障碍物在哪个车道。
区别于相关技术中，只能判断车辆前方可行驶区域的障碍物在哪个车道，不能判断车辆左、右、后方障碍物处于哪个车道的问题。可以在3D空间中，利用后方和侧方多传感器融合多帧跟踪结果，综合判断障碍物处于哪个车道。
在本申请的一个实施例中，所述方法还包括：预先获取所述自动驾驶车辆当前行驶路段的高精地图数据中的车道信息；根据所述自动驾驶车辆上的相机感知结果中的车道线信息与所述高精地图数据中的车道信息的数据融合后进行关联跟踪，得到基于高精地图车道线和相机感知车道线的车道结构信息，所述车道结构信息至少包括车道ID、车道线ID。
如图3所示，车道结构结果包含当前行驶的道路上有几条车道，每个车道均有一个车道ID，本车道(当前车辆所行驶的车道为本车道)、左车道、右车道等车道均有明确可知的ID；每条车道均由两条车道线组成，组成该车道的左、右车道线ID均可知。根据车道ID、车道线ID可以明确障碍物所处车道的具体位置。
在本申请的一个实施例中，所述根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果，包括：根据所述自动驾驶车辆上的相机感知结果，获取同一图像帧上感知车道线在图像坐标系下的曲线参数和所述障碍物在图像坐标系下的包络框的四个角点坐标；根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果。
如图4所示，相机的每一帧图像中均含有车道线和障碍物的信息，图像感知的车道线检测和障碍物检测的结果均可在同一帧图像中体现，获取同一帧上感知车道线在图像坐标系下的曲线参数及障碍物在图像坐标系下的包络框的四个角点坐标。
进一步地，考虑到车辆在行驶过程中，障碍物可能在某一条车道内，也可能横跨两条车道(比如前方车辆换道)，自动驾驶车辆的相机可能能够捕捉到障碍物的完整轮廓，也可能只能捕捉到障碍物的一部分轮廓。故可以分情况得到障碍物的车道定位结果，包括当出现障碍物正好处于某一条车道、或者障碍物出现横跨两条车道，或者障碍物被截断/遮挡的情况。
在本申请的一个实施例中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，包括：在车道线未被所述障碍物遮挡的情况下，根据所述车道结构信息遍历车道结构中的所有车道，并计算该障碍物与其中一车道的左右车道线的比例关系；根据所述障碍物与其中一车道的左右车道线的比例关系，确定所述障碍物在哪个车道；如果所述障碍物的左下点和右下点均处于某一车道内部，则所述障碍物处于当前一个车道内；如果所述障碍物横跨了两个车道，则计算所述障碍物的宽度在两个车道中的比例，并确定所述障碍物是否处于当前一个车道内或者横跨两个车道。
情况1的分类a，车道线没有被遮挡，且障碍物完全在某一个车道内，
bottom_width＝|bottom_right-bottom_left|
根据计算公式：
left_over＝(bottom_right-left_pre)/bottom_width；在该列中left_over>1；
right_over＝(bottom_left-right_pre)/bottom_width；在该列中right_over>1；
由上可知，right_over和left_over的比例关系均大于1，故此时障碍物位于一个车道内。
情况2的分类b，车道线没有被遮挡，且障碍物横跨两个车道(车道1和车道2)，根据计算公式，
对于车道1而言，{left_over>1，right_over<1}，比例关系可能是0.3也可能是0.5等比例情况。可以根据实际情况判断left_over占该车道内的比例，如果超过障碍物的宽度0.3，则认为在车道内。
对于车道2而言，{left_over<1，right_over>1}，同车道1，根据占该车道内的比例，确定是否在车道内。
综上可知，障碍物不一定是在同一个车道里边，比如，他车(作为障碍物)在切入切出的时候，就横跨两个车道，根据他在两个车道里的比例关系，确定他在哪个车道。
遍历车道结构里的所有车道，计算该障碍物和某一车道的左右车道线的距离关系。计算公式：
left_over＝(bottom_right-left_pre)/bottom_width
Right_over＝(right_pre-bottom_left)/bottom_width
也就是说，如果该障碍物的左下点和右下点均处于某一车道内部，那该障碍物肯定是在这个车道内的，如果该障碍物横跨了两个车道，计算该障碍物的宽度在两个车道中的比例。
示例性地，以0.3为阈值时，如果left_over＝0.2，Right_over＝0.8，则只在右车道；如果left_over＝0.31，Right_over＝0.79，则在两个车道，如果left_over＝0.5，Right_over＝0.5，则在两个车道，如果left_over＝0.7，Right_over＝0.2，只在左车道。
分别计算所述障碍物的包络框左下点bottom_left和右下点bottom_right与每条车道两条车道线left_line[i]和right_line[i]之间的横向位置关系与包络框的宽度bottom_width比例关系，所述left_line[i]、right_line[i]为车道线在图像坐标系下的横向位置；
如果所述障碍物位于当前自动驾驶车辆行驶的车道，则预设比例关系中的left_over和right_over均为正值；
若障碍物位于当前自车行驶的右侧车道，则所述right_over为负值；
若障碍物位于当前自车行驶的左侧车道，则所述right_over为正值；
判断出所述障碍物处于哪条车道ID，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
在一些实施例中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，还包括：当所述障碍物横跨两条车道，且有一条车道线被所述障碍物遮挡属于无效车道线时：当有一条车道的左车道线无效，则使用right_over；若right_over为负值，则所述障碍物位于当前车道的右侧车道；若right_over为正值，则所述障碍物位于当前车道或者当前车道的左侧车道；将所述right_over为负值且所述障碍物位于当前车道右侧车道ID的情况记录作为检测结果，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
车道ID、车道线ID可以根据高精地图数据获取，或者预先设定。
具体实施时，当出现障碍物只处于其中一个车道，车道线没有被遮挡的情况一时，
分别计算障碍物包络框左下点(bottom_left)和右下点(bottom_right)与每条车道两条车道线(left_line[i]和right_line[i])之间的横向位置关系与包络框的宽度(bottom_width)比例关系：
left_over＝(bottom_right-left_line[i])/bottom_width；
right_over＝(bottom_left-right_line[i])/bottom_width；
如果障碍物位于当前自车行驶的车道，其left_over和right_over均为正值；若障碍物位于当前自车行驶的右侧车道，其right_over为负值；在左侧车道同理。以此可以判断出障碍物处于哪条车道，此时，将2D像素平面上计算出来的结果，赋予置信度为1.0。
在一些实施例中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，还包括：当所述障碍物横跨两条车道，且有一条车道线被所述障碍物遮挡属于无效车道线时：当有一条车道的左车道线无效，则使用right_over；若right_over为负值，则所述障碍物位于当前车道的右侧车道；若right_over为正值，则所述障碍物位于当前车道或者当前车道的左侧车道；将所述right_over为负值且所述障碍物位于当前车道右侧车道ID的情况记录作为检测结果，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
当出现障碍物横跨两条车道，有一条车道线被障碍物遮挡，属于无效车道线的情况二时：
可以按照情况一的方式计算left_over和right_over，若某一条车道的左车道线无效，则只能使用right_over。
若right_over为负值，则障碍物位于当前车道的右侧车道；
若right_over为正值，则障碍物位于当前车道或者当前车道的左侧车道；
需要注意的是，这里由于若某一条车道的左车道线无效，故只相信right_over为负值，障碍物位于当前车道右侧车道的情况，并将其记录进检测结果中，将2D像素平面上计算出来的结果，赋予置信度为1.0。
在本申请的一个实施例中，所述方法还包括：当所述障碍物在图像中是不完整的时：如果根据自动驾驶车辆的图像感知结果的截断的标志位，判断所述障碍物为截断状态，则根据得到的截断的障碍物计算其处于哪条车道；根据所述截断的障碍物在2D像素平面上计算出来的2D车道定位结果，置信度赋予第二置信度，所述第二置信度小于所述第一置信度。
当出现障碍物在图像中是不完整的情况三时：
如果图像感知结果提示障碍物是截断状态，仍然按照情况二或者情况一的方法计算其处于哪条车道，然后将截断的障碍物在2D像素平面上计算出来的车道定位结果，置信度赋予0.2。
最终2D像素中的结果要与3D空间中的结果进行比较，选择置信度更高的结果作为最终结果。
需要注意的是，通常视觉感知会给出是否截断的标志位，本领域技术人员可以根据多种方式获取，在本申请的实施例中并不进行具体限定。
在本申请的一个实施例中，所述根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果，包括：在自动驾驶车辆的车体坐标系下，获取多传感器数据融合之后的所述障碍物的3D包络框数据、中心点坐标及车道线信息；根据3D包络框底面上的四个角点与车道线之间的相对位置，判断所述障碍物在哪条车道；如果所述障碍物在一个车道，则将该车道记录，如果所述障碍物横跨两个车道，则将两个车道都记录；根据车道记录结果，将在3D空间下计算出来的3D车道定位结果赋予第三置信度。
在当前车体坐标系下，获取多传感器(可以是camera、radar，甚至是更多的传感器)数据融合之后的障碍物的3D包络框数据、中心点坐标及车道线信息。根据3D包络框底面上的四个角点与车道线之间的相对位置，判断障碍物在哪条车道。若障碍物横跨两个车道，则将两个车道都记录进结果里。
此外，在自动驾驶车辆的车体坐标系下，获取多传感器数据融合之后的所述障碍物的3D包络框数据、中心点坐标及车道线信息时，还包括了自动驾驶车辆的后方、左侧以及后侧的障碍物的所有情况。
可以理解，在3D空间下使用四个角点而2D空间下只使用两个角点是由于2D感知结果只框了障碍物可视面即使用两个角点即可，而3D框是推理出来的实际包络框，故3D空间下使用四个角点。
在3D空间下，无论是多传感器数据融合给出的障碍物的位置信息还是感知和高精地图融合得到的车道线信息，都会随着距离的变远，精度下降。因此，在3D空间下，车道线划分的置信度设置为：
Conf＝0.2+(1-(x-x_min)/(x_max-x_min))*0.8
其中，X车辆中心点的纵坐标，x_max车道线最远位置纵坐标，x_min车道线最近位置纵坐标。
可以理解，如果车道线有效且图像无遮挡，2D空间置信度高于3D。同时如果图像有遮挡或者感知车道线无效，则3D的置信度高于2D的置信度，因为当感知车道线被遮挡或者漏识别的情况下，融合出来的车道先仍然是存在的，3D空间下的结果更为准确。
在本申请的一个实施例中，所述根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道，包括：比较所述2D车道定位结果以及所述3D车道定位结果的置信度，取置信度高的结果作为最终结果，以确定所述障碍物所在的车道。
通过采用2D车道定位结果和3D车道定位结果结合的方法，识别障碍物处于哪个车道。2D和3D方法各有其优点和缺点，二者互为补充，结果更为准确。进一步地，当障碍物轮廓完全暴露在2D图像中时，车道线和障碍物的相对位置准确，但当障碍物刚进入视觉传感器的FOV时，障碍物轮廓不全，视觉无法判断障碍物处于哪个车道，这时可以在3D空间中，利用后方和侧方多传感器融合多帧跟踪结果，综合判断障碍物处于哪个车道。
基于上述方法，结合了相机感知结果中的车道线和预先获得的当前行驶道路中的高精地图中的高精车道线，在一者缺失的情况下，使用另一者也可判断障碍物在哪个车道，在二者均存在的情况下，可以给出更为精确的车道结构，有助于更准确的判断障碍物在哪个车道。
请参考图2，是本申请实施例中用于自动驾驶车辆的障碍物感知方法的实现原理示意图，其具体实现步骤如下：
如图3所示，车道结构结果包含当前行驶的道路上有几条车道，每个车道均有一个车道ID，本车道(当前车辆所行驶的车道为本车道)、左车道、右车道等车道均有明确可知的ID；每条车道均由两条车道线组成，组成该车道的左、右车道线ID均可知。
步骤一：获取高精地图中的车道信息和车载相机给出的车道线的信息，将二者进行多传感器数据融合的关联和跟踪，给出一个结合高精地图车道线和感知车道线的车道结构结果；当感知车道线和高精地图车道线其中一者丢失时，则不做数据关联和跟踪，直接发出单传感器的车道线结果。
步骤二：相机的每一帧图像中均含有车道线和障碍物的信息，图像感知的车道线检测和障碍物检测的结果均可在同一帧图像中体现，如图4所示。获取同一帧上感知车道线在图像坐标系下的曲线参数及障碍物在图像坐标系下的包络框的四个角点坐标。
步骤三：车辆在行驶过程中，障碍物可能在某一条车道内，也可能横跨两条车道(比如前方车辆换道)；车载相机可能能够捕捉到障碍物的完整轮廓，也可能只能捕捉到障碍物的一部分轮廓。因此，障碍物的车道定位大致分为如下几种情况：
如图4所示，Case1：障碍物只处于其中一个车道，车道线没有被遮挡。
分别计算障碍物包络框左下点(bottom_left)和右下点(bottom_right)与每条车道两条车道线(left_line[i]和right_line[i])之间的横向位置关系与包络框的宽度(bottom_width)比例关系：
left_over＝(bottom_right-left_line[i])/bottom_width
right_over＝(bottom_left-right_line[i])/bottom_width
若障碍物位于当前自车行驶的车道，其left_over和right_over均为正值；若障碍物位于当前自车行驶的右侧车道，其right_over为负值；在左侧车道同理。以此可以判断出障碍物处于哪条车道；给2D像素平面上计算出来的结果，赋予置信度为1.0。
如图5所示，Case2：障碍物横跨两条车道，有一条车道线被障碍物遮挡，属于无效车道线。
按照case1的方式计算left_over和right_over，若某一条车道的左车道线无效，则只能使用right_over。若right_over为负值，则障碍物位于当前车道的右侧车道；
若right_over为正值，则障碍物位于当前车道或者当前车道的左侧车道；
只相信right_over为负值，障碍物位于当前车道右侧车道的情况，将其记录进检测结果中；给2D像素平面上计算出来的结果，赋予置信度为1.0。
如图6所示，Case3：若障碍物在图像中是不完整的。
若图像感知结果提示障碍物是截断状态(视觉感知会给出是否截断的标志位)，仍然按照Case或者Case的方法计算其处于哪条车道；
给截断的障碍物在2D像素平面上计算出来的车道定位结果，置信度赋予0.2，最终要与3D空间中的结果进行比较，选择置信度更高的结果作为最终结果。
步骤四：在当前车体坐标系下，获取多传感器数据融合之后的障碍物的3D包络框数据、中心点坐标及车道线信息。根据3D包络框底面上的四个角点与车道线之间的相对位置，判断障碍物在哪条车道。若障碍物横跨两个车道，则将两个车道都记录进结果里。
在3D空间下，无论是多传感器数据融合给出的障碍物的位置信息还是感知和高精地图融合得到的车道线信息，都会随着距离的变远，精度下降。因此，在3D空间下，车道线划分的置信度设置为：Conf＝0.2+(1-(x-x_min)/(x_max-x_min))*0.8，其中，X车辆中心点的纵坐标，x_max车道线最远位置纵坐标，x_min车道线最近位置纵坐标，
步骤五：比较2D和3D空间下，车道划分结果的置信度，取置信度高的结果作为最终结果。
本申请实施例还提供了用于自动驾驶车辆的障碍物感知装置700，如图7所示，提供了本申请实施例中用于自动驾驶车辆的障碍物感知装置的结构示意图，所述用于自动驾驶车辆的障碍物感知装置700至少包括：2D像素平面定位模块710、3D空间定位模块720以及确定模块730，其中：
在本申请的一个实施例中，所述2D像素平面定位模块710具体用于：根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果。
为了更好地确定障碍物所在的车道，可以提前获取当前行驶道路的高精地图数据中的车道信息以及自动驾驶车辆上的相机给出的车道线的信息，将二者进行多传感器数据融合的关联和跟踪，给出一个结合高精地图车道线和感知车道线的车道结构结果；当感知车道线和高精地图车道线其中一者丢失时，则不做目标数据关联和跟踪，可以直接发出单传感器的车道线结果。
自动驾驶车辆通常具有多种类型的传感器，包括激光雷达、毫米波雷达、视觉传感器等，通过多种类型的传感器作为多传感器融合感知结果。
对于视觉传感器而言，可以包括安装在自动驾驶车辆上的多个相机，相机的具体安装位置在本申请的实施例中并不进行具体限定，本领域技术人员可以根据实际情况进行选择。对于自动驾驶车辆上的相机感知结果(至少包括一个相机)，在2D图像像素中判断障碍物在图像坐标系中的位置，作为2D车道定位结果。
需要注意的是，此时并不需要判断感知结果中是否存在被遮挡的情况，只需要之后计算感知结果的置信度即可。
进一步地，由于在相机的每一帧图像中均含有车道线和障碍物的信息(不包含的图像不作为结果)，图像感知的车道线检测和障碍物检测的结果均可在同一帧图像中体现，如图4所示，可以通过获取同一帧上感知车道线在图像坐标系下的曲线参数(比如，车道线、交通标识)及目标障碍物在图像坐标系下的包络框的四个角点坐标。
在本申请的一个实施例中，所述3D空间定位模块720具体用于：根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果。
如前所述，在自动驾驶车辆上包括多种类型传感器，可以根据多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到在三维场景中3D车道定位结果。
进一步地，在当前车体坐标系下，获取多传感器(可以是相机、激光雷达，甚至是更多的传感器)数据融合之后的障碍物的3D包络框数据、中心点坐标及车道线信息。根据3D包络框底面上的四个角点与车道线之间的相对位置，判断障碍物在哪条车道。也就是说通过多传感器感知融合结果，可以确定出目标障碍物在哪一条车道。由于有高精地图的数据，故可以根据融合感知结果确定出目标障碍物在哪一条车道。
示例性地，采用视觉SLAM或者激光SLAM的方式均可确定障碍物在哪一个具体车道。
需要注意的是，在3D空间下，无论是多传感器数据融合给出的障碍物的位置信息还是感知和高精地图融合得到的车道线信息，都会随着距离的变远，精度下降。
在本申请的一个实施例中，所述确定模块730具体用于：根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
根据上述获得的所述2D车道定位结果和所述3D车道定位结果，通过比较2D和3D空间下，车道划分结果的置信度，取置信度高的结果作为最终结果。
如果仅采用相机感知到的车道线结果，通常有效距离一般在80-100米以内，遇到弯道时车道线的感知有效距离会更短，通过3D车道定位结果可以解决当障碍物的纵向位置超出感知车道线的有效范围时，周围没有车道线，不能根据相对位置去判断障碍物在哪条车道的问题。
能够理解，上述用于自动驾驶车辆的障碍物感知装置，能够实现前述实施例中提供的用于自动驾驶车辆的障碍物感知方法的各个步骤，关于用于自动驾驶车辆的障碍物感知方法的相关阐释均适用于用于自动驾驶车辆的障碍物感知装置，此处不再赘述。
图8是本申请的一个实施例电子设备的结构示意图。请参考图8，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成用于自动驾驶车辆的障碍物感知装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；
根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；
根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
上述如本申请图1所示实施例揭示的用于自动驾驶车辆的障碍物感知装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中用于自动驾驶车辆的障碍物感知装置执行的方法，并实现用于自动驾驶车辆的障碍物感知装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中用于自动驾驶车辆的障碍物感知装置执行的方法，并具体用于执行：
根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；
根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；
根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种用于自动驾驶车辆的障碍物感知方法，其中，所述方法包括：
根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；
根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；
根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
2.如权利要求1所述方法，其中，所述方法还包括：
预先获取所述自动驾驶车辆当前行驶路段的高精地图数据中的车道信息；
根据所述自动驾驶车辆上的相机感知结果中的车道线信息与所述高精地图数据中的车道信息的数据融合后进行关联跟踪，得到基于高精地图车道线和相机感知车道线的车道结构信息，所述车道结构信息至少包括车道ID、车道线ID。
3.如权利要求2所述方法，其中，所述根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果，包括：
根据所述自动驾驶车辆上的相机感知结果，获取同一图像帧上感知车道线在图像坐标系下的曲线参数和所述障碍物在图像坐标系下的包络框的四个角点坐标；
根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果。
4.如权利要求3所述方法，其中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，包括：
在车道线未被所述障碍物遮挡的情况下，根据所述车道结构信息遍历车道结构中的所有车道，并计算该障碍物与其中一车道的左右车道线的比例关系；
根据所述障碍物与其中一车道的左右车道线的比例关系，确定所述障碍物在哪个车道；
如果所述障碍物的左下点和右下点均处于某一车道内部，则所述障碍物处于当前一个车道内；
如果所述障碍物横跨了两个车道，则计算所述障碍物的宽度在两个车道中的比例，并确定所述障碍物是否处于当前一个车道内或者横跨两个车道。
5.如权利要求4所述方法，其中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，还包括：
分别计算所述障碍物的包络框左下点bottom_left和右下点bottom_right与每条车道两条车道线left_line[i]和right_line[i]之间的横向位置关系与包络框的宽度bottom_width比例关系，所述left_line[i]、right_line[i]为车道线在图像坐标系下的横向位置；
如果所述障碍物位于当前自动驾驶车辆行驶的车道，则预设比例关系中的left_over和right_over均为正值；
若障碍物位于当前自车行驶的右侧车道，则所述right_over为负值；
若障碍物位于当前自车行驶的左侧车道，则所述right_over为正值；
判断出所述障碍物处于哪条车道ID，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
6.如权利要求5所述方法，其中，所述根据所述曲线参数和所述包络框的四个角点坐标，判断所述障碍物在图像坐标系中的准确位置，得到2D车道定位结果，还包括：
当所述障碍物横跨两条车道，且有一条车道线被所述障碍物遮挡属于无效车道线时：
当有一条车道的左车道线无效，则使用right_over；
若right_over为负值，则所述障碍物位于当前车道的右侧车道；
若right_over为正值，则所述障碍物位于当前车道或者当前车道的左侧车道；
将所述right_over为负值且所述障碍物位于当前车道右侧车道ID的情况记录作为检测结果，并将在2D像素平面上计算出来的2D车道定位结果赋予第一置信度。
7.如权利要求4所述方法，其中，所述方法还包括：
当所述障碍物在图像中是不完整的时：
如果根据自动驾驶车辆的图像感知结果的截断的标志位，判断所述障碍物为截断状态，则根据得到的截断的障碍物计算其处于哪条车道；
根据所述截断的障碍物在2D像素平面上计算出来的2D车道定位结果，置信度赋予第二置信度，所述第二置信度小于所述第一置信度。
8.如权利要求1所述方法，其中，所述根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果，包括：
在自动驾驶车辆的车体坐标系下，获取多传感器数据融合之后的所述障碍物的3D包络框数据、中心点坐标及车道线信息；
根据3D包络框底面上的四个角点与车道线之间的相对位置，判断所述障碍物在哪条车道；
如果所述障碍物在一个车道，则将该车道记录，如果所述障碍物横跨两个车道，则将两个车道都记录；
根据车道记录结果，将在3D空间下计算出来的3D车道定位结果赋予第三置信度，所述第三置信度按照如下方式计算：
Conf＝0.2+(1-(x-x_min)/(x_max-x_min))*0.8，其中X为车辆中心点的纵坐标，x_max为车道线最远位置纵坐标，x_min为车道线最近位置纵坐标。
9.如权利要求1至8任一项所述方法，其中，所述根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道，包括：
比较所述2D车道定位结果以及所述3D车道定位结果的置信度，取置信度高的结果作为最终结果，以确定所述障碍物所在的车道。
10.一种用于自动驾驶车辆的障碍物感知装置，其中，所述装置包括：
2D像素平面定位模块，用于根据自动驾驶车辆上的相机感知结果，判断障碍物在图像坐标系中的位置，得到2D车道定位结果；
3D空间定位模块，用于根据所述自动驾驶车辆上的多传感器感知融合结果，判断所述障碍物在车体坐标系中的位置，得到3D车道定位结果；
确定模块，用于根据所述2D车道定位结果以及所述3D车道定位结果，确定所述障碍物所在的车道。
11.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～8之任一所述方法。
CN202310538397.9A 2023-05-12 2023-05-12 用于自动驾驶车辆的障碍物感知方法、装置 Pending CN116682091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310538397.9A CN116682091A (zh) 2023-05-12 2023-05-12 用于自动驾驶车辆的障碍物感知方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310538397.9A CN116682091A (zh) 2023-05-12 2023-05-12 用于自动驾驶车辆的障碍物感知方法、装置

Publications (1)

Publication Number Publication Date
CN116682091A true CN116682091A (zh) 2023-09-01

Family

ID=87777763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310538397.9A Pending CN116682091A (zh) 2023-05-12 2023-05-12 用于自动驾驶车辆的障碍物感知方法、装置

Country Status (1)

Country Link
CN (1) CN116682091A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068569A (zh) * 2020-09-18 2020-12-11 财团法人车辆研究测试中心 结合图资的障碍物追踪系统及方法
CN117292358A (zh) * 2023-10-12 2023-12-26 昆易电子科技(上海)有限公司 目标识别方法、装置、电子设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068569A (zh) * 2020-09-18 2020-12-11 财团法人车辆研究测试中心 结合图资的障碍物追踪系统及方法
CN112068569B (zh) * 2020-09-18 2024-05-28 财团法人车辆研究测试中心 结合图资的障碍物追踪系统及方法
CN117292358A (zh) * 2023-10-12 2023-12-26 昆易电子科技(上海)有限公司 目标识别方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN116682091A (zh) 用于自动驾驶车辆的障碍物感知方法、装置
US10762782B2 (en) On-street parking map generation
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
WO2022147758A1 (zh) 一种盲区告警区域的确定方法及装置
CN110341621B (zh) 一种障碍物检测方法及装置
CN113650607B (zh) 一种低速场景自动驾驶方法、系统及汽车
JP7323356B2 (ja) 駐車支援装置及び駐車支援方法
CN116872957A (zh) 智能驾驶车辆的预警方法、装置及电子设备、存储介质
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN110807347B (zh) 障碍物检测方法、装置及终端
CN116758736A (zh) 违停检测方法、装置及电子设备
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
CN113386773A (zh) 视觉识别可靠度的判断方法及设备
US11816903B2 (en) Method for determining a type of parking space
CN116559899B (zh) 自动驾驶车辆的融合定位方法、装置和电子设备
CN118068357B (zh) 路沿融合处理方法、装置及电子设备、存储介质
CN116823931A (zh) 车辆的初始航向角计算方法、装置及电子设备
CN116381698B (zh) 道路遗撒物的检测方法、装置及电子设备
CN115719375A (zh) 目标融合方法、装置及电子设备、计算机可读存储介质
CN116821854B (zh) 一种目标投影的匹配融合方法及相关装置
US11093764B2 (en) Available parking space detection localization using historical aggregation shifting
CN116895061A (zh) 车道线处理方法及装置
US20240070916A1 (en) Vehicle and Control Method Thereof
CN116168087A (zh) 路侧相机标定结果的验证方法、装置及电子设备
CN116597131A (zh) 目标定位方法、装置及电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination