CN117612132A - 鸟瞰视角bev俯视图的补全方法、装置和电子设备 - Google Patents

鸟瞰视角bev俯视图的补全方法、装置和电子设备 Download PDF

Info

Publication number
CN117612132A
CN117612132A CN202311527360.2A CN202311527360A CN117612132A CN 117612132 A CN117612132 A CN 117612132A CN 202311527360 A CN202311527360 A CN 202311527360A CN 117612132 A CN117612132 A CN 117612132A
Authority
CN
China
Prior art keywords
obstacle
determining
straight line
outline polygon
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311527360.2A
Other languages
English (en)
Inventor
汪君楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202311527360.2A priority Critical patent/CN117612132A/zh
Publication of CN117612132A publication Critical patent/CN117612132A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种BEV俯视图的补全方法、装置和电子设备，涉及自动驾驶技术领域。具体实施方案为：获取车辆的第一BEV俯视图和二维2D图像；基于2D图像，获取盲区内障碍物的相关信息；根据相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到轮廓多边形；根据轮廓多边形，确定障碍物所在直线，并根据所在直线对障碍物在第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。由此，本方案通过获取障碍物的相关信息，将障碍物投影至第一BEV俯视图中，得到轮廓多边形，确定障碍物所在直线，并对障碍物进行轮廓补全，帮助自动驾驶系统进行决策和规划，避免发生碰撞。

Description

鸟瞰视角BEV俯视图的补全方法、装置和电子设备
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种BEV俯视图的补全方法、装置和电子设备。
背景技术
由于在驾驶汽车过程中出现的汽车盲区，驾驶员无法直接观察到盲区内的障碍物，极易发生交通事故。基于车辆雷达或相机对盲区内的障碍物进行检测，弥补视觉的局限。但在对盲区的障碍物进行检测时，现有技术无法解决雷达盲区障碍物的检测的问题。
发明内容
本公开提供了一种用于方法、装置、电子设备。
根据本公开的一方面，提供了一种鸟瞰视角BEV俯视图的补全方法，包括：获取车辆的第一BEV俯视图和二维2D图像；基于所述2D图像，获取盲区内障碍物的相关信息；根据所述相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到所述障碍物在所述第一BEV俯视图中的轮廓多边形，所述相机标定参数为根据拍摄所述2D图像的相机确定；根据所述轮廓多边形，确定所述障碍物所在直线，并根据所述障碍物所在直线对所述障碍物在所述第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。
根据本公开的另一方面，提供了一种BEV俯视图的补全装置，包括：第一获取模块，用于获取车辆的第一BEV俯视图和二维2D图像；第二获取模块，用于基于所述2D图像，获取盲区内障碍物的相关信息；投影模块，用于根据所述相关信息和相机标定参数，向所述第一BEV俯视图中进行障碍物投影，得到所述障碍物在所述第一BEV俯视图中的轮廓多边形，所述相机标定参数为根据拍摄所述2D图像的相机确定；确定模块，用于根据所述轮廓多边形，确定所述障碍物所在直线，并根据所述障碍物所在直线对所述障碍物在所述第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的BEV俯视图的补全方法。
根据本公开另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序/指令，所述计算机指令用于使所述计算机执行上述一方面实施例所述的BEV俯视图的补全方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述一方面实施例所述的BEV俯视图的补全方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种BEV俯视图的补全方法的流程示意图；
图2为本公开实施例提供的另一种BEV俯视图的补全方法的流程示意图；
图2a为本公开实施例提供的障碍物位于车辆两侧的示意图；
图3为本公开实施例提供的另一种BEV俯视图的补全方法的流程示意图；
图4为本公开实施例提供的障碍物未位于车辆两侧且轮廓多边形的形状类型为第一类型的示意图；
图5为本公开实施例提供的障碍物未位于车辆两侧且轮廓多边形的形状类型为第二类型的示意图；
图6为本公开实施例提供的一种确定轮廓多边形的形状类型的方法的流程示意图；
图7为本公开实施例提供的另一种确定轮廓多边形的形状类型的流程示意图；
图7a为本公开实施例提供的确定轮廓多边形的目标线段的示意图；
图8为本公开实施例提供的另一种BEV俯视图的补全方法的流程示意图；
图9为本公开实施例提供的确定障碍物的补全方向的示意图；
图10为本公开实施例提供的另一种BEV俯视图的补全方法的流程示意图；
图11为本公开实施例提供的对BEV俯视图进行补全的流程示意图；
图12为本公开实施例提供的一种BEV俯视图的补全装置的结构示意图；
图13为用来实现本公开实施例的BEV俯视图的补全方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的BEV俯视图的补全方法、装置、电子设备及存储介质。
图像处理(Image Processing)是指用计算机对图像进行分析，以达到所需结果的技术。图像处理一般指数字图像处理，数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
计算机视觉(Computer Vision)是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉是一门综合性的学科，包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。
自动驾驶(Autonomous Driving)是一种基于计算机和传感器技术的先进驾驶系统，旨在使汽车能够在没有人类干预的情况下自主地进行行驶和操作。自动驾驶系统采用先进的通信、计算机、网络和控制技术，对汽车实现实时、连续控制。采用现代通信手段，直接面对汽车，可实现车地间的双向数据通信，传输速率快，信息量大，后续追踪汽车和控制中心可以及时获知前行汽车的确切位置，使得运行管理更加灵活，控制更为有效，更加适应汽车自动驾驶的需求。
鸟瞰视角(Bird’s Eye View，BEV)：是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图。简单地说，就是在空中俯视某一地区所看到的图像。在车辆所处环境对应的三维坐标系x-y-z中，x方向例如对应为车辆左右方向，y方向例如对应为车辆前后方向，z方向例如对应为车辆上下方向，从z轴正向向下观察x-y平面内车辆周围环境所对应的感知视角为鸟瞰视角。
图1为本公开实施例提供的一种BEV俯视图的补全方法的流程示意图。
如图1所示，该BEV俯视图的补全方法，可包括：
S101，获取车辆的第一BEV俯视图和二维2D图像。
需要说明的是，本公开实施例中BEV俯视图的补全方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选地，执行主体可包括车载终端、车辆控制系统等。本公开实施例不作具体限定。
在一些实现中，可以基于车辆自身的相机或者雷达，获取车辆所处环境的感知数据，基于感知数据可以生成第一BEV俯视图。在第一BEV俯视图中，雷达能够感知到的区域为非盲区，则剩下的区域为盲区。
在一些实现中，可以基于车辆自身的一个或多个相机，采集障碍物的二维(2Dimensional，2D)图像。其中，相机可以采集到雷达盲区和非盲区的障碍物2D图像。可选地，可以基于单目相机或者环视鱼眼相机，对障碍物进行2D感知，得到障碍物2D图像。
S102，基于2D图像，获取盲区内障碍物的相关信息。
可以理解的是，盲区是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。例如，典型的普通车辆盲区范围：车前2.5米，车后8米，左右各4.5米。对于具备智能驾驶功能的车辆，盲区主要是指激光雷达传感器无法采集到点云数据的区域，以及车身周视小孔相机视场角(Field of View，FOV)不能覆盖的区域。
在一些实现中，可以基于采集到的2D图像进行障碍物检测，以获取障碍物的相关信息。可选地，可以基于目标检测算法，或者检测模型，对障碍物进行检测，得到障碍物的2D检测框，确定障碍物的相关信息。可选地，障碍物的相关信息可以包括障碍物的类型、大小、位置、接地点、2D检测框等至少一种信息。其中，接地点指的是障碍物与地面之间的接触点。
S103，根据相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到障碍物在第一BEV俯视图中的轮廓多边形，相机标定参数为根据拍摄2D图像的相机确定。
在一些实现中，通过相机标定获取相机标定参数，其中，相机标定指的是对相机内部参数和外部参数进行确定的过程。进而可以基于障碍物的相关信息和相机标定参数，将障碍物投影至第一BEV俯视图中，得到障碍物在第一BEV俯视图中的轮廓多边形。
可选地，可以根据障碍物的相关信息和相机标定参数，将障碍物的2D图像坐标，转换为第一BEV俯视图下的坐标，以实现将障碍物投影至第一BEV俯视图中。
S104，根据轮廓多边形，确定障碍物所在直线，并根据障碍物所在直线对障碍物在第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。
在一些实现中，障碍物所在直线与轮廓多边形的形状和障碍物的位置有关，可以基于轮廓多边形的形状类型和/或轮廓多边形与车辆之间的相对位置，确定障碍物所在直线。
可选地，基于轮廓多边形的与车辆之间的相对位置，确定障碍物所在直线。例如，相对位置指示障碍物位于车辆的左右两侧，确定车辆的行驶方向，并根据行驶方向确定障碍物所在直线。也就是说，障碍物所在直线与该行驶方向平行。
可选地，基于轮廓多边形的形状类型和相对位置，确定障碍物所在直线。若相对位置指示障碍物未位于车辆的左右两侧，基于轮廓多边形的形状类型，确定障碍物所在直线。
进一步地，由于采集到的障碍物图像是障碍物的一部分，可以根据障碍物所在直线，对障碍物在第一BEV俯视图中进行轮廓多边形的补全。可选地，可以根据障碍物所在直线，确定远离车辆的方向作为障碍物的补全方向。
可选地，可以根据障碍物的轮廓多边形确定障碍物在第一BEV俯视图中的外接矩形，在外接矩形的宽度小于设定宽度阈值时，实现进行外接矩形的补全，以使得第二BEV俯视图中包括补全后障碍物的轮廓多边形。可以理解的是，第二BEV俯视图中障碍物的轮廓多边形为一个矩形形状。
根据本公开实施例提供的BEV俯视图的补全方法，通过采集雷达盲区的障碍物的图像，获取障碍物的相关信息，并将障碍物投影至第一BEV俯视图中，得到障碍物在第一BEV俯视图中的轮廓多边形。进而根据轮廓多边形确定障碍物所在直线，以对障碍物进行轮廓补全，得到具有盲区障碍物轮廓的第二BEV俯视图，能有效展示盲区内障碍物，而且计算的复杂度相对减少，帮助自动驾驶系统进行决策和规划，避免碰撞和系统误判的发生，提高驾驶的安全性，有助于推动自动驾驶的发展。
图2为本公开实施例提供的一种BEV俯视图的补全方法的流程示意图。
如图2所示，该BEV俯视图的补全方法，可包括：
S201，获取车辆的第一BEV俯视图和二维2D图像。
S202，基于2D图像，获取盲区内障碍物的相关信息。
S203，根据相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到障碍物在第一BEV俯视图中的轮廓多边形。
步骤S201-S203中的相关内容可参见上述实施例，这里不再赘述。
S204，确定轮廓多边形与车辆的相对位置，并根据相对位置，确定障碍物所在直线。
在一些实现中，可以基于车辆自身的定位传感器确定车辆的位置，并从障碍物相关信息中获取障碍物的位置信息。将车辆位置与障碍物位置进行比较，可以确定障碍物也就是轮廓多边形与车辆的相对位置。
在一些实现中，相对位置也就是轮廓多边形与车辆的位置关系，比方，轮廓多边形位于车辆左前方、轮廓多边形位于车辆左右两侧或轮廓多边形位于车辆右后方等等。
可选地，定位传感器可以是基于全球定位系统(Global Positioning System，GPS)的定位传感器，或者基于北斗卫星导航系统的定位传感器，本公开对此不作具体限定。
在一些实现中，可以根据相对位置确定障碍物所在直线。若相对位置指示障碍物位于车辆的左右两侧，确定车辆的行驶方向，并根据行驶方向确定障碍物所在直线。也就是说，当障碍物位于车辆的两侧，障碍物所在直线就是车辆的行驶方向。
如图2a所示的障碍物位于车辆两侧的示意图。车辆向正前方行驶，则障碍物所在直线就是正前方所在的直线。图2a中的箭头所在直线就是障碍物所在直线。
S205，根据障碍物所在直线对障碍物在第一BEV俯视图的轮廓多边形进行补全，得到第二BEV俯视图。
步骤S205中的相关内容可参见上述实施例，这里不再赘述。
本申请实施例中，可以基于障碍物与车辆的相对位置，确定障碍物所在直线，基于该所在直线帮助车辆识别障碍物的可能所在方位，可以缩小障碍物在BEV俯视图中范围，有利于提高在BEV俯视图中补全障碍物的准确度。进一步地，得到具有盲区障碍物的第二BEV俯视图，能有效确定盲区内障碍物，而且可以减少计算的复杂度，帮助自动驾驶系统进行决策和规划，避免碰撞和系统误判的发生，提高驾驶的安全性，有助于推动自动驾驶的发展。
图3为本公开实施例提供的一种BEV俯视图的补全方法的流程示意图。
如图3所示，该BEV俯视图的补全方法，可包括：
S301，获取车辆的第一BEV俯视图和二维2D图像。
S302，基于2D图像，获取盲区内障碍物的相关信息。
S303，根据相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到障碍物在第一BEV俯视图中的轮廓多边形。
S304，确定轮廓多边形与车辆的相对位置。
步骤S301-S304中的相关内容可参见上述实施例，这里不再赘述。
S305，确定轮廓多边形的形状类型。
在一些实现中，可以通过识别轮廓多边形的顶点分布信息，基于顶点分布信息确定轮廓多边形的形状类型，通过轮廓多边形的形状类型，可以粗略体现障碍物的类型，进而有利于后续障碍物所在直线的确定。
可选地，可以根据轮廓多边形上的顶点，确定轮廓多边形的目标线段，并通过判断轮廓多边形是否在车辆的两侧，以确定轮廓多边形的形状类型。可选地，可以根据轮廓多边形的上的顶点，基于旋转卡壳算法，确定轮廓多边形的目标线段。
可选地，轮廓多边形的形状类型分为第一类型和第二类型，可选地，第一类型的轮廓多边形为满足轮廓多边形顶点间的最大长度与该轮廓多边形的高度之间比值大于设定倍数的多边形，其中该轮廓多边形的高度为该最大长度对应垂线上的高度，第二类型的轮廓多边形为未满足轮廓多边形顶点间的最大长度与该轮廓多边形的高度之间比值小于设定倍数的多边形。
S306，根据相对位置和轮廓多边形的形状类型，确定障碍物所在直线。
可选地，若相对位置指示障碍物未位于车辆的左右两侧，基于轮廓多边形的形状类型，确定障碍物所在直线，根据不同形状类型确定障碍物所在直线，可以精确分析障碍物所在直线，可以缩小障碍物在BEV俯视图中范围，有利于提高在BEV俯视图中补全障碍物的准确度，进而避免可能的碰撞风险，提高车辆行驶的安全性。
在一些实现中，若形状类型为第一类型，基于轮廓多边形的目标线段所在直线，确定障碍物所在直线。也就是说，当障碍物未位于车辆的左右两侧，且形状类型为第一类型，障碍物所在直线就是轮廓多边形的目标线段所在直线。
如图4所示的障碍物未位于车辆两侧且为第一类型所在直线的示意图。车辆向正前方行驶，障碍物所在直线是轮廓多边形的目标线段所在直线。图4中的虚线框内障碍物的为轮廓多边形，图4中的箭头所在直线(目标线段所在直线)就是障碍物所在直线。
在一些实现中，若形状类型为第二类型，可以根据轮廓多边形上距离目标线段垂直距离最大的顶点与目标线段连接的最远顶点之间的连线，确定为障碍物所在直线。可以提高确定障碍物所在直线的准确性，为安全驾驶提供基础。如图5b所示的轮廓多边形，顶点A为距离目标线段垂直距离最大的顶点，顶点B为目标线段连接的最远顶点，则障碍物所在直线就是AB所在直线。
可选地，通过确定轮廓多边形上除直径连接的两个顶点之外的剩余顶点中到直径所在直线的垂直距离最大的第一顶点，并确定第一顶点分别到目标线段连接的两个顶点的第一距离和第二距离。通过比较第一距离和第二距离，从目标线段连接的两个顶点中确定距离较大的顶点，作为第二顶点，进而确定第一顶点和第二顶点之间的连线，并基于连线确定障碍物所在直线。
也就是说，当障碍物未位于车辆的左右两侧，若形状类型为第二类型，确定第一顶点和第二顶点之间的连线，并基于连线确定障碍物所在直线，可选地，障碍物所在直线就是第一顶点和第二顶点之间的连线。
举例而言，第一顶点为顶点A，目标线段连接的两个顶点分别为顶点B、顶点C，顶点AB之间的第一距离小于顶点AC之间的第二距离，则确定顶点C为第二顶点。若障碍物未位于车辆的两侧，且形状类型为第二类型，可选地，障碍物所在直线就是AC所在直线。
如图5所示的障碍物未位于车辆两侧且轮廓多边形的形状类型为第二类型的示意图。车辆向正前方行驶，图5a中的箭头为轮廓多边形的目标线段所在直线，但由于轮廓多边形为第二类型，则障碍物所在直线为第一顶点和第二顶点之间的连线所在直线，如图5b中所示的箭头所在直线。
S307，根据障碍物的所在直线对障碍物在第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。
步骤S307中的相关内容可参见上述实施例，这里不再赘述。
根据本公开实施例提供的BEV俯视图的补全方法，通过轮廓多边形的形状类型和轮廓多边形与车辆的相对位置，确定障碍物所在直线，以对障碍物进行轮廓补全，基于该障碍物所在直线可以缩小障碍物在BEV俯视图中范围，提高在BEV俯视图中补全障碍物的准确度，从而得到具有盲区障碍物的第二BEV俯视图，能有效确定盲区内障碍物，而且可以减少计算的复杂度，帮助自动驾驶系统进行决策和规划，避免碰撞和系统误判的发生，提高驾驶的安全性，有助于推动自动驾驶的发展。
在上述实施例基础之上，图6为本公开实施例提供的一种确定轮廓多边形的形状类型的流程示意图。
如图6所示，该确定轮廓多边形的形状类型的过程，可包括：
S601，确定轮廓多边形与车辆的相对位置。
步骤S601中的相关内容可参见上述实施例，例如步骤S204的记载，这里不再赘述。
S602，根据轮廓多边形与车辆的相对位置，确定轮廓多边形的形状类型。
在一些实现中，可以根据轮廓多边形的相对位置，确定轮廓多边形的形状类型。通过判断障碍物是否在车辆的左右两侧，若相对位置指示障碍物位于车辆的左右两侧，确定轮廓多边形的形状类型为第一类型。若相对位置指示障碍物未位于车辆的左右两侧，可以根据轮廓多边形上目标线段连接的两个顶点之外的剩余顶点到目标线段的垂直距离，确定轮廓多边形的形状类型。
通过确定轮廓多边形的形状类型，为确定障碍物所在直线提供依据，有利于提高确定障碍物所在直线的准确性，以实现障碍物的轮廓补全，准确检测盲区的障碍物，为安全驾驶提供基础。
在上述实施例基础之上，图7为本公开实施例提供的一种确定轮廓多边形的形状类型的流程示意图。
如图7所示，该确定轮廓多边形的形状类型的过程，可包括：
S701，确定轮廓多边形的目标线段。
在一些实现中，可以基于旋转卡壳算法，确定轮廓多边形的多组对踵点，当两个点存在两条平行线上时，则该两个点形成了一组对踵点。进而对多组对踵点进行遍历，得到每组对踵点之间的距离，并确定最大距离的一组对踵点的连线作为轮廓多边形的目标线段，能够减少计算轮廓多边形目标线段的复杂度。
可选地，通过计算轮廓多边形上的顶点在垂直方向上的最大值和最小值，可以将在垂直方向上的最大值对应的顶点记为顶点ymax和将在垂直方向上的最小值对应的顶点记为顶点ymin。经过两个顶点构建两条平行线，则顶点ymax和顶点ymin为一组对踵点，进而计算两个顶点之间的第一顶点距离，记为Dmax1。其中，垂直方向就是坐标轴中的y轴方向。
进一步地，通过旋转上述平行线，直至其中一条平行线与轮廓多边形的一条边平齐，则轮廓多边形上位于旋转后的平行线上的两个顶点为一组对踵点，计算该两个顶点之间的第二顶点距离Dmax2，若Dmax2大于Dmax1，则将目标线段更新为Dmax2。继续旋转上述平行线，直至对多组对踵点遍历结束，并选择顶点距离最大的作为轮廓多边形的目标线段。
如图7a所示的计算轮廓多边形目标线段的示意图。通过计算轮廓多边形上的顶点在垂直方向上的最大值和最小值，确定顶点ymax为顶点A，顶点ymin为顶点E。经过顶点A、E作平行线l1和l2，并计算AE之间的距离L1。进一步地，旋转l1和l2直至l1与AG边平齐，并将平行线记为la和lb，通过计算EG之间的距离L2，并比较L1和L2的大小，确定L1作为最大距离。继续旋转上述平行线，直至对多组对踵点遍历结束，并选择最大距离L1作为轮廓多边形的目标线段。
S702，根据轮廓多边形的目标线段和相对位置，确定轮廓多边形的形状类型。
在一些实现中，轮廓多边形的形状类型分为第一类型和第二类型，通过确定轮廓多边形的形状类型有利于提高确定障碍物所在直线的准确性，准确检测盲区的障碍物，为安全驾驶提供基础。
可选地，若相对位置指示障碍物未位于车辆的左右两侧，确定轮廓多边形上除目标线段连接的两个顶点之外的剩余顶点。如图7中的轮廓多边形的目标线段连接的两个顶点为顶点A和顶点E，则顶点B、顶点C、顶点D、顶点F和顶点G为剩余顶点。进一步地，确定剩余顶点到目标线段的垂直距离，并基于垂直距离确定轮廓多边形的形状类型。
可选地，若存在垂直距离大于或者等于设定距离阈值的剩余顶点，确定轮廓多边形的形状类型为第二类型。
可选地，若未存在垂直距离大于或者等于设定距离阈值的剩余顶点，确定轮廓多边形的形状类型为第一类型。
可选地，可以基于目标线段的长度，确定设定距离阈值的大小，也就是说目标线段越长则设定距离阈值越大，目标线段越短则设定距离阈值越小。
本公开实施例中，通过旋转卡壳算法可以较为便捷地得到轮廓多边形的目标线段，计算资源较少，针对不同场景下可以采用目标线段，或者目标线段和相对位置结合确定轮廓多边形的形状类型，使得形状类型的确定更加贴合实际场景。进一步地，根据形状类型和轮廓多边形与车辆的相对位置确定障碍物所在直线，能够实现不同场景下精准确定障碍物所在直线，以实现对障碍物的轮廓补全。
图8为本公开实施例提供的一种BEV俯视图的补全方法的流程示意图。
如图8所示，该BEV俯视图的补全方法，可包括：
S801，获取车辆的第一BEV俯视图和二维2D图像。
S802，基于2D图像，获取盲区内障碍物的相关信息。
S803，根据相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到障碍物在第一BEV俯视图中的轮廓多边形。
步骤S801-S803中的相关内容可参见上述实施例，这里不再赘述。
S804，根据轮廓多边形，确定障碍物所在直线。
在一些实现中，可以确定轮廓多边形与车辆的相对位置，并根据相对位置，确定障碍物所在直线。具体过程可参见上述实施例中相关内容的记载，此处不再赘述。
S805，响应于障碍物的初始外接矩形的宽度小于设定宽度阈值，根据障碍物所在直线，对初始外接矩形的宽度向远离车辆的方向进行补全，得到障碍物的目标外接矩形，并更新障碍物的中心点，其中，初始外接矩形根据轮廓多边形和障碍物所在直线得到。
在一些实现中，根据障碍物的轮廓多边形，得到障碍物的最小外接矩形，可以理解的是，最小外接矩形也就是可以将轮廓多边形包围在内的最小矩形。进而根据障碍物所在直线对最小外接矩形进行旋转，直至最小外接矩形的任一条边与所在直线平行或者平齐，得到障碍物的初始外接矩形，也就是说，根据障碍物的轮廓多边形和障碍物所在直线，得到障碍物的的初始外接矩形。
示例性说明，如图5中示出的轮廓多边形的最小外接矩形为图5a中的虚线矩形，根据障碍物所在直线对最小外接矩形进行旋转，直至最小外接矩形的任一条边与所在直线平行或者平齐，得到图5b中的初始外接矩形。
在一些实现中，可以根据最小外接矩形确定初始外接矩形的宽度，初始外接矩形的宽度也就是最小外接矩形的宽度。若初始外接矩形的宽度小于设定宽度阈值，则可以根据障碍物的补全方向，增加初始外接矩形的宽度得到目标外接矩形。本申请实施例中，可以补全由于处于盲区内而导致缺失的障碍物，可以更好地规避潜在的风险，提高驾驶的安全性。若初始外接矩形的宽度小于或等于设定宽度阈值，则不需要对初始外接矩形的宽度进行补全。
可选地，可以为设定宽度阈值设置一个固定值，当初始外接矩形的宽度小于该固定值，则对初始外接矩形的宽度进行补全。可选地，还可以根据障碍物的类型确定设定宽度阈值。比方，若识别出障碍物为卡车，确定设定宽度阈值为2米，若识别出障碍物为轿车，确定设定宽度阈值为1.2米。
在一些实现中，可以根据障碍物所在直线，确定远离车辆的方向为障碍物的补全方向。可选地，以轮廓多边形多个顶点中的未落在障碍物所在直线上的任一顶点，作为第三顶点，经过第三顶点做障碍物所在直线的垂线，确定垂线与障碍物所在直线的交点。并以交点为起点，第三顶点为终点所形成的方向向量为远离车辆的方向，并将该远离车辆的方向确定为障碍物的补全方向。
示例性说明，如图9所示的确定障碍物的补全方向的示意图，将轮廓多边形上的顶点A作为第三顶点，进过顶点A做障碍物所在直线(箭头所在直线)的垂线，确定垂线与所在直线的交点，记为点B，从点A指向点B为靠近车辆的方向，从点B指向点A为远离车辆的方向，则障碍物的补全方向就是以点B为起点，顶点A为终点的方向，也就是图9中虚线箭头所指的方向。
进一步地，根据障碍物的补全方向就是以点B为起点，顶点A为终点的方向，也就是图9中虚线补全方向，对初始外接矩形进行宽度补全，得到障碍物的目标外接矩形。可选地，对初始外接矩形的宽度进行补全的补全量可以设置为固定值，或者根据障碍物的类型，确定补全量。例如，不同类型的障碍物的补全量可以设置为0.5米，或者根据障碍物的类型，确定轿车的补全量为0.5米，卡车的补全量为0.8米。
S806，将目标外接矩形与第一BEV俯视图中的检测框进行关联融合，得到第二BEV俯视图。
在一些实现中，将目标外接矩形与第一BEV俯视图中的检测框进行关联融合，也就是将第一BEV俯视图中的检测框更新为目标外接矩形。其中，检测框可以是雷达点云的检测结果，或者摄像机的检测结果。
在一些实现中，对于第一BEV俯视图中每个检测框，可以从中确定与目标外接矩形对应的检测框。比方，可以根据目标外接矩形对应的障碍物，从第一BEV俯视图中的检测框确定对应该障碍物的检测框。
进一步地，将目标外接矩形与其对应的检测框进行融合操作，得到第二BEV俯视图。可选地，融合操作可以包括将检测框的位置、尺寸等信息更新为目标外接矩形的位置、尺寸信息。
根据本公开实施例提供的BEV俯视图的补全方法，构建障碍物的初始外接矩形，基于初始外接矩形对障碍物在第一BEV俯视图中的轮廓多边形进行补全，使得BEV俯视图中不仅包括盲区障碍物，进一步地进行检测框进行关联融合，能够避免同一障碍物的重复标记，提高BEV俯视图的准确性，进而能够为自动驾驶下游任务的决策和规划提供较好的依据。而且本申请中通过外接矩形在第二BEV俯视图中进行补全，计算复杂度相对减低，节省运算成本。
图10为本公开实施例提供的一种BEV俯视图的补全方法的流程示意图。
如图10所示，该BEV俯视图的补全方法，可包括：
S1001，获取车辆的第一BEV俯视图和二维2D图像。
S1002，基于2D图像，获取盲区内障碍物的相关信息。
S1003，根据相关信息和相机标定参数，向第一BEV俯视图中进行障碍物投影，得到障碍物在第一BEV俯视图中的轮廓多边形。
S1004，确定轮廓多边形的目标线段。
S1005，确定轮廓多边形与车辆的相对位置。
S1006，根据轮廓多边形的目标线段和相对位置，确定轮廓多边形的形状类型。
S1007，若相对位置指示障碍物位于车辆的左右两侧，确定车辆的行驶方向，并根据行驶方向确定障碍物所在直线。
S1008，若相对位置指示障碍物未位于车辆的左右两侧，基于轮廓多边形的形状类型，确定障碍物所在直线。
S1009，响应于障碍物的初始外接矩形的宽度小于设定宽度阈值，根据障碍物所在直线，对初始外接矩形的宽度向远离车辆的方向进行补全，得到障碍物的目标外接矩形，并更新障碍物的中心点，其中，初始外接矩形根据轮廓多边形和障碍物所在直线得到。
S1010，将目标外接矩形与第一BEV俯视图中的检测框进行关联融合，得到第二BEV俯视图。
根据本公开实施例提供的鸟瞰视角BEV俯视图的补全方法，通过采集雷达盲区的障碍物的图像，获取障碍物的相关信息，并将障碍物投影至第一BEV俯视图中，得到障碍物在第一BEV俯视图中的轮廓多边形。进而根据轮廓多边形确定障碍物所在直线，以对障碍物进行轮廓补全，得到具有完整障碍物大小的第二BEV俯视图，能有效确定盲区内障碍物所在直线和位置，减少计算的复杂度，帮助自动驾驶系统进行决策和规划，避免碰撞和系统误判的发生，提高驾驶的安全性，有助于推动自动驾驶的发展。
图11示出的是对BEV俯视图进行补全的流程，通过相机采集雷达盲区的障碍物信息，得到2D图像。并向第一BEV俯视图中进行障碍物投影，得到障碍物在第一BEV俯视图中的轮廓多边形。进而判断轮廓多边形的形状类型，并根据形状类型确定障碍物所在直线，以进行轮廓补全，得到障碍物的目标外接矩形。将目标外接矩形与第一BEV俯视图中的检测框进行关联融合，得到第二BEV俯视图。
与上述几种实施例提供的BEV俯视图的补全方法相对应，本公开的一个实施例还提供了一种BEV俯视图的补全装置，由于本公开实施例提供的BEV俯视图的补全装置与上述几种实施例提供的BEV俯视图的补全方法相对应，因此上述BEV俯视图的补全方法的实施方式也适用于本公开实施例提供的BEV俯视图的补全装置，在下述实施例中不再详细描述。
图12为本公开实施例提供的一种鸟瞰视角BEV俯视图的补全装置的结构示意图。
如图12所示，本公开实施例的BEV俯视图的补全装置1200，包括第一获取模块1201、第二获取模块1202、投影模块1203和确定模块1204。
第一获取模块1201，用于获取车辆的第一BEV俯视图和二维2D图像。
第二获取模块1202，用于基于所述2D图像，获取盲区内障碍物的相关信息。
投影模块1203，用于根据所述相关信息和相机标定参数，向所述第一BEV俯视图中进行障碍物投影，得到所述障碍物在所述第一BEV俯视图中的轮廓多边形，所述相机标定参数为根据拍摄所述2D图像的相机确定。
确定模块1204，用于根据所述轮廓多边形，确定所述障碍物所在直线，并根据所述障碍物所在直线对所述障碍物在所述第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。
在本公开的一个实施例中，所述确定模块1204，还用于：确定所述轮廓多边形与所述车辆的相对位置，并根据所述相对位置，确定所述障碍物所在直线。
在本公开的一个实施例中，所述确定模块1204，还用于：确定所述轮廓多边形与所述车辆的相对位置；确定所述轮廓多边形的形状类型；根据所述相对位置和所述轮廓多边形的形状类型，确定所述障碍物所在直线。
在本公开的一个实施例中，所述确定模块1204，还用于：根据所述轮廓多边形与所述车辆的相对位置，确定所述轮廓多边形的形状类型。
在本公开的一个实施例中，所述确定模块1204，还用于：确定所述轮廓多边形的目标线段；根据所述轮廓多边形的目标线段和所述相对位置，确定所述轮廓多边形的形状类型。
在本公开的一个实施例中，所述确定模块1204，还用于：基于旋转卡壳算法，确定所述轮廓多边形的多组对踵点；对所述多组对踵点进行遍历，得到每组对踵点之间的距离，并确定最大距离的一组对踵点的连线作为所述轮廓多边形的目标线段。
在本公开的一个实施例中，所述确定模块1204，还用于：若所述相对位置指示所述障碍物位于所述车辆的左右两侧，确定所述轮廓多边形的形状类型为第一类型。
在本公开的一个实施例中，所述确定模块1204，还用于：若所述相对位置指示所述障碍物未位于所述车辆的左右两侧，确定轮廓多边形上除所述目标线段所连接的两个顶点之外的剩余顶点；确定所述剩余顶点到所述目标线段的垂直距离，并基于所述垂直距离确定所述轮廓多边形的形状类型。
在本公开的一个实施例中，所述确定模块1204，还用于：若存在所述垂直距离大于或者等于设定距离阈值的剩余顶点，确定所述轮廓多边形的形状类型为第二类型；或，若未存在所述垂直距离大于或者等于设定距离阈值的剩余顶点，确定所述轮廓多边形的形状类型为第一类型。
在本公开的一个实施例中，所述确定模块1204，还用于：识别所述轮廓多边形的顶点分布信息，基于所述顶点分布信息确定所述轮廓多边形的形状类型。
在本公开的一个实施例中，所述确定模块1204，还用于：若所述相对位置指示所述障碍物位于所述车辆的左右两侧，确定所述车辆的行驶方向，并根据所述行驶方向确定所述障碍物所在直线。
在本公开的一个实施例中，所述确定模块1204，还用于：若所述相对位置指示所述障碍物未位于所述车辆的左右两侧，基于所述轮廓多边形的形状类型，确定所述障碍物所在直线。
在本公开的一个实施例中，所述确定模块1204，还用于：若所述形状类型为第一类型，基于所述轮廓多边形的目标线段，确定所述障碍物所在直线；或，若所述形状类型为第二类型，确定所述轮廓多边形的顶点中满足设定条件的第一顶点和第二顶点，并基于所述第一顶点和所述第二顶点确定所述障碍物所在直线。
在本公开的一个实施例中，所述确定模块1204，还用于：确定所述轮廓多边形上除所述目标线段连接的两个顶点之外的剩余顶点中到所述目标线段所在直线的垂直距离最大的第一顶点；确定所述第一顶点分别到所述目标线段连接的两个顶点的第一距离和第二距离；比较所述第一距离和所述第二距离，从所述目标线段连接的两个顶点中确定距离较大的顶点，作为第二顶点；确定所述第一顶点和所述第二顶点之间的连线，并基于所述连线确定所述障碍物所在直线。
在本公开的一个实施例中，所述确定模块1204，还用于：响应于所述障碍物的初始外接矩形的宽度小于设定宽度阈值，根据所述障碍物所在直线，对所述初始外接矩形的宽度向远离所述车辆的方向进行补全，得到所述障碍物的目标外接矩形，并更新所述障碍物的中心点，其中，所述初始外接矩形根据所述轮廓多边形和所述障碍物所在直线得到；将所述目标外接矩形与所述第一BEV俯视图中的检测框进行关联融合，得到所述第二BEV俯视图。
在本公开的一个实施例中，所述确定模块1204，还用于：根据所述障碍物所在直线，确定远离所述车辆的方向为所述障碍物的补全方向；根据所述补全方向，对所述初始外接矩形进行宽度补全，得到所述障碍物的目标外接矩形。
在本公开的一个实施例中，所述确定模块1204，还用于：以所述轮廓多边形多个顶点中的未落在所述障碍物所在直线上的任一顶点，作为第三顶点，经过所述第三顶点做所述障碍物所在直线的垂线，确定所述垂线与所述障碍物所在直线的交点；以所述交点为起点，所述第三顶点为终点所形成的方向向量为所述远离所述车辆的方向。
根据本公开实施例提供的BEV俯视图的补全装置，通过采集雷达盲区的障碍物的图像，获取障碍物的相关信息，并将障碍物投影至第一BEV俯视图中，得到障碍物在第一BEV俯视图中的轮廓多边形。进而根据轮廓多边形确定障碍物的所在直线，以对障碍物进行轮廓补全，得到具有完整障碍物大小的第二BEV俯视图，能有效确定盲区内障碍物的所在直线和位置，减少计算的复杂度，帮助自动驾驶系统进行决策和规划，避免碰撞和系统误判的发生，提高驾驶的安全性，有助于推动自动驾驶的发展。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序/指令或者从存储单元1306载到随机访问存储器(RAM)1303中的计算机程序/指令，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如信息处理方法。例如，在一些实施例中，信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1306些实施例中，计算机程序/指令的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序/指令加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序/指令中，该一个或者多个计算机程序/指令可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序/指令来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (37)

1.一种鸟瞰视角BEV俯视图的补全方法，其中，所述方法包括：
获取车辆的第一BEV俯视图和二维2D图像；
基于所述2D图像，获取盲区内障碍物的相关信息；
根据所述相关信息和相机标定参数，向所述第一BEV俯视图中进行障碍物投影，得到所述障碍物在所述第一BEV俯视图中的轮廓多边形，所述相机标定参数为根据拍摄所述2D图像的相机确定；
根据所述轮廓多边形，确定所述障碍物所在直线，并根据所述障碍物所在直线对所述障碍物在所述第一BEV俯视图的轮廓多边形进行补全，得到第二BEV俯视图。
2.根据权利要求1所述的方法，其中，所述根据所述轮廓多边形，确定所述障碍物所在直线，包括：
确定所述轮廓多边形与所述车辆的相对位置，并根据所述相对位置，确定所述障碍物所在直线。
3.根据权利要求1所述的方法，其中，所述根据所述轮廓多边形，确定所述障碍物所在直线，包括：
确定所述轮廓多边形与所述车辆的相对位置；
确定所述轮廓多边形的形状类型；
根据所述相对位置和所述轮廓多边形的形状类型，确定所述障碍物所在直线。
4.根据权利要求3所述的方法，其中，所述确定所述轮廓多边形的形状类型，包括：
根据所述轮廓多边形与所述车辆的相对位置，确定所述轮廓多边形的形状类型。
5.根据权利要求3所述的方法，其中，所述确定所述轮廓多边形的形状类型，包括：
确定所述轮廓多边形的目标线段；
根据所述轮廓多边形的目标线段和所述相对位置，确定所述轮廓多边形的形状类型。
6.根据权利要求5所述的方法，其中，所述确定所述轮廓多边形的目标线段，包括：
基于旋转卡壳算法，确定所述轮廓多边形的多组对踵点；
对所述多组对踵点进行遍历，得到每组对踵点之间的距离，并确定最大距离的一组对踵点的连线作为所述轮廓多边形的目标线段。
7.根据权利要求5所述的方法，其中，所述根据所述轮廓多边形与所述车辆的相对位置，确定所述轮廓多边形的形状类型，包括：
若所述相对位置指示所述障碍物位于所述车辆的左右两侧，确定所述轮廓多边形的形状类型为第一类型。
8.根据权利要求5所述的方法，其中，所述根据所述轮廓多边形的目标线段和所述相对位置，确定所述轮廓多边形的形状类型，包括：
若所述相对位置指示所述障碍物未位于所述车辆的左右两侧，确定轮廓多边形上除所述目标线段所连接的两个顶点之外的剩余顶点；
确定所述剩余顶点到所述目标线段的垂直距离，并基于所述垂直距离确定所述轮廓多边形的形状类型。
9.根据权利要求8所述的方法，其中，所述基于所述垂直距离确定所述轮廓多边形的形状类型，包括：
若存在所述垂直距离大于或者等于设定距离阈值的剩余顶点，确定所述轮廓多边形的形状类型为第二类型；或，
若未存在所述垂直距离大于或者等于设定距离阈值的剩余顶点，确定所述轮廓多边形的形状类型为第一类型。
10.根据权利要求3所述的方法，其中，所述确定所述轮廓多边形的形状类型，包括：
识别所述轮廓多边形的顶点分布信息，基于所述顶点分布信息确定所述轮廓多边形的形状类型。
11.根据权利要求2所述的方法，其中，所述根据所述相对位置，确定所述障碍物所在直线，包括：
若所述相对位置指示所述障碍物位于所述车辆的左右两侧，确定所述车辆的行驶方向，并根据所述行驶方向确定所述障碍物所在直线。
12.根据权利要求3-10中任一项所述的方法，其中，所述根据所述相对位置和所述轮廓多边形的形状类型，确定所述障碍物所在直线，包括：
若所述相对位置指示所述障碍物未位于所述车辆的左右两侧，基于所述轮廓多边形的形状类型，确定所述障碍物所在直线。
13.根据权利要求12所述的方法，其中，所述基于所述轮廓多边形的形状类型，确定所述障碍物所在直线，包括：
若所述形状类型为第一类型，基于所述轮廓多边形的目标线段，确定所述障碍物所在直线；或，
若所述形状类型为第二类型，确定所述轮廓多边形的顶点中满足设定条件的第一顶点和第二顶点，并基于所述第一顶点和所述第二顶点确定所述障碍物所在直线。
14.根据权利要求13所述的方法，其中，所述确定所述轮廓多边形的顶点中满足设定条件的第一顶点和第二顶点，并基于所述第一顶点和所述第二顶点确定所述障碍物所在直线，包括：
确定所述轮廓多边形上除所述目标线段连接的两个顶点之外的剩余顶点中到所述目标线段所在直线的垂直距离最大的第一顶点；
确定所述第一顶点分别到所述目标线段连接的两个顶点的第一距离和第二距离；
比较所述第一距离和所述第二距离，从所述目标线段连接的两个顶点中确定距离较大的顶点，作为第二顶点；
确定所述第一顶点和所述第二顶点之间的连线，并基于所述连线确定所述障碍物所在直线。
15.根据权利要求1-7中任一项所述的方法，其中，所述根据所述障碍物所在直线对所述障碍物在所述第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图，包括：
响应于所述障碍物的初始外接矩形的宽度小于设定宽度阈值，根据所述障碍物所在直线，对所述初始外接矩形的宽度向远离所述车辆的方向进行补全，得到所述障碍物的目标外接矩形，并更新所述障碍物的中心点，其中，所述初始外接矩形根据所述轮廓多边形和所述障碍物所在直线得到；
将所述目标外接矩形与所述第一BEV俯视图中的检测框进行关联融合，得到所述第二BEV俯视图。
16.根据权利要求15所述的方法，其中，所述根据所述障碍物所在直线，对所述初始外接矩形的宽度向远离所述车辆的方向进行补全，得到所述障碍物的目标外接矩形，包括：
根据所述障碍物所在直线，确定远离所述车辆的方向为所述障碍物的补全方向；
根据所述补全方向，对所述初始外接矩形进行宽度补全，得到所述障碍物的目标外接矩形。
17.根据权利要求16所述的方法，其中，所述根据所述障碍物所在直线，确定远离所述车辆的方向为所述障碍物的补全方向，包括：
以所述轮廓多边形多个顶点中的未落在所述障碍物所在直线上的任一顶点，作为第三顶点，经过所述第三顶点做所述障碍物所在直线的垂线，确定所述垂线与所述障碍物所在直线的交点；
以所述交点为起点，所述第三顶点为终点所形成的方向向量为所述远离所述车辆的方向。
18.一种BEV俯视图的补全装置，其中，所述装置包括：
第一获取模块，用于获取车辆的第一BEV俯视图和二维2D图像；
第二获取模块，用于基于所述2D图像，获取盲区内障碍物的相关信息；
投影模块，用于根据所述相关信息和相机标定参数，向所述第一BEV俯视图中进行障碍物投影，得到所述障碍物在所述第一BEV俯视图中的轮廓多边形，所述相机标定参数为根据拍摄所述2D图像的相机确定；
确定模块，用于根据所述轮廓多边形，确定所述障碍物所在直线，并根据所述障碍物所在直线对所述障碍物在所述第一BEV俯视图中的轮廓多边形进行补全，得到第二BEV俯视图。
19.根据权利要求18所述的装置，其中，所述确定模块，还用于：
确定所述轮廓多边形与所述车辆的相对位置，并根据所述相对位置，确定所述障碍物所在直线。
20.根据权利要求18所述的装置，其中，所述确定模块，还用于：
确定所述轮廓多边形与所述车辆的相对位置；
确定所述轮廓多边形的形状类型；
根据所述相对位置和所述轮廓多边形的形状类型，确定所述障碍物所在直线。
21.根据权利要求20所述的装置，其中，所述确定模块，还用于：
根据所述轮廓多边形与所述车辆的相对位置，确定所述轮廓多边形的形状类型。
22.根据权利要求20所述的装置，其中，所述确定模块，还用于：
确定所述轮廓多边形的目标线段；
根据所述轮廓多边形的目标线段和所述相对位置，确定所述轮廓多边形的形状类型。
23.根据权利要求22所述的装置，其中，所述确定模块，还用于：
基于旋转卡壳算法，确定所述轮廓多边形的多组对踵点；
对所述多组对踵点进行遍历，得到每组对踵点之间的距离，并确定最大距离的一组对踵点的连线作为所述轮廓多边形的目标线段。
24.根据权利要求22所述的装置，其中，所述确定模块，还用于：
若所述相对位置指示所述障碍物位于所述车辆的左右两侧，确定所述轮廓多边形的形状类型为第一类型。
25.根据权利要求22所述的装置，其中，所述确定模块，还用于：
若所述相对位置指示所述障碍物未位于所述车辆的左右两侧，确定轮廓多边形上除所述目标线段所连接的两个顶点之外的剩余顶点；
确定所述剩余顶点到所述目标线段的垂直距离，并基于所述垂直距离确定所述轮廓多边形的形状类型。
26.根据权利要求25所述的装置，其中，所述确定模块，还用于：
若存在所述垂直距离大于或者等于设定距离阈值的剩余顶点，确定所述轮廓多边形的形状类型为第二类型；或，
若未存在所述垂直距离大于或者等于设定距离阈值的剩余顶点，确定所述轮廓多边形的形状类型为第一类型。
27.根据权利要求20所述的装置，其中，所述确定模块，还用于：
识别所述轮廓多边形的顶点分布信息，基于所述顶点分布信息确定所述轮廓多边形的形状类型。
28.根据权利要求19所述的装置，其中，所述确定模块，还用于：
若所述相对位置指示所述障碍物位于所述车辆的左右两侧，确定所述车辆的行驶方向，并根据所述行驶方向确定所述障碍物所在直线。
29.根据权利要求20-27中任一项所述的装置，其中，所述确定模块，还用于：
若所述相对位置指示所述障碍物未位于所述车辆的左右两侧，基于所述轮廓多边形的形状类型，确定所述障碍物所在直线。
30.根据权利要求29所述的装置，其中，所述确定模块，还用于：
若所述形状类型为第一类型，基于所述轮廓多边形的目标线段，确定所述障碍物所在直线；或，
若所述形状类型为第二类型，确定所述轮廓多边形的顶点中满足设定条件的第一顶点和第二顶点，并基于所述第一顶点和所述第二顶点确定所述障碍物所在直线。
31.根据权利要求30所述的装置，其中，所述确定模块，还用于：
确定所述轮廓多边形上除所述目标线段连接的两个顶点之外的剩余顶点中到所述目标线段所在直线的垂直距离最大的第一顶点；
确定所述第一顶点分别到所述目标线段连接的两个顶点的第一距离和第二距离；
比较所述第一距离和所述第二距离，从所述目标线段连接的两个顶点中确定距离较大的顶点，作为第二顶点；
确定所述第一顶点和所述第二顶点之间的连线，并基于所述连线确定所述障碍物所在直线。
32.根据权利要求18-24中任一项所述的装置，其中，所述确定模块，还用于：
响应于所述障碍物的初始外接矩形的宽度小于设定宽度阈值，根据所述障碍物所在直线，对所述初始外接矩形的宽度向远离所述车辆的方向进行补全，得到所述障碍物的目标外接矩形，并更新所述障碍物的中心点，其中，所述初始外接矩形根据所述轮廓多边形和所述障碍物所在直线得到；
将所述目标外接矩形与所述第一BEV俯视图中的检测框进行关联融合，得到所述第二BEV俯视图。
33.根据权利要求32所述的装置，其中，所述确定模块，还用于：
根据所述障碍物所在直线，确定远离所述车辆的方向为所述障碍物的补全方向；
根据所述补全方向，对所述初始外接矩形进行宽度补全，得到所述障碍物的目标外接矩形。
34.根据权利要求33所述的装置，其中，所述确定模块，还用于：
以所述轮廓多边形多个顶点中的未落在所述障碍物所在直线上的任一顶点，作为第三顶点，经过所述第三顶点做所述障碍物所在直线的垂线，确定所述垂线与所述障碍物所在直线的交点；
以所述交点为起点，所述第三顶点为终点所形成的方向向量为所述远离所述车辆的方向。
35.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-17中任一项所述的方法。
36.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-17中任一项所述的方法。
37.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-17中任一项所述的方法步骤。
CN202311527360.2A 2023-11-15 2023-11-15 鸟瞰视角bev俯视图的补全方法、装置和电子设备 Pending CN117612132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311527360.2A CN117612132A (zh) 2023-11-15 2023-11-15 鸟瞰视角bev俯视图的补全方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311527360.2A CN117612132A (zh) 2023-11-15 2023-11-15 鸟瞰视角bev俯视图的补全方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN117612132A true CN117612132A (zh) 2024-02-27

Family

ID=89947369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311527360.2A Pending CN117612132A (zh) 2023-11-15 2023-11-15 鸟瞰视角bev俯视图的补全方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN117612132A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853569A (zh) * 2024-03-07 2024-04-09 上海励驰半导体有限公司 车辆外围区域的呈现装置、方法和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853569A (zh) * 2024-03-07 2024-04-09 上海励驰半导体有限公司 车辆外围区域的呈现装置、方法和电子设备
CN117853569B (zh) * 2024-03-07 2024-05-28 上海励驰半导体有限公司 车辆外围区域的呈现装置、方法和电子设备

Similar Documents

Publication Publication Date Title
US11747809B1 (en) System and method for evaluating the perception system of an autonomous vehicle
EP3252658B1 (en) Information processing apparatus and information processing method
CN113264066B (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
WO2018120040A1 (zh) 一种障碍物检测方法及装置
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN117612132A (zh) 鸟瞰视角bev俯视图的补全方法、装置和电子设备
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN115879060B (zh) 基于多模态的自动驾驶感知方法、装置、设备和介质
CN114945952A (zh) 使用神经网络从相机图像和已知深度数据生成深度
EP3842836A1 (en) Method, apparatus and storage medium for positioning object
KR20210090574A (ko) 선박 및 항만 모니터링 장치 및 방법
CN115406457A (zh) 一种可行驶区域检测方法、系统、设备及存储介质
CN114663529A (zh) 一种外参确定方法、装置、电子设备及存储介质
CN115273039A (zh) 一种基于摄像头的小障碍物探测方法
CN113435392A (zh) 应用于自动泊车的车辆定位方法、装置及车辆
CN110901384B (zh) 无人车控制方法、装置、介质及电子设备
CN116189150B (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN115432007A (zh) 用于车辆自动驾驶系统的碰撞检测方法、装置、电子设备
CN113936493B (zh) 用于自动驾驶的图像处理方法、装置、计算机设备和介质
CN116245730A (zh) 图像拼接的方法、装置、设备以及存储介质
CN113033456A (zh) 车辆车轮接地点的确定方法、装置、路侧设备及云控平台
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination