CN117500709A - 用于无障碍驾驶的系统和方法 - Google Patents

Abstract

提供了一种用于在反射面(101)中进行对象检测的装置(220)和方法。此外，本发明涉及一种自动驾驶车辆，包括用于根据所述方法操作所述车辆以实现自动驾驶支持的装置(220)。所述装置(220)包括至少一个处理器(225)，所述至少一个处理器用于：接收输入图像帧序列；检测所述输入图像帧序列中的反射面(101)；在所述检测到的反射面(101)内执行对象检测；以及分配一个或多个检测到的对象(570)用于指定对象轨迹。所述方法包括：接收输入图像帧序列；检测所述输入图像帧序列中的反射面(101)；在所述检测到的反射面(101)内执行对象检测；分配一个或多个检测到的对象(570)用于指定对象轨迹。所述自动驾驶车辆包括用于检测反射面(101)内的对象(570)的所述装置(220)，所述装置用于根据用于检测反射面(101)内的对象(570)的方法来操作所述车辆，以实现自动驾驶支持。

Description

用于无障碍驾驶的系统和方法

技术领域

本申请涉及自动驾驶车辆领域，更具体地，涉及一种用于在反射面中进行对象检测的装置和方法。此外，本申请涉及一种自动驾驶车辆，其包括用于根据所述方法操作所述车辆以实现自动驾驶支持的装置。

背景技术

自动驾驶车辆需要感知环境，以便执行自动行为规划和导航。通常，准确估计和识别无障碍路径对于确保车辆安全运行至关重要。环境条件可能会变得复杂，需要使用交通镜。这种环境的一个示例是道路的交叉口，在交叉口，接近车辆的视野可能部分或完全被环境的基础设施遮挡。人类驾驶者具有感知交通镜的认知能力，在交通镜中定位相关交通参与者，并具有感知到的反射对象位于环境中的其它地方(即交通镜之外)的语义理解。在检测交通镜中的交通参与者时，已知的自动检测配置不太可靠，可能缺乏语义理解。

例如，基于视觉相机的对象检测方法经常用于感知和跟踪环境中感兴趣的对象。当需要检测交通镜中的交通参与者等小对象时，这些对象检测方法对于自动驾驶目的可能不太可靠。目前的对象检测方法通常使用卷积神经网络(convolutional neural network，CNN)作为主干结构。这些网络通常使用卷积层和池化层来降低图像分辨率，从对应像素中抽象出相关特征，并在此基础上应用高质量分类算法。但是，在网络的卷积过程中，每个池化层的空间信息会减少，小对象特征可能会丢失。这可能会妨碍对图像中小尺寸对象的可靠检测。

此外，当前的驾驶自动化配置缺乏对镜检测的语义理解，特别是关于检测到的对象的位置和运动方向。即使集成在自动驾驶车辆中的可用对象检测系统将检测交通镜中的对象，例如驶入车辆，这些检测到的车辆也可能被解释为来自道路的前侧。原因可能是错误解释，即镜子中的反射对象位于环境中的其它地方。

因此，需要解决现有系统或技术中的上述技术缺陷，以便可靠地估计在反射面中检测到的对象的位置和运动方向。

发明内容

本发明的目的是提供一种用于在具有可靠对象检测和跟踪能力的反射面中进行对象检测的装置和方法。这种装置和方法特别用于无障碍自动驾驶。

上述和其它目的通过独立权利要求请求保护的特征实现。其它实现方式在从属权利要求、说明书和附图中是显而易见的。

根据第一方面，提供了一种装置，所述装置包括至少一个处理器，所述至少一个处理器用于：接收输入图像帧序列；检测所述输入图像帧序列中的反射面；在所述检测到的反射面内执行对象检测；以及分配一个或多个检测到的对象用于指定对象轨迹。

该装置可以在用于部署在嵌入式系统上的任何车辆或其它设备中实现，以实现自动驾驶支持。此外，该装置可用于需要检测、跟踪和语义分配反射面中的多个类别对象的其它计算机视觉任务。

在一些实现方式中，该装置可以称为高级驾驶辅助系统(advanced driver-assistance systems，ADAS)，其是辅助驾驶员驾驶和停车功能的电子系统。

一个或多个处理器可以实施为用于执行所述操作的任何类型的处理器。例如，处理器可以实施为单核或多核处理器、微控制器或其它处理/控制电路。处理器用于评估对象检测的相关性，以支持包括所述装置的宿主车的决策过程，以便可靠地执行车道合并或超车动作。

存储器可以耦合到处理器，并可以实施为用于短期或长期数据存储的任何类型的易失性或非易失性存储器，以用于执行本文所述的操作。存储器可以包括硬盘驱动器、固态驱动器或其它数据存储设备。存储器可以存储图像数据、训练数据、用于对象检测的其它数据以及在装置操作期间使用的各种软件和驱动程序。该装置的存储器可以包括环境的高清(high-definition，HD)地图。

输入图像帧序列包括提供反射面、将被检测为相关和不相关的对象的图像。这些对象包括车辆、街道拓扑、环境特征，例如树木、交通标志、道路标志等。该装置还可以包括图像捕获设备，用于捕获由输入图像帧集合形成的视频序列。

在输入图像帧序列中检测反射面。反射面可以在整个序列上或在序列中的一组图像中检测到。检测反射面(例如交通镜)提供了相关对象的第一可靠检测。换句话说，反射面的检测至少指示更复杂的环境。此外，还启动了更复杂的对象检测条件。这将通过在以下实现方式中提供的进一步细节变得显而易见。

对象检测在反射面内执行。如此，检测到的对象容易被分类为位于环境中的其它地方，而不是位于反射面的位置。因此，可以避免对检测到的对象位置的错误解释。

为了指定对象轨迹，例如方向、运动平移，分配检测到的对象。因此，不仅在反射面中检测对象，而且进一步将对象分类、跟踪，以及(如果相关)包括在后续决策过程中。

检测反射面中的对象以及分配检测到的对象以指定相关的对象轨迹，提供了反射面中多个类别对象的可靠检测、跟踪和语义分配。不需要如已知方法中额外的传感器。

根据第一方面，在所述装置的一种可能的实现方式中，所述至少一个处理器还用于从一个或多个输入帧中裁剪所述检测到的反射面，从而提供包括对应边界框的裁剪像素的至少一个裁剪图像。扫描包括检索反射面检测的所得边界框或类似标记的裁剪图像序列。在下文中，单个裁剪图像或裁剪图像序列称为裁剪图像。反射面的区域将被裁剪。因此，仅提供图像序列中的感兴趣区域用于进一步处理。所得裁剪图像包括对应边界框的输入图像的像素。选择边界框以包括检测到的反射面。在裁剪图像中检测对象。在一些实现方式中，至少一个检测到的对象是宿主车或可以通过车辆对车辆(vehicle-to-vehicle，V2V)通信业务与宿主车通信的其它车辆。

根据第一方面，在所述装置的一种可能的实现方式中，所述至少一个处理器还用于对所述裁剪图像执行高分辨率对象检测。这减少了图像分辨率的损失。

根据第一方面，在所述装置的一种可能的实现方式中，分配所述一个或多个检测到的对象还包括以下各项中的至少一项：对所述一个或多个检测到的对象进行分类，将所述一个或多个检测到的对象分配给环境拓扑，以及跟踪所述分配的一个或多个检测到的对象。将检测到的对象分类(例如分类为相关、不太相关或不相关)通过聚焦于感兴趣的对象，提供了改进或快速的对象检测。例如，某些对象被分类为街道拓扑等，因此只有这些对象被分配给环境拓扑。这种环境拓扑可以提供为内部或外部HD地图。跟踪分配的对象。在一些实现方式中，跟踪在反射面的局部坐标系中执行。在一些实现方式中，跟踪在宿主车的坐标系中执行。

根据第一方面，在所述装置的一种可能的实现方式中，所述至少一个处理器还用于使用畸变校正校准所述裁剪图像。(例如宿主车或其它通信车辆的)已知的位置和几何形状信息可用于校正裁剪图像的畸变。为此，使用通过比较畸变几何形状和已知几何形状获得的径向畸变参数和切向畸变参数。

根据第一方面，在所述装置的一种可能的实现方式中，所述至少一个处理器还用于利用所述环境拓扑的提供或检测到的位置和几何形状来校准所述裁剪图像的外部参数。检索(例如宿主车或其它通信车辆的)已知的位置和几何形状信息，以通过三角测量方法估算反射面与宿主车之间的平移参数和旋转参数并比较在不同视频帧期间宿主车的已知几何形状，估计裁剪图像的平移校准参数和旋转校准参数。

根据第一方面，在所述装置的一种可能的实现方式中，所述装置还包括通信子系统，所述通信子系统用于使用无线技术和相关协议来实现所述装置与其它远程计算机网络或设备之间的通信。通信子系统用于使用无线技术和相关协议来实现装置与其它远程计算机网络或设备之间的通信。这些包括但不限于通过车辆对车辆(vehicle-to-vehicle，V2V)通信与具有自动驾驶能力的车辆通信，或通过车辆对基础设施(vehicle-to-infrastructure，V2I)通信与智能基础设施设备通信。

在一些实现方式中，需要装置结合方案和方法，以校正裁剪图像的畸变，并估计检测到的对象的位置和运动方向，以正确地理解检测。此外，在一些实现方式中，希望利用通过检测和跟踪反射面(例如交通镜)中的交通参与者所获得的信息，为例如自动驾驶系统等装置提供安全导航的决策支持。

根据第二方面，提供了一种对象检测方法。该方法由装置执行。所述方法包括：接收输入图像帧序列；检测所述输入图像帧序列中的反射面；在所述检测到的反射面内执行对象检测；分配一个或多个检测到的对象用于指定对象轨迹。

根据第二方面，在所述方法的一种可能的实现方式中，所述方法还包括从一个或多个输入帧中裁剪所述检测到的反射面，并提供包括对应边界框的裁剪像素的裁剪图像。

根据第二方面，在所述方法的一种可能的实现方式中，所述方法还包括对所述裁剪图像执行高分辨率对象检测。

根据第二方面，在所述方法的一种可能的实现方式中，分配所述一个或多个检测到的对象还包括以下各项中的至少一项：对所述一个或多个检测到的对象进行分类，将所述一个或多个检测到的对象分配给环境拓扑，以及跟踪所述分配的一个或多个检测到的对象。根据另一方面，提供了一种方法，用于对检测到的对象进行分类，将这些检测到的对象分配给街道拓扑，并使用校准的镜图像来跟踪其它检测到的对象，例如交通参与者。

根据第二方面，在所述方法的另一种实现方式中，所述方法还包括在所述反射面外部的坐标系中跟踪所述分配的一个或多个检测到的对象的轨迹。这可以包括在宿主车坐标系中跟踪相关对象的位置和速度。因此，可以至少在对象的真实位置和速度方面正确和可靠地检测对象。在另一种实现方式中，所述方法包括使用畸变参数计算所述反射面的凸表面的表面曲率的近似值，并为通用反射面提供预定曲率模型。基于反射面的估计的曲率或反射特性，可以使用反射面中反射相对于相机姿态的位置来估计其它检测到的对象(如汽车)的姿态。为了将反射面内的区域与道路拓扑关联，从而将检测到的对象与道路拓扑关联，可以根据反射面的反射特性跟踪连接反射面和道路拓扑的光线。合适光线的选择由道路拓扑的距离决定，该距离应与反射面关联。

根据第二方面，在所述方法的另一种实现方式中，所述方法还包括基于将对象检测分配给街道拓扑，预测所述检测到的对象的位置。换句话说，基于将对象检测分配给街道拓扑，将由跟踪光线(上文解释)划定的地面上的封闭区域预测为对检测到的对象(例如交通参与者)的位置的粗略估计。

根据第二方面，在所述方法的另一种实现方式中，所述方法由车辆的装置实现，还包括：检测所述对象中的至少一个对象作为所述车辆；检索所述车辆的位置和几何形状；通过将所述车辆在所述反射面的坐标系中的畸变位置与所述车辆的所述检索到的位置和几何形状进行比较，估计径向畸变系数和切向畸变系数。因此，宿主车可用于估计畸变系数。此外，车辆对车辆(vehicle-to-vehicle，V2V)通信服务也可用于检索车辆的位置和几何形状。车辆可以是宿主车、与宿主车通信的另一车辆或其它车辆。

此外，在带有相机的汽车或连接的车辆相对于反射面移动时，可以使用多个捕获的图像进行三角测量来估计在反射面中观察到的对象的姿态。根据第二方面，在所述方法的另一种实现方式中，所述方法还包括评估所述一个或多个检测到的对象的相关性；确定用于支持车道合并或超车动作的规划的Go状态或No-go状态。换句话说，提供了一种基于从反射面(例如交通镜)中检测和跟踪的对象获得的信息来支持宿主车的决策的方法。基于先前的信息，例如街道拓扑分配、对象类别、位置和运动特征，评估对象的相关性，以确定宿主车的安全车道合并或超车动作的可行性。

根据第三方面，提供了一种自动驾驶车辆，所述自动驾驶车辆包括用于检测反射面内的对象的装置，用于根据用于检测反射面内的对象的方法来操作所述车辆，以实现自动驾驶支持。

因此，本发明的实现方式可以提供具有灵活的业务调度器的业务调度概念，该业务调度器可以灵活地在算法领域进一步开发，特别是可以同时提供基于硬件的业务调度器的优越性能的更快算法。

此外，反射面的图像(例如交通镜图像)的未知取向及其由于表面曲率而引起的畸变对反射面内的可靠对象检测构成了巨大挑战。正确估计检测到的对象的位置和运动方向对于正确语义理解反射面检测(例如镜检测)至关重要。在上文，已经描述了如何实现这一目标。更多详细信息在详细说明中提供。

本发明的第二方面提供的方法可以由本发明的第一方面提供的装置执行。本发明的第二方面提供的方法的其它特征和实现方式对应于本发明的第一方面提供的装置的特征和实现方式。

第二方面提供的方法可以扩展为对应于第一方面提供的装置的实现方式。因此，所述方法的实现方式包括所述装置的对应实现方式的一个或多个特征。

第二方面提供的方法的优点与第一方面提供的装置的对应实现方式的优点相同。

根据第五方面，提供了一种计算机程序产品，包括存储有计算机可读指令的非瞬时性计算机可读存储介质。计算机可读指令可由包括处理硬件的计算机化设备执行以执行所述方法。

附图说明

现结合附图通过示例的方式对本发明进行描述。在附图中：

图1示出了其中需要对象检测的示例性环境；

图2示出了如图1所示的车辆和反射面的示意图；

图3是反射面感知和Go/No-go决策的框图；

图4是车辆的Go/No-go决策的流程图；

图5是对象检测的框图；

图5a示出了图5的对象检测；

图6是图像校准技术的框图；

图7是检测到的对象的分配技术的框图；

图8是本发明的各种实施例提供的对象检测、检测到的对象的分配和Go/No-go决策之间的交互的框图；

图9是检测到的对象的分配技术的另一个示例的框图。

在下文中，除非另外明确说明，否则相同的附图标记是指相同或至少功能上等效的特征。

具体实施方式

以下描述中，参考形成本发明一部分并以说明的方式示出本发明的实施例的具体方面或可以使用本发明的实施例的具体方面的附图。应理解，本发明的实施例可用于其它方面，并且包括未在附图中描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，本发明的范围由所附权利要求书界定。

例如，应当理解，与描述方法有关的公开内容可以对用于执行所述方法的对应装置或系统也同样适用，反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包括一个或多个单元(例如，功能单元)来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元各自执行多个步骤中的一个或多个步骤)，即使附图中未明确描述或示出这种一个或多个单元。另一方面，例如，如果根据一个或多个单元(例如，功能单元)来描述具体装置，则对应的方法可以包括一个步骤来执行一个或多个单元的功能(例如，一个步骤执行一个或多个单元的功能，或多个步骤各自执行多个单元中的一个或多个单元的功能)，即使附图中未明确描述或示出这种一个或多个单元。此外，应当理解，除非另外明确说明，本文中描述的各种示例性实施例和/或方面的特征可以相互组合。

本发明涉及反射面(例如交通镜)中的对象检测，以及用于自动驾驶中决策支持的检测的相应语义评估。所描述的传感器、处理器、存储器设备以及检测和跟踪系统可以体现在车辆的硬件或软件固件或其组合中。下文描述的装置和方法还可以视为特别涉及在自动驾驶的上下文中处理用于安全导航的交通镜。

图1示出了其中需要对象检测的示例性环境。具有自动驾驶能力的宿主车102位于环境100中。车辆的自动驾驶能力包括所有自动驾驶级别，例如2级(部分自动驾驶)、3级(有条件自动驾驶)或5级(完全自动驾驶)，其中，这些级别是根据汽车工程师协会的定义。环境100提供道路的交叉口，其中，两个驶入车辆103和104接近交叉口。接近的宿主车102的视野被环境100的基础设施105部分或完全遮挡。为了安全的交通操作，使用反射面101，例如交通镜。

宿主车102使用反射面101来感知驶入车辆103。因此，宿主车102可以安全地进行超车或车道合并动作。如将参考其它附图解释的，宿主车102包括用于检测反射面101内的对象的装置。

因此，另外在自动驾驶车辆的视野以任何方式被遮挡的其它环境中，使用反射面101变得必要。这些环境有但不限于停车场出入口、狭窄形状的交叉口和人行横道。

图2示出了图1的宿主车102和反射面101的示意图。图像捕获设备210用于捕获由输入图像帧集合形成的视频序列，其中，图像包括反射面101。例如，图像捕获设备210是校准的单目相机。

车辆102提供装置220。装置220包括处理器225。可选地，还提供了通信子系统240。处理器225用于接收输入图像帧序列，并检测输入图像帧中的反射面101。此外，处理器225用于在反射面101内执行对象检测。检测到的对象包括但不限于交通参与者和街道拓扑。

处理器225用于在至少一个输入图像帧上跟踪检测到的对象。以这种方式，可以将检测到的对象及其估计位置的一个或多个列表提供给在处理器225中实现的决策支持过程，以实现宿主车102的轨迹规划目的。检测到的对象的一个或多个列表可以存储在装置220的存储器230中。因此，分配一个或多个检测到的对象用于指定对象轨迹。

处理器225用于从一个或多个输入图像帧中裁剪检测到的反射面，从而提供裁剪图像。裁剪图像包括检测到的反射面101(例如交通镜)的图像的裁剪像素。

装置220的存储器230提供环境的高清(high-definition，HD)地图231，该地图231存储在存储器230中。可以提供额外的存储器空间232用于由装置220执行的检测、跟踪和图像处理任务。例如，装置220提供了图3所示方法的实现方式。

如图2所示，反射面101提供局部坐标系(coordinate system，CS)。宿主车102提供坐标系宿主车VCS。这些坐标系的使用将在下图的描述中变得显而易见。

图3是用于处理反射面101的过程300的框图。过程300可以分为两种方法：反射面感知305和Go/No-go决策400。这两种方法并行运行，可选择在执行步骤后交换所得数据或信号。

反射面感知305包括三个子方法，用于在驾驶场景中感知并将语义含义分配给反射面101：用于检测反射面101中的对象的对象检测500、用于校准和校正反射图像的畸变的图像校准600以及分配700，用于对检测到的对象进行分类，将这些对象分配给街道拓扑，并使用反射面101的校准图像来跟踪检测到的对象。

反射面感知305的步骤不一定以任何特定顺序呈现，并且可以并预期按替代顺序执行过程300。特别地，不一定执行或按顺序执行子方法500、600和700，但是可以插入每个子方法的一个或多个步骤，以提高感知过程的整体效率。整个过程300或其部分可以在装置220的一个或多个元件中实现。

Go/No-go决策400为需要使用反射面的驾驶场景中的自动驾驶车辆提供决策支持。Go/No-go决策400包括检索关于检测到的对象的位置、运动特征、移动方向和类别的信息，以确定宿主车102的安全车道合并或超车动作的可行性。该信息由反射面感知305获得，传递给Go/No-go决策400，并作为并行、连续的监督环路运行，以支持车道合并或超车动作等规划。

因此，Go/No-go决策400基于从对象检测500和从包括关于检测的处理信息或数据的并行分配700检索的反射面中的对象检测来确定驶入交通参与者的相关性。基于这些输入，Go/No-go决策400相应地推断在图4中详细解释的“Go”状态408或“No-Go”状态407。

图4是宿主车的Go/No-go决策的流程图。在步骤401中，从对象检测500中检索反射面中的一个或多个对象检测。在后续步骤402至405中，针对几个相关参数评估反射面101中检测到的对象，例如这些对象的类别、位置和运动方向。根据对象与汽车动作(例如，并入车道或超车动作等)安全的相关性评估这些对象。这种评估主要基于并行分配700的输入(下文详细描述)。

在步骤402中，基于检测到的对象的类别推断反射面内检测到的对象的相关性。例如，机动车辆和自行车是相关的交通参与者，需要纳入考虑，以避免可能发生的事故。但是，其它检测到的对象，例如树木，甚至小动物，可能与决策过程无关。在这个意义上，评估所有当前检测的类别的相关性，并且将类别被认为相关或未知的剩余对象检测传递到下一步骤403。如果所有当前检测到的对象的类别被评估为不相关，则该方法进入“Go”状态408。

类似地，在步骤403中，评估检测到的对象的位置的相关性。在前一步骤402中被评估为相关的交通参与者需要在相关位置发现，例如在车道内的街道上，以被认为对宿主车具有潜在危险。可能在停车场或车库等不相关位置发现的对象与决策过程无关。因此，评估所有当前检测的位置的相关性，并且将位置被认为相关或未知的剩余对象检测传递到下一步骤404。如果所有当前检测到的对象的位置被评估为不相关，则该方法进入“Go”状态408。

在步骤404中，评估检测到的对象的移动方向。在相关位置发现的相关交通参与者需要因向宿主车移动而构成真正的事故威胁。例如，如果在车道内的街道上检测到车辆，但它正在远离宿主车，则可以安全地假设宿主车可以安全地执行合并或超车动作。因此，评估所有当前对象检测的移动方向的相关性，并且将移动方向被认为相关的剩余对象检测传递到下一步骤405。

如果在步骤405中，所有当前检测到的对象的移动方向被评估为不相关，则该方法进入“Go”状态408。但是，如果至少一个对象检测的移动方向未知，则该方法进入“待机”状态406，其中，宿主车需要等待，直到相关检测到的对象已经离开场景、不移动或不再处于相关位置。在满足该条件的情况下，“待机”状态406将进入“Go”状态408。在步骤405中，从分配700方法检索剩余相关检测到的对象与宿主车之间的估计距离，并评估以确定在相关位置发现并向宿主车移动的相关交通参与者是否在宿主车执行车道合并或超车动作的安全距离内。

如果所有当前检测到的对象与宿主车之间的所有距离被评估为安全，则该方法进入“Go”状态408，并且宿主车执行操作。否则，如果至少一个距离被评估为不安全，则该方法进入“No-Go”状态407，并且该方法立即继续进入“待机”状态406，以等待驶入的交通参与者通过。如果无法估计或无法评估宿主车与驶入交通参与者之间的距离中的至少一个距离，则该方法直接进入“待机”状态406。

只有当Go/No-go决策进入“Go”状态408时，宿主车102才能开始操作，否则操作将不会发生。

图5是对象检测500的框图。在步骤501中，接收例如来自视频的输入图像序列。输入图像可以从视频或图像捕获设备捕获。图像序列包括对象，其中至少一个对象是反射面。在步骤502中，在一个或多个输入帧中检测反射面101。为了检测反射面101，可以使用示例性对象检测算法，例如但不限于Liu,Wei等人开发的“单步多框检测器(Single shotmultibox detector)”(在下文中称为SSD)。此对象检测算法或任何其它对象检测算法可以经过专门配置和训练用于检测反射面，特别是交通镜。

在步骤503中，裁剪检测到的反射面101区域(例如交通镜)的图像帧的像素，以提供用于进一步处理的裁剪图像。为此，将边界框被放置在图像上，在图5a中进行详细解释。

在步骤504中，将先前使用的检测算法的边界框离散化空间和网络配置适配到一组较小的锚框中。随后，在步骤505中，利用修改的离散化空间配置对裁剪图像执行高分辨率对象检测。通过将检测模型的离散化空间和网络配置适配到一组较小的默认锚框中，在选定的裁剪图像内提高检测分辨率。对象检测算法的这种修改配置(例如，适配和/或训练的SSD/算法)支持在裁剪图像内执行可靠的对象和街道拓扑检测。

图5a示出通过使用从输入图像帧集合接收的示例性图像551来进行对象检测500。此处描述的对一个图像的对象检测也适用于输入图像帧的序列或集合。

通常，网络使用映射到卷积层的固定尺寸的边界框网格集合扫描图像。一方面，如果边界框的大小太大，算法将难以检测反射面，更不用说检测对象。另一方面，如果边界框的大小太小，检测就会变得缓慢，占用大量资源。因此，建议选择合适大小的固定尺寸边界框，这对网络的性能和精度至关重要。例如，可以选择尺寸不大于应检测到用于评估的汽车周围的区域中的最大反射面。使用的边界框的大小反映了扫描分辨率与计算效率之间的妥协。

图像551包括对象570，其中至少一个对象是反射面101，在这种情况下是交通镜。该图像示出了连接到杆554上的反射面101，以及道路标志555。在反射面101区域中，可以看到其它对象570。

在图像(图5a中的(a))中检测到反射面101。为此，使用了边界框556离散化空间和网络配置。边界框556在图像551上垂直和水平滑动，以应用反射面的检测。点是图像的采样点，每个采样点在SSD算法中作为框的中心点。同样的情况也适用于图5a中的(c)。

如图5a中的(b)所示，检测到的反射面101区域(此处为交通镜)的图像的像素被裁剪。提供裁剪图像560用于进一步处理。从图5a中的(c)中可以看到，裁剪图像560包括图5a中的(a)和图5a中的(b)中已经存在的对象570，但尺寸较小。

如图5a中的(c)所示，对裁剪图像560执行高分辨率对象检测。使用先前使用的检测算法的适配的边界框561离散化空间和网络配置。如图5a中的(c)所示，使用一组较小的锚框。

随后，利用修改的离散化空间配置对裁剪图像560执行高分辨率对象检测。通过将检测模型的离散化空间和网络配置适配到一组较小的默认锚框中，在选定的裁剪图像560内提高检测分辨率。对象检测算法的这种修改配置(例如，适配和/或训练的SSD/算法)支持在裁剪图像560内执行可靠的对象和街道拓扑检测。

从图5a中的(d)中可以看到，在裁剪图像560内检测到对象570。检测到的对象570中的一些对象将被分类为交通参与者，例如车辆552、553。其它对象570被分类为街道拓扑571。

图6示出了图像校准600技术或方法的框图。在步骤601中，接收反射面检测的所得边界框的裁剪图像或裁剪图像序列。如图5的步骤503至505中所述，生成一个或多个裁剪图像。在接收到检测到的反射面的一个或多个裁剪图像之后，在步骤602中，使用步骤504(图5)中提到的对象检测的修改配置，在一个或多个裁剪图像中检测宿主车102。或者或另外，在其它实施例中，可以使用V2V(vehicle to vehicle，车辆对车辆)或V2I(vehicle toInternet，车辆对互联网)通信服务，例如经由5G等检测其它通信车辆。

在步骤603中，检索宿主车102或其它通信车辆的已知位置和几何形状，例如车辆的高度、宽度、长度(在下文中称为几何形状信息)。在步骤604中，校正裁剪图像的例如由反射面的曲率引起的畸变。如果反射面是凸面镜(交通镜也称为凸面镜或弯曲镜)、鱼眼镜或发散镜，则镜子的向外凸起或弯曲扩大了可见视野，以反射比非弯曲镜更宽的视野。可以校准裁剪图像：估计和校正反射面相对于宿主车102的位置的位置和旋转。

为了增加用于图像校准的信息的可用性，可以使用V2V通信，使得宿主车102可以进一步检索也在裁剪图像中检测到的其它通信车辆的位置和几何形状。目的是使用宿主车102的几何形状和位置作为畸变校正和图像校准的主要信息源。然后，V2V信息可以用作附加信息，用于实现更高的精度，或者也用于宿主车在反射面内不可见的情况。

参考图4，因此，使用V2V通信增加了Go/No-Go决策400进入“Go”状态408的能力，并因此增加了自动驾驶功能的可用性。此外，除了V2V通信外，如果可用，还可以通过V2I通信检索关于环境的信息，例如反射面的位置和方向。这进一步提高了所提出系统的精度和可靠性。

在步骤604中执行畸变校正，以便校正裁剪图像的畸变。宿主车和其它通信车辆的已知几何形状(如果有)用于将检测到的畸变结构特征的像素映射到已知几何形状。以这种方式，通过比较畸变和已知几何形状，估计图像校准模型(例如但不限于鱼眼校准模型)的径向畸变系数和切向畸变系数以及固有校准参数。随后，相应地调整图像，产生反射面的未畸变图像。

在从不同图像帧检索未畸变图像之后，在步骤605中执行图像校准。包括图像校准605，用于估计反射面101相对于宿主车102的平移和旋转校准参数(外部校准参数)。这可以通过如下方式完成：首先通过三角测量方法计算反射面与宿主车之间的平移矢量，然后通过比较宿主车在不同的后续图像帧期间的已知几何形状来计算反射面的旋转矩阵。可选地，通过结合具有V2V功能的车辆的检索几何形状，提高该计算的精度。

图7是检测到的对象的分配700技术或方法的框图，将这些检测到的对象分配到街道拓扑，并使用校准的裁剪图像跟踪检测到的对象。如图4中所述，将检测到的对象与用于如图4中所述相应检测到的对象的相关性估计的必要输入一起提供给Go/No-go决策400方法。

在步骤701中，将检测到的对象分类到预定义的类别中，以确定相关类别的对象，例如，机动车辆或自行车等，在下文中也称为检测到的交通参与者。此外，一些对象被归类为属于环境，例如街道、树木、人行道或交通标志等，在下文中也称为检测到的街道拓扑。

在步骤702中，将裁剪图像中检测到的街道拓扑(包括但不限于街巷)映射到HD地图231的街道拓扑。这种HP地图可以作为内部HD地图231提供。在步骤703中，将检测到的交通参与者分配给识别的街道拓扑(在映射步骤702之后)，以提供检测到的对象的粗略位置评估。

在步骤704中，在反射面的局部坐标CS中的裁剪图像内跟踪检测到的交通参与者。因此，确定和评估检测到的交通参与者的运动方向的相关性。在步骤705中，在宿主车坐标系中估计相关检测到的对象的位置和速度，以验证检测到的对象与宿主车之间的安全距离。

图8是本文描述的各种实施例提供的对象检测、检测到的对象的分配和Go/No-go决策之间的交互的框图。反射面感知305以及Go/No-go决策400方法由具有自动驾驶能力的宿主车102实现。

图8详细提供了上述方法的可能组成以及这些方法之间的关系。Go/No-go决策400和反射面感知305并行运行。输入由反射面感知305提供给Go/No-go决策400。如果达到“Go”状态408，则Go/No-go决策400可以因此中断反射面感知305。

反射面感知305包括三个子方法：对象检测500、图像校准600和分配700。图像校准600的步骤(即畸变校正604和图像校准605)分别嵌入在对象检测500和分配700中。这些步骤还可以从V2V通信子系统240接收直接输入。

除了图像校准600的上述步骤之外，这些步骤以顺序方式发生，其中，对象检测方法500接收图像输入帧，并将检测到的对象作为输出提供给分配700以进行进一步处理。

关于图像校准600，一旦检测到反射面并裁剪，就进行畸变校正604。这支持在该方法的以下步骤中在反射面内实现更好的对象检测性能。图像校准605嵌入在分配700中，并在步骤705中在宿主车坐标系中跟踪检测到的相关交通参与者之前执行。为此，需要反射面的外部校准参数。

Go/No-go决策400从对象检测500的步骤505接收检测到的对象，以开始相关性确定。相关性确定402从分配700检索其输入，即对象类别，确定检测到的对象的相关性，并相应地发起“Go”状态408或“No-go”状态407。

分配700的步骤701向Go/No-go决策400的步骤402提供一个或多个检测到的对象的类别，用于检测类型的相关性估计。相应地，步骤702向步骤403提供检测到的对象和街道拓扑的关联，以确定检测到的对象的位置的相关性。步骤704向步骤404提供局部坐标中检测的一个或多个轨迹列表，以评估检测到的对象的移动方向的相关性。最后，步骤705向步骤405提供宿主车坐标系中检测到的对象的轨迹列表，以评估宿主车与检测到的对象之间的距离对于执行车道合并或超车动作是否安全。图8示出了方法的完整交互以及这些方法之间的信息流。

图9是检测到的对象的分配700技术或方法的另一个示例的框图。分配700还包括相对于宿主车坐标系跟踪反射面中的相关检测到的对象900。

跟踪相关检测到的对象的位置和速度，以验证检测到的对象与宿主车之间的安全距离。在步骤901中，使用在步骤604的图像校准600期间估计的畸变参数来估算反射面的曲率。畸变参数假定通用反射面(例如交通镜)的预定曲率模型，以便可以计算反射面的曲率(如果有)。例如，这可以通过使用定义的曲率映射畸变参数来完成。曲率可以随着时间不断地调整或扩展，以更好地适合更大的通用反射面集合。

在步骤902中，在计算表面曲率的近似值并考虑反射面相对于宿主车102的位置的位置和旋转之后，基于反射面的估计的曲率或反射特性，使用反射面中的反射相对于相机姿态的位置来估计其它检测到的对象(例如汽车)的姿态。为了将反射面内的区域与道路拓扑关联，从而将检测到的对象与道路拓扑关联，可以根据反射面的反射特性跟踪连接反射面和道路拓扑的光线。合适光线的选择由道路拓扑的距离决定，该距离应与反射面关联。由上述光线划定的地面封闭区域代表对检测到的交通参与者的位置的粗略估计。利用这些位置估计，并假设检测到的对象在分配700的先前步骤703中被分配给街道拓扑，在步骤903中，计算检测到的交通参与者相对于宿主车坐标系的位置的组合估计。

本发明结合本文中的各实施例进行了描述。但是，根据对附图、本发明和所附权利要求书的研究，本领域技术人员在实践所要求保护的发明时，能够理解和实现所公开实施例的其它变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求书中列举的若干项的功能。在互不相同的从属权利要求中列举一些措施并不表示这些措施的组合不能用于有益的实现方式。计算机程序可存储/分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。

Claims (15)

1.一种装置(220)，其特征在于，包括至少一个处理器(225)，所述至少一个处理器(225)用于：

–接收(501)输入图像帧序列；

–检测(502)所述输入图像帧序列中的反射面(101)；

–在所述检测到的反射面内执行(505)对象检测；

–分配(700)一个或多个检测到的对象(570)用于指定对象轨迹。

2.根据权利要求1所述的装置，其特征在于，所述至少一个处理器还用于从一个或多个输入帧中裁剪(503)所述检测到的反射面，从而提供包括对应边界框的裁剪像素的至少一个裁剪图像(560)。

3.根据权利要求2所述的装置，其特征在于，所述至少一个处理器还用于对所述裁剪图像执行高分辨率对象检测。

4.根据上述权利要求中任一项所述的装置，其特征在于，分配所述一个或多个检测到的对象(570)还包括以下各项中的至少一项：对所述一个或多个检测到的对象进行分类，将所述一个或多个检测到的对象分配给环境拓扑，以及跟踪所述分配的一个或多个检测到的对象。

5.根据权利要求2至4中任一项所述的装置，其特征在于，所述至少一个处理器还用于使用畸变校正校准(600)所述裁剪图像。

6.根据权利要求2至5中任一项所述的装置，其特征在于，所述至少一个处理器还用于利用所述环境拓扑的提供或检测到的位置和几何形状来校准所述裁剪图像的外部参数。

7.根据上述权利要求中任一项所述的装置，其特征在于，还包括通信子系统(240)，所述通信子系统(240)用于使用无线技术和相关协议来实现所述装置(220)与其它远程计算机网络或设备之间的通信。

8.一种装置实现的对象检测方法，其特征在于，包括：

–接收(501)输入图像帧序列；

–检测(502)所述输入图像帧序列中的反射面；

–在所述检测到的反射面内执行(505)对象检测；

–分配(700)一个或多个检测到的对象用于指定对象轨迹。

9.根据权利要求8所述的方法，其特征在于，还包括从一个或多个输入帧中裁剪所述检测到的反射面，并提供包括对应边界框的裁剪像素的裁剪图像。

10.根据权利要求8或9所述的方法，其特征在于，分配所述一个或多个检测到的对象还包括以下各项中的至少一项：

–对所述一个或多个检测到的对象进行分类；

–将所述一个或多个检测到的对象分配给环境拓扑；

–跟踪所述分配的一个或多个检测到的对象。

11.根据权利要求8至10中任一项所述的方法，其特征在于，还包括在所述反射面外部的坐标系中跟踪所述分配的一个或多个检测到的对象的轨迹。

12.根据权利要求11所述的方法，其特征在于，还包括基于将对象检测分配给街道拓扑，预测所述检测到的对象的位置。

13.根据权利要求8至11中任一项所述的操作自动驾驶车辆的方法，其特征在于，所述方法由车辆的装置实现，还包括：

–检测所述对象中的至少一个对象作为所述车辆；

–检索所述车辆的位置和几何形状；

–通过将所述车辆在所述反射面的坐标系中的畸变位置与所述车辆的所述检索到的位置和几何形状进行比较，估计径向畸变系数和切向畸变系数。

14.根据权利要求8至13中任一项所述的方法，其特征在于，还包括：

–评估所述一个或多个检测到的对象的相关性；

–确定用于支持车道合并或超车动作的规划的Go状态或No-go状态。

15.一种自动驾驶车辆，其特征在于，包括根据权利要求1至7中任一项所述的装置，所述装置用于根据权利要求8至14中任一项所述操作所述车辆以实现自动驾驶支持。