CN111353522A - 用于确定车辆周围环境中的路标的方法和系统 - Google Patents

Abstract

本发明涉及用于确定车辆周围环境中的路标的方法和系统。在用于确定车辆（1）周围环境中的路标的方法中，检测第一环境数据并确定第一环境数据的至少一个子集。将多个不同的类别中的一个类别分配给所确定的子集。根据路标类型确定类别并执行针对路标类型的限于所确定的类别的子集的路标探测。用于确定车辆（1）周围环境中的路标的系统包括用于检测第一环境数据的检测单元（2）、用于确定第一环境数据的至少一个子集并将多个不同类别中的一个类别分配给所确定的子集的分割单元（3）和用于根据路标类型确定类别并用于执行针对路标类型的路标探测的计算单元（4）。在此，计算单元被设置为执行限于所确定的类别的子集的路标探测。

Description

用于确定车辆周围环境中的路标的方法和系统

技术领域

本发明涉及一种用于确定车辆周围环境中的路标的方法。本发明还涉及一种用于确定车辆周围环境中的路标的系统。

背景技术

现代车辆包括多种驾驶功能，这些驾驶功能允许确定驾驶任务至少部分地自动执行。对此的基本前提是关于车辆的周围环境，尤其是车辆相对于与控制相关的对象的位置的精确知识。可以使用多种不同的传感器来获取该知识。但是，在已知系统中，待以这种方式处理的数据的分析仍然是大的挑战。

在US 9,953,236 B1中描述了一种用于图像数据的语义分割的方法。在此，执行了密集上采样卷积（DUC），并使用了机器学习方法。

从WO 2018/104563 A2中已知一种用于基于视频的位置确定的方法，其中执行语义分割。识别对象并将其用于探测路标。执行视觉测距。

US 2018/0089505 A1提出了一种用于图像中的对象探测的方法，其中确定了用于识别确定对象候选者的概率。缩放和确定这些概率的阈值旨在防止错误探测。

发明内容

本发明所基于目的是提供一种允许特别有效地确定路标的方法和系统。

根据本发明，该目的通过具有权利要求1的特征的方法和具有权利要求12的特征的系统来实现。有利的设计方案和改进方案由从属权利要求得出。

在开始所述类型的根据本发明的方法中，检测第一环境数据。确定第一环境数据的至少一个子集，并将多个不同类别中的一个类别分配给所确定的子集。根据路标类型，确定类别，并执行限于所确定的类别的子集的路标探测。

有利地，特别快速地并且以最佳地充分利用车辆中的资源地来进行路标探测。此外，可以避免错误探测，并且可以优化用于路标探测的输出数据以执行探测。该方法还确保改善的可维护性和可测试性，因为可以避免在不合适的部分区域中进行错误的路标探测。

与从现有技术中已知的方法不同，在确定第一环境数据的子集时不搜索路标的出现，而是例如可以确定和分类以下区域，在所述区域中应该搜索或不期望确定的路标类型。

就本发明而言，术语“路标”包括在周围环境中的特征和/或图案，这些特征和/或图案可以被识别并且可以给这些特征和/或图案分配至少一个位置信息。这例如可以是独特的点或者对象，这些独特的点或者对象布置在周围环境中确定的位置处。路标可以具有语义，也就是说，对于人类感官而言，这些路标本身也可以识别为能识别的对象或特征（Features）。此外，也包括如下路标，这些路标没有语义，而是例如表示抽象图案，这些抽象图案能通过图案识别来探测。

可以以本身公知的方式给这些路标分配路标类型，尤其是依据几何形状特性或者依据与这些路标相关联的语义。这样，例如可以分别将车道标线、柱子、指示牌、建筑物、植被的元素或者交通控制系统的建筑物定义为确定的路标类型。还可以将多个特殊的路标类型，比如“停车指示牌”和“禁止停车指示牌”分配给一种一般化的或者通用的路标类型、比如“指示牌”。尤其是，在该方法中，每个路标都分配有至少一种路标类型。在此，具体的路标也可以被分配给多种特殊的和/或通用的路标类型。

路标类型也可以比如是建筑物的边缘或者其它部分、在车道上的标线、交通引导装置或者二维码。例如，可以探测车道标线、转弯箭头、停车场标线或者类似的地面标线、柱子、标杆、桩、交通或其它指示牌、信号设施或交通信号灯、建筑物边缘或角、管道、QR码或条形码以及字母数字图示。类似于此，可以将其它特征用于定位，这些其它特征标明了在自身位置的地理环境中的独特的、能定位的点。一般涉及如下特征，这些特征可以借助于图案识别方法来识别并且可以给这些特征分配位置数据。

在根据本发明的方法的一种构造方案中，借助摄像机检测第一环境数据。由此，车辆的现有装置可以有利地用于检测相关的环境数据。摄像机检测图像数据，特别是作为单个图像的按时间排列的序列的图像数据，可以将它们组合成视频数据。 还可通过其他本身已知的方式来检测环境数据，例如借助于车辆的传感器，如光学传感器、雷达传感器、激光雷达传感器或超声波传感器。

还可以规定：由外部装置来检测并且借助于接口来接收环境数据。该外部装置在此例如可以是固定安装的用于交通观察的传感器，该传感器检测并且提供环境数据。还可以使用外部服务器，该外部服务器接收、存储并且在需要时提供相关的环境数据。这种环境数据比如可以由确定的或多个车辆和装置沿着行车路线来检测并且被传输给服务器。

可以在不同类型的传感器之间进行区分，其中特定传感器类型的传感器根据确定的物理测量原理来检测环境数据。例如，雷达传感器是第一种类型的传感器，而超声传感器是另一种类型的传感器。还可以进行进一步的区分，例如不同类型的雷达传感器的区别，这些不同类型的雷达传感器例如在它们的结构类型和/或特殊类型的数据处理方面彼此有区别。

此外，在确定的检测空间中检测环境数据，该检测空间尤其可以由传感器类型和/或传感器的特定控制来决定。检测空间例如可以通过空间中的角度以及相对于车辆的距离或半径来限定。此外，可以组合使用多个传感器，尤其是同一传感器类型的多个传感器，以便通过组合所检测的环境数据来达到扩大的检测空间。例如，摄像机可以以一个确定视角检测图像数据，而几个摄像机的组合可以覆盖更大的检测空间，并且例如能够实现车辆周围的全方位视野。

在该方法中，路标探测限于所检测的第一环境数据的子集，并且以此方式减少了要分析的环境数据的量。为此，例如可以对所检测的第一环境数据进行语义分割，其中对环境数据的子集分别进行分类，并为其分配类别。特别地，对所检测的图像数据的每个像素进行分类。在此，可以将分配给共同类别的像素组合成单独的子集或片段，尤其是当这些像素形成连贯的面时。

在该方法的一种改进方案中，子集借助于机器学习方法来确定。由此可以以特别灵活和可靠的方式有利地实现子集的确定以及必要时类别的分配。

特别地，在此使用训练过的分类器，其基于训练数据而构造成，依据所检测的环境数据来识别确定类别。使用在机器学习或人工智能领域中本身已知的方法，例如神经网络，深度学习系统或合适的统计方法。

在一种构造方案中，类别包括地面、车道、植被、建筑区域、柱子、静止或行驶的车辆或人。因此，类别基本上对应于对象分类。由此，分配给子集的类别有利地特别好地适合于确定用于探测确定路标类型的环境数据的合适子集。

在另一种构造方案中，借助于启发式方法执行路标探测。有利地，在此借助于预给定的探测器模块以已知和安全的方式进行探测，该探测器模块包括路标的能可靠识别的特征。在启发式方法中，尤其是借助于用于探测特定路标类型的路标的确定特征的固定的预给定规则来进行探测。

确定的路标类型的路标可以借助于图案来描述，该图案适合于在环境数据中探测确定的路标类型的路标。为此所使用的信息比如可以包括用于识别图案的以数学方式来表达的描述，利用该图案来在传感器的信号中描绘路标或周围环境的特征。例如，可以描述一种路标类型的对象的几何形状特性，但是也可以描述材料特性、诸如反射率，或者可以描述数学函数、诸如亮暗过渡的梯度。

这种用于探测一种路标类型的路标的描述通常是传感器特定的，使得可以合理地针对不同类型的传感器提供用于探测的专有图案描述。例如，在光学摄像机的图像中的图案的识别不同于在激光扫描仪所探测到的点云之内的识别。不过，也可以提供通用的、对于多种传感器类型来说都适合于探测的信息。还可以处理由确定的传感器类型所检测到的数据，使得与对于其它传感器类型的数据来说相同的探测方法能应用于这些数据。

依据环境数据对路标的探测例如借助于图案识别方案来实现，借助于所述图案识别方法，例如可以在摄像机图像或激光点云中识别出这些路标。为此，使用所谓的“探测器模块”。在此，“探测器模块”尤其是软件模块，这些软件模块例如包括可存储文件。探测器模块构造为使得借助于这些探测器模块可以依据所检测到的环境数据来探测确定的路标类型的路标。探测器模块尤其可以特定地构造用于探测确定的路标类型。可以规定：每个所探测到的路标都分配有至少一种路标类型。

特别地，在该方法中，在确定子集时，首先特别是借助人工智能的方法，对环境数据内的以下区域进行粗略分类，在所述区域中然后可以有针对性地探测确定路标类型的路标，其中特别是将启发式方法用于探测。相反，在探测确定路标类型的路标时，其他子集可以借助分配给它们的类别而被排除，例如因为在环境数据的确定区域中预期不会出现确定的路标。因此，子集尤其对应于所选区域，例如用于搜索确定路标类型的路标的所谓的感兴趣区域（ROI）。在这样的图像区域中，对于进一步处理非常重要是，尽可能精确地确定这些图像区域并映射实际相关的区域，使得与避免错误地忽略不正确分类的区域一样地避免在错误识别的区域中的错误探测。因此，ROI既不允许定义得太小又不允许定义得太大，这在该方法中通过确定子集，尤其是借助人工智能确定子集来避免。

例如，在车道上，即在环境数据的例如属于“车道”类别的子集中，预期“车道标线”路标类型的路标。相反，在例如被分类为“静止车辆”的区域中，不预期这种路标类型的路标。以这种方式，例如可以避免由于路标的反射而引起的错误探测。

在此，多个类别也可以分配给一个子集，例如当一个类别被另一类别所包括时如此。

在该方法的另一构造方案中，借助所确定的子集确定车辆周围环境中的空间区域，并检测其他在表面的环境数据，其中与检测第一环境数据相比，使用不同的传感器类型来检测其他环境数据。还借助其他环境数据并根据空间区域进行路标探测。有利地，这能够实现：将借助第一环境数据获得的信息也用于由其他传感器检测的环境数据。

例如，检测图像数据作为第一环境数据。借助这些图像数据，首先确定子集并将其分配给类别，使得借助该子集探测确定的路标类型。车辆周围环境中的以下空间区域对应于该子集，在该空间区域中也借助其他传感器类型的其他传感器来检测数据。例如，可以在那里检测激光雷达传感器的数据。在分析激光雷达传感器的数据时，尤其是对于确定路标类型的路标探测中分析激光雷达传感器的数据时，现在可以进行过滤，使得借助激光雷达数据的路标探测被限制在同一空间区域，或者将其他空间区域从路标探测中排除。

在另一构造方案中，通过以下方式仅在该空间区域中还检测其他环境数据：即例如控制其他传感器类型的检测单元，使得将检测限制在该空间区域中。由此，可以有利地减少所积累的数据量。结果，减小了例如在车辆内部或向外部单元传输数据时的等待时间以及计算时间。

这些空间区域也可以存储更长的时间，并在检测其他环境数据时使用，例如在其他时间段内使用。例如，传感器的检测区域或与确定路标类型的探测有关的区域可以由传感器的控制设备存储，并用于过滤检测到的数据。

在一个构造方案中，子集从移动单元，特别是从车辆传输到外部单元，并且由外部单元执行路标探测。外部单元例如可以是外部服务器或在数据技术方面耦合到移动单元的后端装置。由此，可以由具有比移动单元更大的资源的单元有利地执行路标探测。

在此，本发明的方法能够显著减少要传输的数据，因为对于路标探测仅必须传输合适类别的子集。恰好在通过无线电波传输数据时，由此可用带宽可以特别有效地使用。外部单元还可以具有针对不同路标类型的不断更新的探测器，并且因此例如也允许探测以下这样的路标，对于所述路标，否则必须在移动单元中执行耗费的软件更新。

在另一构造方案中，请求数据由外部单元生成，并且子集根据请求数据被传输到外部单元。由此，外部单元可以有利地有针对性地请求所需数据。

请求数据特别包括关于类别的信息，基于该类别形成要传输的子集。在这种情况下，外部单元可以首先定义应该对其执行路标探测的确定路标类型，并且可以通过请求数据从移动单元请求适合于此的环境数据。

在一种改进方案中，在路标探测中，确定并输出针对路标类型的路标的位置数据。根据位置数据确定车辆的姿态。这种姿势的确定例如是执行车辆的部分或完全自动驾驶的前提。

在此，给所探测的路标分配位置数据，其中特别是给路标分配坐标系中的位置或姿态。这可以在探测步骤中或者在单独的步骤中进行。在此，位置或姿态尤其可以根据所分配的路标类型来确定，其方式是针对确定的路标类型例如定义确定的轴来确定路标的方位或者其方式是路标的确定部分用于确定该路标的位置。在此，可以使用全局或相对坐标系，例如相对于检测单元或车辆的相对系。

除了位置数据之外，还可以确定所探测的路标的其它特征，比如这些路标的大小和形状、颜色、用于描述动态特征的参数，或者通过对文字说明的分析来确定所探测的路标的其它特征。

车辆的姿态包括有关其在确定坐标系（例如全局坐标系或相对坐标系）中的位置和定向的信息。

为了确定姿势，首先由车辆检测路标，并相对于车辆确定路标的位置。此外，检测地图数据，所述地图数据同样包括路标的位置数据，即关于路标在坐标系中的方位的信息。坐标系可以是全局或相对坐标系。位置数据尤其涉及路标的姿态，也就是说，例如基于其相对于其他路标的定向来描述其位置和方位的组合。例如，箭头可以指向空间中的确定方向，柱子可以具有确定的长度并相对于车道成确定的角度延伸，或者建筑物的边缘可以相对于车道处于确定的方位。

确定一种变换，借助该变换可以将车辆系统中路标的位置变换为地图数据的坐标系。根据这种变换得出车辆在地图数据的坐标系中的位置和尤其是还有定向。

在一种构造方案中，借助机器学习方法执行路标探测。机器学习在此有利地不仅用于确定子集，而且用于探测路标。通过基于环境数据的子集执行路标探测，机器学习也可以被限制于更少量的数据。

在此也可以使用本身已知的不同方法。借助样本数据集执行训练，在该训练中，系统自动学习识别各个路标的确定图案。与启发式方法不同，此处未规定用于识别路标的规则的固定规定的系统，而是该识别基于用于训练的数据集。

但是，如果确定子集和路标探测都借助机器学习方法进行，则该方法也分两个阶段执行：首先，结合对环境数据子集的类别分配，对环境数据进行分割。然后，执行路标探测，其中仅考虑以下那些子集，已经给这些子集分配了针对要探测的路标类型的分别合适的类别。

在另一构造方案中，根据子集生成训练数据，并基于机器学习方法，根据训练数据实施路标探测的训练。因此可以有利地以特别有针对性的方式进行训练。

训练可以例如由进行路标探测的外部单元执行。环境数据子集的分类使提供相关训练数据变得更加容易。由此可以进一步改善路标的自动探测。

此外，可以基于训练数据来生成或更新用于确定路标类型的路标的探测器模块。然后可以再次以与机器学习方法不同的方式来进行路标探测，特别是借助启发式方法。可以特别是通过机器学习来完全重新生成探测器模块，特别是为了能够探测新的路标类型，或者可以生成改进的探测器模块。

可以将滑窗（Sliding-Window）方法用于路标探测，其中使用“窗口”来扫描环境数据以探测路标。这样的窗口必须在其大小并且必要时形状上构成为，使得可以在其中找出要探测的路标。

开头提到类型的根据本发明的系统包括用于检测第一环境数据的检测单元和用于确定第一环境数据的至少一个子集并且用于将多个不同类别中的一个类别分配给所确定的子集的分割单元。该系统还包括计算单元，该算术单元用于根据路标类型确定类别并且用于执行针对路标类型的路标探测。在此，计算单元被设置为限于所确定的类别的子集地执行路标探测。

特别地，根据本发明的系统被构造用于实现上述根据本发明的方法。因此，该系统具有与根据本发明的方法相同的优点。

在根据本发明的系统的一个构造方案中，检测单元包括摄像机。替代地或附加地，可以设置其他类型的传感器，例如基于雷达、激光雷达、超声波的传感器或不同的光学传感器，例如红外、飞行时间或立体摄像机。由此，可以有利地使用车辆的已经广泛使用的传感器系统。

特别地，基于所确定的子集确定空间区域，并且对由检测单元检测的环境数据进行过滤。在此，尤其确定已经由其他传感器类型检测的环境数据的哪些子集对应于针对子集的确定空间区域。例如，借助图像数据确定一个空间区域，对于该空间区域，激光雷达传感器也检测了环境数据。为了能够更好地探测空间区域中的路标，也可以过滤其他传感器类型的环境数据，使得在那里检测的环境数据可以用于路标探测。相反，可以丢弃在其他区域中检测的环境数据。

在另一构造方案中，控制设备控制分割单元，使得仅将所检测的环境数据的子集传输到计算单元。特别地，将借助分配给它们的针对路标类型的类别而确定的多个子集传输到计算单元。由此，车辆中可用的带宽可以有利地特别有效地用于传输环境数据。特别地，控制设备包括分割装置，并且已经在检测和用于此的传感器的层面上执行了子集的确定。

在另一构造方案中，该系统还包括到外部单元的接口，并且该系统被设置为将确定子集传输到外部单元，其中外部单元被设置为基于该子集执行路标探测。特别地，外部单元然后将关于检测到的路标的信息传输到接口。路标探测的耗费步骤由此可以有利地由外部单元，例如外部服务器来执行。确定环境数据的相关子集有助于尽可能少的数据必须通过接口传输，以便可以特别有效地使用可用带宽。

附图说明

现在借助参考附图的实施例来解释本发明。

图1示出了具有根据本发明的系统的实施例的车辆，

图2示出了根据本发明的方法的一个实施例，和

图3示出了根据本发明的方法的另一实施例。

具体实施方式

参照图1来解释具有根据本发明的系统的实施例的车辆。

车辆1包括具有摄像机2a和激光雷达单元2b的检测单元2。检测单元耦合到分割单元3，分割单元3又耦合到计算单元4。车辆1还包括驾驶员辅助系统5，驾驶员辅助系统5同样耦合到计算单元4。

在该实施例中，计算单元还包括接口6，通过该接口可以建立到外部单元10的可分离的无线数据连接。在该实施例中，以本身已知的方式来设置接口6，使得经由移动无线电网络建立到网络、特别是因特网的连接。在该示例中，外部单元10被构造为后端服务器。

在另一实施例中，分割单元3包括在检测单元2的控制设备中，并且特别地集成到检测单元2中。这样的控制设备还可以与摄像机2a和/或激光雷达单元2b一体形成。在这种情况下，分割单元3被构造为在必要时执行到计算单元4的传输之前对所检测的环境数据进行全面的预处理。

参照图2解释根据本发明的方法的一个实施例。在此，出发点是根据本发明的系统的上述实施例，其通过方法的描述进一步予以说明。

在步骤20中，第一环境数据由检测单元2来检测。在该实施例中，第一环境数据包括由摄像机2a检测的图像数据。

在步骤21中，将所检测的第一环境数据传输到分割单元3。分割单元根据图像数据来确定第一环境数据的子集。在该实施例中，为此使用机器学习方法。可以使用人工智能和神经网络领域中的任何合适方法。在该示例中，使用了经过训练的分类器，该分类器根据训练数据而被构造成，将正确的类别分配给环境数据的像素。

在该实施例中，为此进行语义分割。在分割中，图像数据的每个像素被分类并分配给类别。共同类别的像素的连续区域称为片段，并构成环境数据的共同子集。分别将至少一个类别分配给这些子集。

在该实施例中分配的类别涉及车辆1的周围环境中的不同区域的特性，并且例如说明是否将像素分配给地面、车道、植被、建筑区域、柱子、静止或行驶的车辆或人。替代地或附加地，可以设置其他类别。

在该实施例中，确定类别的确定子集从分割单元3传输到计算单元4。在此尤其是涉及相对于所检测的环境数据减少了数据规模。这导致车辆1中可用于数据传输的带宽的改进的充分利用。

对于哪些类别应该传输相应子集的判断取决于应该确定哪些路标类型。可以假设：在确定类别的范围中可以找到确定类型的路标。例如，应该识别车道上的车道标线，但不识别它们的镜像，例如在停放车辆的反射表面上的镜像。另一方面，在街道旁边的边缘区域中预期交通指示牌，使得在这种情况下车道表面无关紧要，并且可以从探测中排除相应的子集。

在另外的实施例中，将整个检测的环境数据连同关于先前确定的子集及其类别的信息一起传输到计算单元4。在这种情况下，在处理数据时，计算单元4可以为分别要探测的路标类型确定应该考虑哪些子集。

在步骤22中，计算单元4确定路标。这根据环境数据的以下那些子集进行，已经为这些子集分配了适合于确定路标类型的类别。

为了探测路标，使用探测器模块，在该实施例中，探测器模块被构造为用于基于环境数据探测确定路标类型的路标的软件模块。在该实施例中，使用启发式方法，其中探测器模块包括用于识别确定类型的路标的规定的规则结构。在其他实施例中，可以借助机器学习方法来进行探测，或者可以使用不同方法的混合，例如其方式是使用机器学习方法来生成或更新探测器模块。

例如，作为路标类型设置有：车道标线、交通指示牌、光信号设施，QR码、柱子或车辆1周围环境中的其他特征。当探测路标时，确定其路标类型，并尤其根据相应路标类型来确定各个路标的特征。属于此的尤其是相对于车辆1的位置信息。

因此，在该实施例中，仅根据所检测的环境数据的以下子集来进行对确定路标类型的路标的探测，已为所述子集分配了合适的类别。

在另一步骤23中，关于探测到的路标的信息被传输到驾驶员辅助系统5，该驾驶员辅助系统5在该实施例中进行基于路标的位置确定并且将如此获得的信息用于车辆1的自主控制。为此，检测地图数据，该地图数据包括位置信息和必要时有关路标在车辆1周围环境中的其他数据。实施变换，通过该变换将由车辆1探测到的路标的位置数据变换成地图数据的坐标系。借助该变换，也确定车辆1的位置，尤其是结合车辆在地图数据的坐标系中的定向来确定。

在另一实施例中，关于环境数据的子集的确定的相关类别的信息被生成并被传输到分割单元3。例如确定，应该探测哪些类型的路标以及哪些类别是与此相关的。通过该信息可用于分割单元3的方式，可以有针对性地对于确定类别进行子集的确定，并且可以有针对性地将相关的子集传输到计算单元4。因此可以减少要传输的数据量。

在另一实施例中，激光雷达单元2b检测其他环境数据。现在将由分割单元3在步骤21中确定的信息用于也特别有效地使用这些其他环境数据。为此目的，确定在车辆周围环境中的哪些空间区域对应于相机2a已经检测并且在步骤21中已经分类的图像数据的子集。例如，借助由摄像机2a检测的图像数据来确定车道表面或另一车辆处于相对于车辆1的哪个空间区域中。给该空间区域分配相同的类别，并且在分析借助另外的传感器类型检测的其他环境数据时，再次确定与该空间区域相对应的子集。即子集的分割或确定仅基于图像数据执行，而给其他环境数据的在相同空间区域中检测的子集分配相同的类别。这些子集根据分配给它们的类别也被传输到计算单元4，并用于路标探测。

在另一实施例中，至少部分地由外部单元10探测路标。为此，环境数据不完全通过接口6传输到外部单元10，这也是因为可用于此的带宽通常受到限制。代替于此，仅传输环境数据的已经由分割单元3确定并且已经分配给适合于期望路标的类别的那些子集。

外部单元10还可以生成请求数据，所述请求数据例如包括关于相关类别和/或期望路标的信息。这些请求数据由车辆1经由接口6接收，并且进行检测单元2对环境数据的检测和/或分割单元3对子集的生成，使得可以提供针对期望路标的确定类别的合适子集。然后将这些合适的子集传输到外部单元10。

外部单元可以将确定的路标、特别是具有位置信息的确定的路标传输到车辆1。替代地或附加地，外部单元10例如可以如上面针对驾驶员辅助系统5所描述的那样对车辆1执行位置确定。

在另外的实施例中，环境数据的子集用于为机器学习方法提供训练数据，例如用于训练分类器。为了更新或生成分类器，使用具有合适类别的子集，并且首先确定所期望类型的路标存在于哪些子集中。然后可以使用本身已知的不同学习方法。

参照图3解释根据本发明的方法的另一实施例。该实施例在很大程度上类似于上面参考图2所解释的实施例来实施。因此，下面尤其解释与上述实施例的方法不同的方面。

在步骤30中，借助摄像机2a检测图像数据。在另一步骤31中，借助于语义分割来处理图像数据。在该实施例中，使用人工智能方法，并且训练过的分类器将类别分别分配给图像数据的像素。然后，在步骤32中将分割的图像数据馈送至进一步的图像处理，或者在步骤33中将其用于过滤传感器数据。

在过滤传感器数据时，生成所检测的环境数据的子集。在此，不仅基于在步骤30中检测的图像数据，而且基于在步骤34中例如通过雷达或激光雷达传感器检测的其他环境数据。为了进行过滤，借助分割的图像数据确定车辆1周围环境中的空间区域，并且也将分配给片段的类别分配给由其他传感器在相同空间区域中检测到的那些数据。以这种方式，例如确定所检测的雷达或激光雷达数据的子集，所述雷达或激光雷达数据在车道或另一车辆的区域中被检测到。

在步骤33中过滤时，生成经过滤的传感器数据，其仅包括被分配给确定类别的这种子集。因此，经过滤的传感器数据尤其特别好地适合于探测确定的路标类型，例如当在确定的行驶情况下仅应该探测确定类型的标志时如此。因此，例如当自动停放车辆1时，地表面上的停车位标线可以是路标相关。

在另一步骤35中，进一步处理传感器数据，其中特别是执行路标探测。 在路标探测时，尤其可以确定车辆1周围环境中的各个路标的位置，并将其用于确定车辆1的位置或姿态。 还可以执行辅助功能，例如停车楼驾驶员或停车助手。

在另一实施例中，激光雷达单元2b或任何其他传感器单元有针对性地在分配了确定类别并且应该被用于路标探测的确定空间区域中检测其他环境数据。为此，例如可以由控制设备控制传感器单元，使得分配给传感器单元的检测空间根据空间区域进行适配。

附图标记列表

1 移动单元；车辆

2 检测单元

2a 摄像机

2b 其他传感器类型；激光雷达单元

3 分割单元

4 计算单元

5 驾驶员辅助系统

6 接口

10 外部单元

20 检测环境数据

21 确定子集

22 确定路标

23 位置确定

30 检测图像数据

31 语义分割

32 图像处理

33 过滤传感器数据

34 检测其他环境数据

35 传感器数据的进一步处理。

Claims (15)

1.一种用于确定车辆（1）周围环境中的路标的方法，其中

检测第一环境数据；

确定第一环境数据的至少一个子集；

将多个不同的类别中的一个类别分配给所确定的子集；

根据路标类型确定类别；和

执行针对所述路标类型的限于所确定的类别的子集的路标探测。

2.根据权利要求1所述的方法，

其特征在于，

借助摄像机（2a）检测第一环境数据。

3.根据前述权利要求中的任一项所述的方法，

其特征在于，

借助机器学习方法确定所述子集。

4.根据前述权利要求中的任一项所述的方法，

其特征在于，

所述类别包括地面、车道、植被、建筑区域、柱子、静止或行驶的车辆或人。

5.根据前述权利要求中的任一项所述的方法，

其特征在于，

借助启发式方法执行路标探测。

6.根据前述权利要求中的任一项所述的方法，

其特征在于，

借助所确定的子集确定车辆（1）周围环境中的空间区域；和

检测其他环境数据；其中

与检测第一环境数据相比，使用不同的传感器类型（2b）来检测所述其他环境数据；和

还借助所述其他环境数据并根据所述空间区域执行路标探测。

7.根据前述权利要求中的任一项所述的方法，

其特征在于，

所述子集从移动单元（1）传输到外部单元（10）；和

路标探测由外部单元（10）执行。

8.根据权利要求7所述的方法，

其特征在于，

请求数据由外部单元（10）生成；和

所述子集根据所述请求数据被传输到外部单元（10）。

9.根据前述权利要求中的任一项所述的方法，

其特征在于，

在路标探测时确定并输出针对所述路标类型的路标的位置数据；其中

借助所述位置数据确定车辆的姿态。

10.根据前述权利要求中的任一项所述的方法，

其特征在于，

借助机器学习方法执行路标探测。

11.根据权利要求10所述的方法，

其特征在于，

根据所述子集生成训练数据；和

基于所述训练数据，借助机器学习方法实施路标探测的训练。

12.一种用于确定车辆（1）周围环境中的路标的系统，包括：

检测单元（2），用于检测第一环境数据；

分割单元（3），用于确定第一环境数据的至少一个子集，并将多个不同类别中的一个类别分配给所确定的子集；和

计算单元（4），用于根据路标类型确定类别并用于执行针对所述路标类型的路标探测；其中

计算单元被设置为执行限于所确定的类别的子集的路标探测。

13.根据权利要求12所述的系统，

其特征在于，

所述检测单元（2）包括摄像机（2a）。

14.根据权利要求12或13所述的系统，

其特征在于，

控制设备控制所述分割单元（3），使得仅所检测的环境数据的所述子集被传输到计算单元（4）。

15.根据权利要求12至14中的一项所述的系统，

其特征在于，

至外部单元（10）的接口（6）；其中

所述系统被设置为将所确定的子集传输到所述外部单元（10）；其中

所述外部单元（10）被设置为根据所述子集执行路标探测。

Images