CN111095265A - 用于评估车辆环境中的光学呈现图的方法以及车辆 - Google Patents

Abstract

本发明涉及一种用于评估车辆环境中的光学呈现图的方法(100)以及车辆。所述方法包括：提供车辆环境的拍摄图像(10)以及从拍摄图像(10)中提取特征(20)。方法还包括：进行对拍摄图像(10)的第一分析(31)。此外，还进行对拍摄图像(10)的第二分析(32)，其中，识别一个或多个对象的边缘(91‑95)，其中，彼此独立地进行第一分析(31)和第二分析(32)，其中，通过在第一分析结果(41)中的被识别的对象的面(81、82、83)上裁剪第二分析结果(41)中的被识别的边缘(91‑95)，将第一分析结果(41)与第二分析结果(42)组合成输出图像(50)。

Description

用于评估车辆环境中的光学呈现图的方法以及车辆

技术领域

本发明涉及自动化技术领域，本发明尤其是涉及一种用于评估车辆环境中的光学呈现图/光学外观的方法以及一种车辆。

背景技术

专利文献DE 10 2015 007 145 A1描述了一种用于自动评估行驶路线的方法，在其中，在主观情绪上的吸引力标准方面评估行驶路程的光学呈现图。从所收集的拍摄视频中通过机器学习尤其是借助于深度神经网络自动地对于视频信号中的每个图像提取出用于吸引力标准的值，例如地理名胜、建筑名胜、僻静处。

从专利文献US 6141433A中已知用于为视频帧的如下区域从视频帧中提取图像信息的系统和方法，所述区域预测为场景中令人感兴趣的对象。

从专利文献US 2013/0083968 A1中已知一种车辆周边监控装置，其在使用车辆内部的摄像机的情况下探测位于车辆之外的对象。

从专利文献US 2009/0169052 A1中已知用于根据所拍摄的图像探测周边对象的对象探测设备。

从专利文献US 2014/0010408 A1中已知附着在透镜上的物质的探测器，该探测器探测附着在摄像机的透镜上的物质。

此外，对在车辆环境中的对象的自动识别是车辆巡航和自动行驶的前提。由摄像机提供图像数据或数据流，其在车辆内或在车辆外的外部评估单元中进行评估。评估尽可能实时地进行，以便车辆能对相应的交通情况做出反应。

在分析拍摄图像时，处理所谓的对象类型，其中，为不同的对象配给自己的对象类型。因此，在图像处理时使用例如“机动车”、“商用车”、“自行车”、“行人”、“道路”以及“其它障碍”这些对象类型。为了在图像数据中识别对象类型，目前使用语义分割方法或对象识别方法。

在语义分割方法中，为图像中的每个像素分配一个对象类型。由此，在图像中产生在对象类型之间的精确的空间划分。语义分割的缺点是，仅能识别与对象类型相应的图像区域，然而不能将单个对象彼此分开地区分出。当在拍摄图像中同一对象类型的对象彼此邻接时，情况尤其如此。

在对象识别方法中，直接在对象的相应位置上识别拍摄图像中的对象。对象识别的缺点是，分别针对矩形的图像区域进行识别。因此，不能进行准确的空间分配，尤其是在立体视图中的“悬挂的”对象或重叠的对象以及复杂轮廓的情况下。

在其中不仅可明确识别对象而且可识别分界面(也就是说可识别对象及其准确的轮廓)的方法被称为“实例分割”。

至今已知的实例分割方法常常通过复杂的且计算量大的不同方法的组合、例如通过用于对象识别的深度神经网络和用于语义分割的深度神经网络的组合来实现。对此的示例是所谓的“深度分水岭变换”、“通过多任务网络级联实现的实例感知语义分割”以及其它复杂的且计算量大的方法。由于在该方法中对算力的高要求，难以实现在车辆中的例如用于驾驶员辅助系统和自动行驶的应用，尤其是因为需要满足实时性要求和必须处理多个摄像机数据流。此外，由于其复杂性，至今已知的方法也不太灵活并且易于出错。

发明内容

因此，本发明的目的是克服现有缺点，尤其是应提供改善的用于实例分割的方法。

该目的通过根据权利要求1所述的本发明方法和根据权利要求10所述的车辆来实现。从从属权利要求中得到其它设计方案。

提出一种根据本发明的用于评估车辆环境中的光学呈现图的方法。该方法包括以下步骤：提供车辆环境的拍摄图像以及从拍摄图像中提取特征。此外，该方法还包括：进行对拍摄图像的第一分析，其中，一个或多个对象被识别成面，该分析的结果作为第一分析结果被提供。此外，该方法包括：进行对拍摄图像的第二分析，其中，识别一个或多个对象的边缘，该分析的结果作为第二分析结果被提供。在此规定，可彼此独立地进行第一分析和第二分析。此外，该方法包括：通过在来自第一分析结果中的被识别的对象的面上裁剪来自第二分析结果中的被识别的边缘，将第一分析结果与第二分析结果相组合。

所使用的拍摄图像可利用安装在车辆中或车辆上的摄像机拍摄。在此，拍摄图像可为例如连续地作为视频数据被拍摄的图像序列的单个图像。在所提出的方法中，也可行的是，并行地分析多个拍摄图像，例如在检测到车辆上或车辆中的多个摄像机的多次同时拍摄时。相应地，提供分别分配给摄像机的分析装置。

所提供的拍摄图像提供被分析的图像数据。拍摄图像的特征提取例如包括将图像数据分成多个卷积层。

在所提出的方法中，第一分析可实施为利用第一分析装置进行的语义分割。第二分析可作为边缘识别利用第二分析装置来进行。第一分析与第二分析的组合可理解成实例分割，在实例分割中，识别对象及其轮廓，其中，可相互区分出彼此邻接的对象(车辆、行人、自行车骑行者、道路标志等)。这些对象以所谓的对象类型来定义，并且可用作分析拍摄图像的训练数据。总地来说，在拍摄图像上识别出封闭的面，并且将封闭的面分配给单个对象。

由此，通过所提出的方法实现，彼此邻接的、相同对象类型的对象也能彼此区分，例如区分出在拍摄图像中在二维视图中部分重叠的两个先后行驶的车辆。

在所述方法的一种优选的实施例中，可规定，第一分析和第二分析在共同的深度神经网络中进行。

因此，提出一种用于产生用于实例分割的唯一一个/仅一个深度神经网络的方法。该实施方式具有的优点是，不必将不同的神经网络相互协调，因为使用一个共同的网络。在此，该神经网络可具有编码器和解码器，其中，解码器具用于语义分割的第一分路和用于边缘识别的第二分路。

从图像分析中提取特征的卷积层可在“卷积神经网络”(CNN)或“褶积神经网络”中提供。卷积神经网络是人工神经网络，其可用于图案和图像识别。相应地，所使用的编码器和所使用的解码器可理解成卷积编码器和卷积解码器。

在方法的另一设计方案中可规定，第一分析以第一训练数据为基础并且第一训练数据具有类型分类。

分类或标签理解成在机器学习中训练数据的类型归属。因此，类型分类或类型标签理解成可用于第一分析的被储存的训练数据。

在该方法的另一实施例中可规定，第二分析以第二训练数据为基础，并且第二训练数据具有轮廓分类。

轮廓分类或轮廓标签理解成可作为被储存的训练数据用于第二分析的数据。

此外，有利地可规定，第一分析装置和第二分析装置是分成两条分路的解码器的一部分。

解码器或译码器理解成能处理数据以将其解密或解码的装置。在本方法中，利用解码器将第一分析和第二分析的分析数据相组合，以获得总分析结果。总分析结果在此是在车辆环境中的被分析的拍摄图像，在其中，尤其是当对象在拍摄图像中彼此交叠或彼此邻接时，可将单个对象彼此区分开。

在另一实施方式中，可规定，第一分析和第二分析可时间上并行地进行。这导致特别快速的图像数据处理以及尽可能短的反应时间，这尤其是在车辆自动行驶中是有利的。

在方法的另一设计方案中，可规定，通过第一分析结果与第二分析结果相组合，提供一个封闭的面或多个封闭的面，其中，每个封闭的面代表一个对象。

因此，有利地可自动识别每个单个对象。有利地，封闭的面可视化地提供给导航系统和/或用于后续处理。

在所述方法的另一设计方案中，可规定，为每个封闭的面分配单义的/唯一的标识。

例如通过颜色或数字编码实现的唯一标识的分配，实现了图像数据的继续处理，例如为了跟踪车辆环境。

此外有利地可规定，所述方法还包括：为每个封闭的面分配指纹/数字指纹，并将指纹与之前时间拍摄的图像数据相比较。

通过为作为封闭的面示出的所识别的对象使用指纹，可进行跟踪和匹配。指纹将识别出的对象、例如车辆的特性，如颜色、速度和行驶方向相互联系起来。

此外，本发明的目的通过车辆实现。为此，车辆具有用于提供车辆环境的拍摄图像的摄像机、用于执行根据本发明的方法的第一分析装置和第二分析装置。

根据本发明的用于评估车辆环境中的光学呈现图的方法是实时的并且因此尤其适用于车辆的自动行驶。根据本发明的车辆可用于巡航或自动行驶，在其中，可快速且可靠地识别车辆环境中的单个对象。

附图说明

现在，根据在附图中的示例性的实施方式详细解释本发明方法的原理。所示出的实施例也可任意相互组合。其中：

图1示出了根据本发明的方法的一种实施例的示意图；以及

图2示出了根据图1的本发明方法的单个图像分析。

具体实施方式

图1示出了根据本发明的方法100的一种实施例的示意图。由安装在车辆中或车辆上的摄像机110提供车辆环境的拍摄图像10作为输入图像。拍摄图像10被输送给编码器120，该编码器进一步处理输入图像10，从而产生第一分析出的图像20。为此，该编码器从输入图像10中提取特征。这例如通过卷积层实现。卷积层可为多重依次构造的卷积层。在此，卷积层可具有不同的函数，如卷积函数、池化和/或激活函数。

作为编码器120的第一分析出的图像20的图像数据作为输出数据30输送给解码器130。解码器130具有多个用于分析所输入的图像数据的函数。一方面，解码器执行作为语义分割的第一分析31，并且附加地执行作为第二分析32的边缘识别。附加地，在图像分析时，可将类型分类33或类型标签33用于语义分割，而将轮廓分类34或轮廓标签34用于边缘识别。类型标签33和轮廓标签34事先已经从训练数据中获得并且分别储存在用于训练数据的数据存储器131中。

利用摄像机110检测输入图像10，并且利用编码器110提取输入图像10的特征。该提取可具有多个先后构造的卷积层。例如，通过卷积、池化、激活函数的组合实现该提取。随后，利用解码器120处理卷积层，并且可包括反卷积、上采样和/或激活函数。图1示出了可选的作用连接21、22，从而可选择性地将编码器110的卷积层输送给解码器120和/或具有语义分割的第一分析31。

解码器130的两个分析31、32可在时间上并行地进行，这是因为解码器130具有两条处理分路。解码器130提供第一分析图像41作为第一分析31的结果。解码器130也提供第二分析图像42作为第二分析32的结果。随后，可在另一处理阶段中将两个分析图像41、42相互结合，从而得到输出图像50。在此，在每个来自第一分析结果的所识别的对象上裁剪出来自第二分析结果的所识别的边缘。结果得到具有被识别的对象和被识别的边缘的处理图像50，其中，边缘将单个对象相互分开。此外，根据输出图像50，还可进行对象辨认，从而得到关于对象的输出图像60。在此，从图像50中识别出属于同一整体的图像区域，并且例如为这些图像区域分配自己的标识。例如，该标识可用于，更仔细地观察和/或时间上更进一步地考虑单个对象。为此，例如可为每个单个对象使用所谓的指纹。如果相应的对象随着时间运动，则通过识别到指纹的一致性，可再次识别出该对象。

图2示出了根据本发明的方法100的另一实施例，以进一步解释图1中的方法100的单个图像分析。

图2示出作为照片的输出图像10，该输出图像由摄像机110在车辆的环境中拍摄到。输出图像10示出了多个在前方行驶的车辆11、多个迎面而来的车辆12、道路标志线13和多个建筑物14。通过分别根据输出图像10进行语义分割和边缘识别，从输出图像10获得两个分析图像41、42。

作为分析图像41，语义分割的结果示出了反映车辆的面型的对象，其中，未彼此分开地示出单个的车辆。相应地，形成三个彼此分开的面81、82、83，其中，每个面都代表多个车辆。

作为分析图像42，边缘分离的结果示出了分别代表一个车辆的单个的闭合的线91、92、93、94、95，其它闭合的线在图2的图像42中未进一步示出。

通过图像41和图像42的被分析的图像数据的结合，得到图像50，其中，为此从图像41的分割结果中裁剪掉图像42的边缘识别的边缘。由此，在图像50中分别再次细分了之前识别出的车辆面81、82、83，从而现在从车辆面81、82、83中显露出单个的车辆51-57，这些车辆以通过边缘彼此分开的方式可见，(在图2中未标记其它识别出的车辆)。现在分散开的车辆面以清楚的外形轮廓与相邻的车辆面分开。

在图2的图像60中，为各个识别出的车辆分配不同的标识，从而为每个车辆给出一个指纹。该指纹将被检测和分析的车辆数据组合起来，例如外形轮廓或剪影、行驶方向、车辆的尺寸、车辆的类型、车辆的速度。在后续的拍摄图像中，将已制定的指纹与第二拍摄图像的新制定的指纹相比较。如果两个指纹一致，也就是说“匹配”，则将第一拍摄图像的之前识别的对象辨认为第二拍摄图像中的识别的对象。

图1和图2所示的实施例可在使用具有至少两个层面的神经网络、也就是说深度神经网络的情况下实现。在此，整理训练数据并且提供类型标签和轮廓标签。

代替由多个深度神经网络组成的复杂结构或其它计算量大的方法，通过利用特别整理的训练数据进行训练，产生一个唯一的深度神经网络。有利地，训练数据由两个层面组成，即，具有类型标签的第一层面和用于轮廓标签的第二层面。在用于轮廓标签的第二层面中，例如可仅仅对于如下类型包含轮廓，即，稍后应从该类型中识别出实例(例如交通参与者)。

深度神经网络可用于语义分割、对象识别和实例分割，以便得到与传统方法相比显著改善的结果。术语“深度神经网络”理解成多层的神经网络，也就是说，具有至少两个层的神经网络。

适用于本发明方法的深度神经网络的构建结构具有解码器。解码器将特征组合并将这些特征成像到图像区域上。在此，解码器分成两条分路：用于语义分割的第一分路和用于边缘识别的第二分路。

虽然，原则上可利用传统的方法(例如Sobel算子、Laplace算子、Canny算子)实现边缘识别，然而可能识别出图像中的任一边缘，尤其是在实例之内的边缘，由此，不能合理地进行进一步处理。如果通过深度神经网络学习边缘识别，则完成了训练的网络可实现，实际上仅提取出对象的轮廓。

不仅利用语义分割的类型标签而且利用边缘识别的轮廓标签来训练深度神经网络。在此，对于两条路线，在训练(“前向传导算法”)中网络的当前结果与标签之间产生误差值(损失)并且将该误差值反向传播以训练网络(“反向传播算法”)。

在所提出的深度神经网络中进行实例的提取。为了分割实例，通过深度神经网络处理输入图像10。作为结果，深度神经网络输出语义分割以及所识别的边缘。从分割结果中裁剪掉边缘，由此，单个的实例不再是连续的。对于该结果，为每个封闭的面分配独特的ID，根据该ID可参考/引用用于该区域(该实例)的覆面(Maske)。

此外，通过使用深度神经网络可提供指纹鉴定，也就是说使用指纹，并且提供对运动对象的跟踪、追踪。为此，可通过以下方式有效地在时间上“跟踪”(也就是说为了深度分析而在时间上追踪)被提取的实例，即，为每个图像中的每个实例使用一个指纹(指印)。对于该指纹，提取用于一实例区段的多个特征，例如尺寸、位置、直方图等，将这些特征与之前的图像的现有指纹相比较。如果是一致的，则将两个指纹合并成一个新的指纹，由此进行适配。长时间未实现一致的旧的指纹被丢弃。对于通过指纹一致发现的对应性，认为是由自身车辆在时间上(＝在多个图像上)检测到的同一对象。于是，针对识别出的对象进行深入的分析。

可如下设计深度神经网络在车辆中的使用：

可能的系统具有后端环境，以训练深度神经网络，可能的系统还具有多个车辆，在这些车辆上分别实施深度神经网络。例如，车辆配备有一个或多个用于检测环境的摄像机110以及用于加速实施神经网络的专用硬件，如GPU(图像处理器)、FPGA(现场可编程门阵列)或者特殊的硬件(TPU(张量处理器)、ASIC(专用集成电路)、DSP(数字信号处理器))。

在此，借助于特殊标记的训练数据，如下训练深度神经网络：针对输入图像10进行语义分割31和边缘识别32。在结束训练之后，神经网络应用在车辆的控制器上以用于处理车辆摄像机数据。在该控制器上，借助于专门的方法从网络的结果(语义分割和边缘识别)中获得实例分割。借助于指纹鉴定，在时间上追踪被提取的实例、尤其是车辆。

尤其是得到以下优点：

根据本发明的方法可用作巡航和自动行驶的基础。在此，对车辆环境中的对象的识别和追踪是巡航和自动行驶的基础。

通过所描述的用于实例分割的方法，与其它方法相比，可实现在环境感知方面显著更高的质量。通过根据本发明的方法，例如可毫无疑问地识别并追踪横向交通。由此，提高了环境感知的质量。

与语义分割相比，边缘识别和实例提取几乎不带来计算量。通过所描述的深度神经网络实施的语义分割具有恒定的运行时间，并且从该运行时间方面来说也是实时的。因此，提高在图像处理时的效率。

根据本发明的方法可用于实例分割。在相应的实现方案中，根据本发明的方法具有恒定的运行时间，并且由此适用于实时数据处理、尤其是车辆中的实时数据处理。对于指纹鉴定和跟踪来说，能以恒定的运行时间付诸实施。

总地来说，提供了尤其有效的用于利用对象识别和实例分割进行像素准确的摄像机数据分类的方法。

Claims (10)

1.一种用于评估车辆环境中的光学呈现图的方法(100)，所述方法包括：

提供车辆环境的拍摄图像(10)；

从所述拍摄图像(10)中提取特征(20)；

进行对所述拍摄图像(10)的第一分析(31)，其中，将一个或多个对象识别成面(81、82、83)，并将该分析的结果提供为第一分析结果(41)；

进行对所述拍摄图像(10)的第二分析(32)，其中，识别一个或多个对象的边缘(91-95)，并将该分析的结果提供为第二分析结果(42)，

其中，彼此独立地进行所述第一分析(31)和所述第二分析(32)；以及

将所述第一分析结果(41)与所述第二分析结果(42)组合成输出图像(50)，其方式为：在第一分析结果(41)中的所识别的对象的面(81、82、83)上裁剪出第二分析结果(41)中的所识别的边缘(91-95)。

2.根据权利要求1所述的方法(100)，其中，在共同的深度神经网络中进行所述第一分析和所述第二分析。

3.根据权利要求1或权利要求2所述的方法(100)，其中，所述第一分析(31)以第一训练数据为基础，所述第一训练数据具有类型分类(33)。

4.根据权利要求1至3中至少一项所述的方法(100)，其中，所述第二分析以第二训练数据为基础，所述第二训练数据具有轮廓分类(34)。

5.根据权利要求1至4中至少一项所述的方法(100)，其中，利用解码器(130)进行所述第一分析(31)和所述第二分析(32)，所述解码器分成两条分路。

6.根据权利要求1至5中至少一项所述的方法(100)，其中，在时间上并行地进行所述第一分析(31)和所述第二分析(32)。

7.根据权利要求1至6中至少一项所述的方法(100)，其中，所述第一分析结果(41)与所述第二分析结果(42)的组合提供一个封闭的面或多个封闭的面(51-57)，其中，每个封闭的面(51-57)代表一个对象。

8.根据权利要求7所述的方法(100)，其中，为每个封闭的面(51-57)分配唯一的标识(61-67)。

9.根据权利要求7或8所述的方法(100)，所述方法还包括：

为每个封闭的面(51-57)分配指纹，并将所述指纹与之前拍摄的图像数据比较。

10.一种车辆，所述车辆具有：

用于提供车辆环境的拍摄图像(10)的摄像机(110)，

用于执行根据权利要求1至9中任一项所述的方法(100)的第一分析装置和第二分析装置。

Images