CN110392892A - 生成分割的车辆图像数据的方法、对应的系统和车辆 - Google Patents

Abstract

在用于生成车辆图像数据的方法和系统中，为了改善车辆图像数据的生成，获得至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息，透视车辆图像数据，以及所述车辆图像数据的至少一部分的车辆图像位置数据。将对象位置数据与所述车辆图像位置数据进行比较；并且在所述对象位置数据对应于所述图像位置数据的情况下，使用对象位置数据和车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

Description

生成分割的车辆图像数据的方法、对应的系统和车辆

技术领域

本发明涉及车辆领域，特别是涉及车辆图像处理。

背景技术

在最近的过去，用于乘用车的辅助驾驶系统变得可用，辅助驾驶系统基于处理车辆周围环境的传感器数据向驾驶员提供各种支持功能。该领域的发展导致自动驾驶车辆系统的兴起，这使得能够在没有或者仅有很少的人为干预的情况下在一般的道路上对车辆进行操作。

如上面所讨论的辅助驾驶系统以及自动驾驶车辆系统的一部分，使用从一个或者多个相机获得的针对其功能的至少一部分的图像数据。例如，一般的车道保持特征从现场相机图像中检测道路标记，以使得能够确定非预期的车道偏离。

对于其它应用，经过预处理的图像数据是有用的，例如具有注释或者“标签”的图像。这种应用的一个示例是自动确定考虑到相机的停车位被占用、还是可用。

虽然存在允许进行自动图像注释的算法，但是由于由车辆相机的一般的视角引起的畸变以及诸如其它车辆的移动物体、创建时间遮挡、反射和其它光学干扰的问题，难以对车辆图像数据中的对象进行可靠的注释。

相应地，存在改善车辆图像数据集的生成，例如但不限于注释或者标记应用的目的。

发明内容

提供下面的本发明的发明内容，以方便对本发明特有的一些创造性特征的理解，本发明的发明内容不旨在作为完整的描述。通过将整个说明书、权利要求书、附图和摘要作为整体，可以获得对本发明的各个方面的全面理解。

根据本发明的一个方面，提供一种生成分割的车辆图像数据的计算机实现的方法。所述方法至少包括步骤：获得至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息；从车辆的一个或多个传感器获得透视车辆图像数据；确定所述车辆图像数据的至少一部分的车辆图像位置数据；将所述对象位置数据与所述车辆图像位置数据进行比较；以及在所述对象位置数据对应于所述图像位置数据的情况下，使用对象位置数据和车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

本发明的基本思想是，使用2D对象，通过将2D对象与透视车辆图像数据进行相关，来分割透视车辆图像数据。上述基本思想基于本申请的发明人的如下认识：考虑到不给出透视畸变，并且作为结果的对象形状更简单，通常更容易获得高质量的2D对象信息。相应地，本发明使得能够使用可以容易地以相对高的精度提供的2D对象数据，用于透视车辆图像的分割目的。

根据下面描述的实施例，本发明的这个方面和其它方面将变得明显，并且参考下面描述的实施例对本发明的这个方面和其它方面进行阐述。

附图说明

在附图中，

图1以示意性框图示出了具有用于生成分割的车辆图像数据的系统2的车辆1的实施例；

图2A和2B以示意性流程图示出了用于生成分割的车辆图像数据的系统2的操作的示例；

图3以示意性视图示出了航拍图像的一部分；

图4示出了具有示出2D对象数据的覆盖图的图3的航拍图像；

图5以示意性视图示出了示例性的分割的车辆图像数据集；

图6示出了用于处理分割的车辆图像数据集的系统的示意性框图；

图7以示意性框图示出了具有用于生成分割的车辆图像数据的系统的车辆的另一个实施例；

图8示出了根据图7的系统的操作的示例性流程图；以及

图9以示意性框图示出了用于生成分割的车辆图像数据的系统的第二实施例。

具体实施方式

根据前面和下面的描述，在本申请中描述的技术特征可以用于构建用于生成分割的车辆图像数据的方法以及用于生成分割的车辆图像数据的系统的各种实施例。讨论本发明的一些实施例，以使本领域技术人员能够制造并且使用本发明。

在下面根据所描述的实施例对本发明的说明中，使用术语“连接到”或者“与...连接”来指示至少两个部件、设备、单元或者模块之间的数据连接。这种连接可以是各个部件、设备、单元或者模块之间的直接连接；或者可以是间接连接，即，通过中间部件、设备、单元或者模块的连接。连接可以是永久的或者临时的；无线的或者基于导体的。

例如，可以通过例如包括因特网、以太网、蜂窝网络、蓝牙网络、ZigBee网络和/或使用相应的合适的通信协议的Wi-Fi网络的CAN(controller area network，控制器区域网络)、LAN(local area network，局域网)、WAN(wide area network，广域网)、PAN(personalarea network，个人区域网络)来提供连接。在一些实施例中，使用无线网络连接来发送和接收2D对象信息、相关对象数据和/或车辆透视图像(perspective image)数据。

根据第一示例性方面，提供一种生成分割的车辆图像数据的计算机实现的方法。在本发明的情境中，术语“车辆图像数据”或者“车辆用图像数据”理解为是指由陆地、空中或者水上车辆获得的环境图像数据，即，相应的车辆的周围环境的至少一部分的图像数据。车辆图像数据一般是透视图像数据，并且例如可能显示透视畸变。

在本发明的情境中，术语“图像数据”和“图像”是指渲染图像或者视频并且具有多个像素的像素数据。虽然下面使用术语“图像”或者“成像”，但是应当理解，这些术语同样可以是指静止成像以及直至视频，即，运动成像。

图像分割通常是指将图像划分成多个片段或者超级像素的处理，其中的超级像素通常表示像素的聚集。与一般的基于对象的图像分析中的分割相比，在当前情境中，图像分割是指将像素组标记为属于识别出的同类的对象。应当注意，在当前情境中，不一定需要将图像的每个像素分配给对象。

根据本方面的方法，获得至少具有一个或者多个对象的2D对象数据和对象位置数据的2D对象信息。

依据相应的应用，2D对象数据可以是指任意合适的对象。在当前情境中，2D对象数据是指与二维参考平面相关的对象数据，即，在相应的二维参考平面内是“平的”或者与相应的二维参考平面平行的对象数据。

在一个实施例中，2D对象数据包括例如通过手动或者自动图像分析获得的一个或多个对象的形状数据(几何形状/轮廓)。例如，对象数据可以包括从对诸如卫星图像的遥感图像的图像分析获得的一个或多个停车位、停车场、诸如箭头标记和车道标记的道路标记或者人行横道的形状。由于“平的”2D参考平面的遥感图像一般至少不显示实质性的透视畸变，因此例如通过自动图像分析算法，可以相对容易地生成相应的2D对象信息。

应当注意，在所讨论的图像分析的示例中，即使可以使用图像数据来生成2D对象信息，也不需要作为2D对象信息的一部分获得相应的2D图像。然而，在对应的实施例中，2D对象信息可以附加地包括图像数据。

在对应的实施例中，2D对象数据可以包括对象标识符，例如在上面的示例中，对应于“停车位”或者“人行横道”的对象标识符。更一般地，对象数据可以包括任意合适的统计数据，例如一个或多个对象的形状和/或背景，作为对象标识符。

2D对象信息还包括涉及相应的对象的绝对或者相对位置的对象位置数据。在一个实施例中，对象位置数据是对应于对象的“真实世界”位置的地理位置数据。存在用于获得地理位置数据的多个系统，例如GPS、Glonass、北斗(BeiDou)和伽利略(Galileo)系统。在另一个实施例中，对象位置数据包括例如使用“POS LV”定位系统可获得的高精度地理位置数据，即，具有至少50cm、优选5cm、特别是1cm的空间分辨率，“POS LV”定位系统可以从加拿大安大略省的Applanix获得。

根据本方面并且在进一步的步骤中，从车辆的一个或多个传感器获得透视车辆图像数据。例如，透视车辆图像数据可以从一个或多个合适的静止或者视频相机、雷达或者LIDAR扫描仪、超声波传感器或者使得能够提供透视车辆图像数据、即像素数据的任意其它类型的传感器获得。图像数据可以直接从所述传感器获得或者间接获得，即通过中间部件和/或设备获得。

应当注意，虽然在一些实施例中，可以使用各自提供多个像素的一个或多个传感器，但是在其它实施例中，可以使用各自提供单个像素的传感器。在后者的实施例中，例如通过合适的图像处理器将传感器的输出合成，以提供具有多个像素的车辆图像数据。

根据本方面并且在进一步的步骤中，确定车辆图像数据的至少一部分的车辆图像位置数据。在当前情境中，术语“车辆图像位置数据”是指涉及所获得的透视车辆图像数据的至少一部分的绝对或者相对位置的信息。在一个实施例中，车辆图像位置数据包括透视车辆图像数据的一个或多个像素的位置信息。在另一个实施例中，车辆图像位置数据包括透视车辆图像数据的每个像素的位置信息。

在一个实施例中，直接或者间接地从对应于车辆和/或图像的“真实世界”位置的地理位置数据推导出车辆图像位置数据。例如，车辆可以根据给定的时间表获得地理位置数据，然后使用时间戳将地理位置数据与车辆图像数据同步。在该示例中，可以应用插值来估计两个地理位置数据记录之间的图像数据时间戳的情况下的车辆的地理位置。可以在获得车辆图像数据时或者在稍后的阶段应用同步。

如在前面所讨论的，存在用于获得地理位置数据的多个系统。在另一个实施例中，车辆图像位置数据包括例如使用“POS LV”定位系统可获得的高精度地理位置数据，即，具有至少50cm、优选5cm、特别是1cm的空间分辨率，“POS LV”定位系统可以从加拿大安大略省的Applanix获得。

应当注意，根据本方面，前述步骤可以按照所描述的顺序、按照不同的顺序或者同时进行，而不脱离本发明的范围。在执行本方面的方法的相应的计算机处理器的处理能力足够的情况下，并且在对应的实施例中，前述步骤中的至少一些同时进行。

根据本方面，一旦获得了对象位置数据和车辆图像位置数据，则将对象位置数据和车辆图像位置数据相互进行比较。在数据格式不同的情况下，或者在使用具有不同的参考点的相对位置数据的情况下，在一个实施例中，该步骤可以包括数学变换。

在对象位置数据对应于图像位置数据的情况下，即，在发现“匹配”的情况下，将2D对象数据与透视车辆图像数据进行相关，以获得分割的透视车辆图像数据集。数据集包括2D对象数据的至少一部分和透视车辆图像数据的至少一部分。

例如，在发现2D对象数据的一个或多个对象的位置，对应于车辆图像数据的图像位置数据的情况下，例如当该一个或多个对象在获取透视车辆图像数据的车辆的相机的视场内时，利用2D对象数据和对应的透视车辆图像数据生成数据集。

在另一个实施例中，数据集至少包括相应地“匹配的”对象和透视车辆图像数据的对应部分。

所存储的数据集使得能够例如“在线地”例如针对自动驾驶功能或者辅助车辆驾驶功能进行进一步处理，和/或“离线地”进行进一步处理，例如以便训练人工神经网络或者收集交通信息。相应地，在一个实施例中，可以提供分割的车辆图像数据集，以进行进一步处理

在“在线使用”的一个示例中，在具有对应于“人行横道”的对象标识符的对象被确定为在相机的当前视场中的情况下，考虑到例如与正常的街道或者高速公路场景相比，行人更可能在人行横道内，可以相应地将车辆的防碰撞系统参数化。

在另一个替换的或者附加的实施例中，存储数据集。在另一个替换的或者附加的实施例中，可以将数据集上传到服务器/云计算服务，例如用于“离线”应用。

在相应的实施例中，可以使用合适的存储设备或者介质永久或者临时地存储数据集。

如在前面所讨论的，分割的车辆图像数据集包括2D对象数据的至少一部分和透视车辆图像数据的至少一部分。在对应的实施例中，数据集还可以包括相关联的对象位置数据、图像位置数据和/或其它数据。

根据一个实施例，进行相关的步骤包括将2D对象数据从二维参考平面变换或者投影到透视车辆图像数据的车辆透视参考帧。本实施例提供2D对象数据到相应的透视参考帧、即透视车辆图像数据的坐标系的自动变换。应当注意，透视车辆图像数据可以是2D或者3D格式的(包括图像和3D模型)，然而，透视车辆图像数据总是包括透视图像分量，即“3D信息”，而2D对象数据是“平的”，如在前面所讨论的。可以使用矩阵演算，例如线性代数变换，来进行2D对象数据的变换。在一个实施例中，变换使用变换矩阵。例如，可以使用校准到车辆的相应的一个或多个传感器的预先计算/定义的变换矩阵。

在成功地进行变换之后，得到的2D对象数据与透视车辆图像数据的透视图匹配。

根据另一个实施例，将2D对象数据与二维参考平面进行相关，并且二维参考平面与所述车辆的行驶表面平行。

如在前面所讨论的，对象数据在相应的二维参考平面内是“平的”，或者与相应的二维参考平面平行。根据本实施例，该参考平面与车辆可操作的平面平行，在许多示例中，该平面可以是地面，即地球表面。因此，在一个示例中，一个或多个对象是(地球)表面对象。

应当注意，在当前情境中，术语“与…平行”包括参考平面与车辆的行驶表面相同的情况。

根据另一个实施例，从遥感图像数据、有时也称为“航拍图像数据”中获得2D对象信息。遥感图像数据可以通过合适的卫星、飞机、无人机或者其它飞行器/航天器获得。

特别是在表面对象的情况下，使用遥感图像使得能够以手动或者自动的方式准确并且有效地生成2D对象数据。很明显，考虑到没有实质性的透视畸变，并且得到的“平的”或者表面对象的形状相对简单，以及给出有限的遮挡，使用遥感图像，可以以手动方式有效地生成2D对象数据。然而，这也适用于例如在基于地理对象的图像分析中使用的遥感图像的自动处理。在车辆领域内，应当注意，WO 2015/057325 A1公开了一种用于在遥感图像中自动检测和识别停车场的方法。相应地，在本方法的另一个实施例中，通过自动处理遥感图像数据来获得2D对象信息。

如在前面所讨论的，在一个实施例中，2D对象数据包括一个或多个对象的形状数据。根据另一个实施例，2D对象数据包括一个或多个对象的矢量(图形)信息。当将2D对象数据与透视车辆图像数据进行相关时，使用矢量图形使所需要的计算减少，因此使得能够减少该步骤所需要的时间。

在另一个实施例中，2D对象数据包括原始对象数据。特别是，原始对象数据可以包括线、折线、多边形、复杂的多边形、贝塞尔(Bézier)曲线、贝兹曲线(bezigons)、圆、椭圆、样条曲线、NURB、超椭圆或者超级椭球(superellipsoid)中的至少一个。应当注意，依据应用，可以使用任意合适的其它2D矢量数据类型。

根据另一个实施例，本方面的方法还包括自动对分割的车辆图像数据集进行注释的步骤。在本发明的情境中，术语“自动进行注释”，也称为自动“添加标记”或者“添加标签”，是指为分割的车辆图像数据集中的一个或多个对象自动生成元数据。在当前的车辆图像处理领域，在一个实施例中，元数据可以是指车辆背景信息，例如涉及道路对象状态的信息。在上面提到的停车位作为对象的示例中，对应的道路对象状态可以是“占用”或者“可用”。这种功能对应于“停车位占用检测器”。在行驶车道作为对象的另一个示例中，对应的道路对象状态可以是在靠近十字路口时，车道是否允许直行、左转和/或右转。

一旦确定了道路对象状态，在一个实施例中，可以向车辆的辅助/自动驾驶系统提供道路对象状态。在一个示例中，向停车辅助系统提供带注释的分割的车辆图像数据集，以便以半自动或者全自动的方式将车辆引导到停车场中的可用的停车位，然后将车辆停放在相应的停车位中。在另一个替换的或者附加的示例中，向辅助或者自动驾驶系统提供带注释的分割的车辆图像数据集，以使得能够确定车辆的当前车道是否允许在下一个十字路口处采取期望的方向。

根据另一个实施例，向人工神经网络系统提供分割的车辆图像数据集作为训练数据。

根据第二示例性方面，提供一种用于生成分割的车辆图像数据的系统。该系统包括通信接口，通信接口用于接收至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息，来自车辆的一个或多个传感器的透视车辆图像数据，以及来自车辆的定位模块的所述车辆图像数据的至少一部分的车辆图像位置数据。该系统还包括分割处理器，分割处理器被配置为用于将所述对象位置数据与所述车辆图像位置数据进行比较；在所述对象位置数据对应于所述图像位置数据的情况下，使用对象位置数据和车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

通信接口可以是用于基于导线的操作或者无线操作的任意合适的类型的，例如CAN总线接口、以太网接口、根据IEEE 802.11标准中的一个或多个进行通信的Wi-Fi接口、被适配为用于例如GSM、EV-DO和/或LTE标准中的一个的蜂窝通信接口、蓝牙通信接口或者根据IEEE 802.15标准组进行通信的接口。

分割处理器被配置为具有包括合适的编程/软件的内存/存储器，以提供在前面以及在后面的描述中讨论的功能。软件可以包括内核、操作系统和/或shell或者接口。可以“加载”、即从存储器传输一个或多个应用程序或者模块，以由处理器执行。在一个示例中，处理器是图像处理器。

根据一个实施例，该系统包括注释模块，注释模块被配置为用于确定至少一个对象的道路对象状态。

根据本方面以及其它实施例中的系统可以根据前面参考前述方面讨论的实施例以及下面参考其它方面描述的实施例中的一个或多个来配置。

关于根据本方面的系统的特征以及所使用的术语，参考前述方面的对应的特征和定义。

根据又一示例性方面，提供一种具有用于生成分割的车辆图像数据的系统的车辆。

车辆和系统包括通信接口，通信接口用于接收至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息。此外，车辆和系统包括：一个或多个传感器，用于获得透视车辆图像数据；定位模块，用于获得所述车辆图像数据的至少一部分的车辆图像位置数据；以及分割处理器。分割处理器被配置为用于将所述对象位置数据与所述车辆图像位置数据进行比较；在所述对象位置数据对应于所述图像位置数据的情况下，使用对象位置数据和车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

根据本方面的车辆可以是陆地车辆、水上车辆或者飞行器中的任意合适的类型的，例如客车、商用车、摩托车等。

一个或多个传感器可以是用于获得透视车辆图像数据的任意合适的类型的，例如一个或多个合适的静止或者视频相机、雷达或者LIDAR扫描仪、超声波传感器或者使得能够提供透视车辆图像数据、即像素数据的任意其它类型的传感器，如在前面参考第一方面详细讨论的。图像数据可以直接从所述传感器获得或者间接获得，即通过中间部件和/或设备获得。

应当注意，虽然在一些实施例中，可以使用各自提供多个像素的一个或多个传感器，但是在其它实施例中，可以使用各自提供单个像素的传感器。在后者的实施例中，例如通过合适的图像处理器将传感器的输出合成，以提供具有多个像素的车辆图像数据。

根据本方面的定位模块被配置为用于获得所述车辆图像数据的至少一部分的车辆图像位置数据。术语“车辆图像位置数据”是指涉及所获得的透视车辆图像数据的至少一部分的绝对或者相对位置的信息，如在前面参考第一方面所讨论的。

在一个实施例中，定位模块是地理位置定位模块，其使得能够获得车辆和/或图像的“真实世界”位置。存在用于获得地理位置数据的多个系统，例如GPS、Glonass、北斗和伽利略系统。在另一个实施例中，对象位置数据包括例如使用“POS LV”定位系统可获得的高精度地理位置数据，即，具有至少50cm、优选5cm、特别是1cm的空间分辨率，“POS LV”定位系统可以从加拿大安大略省的Applanix获得。

根据另一个实施例，系统和车辆包括注释模块，注释模块被配置为用于确定至少一个对象的道路对象状态。

根据本方面以及其它实施例中的车辆可以根据前面参考前述方面讨论的实施例中的一个或多个来配置。

关于根据本方面的系统的特征以及所使用的术语，参考前述方面的对应的特征和定义。

现在，参考附图，在附图中对实施例的各个元素给予数字标号，并且在附图中将讨论其它实施例。

对部件、处理步骤和其它元件的具体参考不旨在是限制性的。此外，应当理解，当参考替换的附图时，相似的部分具有相同的附图标记。还应当注意，附图是示意性的，并且提供附图，用于引导本领域技术人员，附图不一定是按比例绘制的。相反，可能故意扭曲在附图中示出的部件的各种绘制比例、纵横比和数量，以使某些特征或者关系更容易理解。

图1以示意性框图示出了具有用于生成分割的车辆图像数据的系统2的车辆1的实施例。应当注意，当前的说明集中于系统2。相应地，在附图中未示出车辆1的一般的部件，以免模糊所示出的实施例。

根据本实施例的用于生成分割的车辆图像数据的系统2(下面也称为“系统”和“分割系统”)包括分割处理器3，分割处理器3是被适配为用于进行图像处理的微处理器，即，具有合适的图像处理软件。分割处理器3包括具有适当的编程的内存(未示出)，用于当从内存传输编程，以由处理器执行时，提供分割模块4的功能。分割模块4的功能将在下面的描述中、特别是参考图2的流程图进一步详细讨论。

系统2还包括通信接口，即LTE调制解调器6，例如用于接收2D对象信息，在接收到2D对象信息时，将其存储在存储单元7中。根据本实施例的存储单元7包括非易失性的闪存，并且用作数据库/数据存储器。设置GPS接收器模块8，用于确定地理位置信息，GPS接收器模块8因此对应于(地理位置)定位模块的功能。根据本实施例的GPS模块8是POS LV类型的差分GPS模块，其可以从提供高精度地理位置数据的加拿大安大略省的Applanix获得。

为了提高地理位置信息的准确性，系统2连接到车辆1的转向/驱动控制单元9，以获得车辆移动/速度信息。替换地，GPS模块8可以连接到安装在车轮上的旋转轴编码器(未示出)，旋转轴编码器测量行进的线性距离，特别是有助于限制GPS中断漂移。

除了上述部件之外，系统2还包括四个传感器，即根据本实施例的视频相机10-13，布置视频相机10-13，用于观察车辆1的所有侧面。相机10-13通过合适的以太网数据连接，向分割处理器3提供透视车辆图像数据。相机10-13是彩色的，并且是红外线类型的。在本实施例中，相机10-13以示例性的15度的角度指向下方，以拍摄与车辆1相邻的行驶表面的表面区域，并且提供车辆1附近的“静态道路特征”的图像。应当注意，系统2可以在车辆1移动/行驶时使用，也可以在静止时使用。

系统2附加地包括电源(未示出)，电源连接到车辆1的12V电池电源系统(也未示出)。电源为系统2的所有部件提供所需要的工作电源。

图2A和2B以示意性流程图示出了用于生成分割的车辆图像数据的系统2的操作的示例。

系统2的操作在步骤100中开始，其中，通过向车辆1供电来初始化系统2。在步骤101中，分割处理器3确定当前初始化是否是系统2的第一次启动，或者系统2之前是否已经运行过。分割处理器3相应地查询存储单元7和存储在存储单元7中的对应的配置位。在当前初始化是系统2的第一次启动的情况下，在步骤102中，分割处理器3通过LTE调制解调器6联系映射服务器(未示出)，以获得2D对象信息，因此从映射服务器下载2D对象信息。然后，在步骤103中，将2D对象信息存储在存储单元7中。

在分割处理器3在步骤101中确定步骤100的当前初始化不是第一次启动，即，已经配置了系统2的情况下，在步骤104中，分割处理器3在映射服务器中查询2D对象信息的更新。如果是这种情况，则在步骤106中，分割处理器3通过LTE调制解调器6从映射服务器获得更新，并且将更新存储在存储单元7中。根据本实施例，2D对象信息的更新是增量更新，以保持传输的数据量低。

根据本实施例的2D对象信息包括对象数据、相关联的对象标识符和对象位置数据。对象数据是通过处理遥感图像而获得的“平的”道路表面对象的矢量化对象形状数据。对象位置数据包括高精度地理位置数据，即，具有至少50cm、优选5cm、特别是1cm的空间分辨率。

在该实施例中，遥感图像是地球表面的航拍图像。图3以示意性的视图示出了航拍图像30的一部分。图像30示出了具有道路31的一般的城市街道场景，道路31具有人行横道32。道路31还连接到具有各种停车位34a-i的停车场33。应当注意，为了清楚起见，在图3中，仅一些停车位34a-i标有附图标记。

在当前情境中，将上述人行横道32、停车场33和停车位34a-i视为道路表面对象。从图3中很明显，这些道路表面对象处于二维参考平面中，即，在该实施例中，处于路面上，因此是“平的”。

使用诸如图像30的航拍图像，映射服务器使用一般的基于对象的图像分析，自动生成道路表面对象的2D对象信息。在WO 2015/057325 A1中描述了生成停车场的2D对象信息的示例。

图4示出了具有覆盖图的图3的航拍图像30，覆盖图示出了人行横道32、停车场33和一些停车位34a-i的得到的对象形状信息。再一次并且对应于图3，在图34中，仅一些停车位34标有附图标记，并且仅一些停车位34还示出了对应地生成的对象形状信息。

下面的在图3和4中示出的道路表面对象的2D对象信息存储在映射服务器上：

应当注意，上面提到的对象位置纬度和经度数据仅包括示例性的值，以示出在当前基于GPS的实施例中需要的精度，而不涉及如图4所示的对象相对于彼此的布置。在该示例中，纬度和经度是指相应的对象的参考点，例如，所示出的多边形的一角。此外，应当注意，所示出的“对象形状参数”当然依据相应的形状，就像在一般的矢量图形中一样。例如，在圆形的情况下，除了参考点、例如圆的中心的纬度/经度之外，提供半径就足够了。其它形状可能需要多于两个的参数。

如前面参考图2所讨论的，在图2中，向用于生成分割的车辆图像数据的系统2提供2D对象信息，然后将其存储在存储单元7中。一旦确定当前的2D对象信息存在于存储单元7中，则在步骤107中开始进行图像分割。

在步骤108中，分割处理器3获得、即从存储单元7加载2D对象信息。特别是，依据2D对象信息的数据大小，分割处理器3可以加载2D对象信息的完整数据集，或者可以加载2D对象信息的部分数据集。例如，在2D对象信息的数据大小大的情况下，分割处理器3可以仅加载2D对象信息的子集，也就是说，在对象位置数据接近车辆1的当前位置，即，在20m的半径内的情况下，因为对象不可能被确定为远离车辆1。

在步骤109中，图像处理器3从视频相机10-13获得透视车辆图像(数据)。根据本实施例，透视车辆图像数据对应于从相机10-13恒定地提供的视频流中取出的多个静止图像(帧)。

与此并行地，在步骤110中，分割处理器3从GPS接收器模块8获得车辆的地理位置。如在前面所讨论的，来自转向/驱动控制单元9的数据提高了GPS位置的精度。

在步骤111中，分割处理器3使用预先定义的相机校准参数，来计算透视车辆图像数据的多个静止图像的每个像素的地理位置，预先定义的相机校准参数包括相机10-13中的每一个的视场到由GPS模块8确定的位置的固定映射。

在步骤112中，将得到的车辆图像位置数据与2D对象信息的对象位置数据进行比较。在发现匹配位置的情况下，在步骤114中，将相关联的2D对象数据与相应的静止图像进行相关。该步骤包括：使用具有预先计算的变换矩阵的线性代数变换，将2D对象数据，从相关联的二维“地面/表面/路面”参考平面，变换为透视静止图像的透视参考帧。

这里使用的变换技术也已知为“单应性”，并且是用于将点的集合从一个平面映射到另一个平面的计算机视觉中的已知技术。

在本实施例中，第一平面是具有与相应的对象对应的点的集合的2D对象数据的地面参考平面。第二平面是由相机10-13拍摄的透视参考(图像)帧。

预先计算的变换或者“单应性”矩阵包括能够将第一平面中的任意点映射为第二平面中的对应的点的线性变换，其中的后者对应于相机图像。单应性矩阵最初通过求解给定两个平面之间的真映射对的集合的一组线性方程而获得，给定一组两个平面之间的真实映射。例如，单应性的细节可以在https://en.wikipedia.org/wiki/Homography_ (computer_vision)中找到。

然后，在步骤115中，将该变换的结果，即变换后的对象数据，与相应的静止图像一起，作为“分割的车辆图像数据集”，存储在存储单元7中。然后，数据集可以用于进一步的处理，如将在下面更详细地讨论的。

在步骤113和步骤116中没有发现匹配的情况下，分割处理器3确定用户是否请求系统2的操作结束，例如通过停止车辆1并且转动点火装置。如果是这种情况，则在步骤117中，操作结束。否则，在步骤109中，操作以从相机10-13获取新的静止图像的集合继续，除非步骤118中的确定导致需要刷新所加载的2D对象信息。例如，在系统2确定车辆1已经移动超过10米的情况下，需要进行刷新，以确保正确的2D对象信息在分割处理器3的内存中。

从图2B中可以看到，在步骤115中成功存储分割的车辆图像数据集之后，上面讨论的过程也适用。

图5以示意性视图示出了示例性的分割的车辆图像数据集40。数据集40包括从车辆1的左侧相机12获得的透视车辆(静止)图像41。图像41示出了具有停车位34d、34e和34f的停车场33的一部分。此外，图5还示出了覆盖图中的分割的车辆图像数据集的变换后的、因此现在是透视对象数据42-44。可以看到，对象数据42-44包括与停车位34d、34e和34f对齐的矩形。现在，矩形的透视图与图像41的透视图匹配。

如在前面所讨论的，一旦在所描述的分割处理中生成分割的车辆图像数据集，则分割的车辆图像数据集可以用于进一步的处理。在一个示例性实施例中，以预先定义的间隔，向服务器系统60传输存储在存储单元7中的分割的车辆图像数据集。

图6示出了根据该实施例的设置的示意性框图。从图中可以看出，车辆1的系统2使用LTE调制解调器6，通过无线数据连接，连接到服务器系统60。从存储单元7到服务器系统60的分割的车辆图像数据的传输每5分钟进行一次，但是仅在蜂窝网络连接在相应的车辆位置处可用的情况下。

服务器系统60可以位于合适的设施处，例如车辆所有者、车辆制造商或者对应的服务提供商的数据中心处，即，是“基于云”的。服务器系统60包括前面提到的映射服务器62和人工神经网络系统61，人工神经网络系统61使用输入的分割的车辆图像数据集，作为基于软件的道路特征检测器的训练数据。一旦经过了充分的训练，则可以在自动驾驶系统中使用对应的道路特征检测器。例如，道路特征检测器可以被配置为用于，检测车辆可以自己停放的可用停车位，或者将空闲停车位的位置上传到“云”，从而向其它车辆或者驾驶员告知可以停车。

当然，如在图6中所指出的，可以可选地向对应的神经网络系统61，提供来自多个车辆1、1a、1b、1c的分割的车辆图像数据，车辆1、1a、1b、1c各自包括前面所讨论的用于生成分割的车辆图像数据的系统2、2a、2b、2c。应当注意，为了清楚起见，图6仅示出了车辆1的一些部件。

图7以示意性框图示出了另一个实施例的车辆70，车辆70具有用于生成分割的车辆图像数据的系统2。分割系统2的设置对应于前面讨论的设置。车辆70还包括如所讨论的转向/驱动控制系统9，但是还包括具有行人检测器子模块72和空闲停车位检测器子模块73的注释模块71。行人检测器模块72连接到防碰撞系统74。空闲停车位检测器连接到自动停车系统75。防碰撞系统74和自动停车系统75两者连接到驱动控制系统9，用于控制车辆的运动。

注释模块71连接到分割系统2，以接收分割的车辆图像数据集，并且进一步对数据集进行处理。特别是，注释模块71自动对分割的图像数据集进行注释，即，自动针对分割的车辆图像数据集中的一个或多个对象生成元数据。在本实施例中，注释模块71确定至少一个对象的道路对象状态。

如在前面所讨论的，注释模块71包括两个子模块，即，行人检测器72和空闲停车位检测器73。在行人检测器子模块72在分割的车辆图像数据集中检测行人的同时，空闲空间检测器子模块73确定在分割的车辆图像数据集中包括的停车位是可用、还是被占用。子模块72、73两者都包括合适的计算机视觉算法，并且向对应的辅助驾驶系统提供相应的确定的结果。

在本实施例中，在特定对象类型的情况下，即，根据本示例，在对象类型对应于“人行横道”的情况下，行人检测器子模块72确定在分割的车辆图像数据集的图像数据中是否可以看到行人。

在人行横道内检测到行人的情况下，为对象“人行横道”设置对应于“人行横道中存在行人”的道路对象状态，并且将带注释的对象信息发送到防碰撞系统74，然后防碰撞系统74启动受控的制动操作。

应当注意，根据本实施例的行人检测器72仅确定对人行横道中的行人的强制性让路，从而在这种情况下，可以以受控方式停止车辆70。可选地，行人检测器子模块72可以附加地被配置为，针对车辆70的路径中的行人，连续扫描来自前置相机10的现场流(在图7中未示出)，并且如果检测到行人，则向防碰撞系统74提供对应的信息，以使得能够对车辆制动器进行预充电。

在分割的车辆图像数据集包括具有对应于“停车位”的标识符的对象的情况下，空闲停车位检测器子模块73确定停车位是可用、还是被占用。向自动停车系统75提供对应地进行了注释的对象信息，以允许在车辆操作员希望的情况下，开始自动停车操作。参考图5的示例性的分割的车辆图像数据集，得到以下对象信息：

在两种情况下，即，在行人检测器子模块72进行了注释，以及空闲停车位检测器子模块73进行了注释的情况下，向无线通信接口74提供带注释的对象信息，以上传到中央服务器系统。然后，可以与其他驾驶员共享带注释的对象信息，以便在人行横道中有行人的情况下提供警告，并且在有空闲停车位的情况下提供关于可用停车的信息。也在图8的示例性流程图中示出了两个模块72、73的操作。

应当注意，虽然在图2A和2B中示出并且参考图2A和2B说明的分割处理，包括在步骤115中将分割的车辆图像数据集存储在存储单元7中，但是这在本示例的对分割的车辆图像数据集的“在线”的进一步处理中不一定是必需的。这里，在对应的实施例中，可以在步骤114之后，直接向注释模块71提供分割的数据集。当然，在另一个实施例中，在步骤115中存储分割的车辆图像数据集之后，注释模块71也可以从存储单元7中取出分割的车辆图像数据集。

图9以示意性框图示出了第二实施例的用于生成分割的车辆图像数据的系统92。除了系统92不作为车辆的一部分提供，而是与(云)服务器91一体地形成之外，系统92对应于前面讨论的系统2。相应地，系统92不包括GPS接收器模块，也不包括相机。根据本实施例，多个远程数据收集车辆93通过通信接口90，向系统92提供透视车辆图像数据和相关联的车辆地理位置数据。透视车辆图像数据由相机94-97收集，并且车辆地理位置数据由GPS接收器模块98获得。LTE调制解调器99无线连接到通信接口90。如在前面所讨论的，除了透视车辆图像数据和车辆地理位置数据由数据收集车辆93提供之外，分割系统92的操作对应于前面对图2A和2B的讨论。

虽然在附图和前面的描述中详细示出并且描述了本发明，但是这些图示和描述应当视为是说明性或者示例性的，而非限制性的；本发明不限于所公开的实施例。例如，可以操作前述实施例中的任意一个中的发明，其中，

-系统2不安装在车辆1中，而是作为服务器的一部分提供，例如，在云计算/服务器系统中提供，

-作为闪存的替换或者补充，存储单元7包括磁数据存储设备、光存储设备或者非易失性或者易失性固态存储器中的一个或多个，

-代替相机10-13是彩色的红外线类型的，相机10-13是灰度相机，

-作为视频相机10-13的替换或者补充，在系统2、92中使用至少一个静止图像相机、雷达或者LIDAR扫描仪、超声波传感器或者使得能够提供透视车辆图像数据、即像素数据的任意其它类型的传感器中的一个或多个，

-代替相机10-13，使用单个相机，

-代替自动处理遥感图像数据以生成2D对象信息，手动处理图像数据，以生成2D对象数据，

-代替与分割系统2分开设置的图7的注释模块71，注释模块71与分割系统2和/或与分割处理器3一体地形成，和/或，

-提供附加模块作为注释模块71的一部分，例如道路箭头方向检测器。

通过研究附图、公开内容和所附的权利要求，本领域技术人员在实践所要求保护的发明时，可以理解并且实现所公开的实施例的其它变形。在权利要求中，词语“包括”不排除其它元件或者步骤，并且不定冠词“一”或者“一个”不排除多个。单个处理器、模块或者其它单元可以实现在权利要求中记载的几个项的功能。

在彼此不同的从属权利要求中记载某些措施的仅有事实，并不表示不能使用这些措施的组合来获益。可以在合适的介质上，例如在与其它硬件一起提供或者作为其它硬件的一部分提供的光存储介质或者固态介质上，存储/分发计算机程序，但是也可以以其它形式，例如通过因特网或者其它有线或者无线电信系统，来分发计算机程序。权利要求中的任意附图标记不应当解释为限制范围。

Claims (17)

1.一种生成分割的车辆图像数据的计算机实现的方法，所述方法至少包括步骤：

获得至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息；

从车辆的一个或多个传感器获得透视车辆图像数据；

确定所述车辆图像数据的至少一部分的车辆图像位置数据；

将所述对象位置数据与所述车辆图像位置数据进行比较；以及

在所述对象位置数据对应于所述图像位置数据的情况下，使用所述对象位置数据和所述车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

2.根据权利要求1所述的生成分割的车辆图像数据的计算机实现的方法，其中，进行相关的步骤包括将2D对象数据从二维参考平面变换到所述透视车辆图像数据的车辆透视参考帧。

3.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，将所述2D对象数据与二维参考平面进行相关，并且所述二维参考平面与所述车辆的行驶表面平行。

4.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，从遥感图像数据中获得所述2D对象信息。

5.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，所述方法还包括步骤：自动对遥感图像数据进行处理，以获得所述2D对象信息。

6.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，所述2D对象数据包括矢量信息。

7.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，所述2D对象数据包括原始对象数据。

8.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，所述对象位置数据和所述车辆图像位置数据包括高精度地理位置数据。

9.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，所述方法还包括自动对分割的车辆图像数据集进行注释的步骤。

10.根据权利要求9所述的生成分割的车辆图像数据的计算机实现的方法，其中，所述对分割的车辆图像数据集进行注释的步骤包括确定至少一个对象的道路对象状态。

11.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，向车辆的辅助/自动驾驶系统提供分割的车辆图像数据集。

12.根据前述权利要求中任一项所述的生成分割的车辆图像数据的计算机实现的方法，其中，向人工神经网络系统提供分割的车辆图像数据集作为训练数据。

13.一种机器可读的非暂时性的记录介质，包括如下内容，所述内容被配置为用于使计算设备执行根据前述权利要求中任一项所述的方法。

14.一种用于生成分割的车辆图像数据的系统，所述系统包括：

通信接口，所述通信接口用于接收至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息，来自车辆的一个或多个传感器的透视车辆图像数据，以及来自车辆的定位模块的所述车辆图像数据的至少一部分的车辆图像位置数据；以及

分割处理器，所述分割处理器被配置为用于

将所述对象位置数据与所述车辆图像位置数据进行比较；并且

在所述对象位置数据对应于所述图像位置数据的情况下，使用所述对象位置数据和所述车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

15.根据权利要求14所述的用于生成分割的车辆图像数据的系统，还包括注释模块，所述注释模块被配置为用于确定至少一个对象的道路对象状态。

16.一种具有用于生成分割的车辆图像数据的系统的车辆，所述车辆包括：

通信接口，用于接收至少具有一个或多个对象的2D对象数据和对象位置数据的2D对象信息；

一个或多个传感器，用于获得透视车辆图像数据；

定位模块，用于从车辆的定位模块获得所述车辆图像数据的至少一部分的车辆图像位置数据；以及

分割处理器，所述分割处理器被配置为用于

将所述对象位置数据与所述车辆图像位置数据进行比较；并且

在所述对象位置数据对应于所述图像位置数据的情况下，使用所述对象位置数据和所述车辆图像位置数据，将所述2D对象数据与所述透视车辆图像数据进行相关，以获得分割的车辆图像数据集。

17.根据权利要求16所述的车辆，所述车辆还包括注释模块，所述注释模块被配置为用于确定至少一个对象的道路对象状态。