CN106462750A

CN106462750A - 用于确定并且提供用来对车辆进行定位的地面标志的方法

Info

Publication number: CN106462750A
Application number: CN201580035688.XA
Authority: CN
Inventors: H.迈耶; A.伊万诺夫
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2014-07-02
Filing date: 2015-06-09
Publication date: 2017-02-22
Anticipated expiration: 2035-06-09
Also published as: US11512969B2; US20170122763A1; EP3164850A1; CN106462750B; EP3164850B1; WO2016000919A1; DE102014212781A1

Abstract

由车辆（100）拍摄该车辆（100）的环境的图像（B）并且对其进行评估。如果所述评估表明，所述图像（B）可能包含能够适合作为地面标志的静态的物体（300），那就将所述图像（B）和在所述图像（B）的拍摄地点处由所述车辆所确定的车辆（100）位置传输给数据处理站（200）。通过对于所接收的图像（B）的图像分析，可以在所述数据处理站（200）中确定，假定静态的物体（300）是否适合作为地面标志。如果所述物体（300）已经被确定为地面标志，那么所述数据处理站（200）就编制对所述物体（300）进行描述的数据记录，所述数据记录被传输给所述车辆（100）。

Description

用于确定并且提供用来对车辆进行定位的地面标志的方法

技术领域

本发明涉及一种用于确定并且提供用来对车辆进行定位的地面标志的方法。

背景技术

对于许多应用情况来说，需要在车辆内高度精确地知道自身的位置。尤其在一些车辆中需要关于可行驶的车道的高度精确的位置，对于这些车辆来说在将来可以进行高度自动驾驶。可行驶的车道在此要么可以是被标出的车道要么也可以是道路，这些道路已经由其他的车辆驶过并且其路线高度精确地被记录了下来。

为了在车辆自身中精确地确定该车辆的位置，现今可以使用用于差分导航、例如差分GPS的算法。此外，可以使用一些算法，利用这些算法对LIDAR传感器的模型进行评估，以用于高度精确地确定位置。但是，这两种方法的使用由于昂贵的GPS接收器和LIDAR传感器而与较高的成本相关联。

另一种用于在车辆内确定高度精确的位置的可行方案在于，由车辆识别处于该车辆的环境中的地面标志。如果这些地面标志的相应的位置是已知的并且处于所述车辆内，那就可以在所述车辆内根据在车辆的环境中所检测到的地面标志的位置来高度精确地确定所述车辆的位置。为了使用这样的方法，需要检测大量的地面标志并且使其在所述车辆内供评估所用。

发明内容

本发明的任务是，介绍一种用于确定并且提供用来对车辆进行定位的地面标志的方法，所述方法能够以较小的开销来可靠地确定所述地面标志，并且利用所述方法能够高度精确地确定所述地面标志的位置。

在专利权利要求1中介绍了用于确定并且提供用来对车辆进行定位的地面标志的方法的一种实施方式。为了执行所述方法而提供车辆，该车辆具有：用于拍摄该车辆的环境的图像的图像拍摄机构、用于对所述图像进行评估的图像评估机构以及用于确定该车辆位置的定位机构。此外，提供数据处理站，该数据处理站具有用于对所述图像进行分析的图像分析机构，以用于确定所述图像中的地面标志。由所述车辆利用所述图像拍摄机构拍摄该车辆的环境的图像，在所拍摄的图像的地点处借助于所述定位机构来确定所述车辆的位置，所述图像评估机构用于在所述车辆中对所述图像进行评估。

如果所述图像评估机构将在所拍摄的图像中所包含的物体中的至少一个物体评估为静态的物体，那就将所拍摄的图像和所确定的车辆位置由所述车辆传输给所述数据处理站。所述图像分析机构对所接收的图像进行分析，以确定所述至少一个物体是否适合作为地面标志。如果已经确定所述至少一个物体适合作为地面标志，那就在所接收的图像中通过所述图像分析机构来确定所述至少一个物体的位置。此外，如果已经确定所述至少一个物体适合作为地面标志，那就通过所述数据处理站来产生对所述至少一个物体进行描述的数据记录。将所产生的数据记录由所述数据处理站来传输给所述车辆。

用于确定并且提供用来对车辆进行定位的地面标志的方法，涉及在“车辆内的图像采集连同随后的图像评估”与“所述数据处理站（后端）中的进一步的、更为复杂的且更精确的图像分析”之间的优化的合作，在所述数据处理站中有明显比在所述车辆中更强的计算能力可供使用。由于越来越频繁地将单摄像头或立体摄像头例如用于车道识别或者符号识别，所以在大多数的车辆中图像拍摄机构已经可供使用，所述图像拍摄机构可以用于拍摄图像并且用于后来识别高度精确的位置。按照所述方法，不是在车辆所在的每个位置处都拍摄图像并且对其进行评估。替代地，可以以高度精确地确定的位置为出发点，借助于所述定位机构通过对卫星导航系统的信号的评估和/或通过对车辆传感器器的信号的评估，为下一步的路程来确定当前的车辆位置，其中在此为所述下一步的路程将定位的精度保持在所需要的范围内。

所述方法尤其考虑到，可供使用的、用于将图像从所述车辆传输给所述数据处理站的带宽受到了限制，并且在所述数据处理站中有更高的处理能力可供使用。所述车辆的图像评估机构可以根据在所拍摄的图像中所识别的物体来评估，明显的地面标志被包含在所拍摄的图像中的可能性有多高。此外，在所述车辆中已经可以估计，多久一次需要地面标志。这例如取决于所驶过的路程而且也取决于已经可用的地面标志。由此可以使得将数据、尤其是图像由所述车辆传输给所述数据处理站的传输速率降低到较低的频率，例如小于1Hz的频率。由此例如可以在LTE（长期演进标准）可用时将图像实时地由车辆传输给所述数据处理站。

在所述车辆中，通过对所拍摄的图像的图像评估仅仅进行初步估计，在所拍摄的图像中是否存在可能能够适合作为地面标志的静态的物体。在所述数据处理站中，为了确定在所拍摄的图像中是否在实际上包含了适合作为地面标志的静态的物体，进行实际的图像分析，并且将一个或者多个在所述图像中所包含的物体选择为用于进行定位的地面标志。

借助于由Qin Lv、Moses Charikar和Kai Li所发表的文章“具有紧凑数据结构的图像相似度搜索（Image Similarity Search With Compact Data Structures）”，该文章例如可以在网址：http://www.cs.princeton.edu/courses/archive/spr05/cos598W/bib/p208-lv.pdf获得，其中所描述的图像处理方法，可以在所述数据处理站中通过对于从车辆接收到的图像的合适的分析，来编制地面标志以及尤其适合作为地面标志的物体的特征。在所述数据处理站中进行图像分析时所提取的特征可以用补充数据增强、例如来自所述车辆的位置说明，并且又被以数据记录的形式回传给所述车辆或者传输给车队的大量的车辆，并且在那里被保存在存储机构中。通过由许多车辆收集关于适合作为地面标志的物体的位置说明这种方式，可以在所述数据处理站中进一步改进所述物体的位置说明以及对其特征的描述。

借助于由所述数据处理站提供的、对地面标志及其特征进行说明的数据记录，可以在所述车辆中确定车辆位置。为此，可以由所述图像拍摄机构拍摄所述车辆的环境的图像。然后在所述图像中根据保存在所述车辆中的地面标志寻找一些地面标志，这些地面标志必须可以在自己的、例如借助于卫星导航和/或车辆传感器确定的位置的区域中可以识别。借助于卫星导航和/或车辆传感器来确定所述车辆的位置的精度，然后可以借助于所述地面标志的相对地被识别的位置来得到改进。

附图说明

下面借助于示出了本发明的实施例的附图来对本发明进行详细解释。附图示出：

图1示出了确定并且提供用于车辆的地面标志的布局；

图2示出了车辆与数据处理站的一种实施方式，车辆与数据处理站用于执行用来确定并且提供用于车辆的地面标志的方法。

具体实施方式

图1示出了车辆100，该车辆例如为了进行高度自动驾驶而必须高度精确地确定其自身的位置。为此要由服务供应商的数据处理站（后端）200向所述车辆提供数据记录，所述数据记录描述了处于所述车辆100的环境中的地面标志。为了编制所述地面标志，由所述车辆的图像拍摄机构拍摄图像B——在该图像中包含了静态的物体300——并且为了进行进一步的评估而将其传输给所述数据处理站200。

通过用合适的算法进行的图像分析，可以由所述数据处理站200确定，在所接收的图像B中所包含的物体300是否适合作为地面标志。如果已经由所述数据处理站200确定在所述图像B中所包含的静态的物体适合作为地面标志，那就能够通过所述图像分析来提取所述物体的特征并且确定所述物体的位置。

根据适合作为地面标志的物体的、所确定的位置和所提取的特征，由所述数据处理站200产生数据记录。所述数据记录由所述数据处理站200传输给所述车辆100或者传输给车队的其他车辆。如果由车辆在所拍摄的图像中识别一个物体作为地面标志，那么所述车辆就可以确定其相对于高度精确地知晓的地面标志的位置的位置。

图2示出了一些组件，所述组件在所述车辆100中并且在所述数据处理站200中，被设置用于执行用于确定并且提供用于对车辆进行定位的地面标志的方法。所述车辆100包括用于拍摄所述车辆的环境的图像B的图像拍摄机构110、用于对所述图像B进行评估的图像评估机构120以及用于确定所述车辆100的位置的定位机构130。所述数据处理站200包括用于对所述图像B进行分析的图像分析机构210，以便将在所述图像B中所包含的物体识别为地面标志。

在所述车辆100中首先用所述图像拍摄机构110来拍摄所述车辆的环境的图像B。所述图像评估机构120关于可能能够适合作为地面标志的、静态的物体的存在情况对所拍摄的图像B进行评估。所述图像拍摄机构110例如可以是环境摄像头，用所述环境摄像头可以记录所述车辆100的环境的视频序列，随后借助于视频分析由所述图像评估机构120关于静态的物体的存在情况对所述视频序列进行分析。

此外，借助于所述定位机构130来确定所述车辆100在所拍摄的图像B的地点处的位置。所述车辆100例如可以具有用于接收卫星导航系统的信号的天线140和/或至少一个用于检测所述车辆100的行驶动态（Fahrdynamik）的传感器150。所述定位机构130可以根据所述天线140的信号和/或所述至少一个传感器150的信号来确定所述车辆100在所拍摄的图像B的地点处的位置。

如果所述车辆中的图像评估表明所拍摄的图像B包含至少一个可能是静态的并且能够适合作为地面标志的物体300，那就将所述图像B以及由所述定位机构120所确定的车辆位置由所述车辆传输给所述数据处理站200，以用于进行进一步的并且更加精确的图像分析。

所传输的图像B在所述数据处理站200中由所述图像分析机构210来分析，以用于确定，在所述图像B中所包含的假定静态的物体是否在实际上是适合作为地面标志的静态的物体。如果在所述数据处理站200中的图像分析确定，在图像B中所包含的物体适合作为地面标志，那就由所述数据处理站200来确定在所接收的图像B中的物体300位置。这可以通过图像分析完成，根据所述图像被拍摄的位置，该位置由所述车辆确定。

随后由所述数据处理站200产生对所述物体300进行描述的数据记录并且将其传输给所述车辆100。所述数据记录尤其包含所述物体300的、由所述数据处理站所确定的位置。所述数据记录可以在所述车辆100中，例如被保存在存储机构160中。在所述存储机构160中可以保存大量的数据记录，所述数据记录分别对用作地面标志的静态的物体进行了描述。例如，在所述存储机构160中可以保存数字地图，所述数字地图包含所述静态的物体或者地面标志。

为了确定在车辆中进行图像评估时已经被评估为可能是静态物体的物体300是否实际上是静态的物体，由所述图像分析机构210来提取在所接收的图像B中所述至少一个物体的特征。根据所提取的特征，可以由所述图像处理站200的图像分析机构210确定，所述物体300是否实际上是静态的物体。除此以外，可以根据所述物体的所提取的特征在所述数据处理站中确定，所述静态的物体是否适合作为地面标志。

由所述数据处理站200产生的数据记录可以包含所述至少一个物体300的、由所述数据处理站所提取的特征和所确定的位置。由此，可以由所述数据处理站200来将对于地面标志的当前的描述分发给所述车辆100或者车队的大量的车辆。

按照一种可能的实施方式，通过借助于所述图像评估机构120对所拍摄的图像B进行的评估，就已经可以在所述车辆中对所述物体300相对于在所述图像B的拍摄地点处所获取到的车辆100位置的位置进行估计。由此已经可以在所述车辆中相对于在拍摄图像时，由所述定位机构130所确定的车辆位置来对可能的地面标志进行测量。用所述图像B可以将所述物体300的所估计的位置传输给所述数据处理站200。然后在所述数据处理站中可以借助于所述图像分析机构210根据所述物体的、由所述图像评估机构120所估计的位置来更加精确地获取所述物体300的位置。

所述数据处理站200为了改进以往不精确地定位的地面标志的精度，可以将用于新拍摄的图像和/或用于新测量物体的任务给予所述车辆100或者车队的其他车辆。为此，可以由所述数据处理站200来将用于拍摄车辆环境的附加的图像并且用于将所述附加的图像传输给所述数据处理站200的要求发送给所述车辆。然后由所述车辆借助于所述图像拍摄机构110来拍摄所述环境的附加的图像并且将所述附加的图像传输给所述数据处理站200。通过借助于所述图像分析机构210对所述附加的图像进行的分析，可以在所述数据处理站200中进一步改进所述物体300的、以往所确定的位置的精度。

按照另一种实施方式，所述车辆100可以借助于所述定位机构130来确定该车辆在所述附加的图像的拍摄地点处的位置。通过借助于所述图像评估机构120对所述附加的图像进行的评估，可以在所述车辆中对所述物体300相对于在所述附加的图像的拍摄地点处所确定车辆100位置的位置进行估计。所述物体300的、现在新估计的位置可以由所述车辆100传输给所述数据处理站200。借助于所述图像分析机构210，可以根据所估计的物体300的位置来进一步改进所述至少一个物体300的以往所确定的位置的精度。

为了获取所述车辆所在的位置，可以使用保存在所述存储机构160中的、对适合作为地面标志的物体300进行描述的数据记录。为此，由车辆的图像拍摄机构110来拍摄所述车辆的环境的图像。根据保存在存储机构160中的数据记录并且由此根据在车辆中所知悉的地面标志，在所述车辆中由所述图像评估机构120对所述图像进行评估，以确定，在所述图像中所识别的物体之一是否与所保存的地面标志之一相一致。如果由所述车辆例如已经确定了所述物体300在所述图像中的存在情况，则可以通过所述图像评估机构120来确定所述车辆100相对于高度精确地知悉的物体300位置的相对位置。随后，可以由所述定位机构130根据所确定的、车辆的相对于物体300的相对位置并且根据所述卫星导航天线140的信号和/或用于对车辆的行驶动态进行检测的传感器150的信号来确定所述车辆100的高度精确的位置。

按照另一种可能的实施方式，通过所述图像评估机构120可以确定所述至少一个物体300相对于所确定的车辆100位置的相对位置。现在，由所述车辆100可以将校正数据发送给所述数据处理站200。所述校正数据可以是这样的数据，这些数据表明所获取到的、所述至少一个物体300相对于车辆100位置的相对位置。此外，作为校正数据，可以将根据所述卫星导航天线140的信号和/或用于对车辆的行驶动态进行检测的传感器150的信号来表明所述车辆的100位置的数据由所述车辆100传输给所述数据处理站200。除此以外，所述校正数据可以描述在多个所识别的地面标志的位置之间的不一致性。根据所接收的校正数据，所述数据处理站200可以改进适合作为地面标志的物体300的位置的精度。

Claims

1.用于确定并且提供用来对车辆进行定位的地面标志的方法，该方法包括：

— 提供车辆（100），该车辆具有用于拍摄该车辆（100）的环境的图像（B）的图像拍摄机构（110）和用于对所述图像（B）进行评估的图像评估机构（120）并且具有用于确定所述车辆（100）位置的定位机构（130）；

— 提供数据处理站（200），该数据处理站具有用于对所述图像（B）进行分析的图像分析机构（210），以用于确定所述图像（B）中的地面标志；

— 用所述图像拍摄机构（110）来拍摄图像（B）；

— 借助于所述定位机构（120）来确定所述车辆（100）在所拍摄的图像（B）的地点处的位置；

— 用所述图像评估机构（120）对所述图像（B）进行评估；

— 如果所述图像评估机构（120）将在所拍摄的图像（B）中所包含的物体（300）中的至少一个物体评估为静态的物体，则将所拍摄的图像（B）和所确定的车辆（100）位置由所述车辆（100）传输给所述数据处理站（200）；

— 通过所述图像分析机构（210）对所接收的图像（B）进行分析，用于确定，所述至少一个物体是否适合作为地面标志；

— 如果所述至少一个物体（300）适合作为地面标志，则通过所述图像分析机构（210）来确定处于所拍摄的图像（B）中的至少一个物体（300）的位置；

— 如果所述至少一个物体（300）适合作为地面标志，则通过所述数据处理站（200）产生对所述至少一个物体（300）进行描述的数据记录；

— 将所述数据记录传输给所述车辆（100）。

2.按照权利要求1所述的方法，包括：

— 借助于所述图像分析机构（210）来提取在所接收的图像（B）中的所述至少一个物体（300）特征；

— 根据所述至少一个物体（300）的所提取的特征通过所述图像分析机构（210）来确定所述至少一个物体（310）是否适合作为地面标志。

3.按照权利要求2所述的方法，包括：

— 如此产生所述数据记录，使得所述数据记录包含所述至少一个物体（300）的所提取的特征以及所确定的位置。

4.按照权利要求1到3中任一项所述的方法，包括：

— 提供所述车辆（100），该车辆具有用于接收卫星导航系统的信号的天线（140）和/或具有至少一个用于检测所述车辆（100）的行驶动态的传感器（150）；

— 根据所述天线（140）的信号和/或至少一个传感器（150）的信号通过所述定位机构（130）来确定所述车辆（100）在所拍摄的图像（B）的地点处的位置。

5.按照权利要求1到4中任一项所述的方法，包括：

— 通过借助于车辆（100）中的图像评估机构（120）对所拍摄的图像（B）进行的评估，来估计所述至少一个物体（300）相对于在图像（B）的拍摄地点处所获取的车辆（100）位置的位置；

— 借助于所述图像分析机构（210）根据所述至少一个物体（300）的、由所述图像评估机构（120）所估计的位置来确定所述至少一个物体（300）的位置。

6.按照权利要求1到5中任一项所述的方法，包括：

— 将拍摄所述车辆（100）环境的附加的图像并且将所述附加的图像传输给所述数据处理站（200）的要求由所述数据处理站（200）发送给所述车辆（100）；

— 借助于所述图像拍摄机构（110）来拍摄所述车辆（100）环境的附加的图像；

— 将所述附加的图像由所述车辆（100）传输给所述数据处理站（200）；

— 通过借助于所述图像分析机构（210）对所述附加的图像进行的分析来改进所确定的、至少一个物体（300）的位置的精度。

7.按照权利要求1到6中任一项所述的方法，包括：

— 借助于所述定位机构（130）来获取所述车辆（100）在所述附加的图像的拍摄地点处的位置；

— 通过借助于图像评估机构（120）对所述附加的图像进行的评估来估计所述至少一个物体（300）相对于在所述附加的图像的拍摄地点处所获取的车辆（100）位置的位置；

— 将所述至少一个物体（300）的、通过对所述附加的图像进行的评估来估计的位置由所述车辆（100）传输给所述数据处理站（200）；

— 借助于所述图像分析机构（210）根据所述至少一个物体（300）的、通过由所述图像评估机构（120）对所述附加的图像进行的评估所估计的位置来改进所确定的、至少一个物体（300）的位置的精度。

8.按照权利要求4到7中任一项所述的方法，包括：

— 将所述数据记录保存在车辆（100）中的存储机构（160）中；

— 拍摄所述车辆（100）环境的附加的图像；

— 根据所保存的数据记录通过所述图像评估机构（120）来对所述附加的图像进行评估，以用于确定所述至少一个物体（300）在所述附加的图像中的存在情况；

— 如果已经确定了所述至少一个物体（300）在所述附加的图像中的存在情况，则通过所述图像评估机构（120）来确定所述车辆（100）相对于在所述数据记录中所说明的、所述至少一个物体（300）的位置的相对位置；

— 通过所述定位机构（130）根据所述车辆（100）的、由所述图像评估机构（120）所获取的相对位置和所述天线（140）的信号和/或所述至少一个传感器（150）的信号来获取所述车辆（100）的位置。

9.按照权利要求8所述的方法，包括：

通过所述图像评估机构（120）来确定所述至少一个物体（300）相对于所确定的车辆（100）位置的相对位置。

10.按照权利要求9所述的方法，包括：

— 将第一数据由所述车辆（100）传输给所述数据处理站（200），所述第一数据根据所述天线（140）的信号和/或所述至少一个传感器（150）的信号说明所述车辆（100）的位置；

— 将第二数据由所述车辆传输给所述数据处理站（200），所述第二数据说明所确定的、所述至少一个物体（300）相对于车辆（100）位置的相对位置；

— 借助于所述图像分析机构（210）根据所接收的第一和第二数据来改进所确定的、至少一个物体（300）的位置的精度。