CN103907147A - 在辅助系统中采用来自基于图像数据的地图服务的数据 - Google Patents

Abstract

本发明涉及一种用于采用来自基于图像数据的地图服务的数据以在车辆（1）的辅助系统中使用的方法，所述方法包括以下方法步骤：a.求取所述车辆（1）的位置和/或定向；b.从所述基于图像数据的地图服务中调取车辆周围环境的图像数据；c.从所述地图服务的图像数据中提取信息；d.在所述辅助系统中采用所述信息。

Description

在辅助系统中采用来自基于图像数据的地图服务的数据

技术领域

本发明涉及一种用于采用来自基于图像数据的地图服务的数据以在车辆的辅助系统中使用的方法。此外，本发明涉及一种计算机程序产品以及一种用于实施本方法的设备。

背景技术

在汽车领域中使用不同的辅助系统用于在引导车辆时支持驾驶员。这种辅助系统的典型的使用领域例如包括导航系统，其向驾驶员提供相关信息，以便能够实现目标引导。其他的辅助系统在泊车时例如通过进行转向干预或者通过显示适合的转向偏转支持驾驶员。其他的辅助系统向驾驶员提供车辆周围环境的可视显示，所述车辆周围环境借助安装在车辆上的摄像机和/或其他的周围环境传感器来检测。对于其功能而言，所描述的所有辅助系统需要关于车辆周围环境的尽可能准确的数据。

由DE102009005566A1已知一种用于借助周围环境传感机构建立车辆周围环境的地图的方法，其中所述周围环境传感机构具有一个超声传感机构和至少一个用于探测车辆周围环境中的对象的、产生图像的摄像机系统。将超声传感机构的测量数据和摄像机系统的测量数据录入一个共同的地图中。所述地图数据用于在泊车过程、狭窄通道或者狭窄周围环境中的调整或驾驶时支持驾驶员。

DE102009037835A1描述了一种用于真实周围环境中的虚拟信息的工效学显示的方法。在考虑位置和定位的情况下，在显示设备上将虚拟信息插入真实周围环境的视图的至少一部分中。可以通过以下方式提高所述插入的真实度：通过周围环境（例如兴趣点）的图像插入所述虚拟信息。在此使用周围环境地图，其中例如从谷歌街景（Google Street View）中动态地、位置相关地提取和考虑所述信息。

由DE10248534A1已知一种用于移动终端设备的准确位置确定的方法。所述移动终端设备通过光学拍摄设备拍摄用户所在的周围环境的图像或者图像序列。连同位置数据以及用于调节移动终端设备和所分配的摄像机的数据，向位置与导航服务器发送所拍摄的图像或者图像序列。将在那里输入的数据和图像或者图像序列与图像数据库的图像或者图像序列进行比较，所述图像数据库对于图像而言包含精确的测量数据。由图像比较求取移动终端设备的精确位置并且向所述移动终端设备发送回所述精确位置，在所述图像比较中使用在视频监视中已知的算法。

DE102009018073A1描述了一种用于更新地理数据库的方法。通过由导航系统提供的信息确定车辆是否位于道路上。随后，在使用安装在车辆中的摄像机的情况下生成地理编码的图像。所述地理编码的图像的分析包括图像与所存储的图像真实的图像数据的比较，以便确定是否需要地理数据库的更新。

在具有与图像数据库的连接或者与基于图像数据的地图服务的连接的已知辅助系统中，所述连接用于以来自数据库的图像来补充周围环境的显示，或者用于实施车辆的周围环境数据的校准。在由背景技术已知的方法中，不能将来自图像数据库的或者基于图像数据的地图服务的信息用于辅助系统的其他任务，例如发现泊车位。

发明内容

根据本发明提供一种用于采用来自基于图像数据的地图服务的数据以在车辆的辅助系统中使用的方法，所述方法具有以下方法步骤：

a.求取车辆的位置；

b.从基于图像数据的地图服务中调取车辆周围环境的图像数据；

c.从地图服务的图像数据中提取信息；

d.在辅助系统中采用所述信息。

在第一方法步骤a）中，求取车辆的位置并且必要时也求取车辆的定向。为此，可以使用任意适合的方法或者多种方法的组合。

用于求取车辆位置的适合方法是无线电支持的和/或卫星支持的导航系统、例如全球定位系统（Global-Positioning-System，GPS）的使用。如果车辆运动并且持续通过导航系统求取车辆位置，则可以求取车辆的运动方向并且因此求取定向。

用于求取车辆位置的另一种适合的方法使用基于图像数据的地图服务。为此进行车辆周围环境的摄像机图像借助基于图像数据的地图服务的校准。为此，车辆装配有检测车辆周围环境的至少一个区段的一个或多个摄像机，或者使用已经存在的摄像机。通过数据库实现与基于图像数据的地图服务的连接。所述数据库例如存储在机器可读的存储介质上，例如在永久性的或者可复写的存储介质上或者在可移除的CD-ROM、DVD或者USB记忆棒上。附加地，可以在计算机装置上、如用于例如通过数据网络（如因特网）或者通信连接（例如电话线或者无线连接）进行下载的服务器上提供所述数据库。在使用本领域技术人员已知的算法的情况下并且可以或者在辅助系统的控制设备中或者在远程的计算机装置（如服务器）上实施地图服务的图像数据借助摄像机图像的真正校准。如果在辅助系统中实施所述校准，则向辅助系统提供机器可读的存储介质上的数据库。如果在远程服务器上实施所述校准，则向所述控制设备提供通信连接并且通过所述通信连接将车辆周围环境的摄像机图像传输到服务器上。所述校准的结果通过相同的通信连接传递回所述控制设备。

存储在基于图像数据的地图服务的数据库中的图像设有关于拍摄位置和定向的信息。因此，在位置确定时也求取车辆的定向。

在本方法的一种优选实施方式中，首先借助GPS粗略地求取车辆位置并且随后借助地图服务的图像数据精确所述车辆位置。通过借助GPS的在先的粗略定位已经可以进行待校准的图像数据的预先选择并且显著减小用于图像数据校准的开销。

也可以通过传感机构、例如罗盘求取车辆的定向。

在第二步骤b）中，从基于图像数据的地图服务中调取车辆周围环境的图像数据。因为车辆的位置和定向是已知的，所以能够将所调取的图像数据归入车辆周围环境的地图中。基于图像数据的地图服务的示例是以谷歌街景、谷歌地图和谷歌地球的名义提供的服务。同样可考虑的是，从多个基于图像数据的地图服务中调取数据。

在本方法的一种实施方式中，通过车辆周围环境的摄像机图像来补充从地图服务中调取的图像数据。为此，车辆装配有一个或多个摄像机、例如一个前部摄像机、一个尾部摄像机和各一个侧面摄像机。在此，也可以动用对于例如向后行驶辅助已经存在的摄像机。

在本方法的另一种实施方式中，借助通过周围环境传感器所检测的周围环境数据来补充地图服务的图像数据，所述图像数据可能已经通过车辆周围环境的摄像机图像补充。车辆上的适合的周围环境传感器例如是超声传感器、激光雷达传感器或者雷达传感器，如所述传感器通常用于测量距离并且用于探测车辆周围环境中的对象。

在根据本发明的方法的第三步骤c）中，从地图服务的图像数据中提取信息，所述图像数据必要时以摄像机图像和/或周围环境数据来补充。在本方法的一种实施方式中，借助本领域技术人员已知的用于图像处理和对象识别的算法求取车辆周围环境中的泊车位以及必要时求取其大小和定向。

附加地或替代地，也可以提取其他的信息。在本方法的一种实施方式中，在基于图像数据的地图服务的必要时以摄像机图像补充的图像数据中辨识交通路牌。例如能够由有关停车禁止和泊车禁止的路牌辨识车辆周围环境中的不适合作为泊车位的区域。附加地或替代地，在本发明的另一种实施方式中，由基于图像数据的地图服务的以摄像机图像并且必要时以周围环境数据补充的图像数据求取并且分析处理障碍物（尤其树木）的位置和大小、路缘石的位置和高度和/或交通引导（尤其路口的类型和位置）。如果摄像机图像可供使用，则附加地可以通过分析处理摄像机图像的顺序来区分运动对象和静止对象。

在本发明的一种实施方式中，如果在借助摄像机图像和/或借助通过周围环境传感器检测的周围环境数据校准图像数据时识别到变化，则更新基于图像数据的地图服务的图像数据。

在本方法的一种实施方式中，仅当多次、优选至少三次识别到通过图像数据的校准识别到的变化时，才更新基于图像数据的地图服务的图像数据。在此，变化的每一次识别必须是相互独立的，即例如通过两个相互独立的传感器系统或者在车辆的两次不同的从旁驶过时识别。

在本方法的最后的步骤d）中，在辅助系统中采用从基于图像数据的地图系统的必要时经补充的图像数据中提取的信息。所述辅助系统例如可以实施为导航系统和/或泊车辅助系统。在本方法的一种实施方式中，由地图服务的必要时通过摄像机图像和周围环境数据补充的图像数据以及由所述图像数据获得的信息建立图像。通过适合的显示装置向驾驶员显示所述图像，其中图像显示优选实施为鸟瞰图或者3D视图。在作为鸟瞰图的显示中，从更高的位置向驾驶员显示车辆的周围环境，从而得到概览的并且简单的、易理解的显示。优选地，所述图像显示包含关于车辆周围环境中的可能的泊车位的信息。因为辅助系统可以具有泊车空隙的位置、定向和大小以及关于位于车辆周围环境中的障碍物的信息，所以能够容易地实现通过辅助系统引导的泊车操纵。

在本方法的一种实施方式中如此实施图像显示，使得可以放大或者缩小所述图像显示。在此优选的是，在缩小图像显示时实现无缝过渡到仅仅由地图服务的图像数据产生的图像显示上。

所提取的数据也能够用于其他的辅助系统。导航系统例如可以使用关于靠近的车道的信息，以便向驾驶员给出更精确的驾驶指示。也可以在进行干预的辅助系统中使用所述信息，所述辅助系统指示驾驶员例如速度限制、斑马线等等。将所提取的信息用于允许完全自主的驾驶的系统同样是可考虑的。

此外，根据本发明提出一种计算机程序，当在可编程的计算机装置上实施所述计算机程序时，所述计算机程序用于实施在此所描述的方法之一。所述计算机装置例如可以涉及用于将各个辅助系统或者其子系统实现到车辆中的模块或者控制设备。可以在机器可读的存储介质上、例如在永久性的或者可复写的存储介质上或者在计算机装置的附属装置中或者在可移除的CD-ROM、DVD或者USB记忆棒上存储所述计算机程序。附加地或替代地，可以在计算机装置上、如用于例如通过数据网络（如因特网）或者通信连接（或者电话线或者无线连接）进行下载的服务器上提供所述计算机程序。

此外，根据本发明提出一种设备，所述设备设置用于实施以上所描述的方法。所述设备包括一个控制设备、至少一个摄像机和必要时用于检测车辆周围环境的其他周围环境传感器——例如超声传感器、激光雷达传感器或者雷达传感器，其中所述控制设备具有与基于图像数据的地图服务的连接。此外，所述设备可以包括其他的传感器、例如红外传感器系统或者位置传感器（如GPS传感器）。如果在本方法中设有用于驾驶员的图像显示，则所述设备还包括用于显示图像信息的装置、例如平面显示器。

本发明的优点

本发明能够实现从基于图像数据的地图服务的地图数据中提取信息，以便在车辆的辅助系统中使用所述信息。辅助系统——例如泊车辅助也通过这种方式得到关于以下车辆周围环境的信息：所述车辆周围环境恰巧没有位于车辆的传感器的视域中并且因此当前是不可见的。由此，辅助系统可以更准确地进行计划并且使驾驶员更早地注意到可能的危险。通过根据本发明的辅助系统实现的泊车辅助例如可以用于在从旁驶过前通知驾驶员可能的泊车位并且也可以向驾驶员提供当前没有位于车辆的视域中的可能的泊车位。因为借助所述图像数据也能够实现泊车位的定向的确定，所以为泊车辅助的用户减轻负担，因为所述用户不必手动地将泊车位的正确定向输入辅助系统中。

附图说明

图1示意性地示出根据本发明的方法的流程；

图2示出安装在车辆中的具有多个摄像机和周围环境传感器的根据本发明的设备；

图3示出借助根据本发明的设备的周围环境检测。

具体实施方式

在图1中示意性地示出根据本发明的方法的流程。在本方法的第一步骤100中求取车辆的位置。为此，根据可用性使用无线电支持的或者卫星支持的导航系统42的数据和/或基于图像数据的地图服务50的数据。为了借助基于图像数据的地图服务50进行位置确定，借助一个或多个摄像机11检测摄像机图像12并且校准基于图像数据的地图服务50。为了位置确定，存储在基于图像数据的地图服务50中的图像设有关于定向和拍摄位置的数据。如果在地图服务50中的校准时在地图服务50中发现与摄像机图像12相匹配的图像，则已知车辆的位置和定向。通过无线电支持的或者卫星支持的导航系统同样可以确定车辆的位置。如果车辆在运动中并且持续通过导航系统42求取位置数据，则可以确定车辆的运动方向并且因此同样可以推断出车辆的定向。在本方法的其他实施方式中，为了确定车辆的位置和定向可以动用其他的传感器，例如数字罗盘。

在第二方法步骤110中使用在第一方法步骤100中求取的车辆的位置数据与定向数据101，以便由基于图像数据的地图服务50调取车辆周围环境的图像数据51。

必要时，在中间步骤115中以其他数据来补充从地图服务50中调取的图像数据51。根据本方法的实施方式和车辆的装配，使用安装在车辆上的摄像机11的摄像机图像12来补充图像数据51。如果车辆装配有周围环境传感器21——例如超声传感器、激光雷达传感器或者雷达传感器，则同样可以使用借此所检测的周围环境数据22来补充图像数据51。

在第三方法步骤120中，从图像数据51中或者从以摄像机图像12和/或周围环境数据22补充的图像数据52中提取信息125。为此，使用本领域技术人员已知的用于图像处理和对象识别的算法。从图像数据51或者经补充的图像数据52中尤其提取关于交通路牌、障碍物的位置、路缘石的位置和高度、交通引导以及车辆周围环境中的泊车位的位置和定向的信息。

在最后的方法步骤130中，在辅助系统中采用所提取的信息125。在本方法的一种实施中，由地图服务50的图像数据51并且必要时由摄像机图像12和周围环境数据22以及由所获得的信息建立向驾驶员显示的图像。在此优选的是，将图像显示实施为鸟瞰图，其中以更高的视角向驾驶员显示周围环境。在一种优选实施方式中，所述显示包含关于车辆周围环境中的可能的泊车位的信息。可以通过例如用于受支持的泊入或泊出操纵的辅助系统使用关于车辆周围环境中的可能的泊车空位、交通引导和障碍物的信息。

在图2中示出具有根据本发明的设备的车辆。车辆1装配有多个摄像机11，所述多个摄像机的视域10至少部分地覆盖车辆1的周围环境。在图2中示出的实施方式中，车辆1包括一个前部摄像机、一个尾部摄像机和各一个侧面摄像机。

车辆1的摄像机11与控制设备40连接。此外，车辆1具有同样与控制设备40连接的多个周围环境传感器21。在图2中示出的实施方式中，车辆1在前部和在尾部具有周围环境传感器21以及在侧面分别具有两个周围环境传感器。在此，周围环境传感器21实施为超声传感器。控制设备40可以通过超声传感器检测车辆1的附近周围环境中的障碍物的准确位置。超声传感器的检测区域分别用参考标记20表示。摄像机11的视域设有参考标记10。在图2中示出的实施方式中，向控制设备40提供用于求取车辆位置的GPS接收机42。此外，在控制设备40中包含计算机装置和与基于图像数据的地图服务的连接。

在图3中示出车辆的周围环境的图像，所述图像由地图服务的图像数据、摄像机图像和周围环境数据获得。在所示的情况中，车辆1在道路30上朝向路口31行驶。在图像中示出车辆1的不同摄像机和周围环境传感器的视域10、20。由所示出的视域得知，通过集成在车辆中的传感器和摄像机直接可见泊车位34和35以及树木32。房屋33被树木32部分遮挡。房屋33又遮挡看到泊车位36的视线。房屋34和交通路牌38虽然没有被遮挡，然而对于仅仅由摄像机图像实施路牌的识别而言与交通路牌38的距离是过远的。

为了向驾驶员呈现周围环境的完全显示，首先求取车辆1的位置。在下一个步骤中，从基于图像数据的地图服务中调取车辆周围环境的图像数据。在中间步骤中，以车辆摄像机11的摄像机图像和车辆1的周围环境数据来补充所述图像数据。在本方法的第三步骤中，从地图服务的图像数据中提取信息，所述信息在本方法的最后步骤中在辅助系统中被采用。在所示的示例中，基于图像数据已将交通路牌38识别为停车禁止路牌并且辨识出没有位于车辆1的视域中的泊车位36。此外，由泊车位34、35、36已求取定向及其准确位置。

所提取的信息结合地图服务的图像数据、摄像机图像和周围环境数据聚集成一个共同的图像显示，所述图像显示以更高的视角呈现给驾驶员。通过这种方式，使车辆1的驾驶员对关于周围环境的所有相关信息一目了然。此外，所有所需的数据可供使用，以便以驾驶员的期望开始受引导的泊车操纵。

在本发明的一种实施方式中，车辆的图像显示如此实施，使得能够以驾驶员的期望放大或者缩小所述图像显示。

通过图像显示的缩小，车辆1的周围环境的更大区域变得可见，并且改善驾驶员的概览。通过来自基于图像数据的地图服务的图像来补充位于车辆摄像机11或者周围环境传感器21的可视范围之外的图像显示区域。优选地，如此进行所述补充，使得产生不同图像的无缝过渡并且图像显示的放大是可无级调节的。

在图像显示强烈缩小是的情况下可考虑的是，仅仅基于地图服务的图像数据产生图像显示。优选地，同样无缝地实现不同显示之间的过渡。

本发明不限于在此所描述的实施例和其中所突出的方面。更确切地说，在通过所附权利要求说明的范围内能够实现本领域技术人员处理范畴内的大量变型方案。

Claims (13)

1.一种用于采用来自基于图像数据的地图服务（50）的数据（125）以在车辆（1）的辅助系统中使用的方法，所述方法包括以下方法步骤：

a.求取所述车辆（1）的位置和/或定向；

b.从所述基于图像数据的地图服务（50）中调取车辆周围环境的图像数据（51）；

c.从所述地图服务（50）的图像数据（51）中提取信息（125）；

d.在所述辅助系统中采用所述信息（125）。

2.根据权利要求1所述的方法，其特征在于，通过所述车辆周围环境的摄像机图像（12）补充所述地图服务（50）的图像数据（51）。

3.根据权利要求1或2所述的方法，其特征在于，通过借助周围环境传感器（21）——例如超声传感器、激光雷达传感器或者雷达传感器检测的周围环境数据（22）来补充所述地图服务（50）的图像数据（51）和必要时所述摄像机图像（12）。

4.根据权利要求1至3中任一项所述的方法，其特征在于，由所述地图服务（51）的图像数据并且必要时由所述摄像机图像（12）和/或所述周围环境数据（22）求取所述车辆（1）的周围环境中的泊车位（35，36，37）和/或其定向。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述地图服务（50）的图像数据（51）中并且必要时在所述摄像机图像（12）和/或所述周围环境数据（22）中求取以及分析处理交通路牌（38）——尤其有关停车禁止和泊车禁止的路牌、障碍物——尤其树木（32）的位置、路缘石的位置和高度和/或交通引导——尤其路口（31）的类型和位置。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在求取所述车辆位置时实施所述车辆（1）的周围环境的摄像机图像（12）借助所述基于图像数据的地图服务（50）的校准。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在求取所述车辆位置时考虑无线电支持的和/或卫星支持的导航系统（42）的数据。

8.根据权利要求1至7中任一项所述的方法，其特征在于，借助所述地图服务（50）的图像数据（51）校准所述车辆位置以及所述摄像机图像（12）和/或所述周围环境数据（22）并且在识别到变化时更新所述地图服务（50）的图像数据。

9.根据权利要求8所述的方法，其特征在于，仅当至少两次识别到通过校准识别到的变化时，才更新所述地图服务（50）的图像数据（51）。

10.根据权利要求1至9中任一项所述的方法，其特征在于，由所述地图服务（50）的图像数据（51）和必要时所述摄像机图像（12）和所述周围环境数据（22）以及由所获得的信息建立向所述驾驶员显示的图像，其中，所述图像显示优选实施为鸟瞰图或者3D视图，并且所述显示优选包含关于所述车辆（1）的周围环境中的可能的泊车位（35，36，37）的信息。

11.根据权利要求10所述的方法，其特征在于，能够放大地以及能够缩小地实施所述图像显示，并且在缩小所述图像显示时实现无缝过渡到仅仅由所述地图服务（50）的图像数据（51）产生的显示上。

12.一种计算机程序，用于当在可编程的计算机装置上实施所述计算机程序时实施根据权利要求1至10中任一项所述的方法。

13.一种用于实施根据权利要求1至11中任一项所述的方法的设备，所述设备包括一个控制设备（40）、至少一个摄像机（11）和必要时用于检测所述车辆（1）的周围环境的其他周围环境传感器（21）——例如超声传感器、激光雷达传感器或者雷达传感器，其中，所述控制设备（40）具有与基于图像数据的地图服务（50）的连接。

Images