CN101855520B - 用于在汽车中输出光学的行驶建议的方法和装置 - Google Patents

Abstract

本发明涉及一种用于以给定的行驶路线为基础在汽车中输出光学的行驶建议的方法，该方法包括以下步骤：-拍摄在汽车(10)行驶方向上(22)的真实汽车环境的图像的步骤(50)；-检测汽车(10)的当前地理位置的步骤(52)；-根据给定的行驶路线和检测到的地理位置来确定提示符号(36)的步骤(54)；-透视校正确定的提示符号(36)，以便得到与位于行车路面上的路面标线在显示器中的视图相对应的提示符号(36)视图的步骤(56)；以及-将拍摄的图像与经透视校正的提示符号(36)组合并在显示器(20)上显示组合的图像的步骤(58)。

Description

用于在汽车中输出光学的行驶建议的方法和装置

技术领域

本发明涉及一种用于在汽车中输出光学的行驶建议的方法、一种用于在汽车中输出光学的行驶建议的装置以及一种汽车。 

背景技术

目前，最新的导航系统已经给汽车的使用者提供了他在行驶方向上的环境的三维图像。在该图像中在需要时插入光学的行驶建议(下面称为OFE)。但是，汽车环境图是虚拟的，即，它是通过计算机产生的图像，该图像以或多或少复杂的数字地图数据为基础。这个汽车环境图对于司机是需要解释的并因此使司机从当前的行驶状况中分散注意力。 

在DE 19941477A1中描述了一种汽车导航仪，它具有朝行驶方向定向上对准的摄像机，通过它检测当前的场景。将检测到的图像与存储在数字地图库中的物体进行比较，并且通过拍摄的图像更新存储物体的显示。除了这样模拟现实以外，在导航仪的显示器上还显示附加的人造物体，如提示箭头。但是在DE 19941477A1中所示的方案存在缺陷，即，由于将存储在数字地图库中的物体与拍摄的图像中的显示进行比较，因而需要复杂的图像识别算法。这些算法一方面由于高的数字计算功率在使用这种方法时需要高的功率输入，另一方面需要昂贵的信号处理电路。 

此外在JP 2005214857A中公开了一种具有显示单元的汽车导航仪，在显示器上显示路线图。这个路线图以当前拍摄的图像为基础而产生。具有提示箭头的路线图涉及与当前拍摄的图像的叠加。但是这种方案的缺陷是提示箭头在显示器上的尺寸过大的显示，该尺寸过大的显示在注意力集中在道路交通上的司机快速扫视时会感 到恼人，因为首先必须在再现的图像上进行定位并且首先必须将OFE归入行驶环境中。通过在显示单元上显示OFE也可能遮盖对于行驶安全重要的信息。 

与上述的在显示器上的显示形式恰恰相反的是所谓的抬头显示器(head-up-display)，它将不同的信息直接投射到挡风玻璃的内侧上并且进入汽车司机视野中。但是，在将信息显示到挡风玻璃内侧时同样使司机感到恼人或者甚至会“遮盖”道路上对于安全重要的信息，这对于行驶安全产生不利影响。 

发明内容

因此本发明的目的是，提出一种用于输出行驶建议的更好方案。 

这个目的通过一种按照如权利要求1所述步骤的用于在汽车中输出光学的行驶建议的方法以及通过一种按照如权利要求8所述特征的用于在汽车中输出光学的行驶建议的装置并通过一种按照如权利要求10所述特征的汽车得以实现。本发明的其它设计方案是从属权利要求的内容。 

本发明提出了一种用于以给定的行驶路线为基础在汽车中输出光学的行驶建议的方法，其中，本方法的特征在于下面的步骤： 

-拍摄在汽车行驶方向上的真实行驶环境的图像； 

-检测汽车的当前地理位置； 

-根据给定的行驶路线和检测到的地理位置来确定提示符号； 

-透视校正确定的提示符号，以便得到与位于行驶路面上的路面标线在显示器中的视图相对应的提示符号视图；以及 

-将拍摄的图像与经透视校正的提示符号组合并在显示器上显示组合的图像。 

本发明是基于以下认识：通过将检测到的当前汽车地理位置与给定的行驶路线的简单组合可以产生用于光学的行驶建议的提示符号，随后透视校正该提示符号。然后，使经透视校正的提示符号与路面标线相似，如路面标线例如通过在拐弯车道上的方向箭头被找到那样。然后，将这样的经透视校正的版本的提示符号与拍摄的真实汽车环境图像组合并且输出给司机作为光学的行驶建议。

这种方案的优点是，通过透视校正提示符号和随后将经校正的提示符号插入到拍摄的图像中，为司机在显示器上显示易于理解的环境场景。这个优点对于小的显示器是特别有利的，司机也必须能够通过快速扫视在这些小的显示器上快速定位。所述提示符号在按照本发明的方案中不是太强烈地从环境中突出出来并且避免使司机感到恼人。但是，另一方面包含数字道路地图中的一个显示图的图像的复杂的图像处理或图像比较算法也不是必要的。这降低了在使用按照本发明的方案的情况下的制造和运行成本。在按照本发明的方案中也可以毫无问题地嵌入图像优化功能，如微光增强，因为提示符号与在摄像机中拍摄的图像相独立地生成并且(经透视校正的)提示符号与(可能经优化的)汽车环境图像组合只在快要向司机显示之前才进行。 

也有利的是，在透视校正步骤之前，执行校准摄像机的拍摄角度的步骤，以便确定校准参数；以及在透视校正的步骤中以确定的校准参数为基础进行校正。这一点的优点是，根据摄像机的拍摄角度能够实现被校正的提示符号的不同透视调整。如果例如使用安置在后视镜的高度上的汽车摄像机，那么需要执行提示符号与汽车摄像机固定在散热器格栅部位的情况不同的透视“校正”。同样，在摄像机“歪斜”安装时，需要在投入运行前确定“歪斜”安装的角度，以便能够在运行中执行提示符号围绕图像法线的旋转作为“校正”。 

此外，也可以在检测汽车的当前地理位置的步骤之后执行校准步骤并且校准步骤包括由数字道路地图数据产生的地理位置的透视图。然后，该透视图与拍摄的图像叠加并且显示在显示器上。在此，通过相对于拍摄的图像改变由数字道路地图的数据产生的透视图，来确定校准参数。通过这种实施方式可以通过这样的方式调整提示 符号的透视图，即，例如在汽车环境的图像中使真实道路边缘与由数字道路地图数据产生的虚拟道路地图相一致。这一点能够实现这样设定校准参数，使提示符号(例如插入的方向箭头)可以定向成平行于道路边缘。在此，同时也可以这样设定校准参数，使提示符号“失真”成透视正确的，以便看起来类似于路面标线。 

此外，也可以在校准步骤中在显示器上显示水平线和提示符号并且将它们与拍摄的图像叠加，其中，校准参数的确定是这样进行的，即，将该水平线移到在摄像机图像的地平线上或者将提示符号定向成紧邻从图像中可识别的路面边缘或车道标线。这个校准方法对于外行来说也容易且快速地执行并且不需要复杂的图像处理算法或位置确定。但是为了提高校准参数的精度也可以不仅在使用前一段落中所述的位置测定的条件下而且通过水平线进行校准。 

此外，在另一种实施方式中，校准步骤也可以包括设定校准参数，该校准参数被设计成在透视地校正步骤中引起在显示器上的图像围绕图像法线旋转或者引起提示符号围绕图像法线旋转。这一点尤其对于补偿摄像机在汽车中的“歪斜”安装是有利的，因为由此可以避免在快速扫视显示单元时由于“歪斜的图像”而使司机感到恼人。 

在组合步骤之前还可以执行拍摄的图像的微光增强或者优化拍摄的图像。由此可以改善司机的视野并由此提高黑暗中的行驶安全性，而不会对插入光学的行驶建议的功能产生不良影响。 

按照本发明，还可以设计一种计算机程序，它具有用于执行按照上述实施方式中任一种所述的方法的程序代码，其中，如果在计算机上执行该计算机程序，则执行该方法。也可以在计算机或电脑上只执行所述的整个方法的个别步骤，这些个别步骤能够非常高效地在电脑中被执行(例如透视校正提示符号的步骤)。 

按照本发明的另一种实施方式，设计一种用于以给定的行驶路线为基础在汽车中输出光学的行驶建议的装置，该装置的特征在于下面的技术特征： 

-摄像机，它被设计成用于拍摄在汽车行驶方向上的汽车环境的图像； 

-定位单元，它能够检测汽车的当前地理位置； 

-提示符号发生器，它能够根据给定的行驶路线和检测到的地理位置来确定提示符号； 

-校正单元，它能够执行确定的提示符号的透视校正，以便得到与位于行车路面上的路面标线在显示器中的视图相对应的提示符号视图；以及 

-显示器，它能够将拍摄的图像与经透视校正的提示符号组合并且输出组合的图像。 

在一种特殊的实施方式中，上述的装置具有这样的大小和/或重量，使它可以由一个人携带并且可以移动地使用。这样的大小和这样的重量例如相当于常见的PDA的大小和重量(即，大小约10x7cm和重量约150g)。这一点的优点是，该装置可方便地携带并且也可以在他人的汽车中使用。因此，通过在离开汽车时拆卸并取出装置，得到有效的防盗保护。同样也提高这种装置的使用价值，因为它不受特定的汽车的约束。 

在本发明的另一实施方式中，一种汽车也可以具有上述的装置，其中，摄像机是固定安装在汽车中的汽车摄像机。这提供了将相应汽车可能已经设有的摄像机在按照本发明的方法中使用的可能性。这由于多重使用现有的单元起到节省成本的作用。 

附图说明

下面借助于附图示例性地详细描述本发明。附图中： 

图1A以方框图示出按照本发明的一种实施方式的装置， 

图1B示出在显示器中输出的带有插入的光学的行驶建议的图像的一个示例， 

图2示出按照本发明的一种实施方式的方法的流程图。 

具体实施方式

图1A示出本发明的一个实施例的方框图。在此，在汽车10中设有摄像机12、定位单元14、提示符号发生器16、校正单元18以及显示器20，它们相互连接。通过摄像机12拍摄在汽车10行驶方向22上的汽车环境的图像。在图像拍摄之后(或与其并行地)通过定位单元14确定汽车10的当前地理位置。这一点例如可以通过GPS定位来实现。借助于数字道路地图以及确定的汽车10地理位置和事先输入的所期望的行驶路线，可以在提示符号发生器16中产生提示符号。通过这个符号可以给汽车10的司机24一个(光学的)提示，例如提示要选择的岔路。这个提示符号尤其可以是箭头图。接着，在校正单元18中执行提示符号的透视校正。该校正的目的是，这样使提示符号透视“失真”，使得它看上去如同路面上的标线。现在通过显示器20再现由摄像机12拍摄的图像，其中经透视校正(即“失真”)的提示符号插入到该图像上。 

图1B示出可能在显示器20上出现显示的显示图30的一个示例。除了也可能在数字道路地图中示出的十字路口32以外，该显示图30还显示一个真实汽车环境场景，在该场景中，行人34也被摄像机12拍摄到并且被再现在显示器20中。在此，经透视校正的提示符号36以路面标线的形式示出，该路面标线为司机描述了符合所期望的行驶路线的行驶建议。 

与用于插入行驶建议的已知方案相比，按照本发明的方案有许多优点。首先，提示符号的透视“失真”或校正避免了在短暂扫视显示器20时由于尺寸过大的箭头(如常见的那样)而使司机感到非常恼人。此外，通过在显示器20上真实地再现汽车环境场景，也可以考虑对于安全重要的各个方面，如行人34的出现。可能也会用颜色标记出活动的物体(如同在图1B中所示的行人34)，以便给司机提供一个对于该物体的特别提示。同时也避免了必需使用复杂的图像识别算法，因此既不需要实现复杂的电路结构，而且也不必担心这种装置的高功率输入。因此按照本发明的方案不仅能够在移动 的导航系统中实施而且能够以固定安装的形式在汽车中实施。 

为了保证得到插入的经透视校正的提示符号36的所期望的视图，在使用该提示符号之前进行导航系统的校准。该校准可以通过多种方式进行。在此，按照第一校准方式，可以确定汽车10的当前地理位置并且根据所确定的位置在存储的数字道路地图中确定道路分布图。特别有利的是，在十字路口上校准，在该十字路口处，在确定的“虚拟”道路走向中的多个边缘可供执行校准使用。在图1B中通过虚线38再现了确定的“虚拟”的道路分布图38。如果将这个确定的“虚拟”的道路分布38与由摄像机12拍摄的汽车环境图像叠加，则可以通过相对于拍摄的图像“移动”或“旋转”该“虚拟”的道路分布图38(或相反)进行校准，直到两个视图重合。在此，可以通过围绕在显示器20上显示的图像的图像法线旋转进行所述“旋转”，以便补偿摄像机在汽车中在水平方向上的“歪斜”安装。也可以这样进行“倾斜”，使“虚拟”的道路分布图向前或向后透视倾斜，以便补偿摄像机在汽车中的安装高度或摄像机在垂直方向上的“歪斜”安装。实际上，这样的“旋转”、“移动”或“倾斜”可以通过使用一个或多个操作部件来实现(例如旋转-按压-调节器)。这些操作部件可以由使用者操作并且实现了在显示器上输入关于一个显示图相对于另一显示图进行这样的“旋转”、“移动”或“倾斜”的控制信息。 

在图2中示出本发明的一个实施例的流程图。在图2中所示的流程图对应于一种方法，它可以在根据图1A的装置中实施。在第一步骤50中在使用摄像机的条件下拍摄图像。接着执行步骤52，即在使用定位单元的条件下检测汽车的当前地理位置。在紧接的步骤54中确定提示符号，以便根据检测到的地理位置为汽车司机提供遵循行驶路线的行驶建议。接着，在透视校正步骤56中使确定的提示符号“失真”，以便得到与位于行车路面上的路面标线在显示器中的视图相对应的提示符号视图。例如由数字的道路地图也可以考虑路面的上坡道、下坡道和/或弯道或诸如此类，因此在一个事先固定地 设定的校准参数下还要使经透视校正的提示符号与当前的行驶环境相匹配并且经透视校正的提示符号具有相应的外观。必要时也可以通过评价由摄像机拍摄的图像来获得关于上坡道、下坡道等的信息。最后，在最后的步骤58中，将拍摄的图像与经透视校正的提示符号组合并且在显示器上显示组合的图像。 

总的来说要说明的是，本发明的构思主要设计了，利用摄像机检测环境并且将环境显示在显示器上，该显示器在现有技术中在这种情况下通常用于显示虚拟图像。通过建议的方案将光学的行驶建议叠加到(汽车)环境的真实图像上，该行驶建议决定性地改善了使用者的定位。在此，行驶建议的输出不是通过复杂的图像识别算法来实现，以便由于较小的功率输入不仅能够在移动的导航系统中使用，而且能够在固定安装的方案中使用。 

OFE在真实图像中对于使用者来说容易理解的显示是这样设计，即，通过将真实图像与所标出的OFE叠加而产生总图，该总图引起OFE好像是标记“在道路上”的印象。即，对于该总图的质量具有重要的意义的是，使OFE尽可能与实际的道路几何形状相协调。 

这一点在这里可以借助于数字道路地图实现，该地图存在于每个导航系统中作为导航和定位的基础。通过目前供使用的(以GPS或传感耦合为基础)高精度定位几乎可以随时识别系统的位置并因此可以应用到数字的道路地图中。然后，从这里可以生成OFE，该OFE精确地匹配于数字地图的几何形状。在此特别地要假设，这个数字道路地图具有这样高的质量，以致它在几乎所有情况下都与实际的道路几何形状相一致。 

现在，将由此产生的物体作为独立物体、即在没有道路数据的条件下，进行透视地校正并且将它与真实的环境图像叠加。因此对于观察者产生在显示器上OFE好像是标记“在道路上”的印象。 

此外，这种方法与实际的视野情况无关，实际的视野情况可能会严重限制以图像识别为基础的解决方案。可以与OFE无关地修改/优化图像数据，例如通过微光增强。 

摄像机的安装位置也可以位于汽车上，但也可以位于系统本身上。由此同样能够实现移动的使用。 

为了提供用于对OFE进行正确的透视校正的根据，应当给使用者提供校准摄像机位置的可能性。为此可以设想许多种方法。 

例如可行的是，使系统在成功完成定位以后在校准方法中将数字的道路地图透视显示给使用者，并且与摄像机的图像叠加。然后，可以借助于适合的操作元件对显示图进行透视改变，使得它尽可能准确地与摄像机图像重合。由此确定的参数可以被持久地存储并且在使用中作为计算OFE的透视图的基础。 

作为用于校准的其他可能方案可以考虑，给使用者提供两个用于改变的元素：水平线和一个方向标志。它们同样被叠加到摄像机图像并且可以通过适合的操作元件进行这样改变，使“水平线”与摄像机图像的地平线相一致，并且使方向标志与汽车相对于道路的方向相一致。 

Claims (7)

1.一种用于以给定的行驶路线为基础在汽车中输出光学的行驶建议的方法，其特征在于下面的步骤：

-借助于摄像机(12)拍摄在汽车(10)行驶方向上(22)的真实汽车环境的图像的步骤(50)；

-检测汽车(10)的当前地理位置的步骤(52)；

-根据给定的行驶路线和检测到的地理位置来确定用于光学的行驶建议的提示符号(36)的步骤(54)；

-透视校正所确定的提示符号(36)，使得所述提示符号看上去如同路面上的标线的步骤(56)；

-将拍摄的图像与经透视校正的提示符号(36)组合并在显示器(20)上显示组合的图像的步骤(58)，

其中在透视校正步骤(56)之前借助于操作部件执行校准所述摄像机(12)的拍摄角度的步骤，以确定校准参数，以根据所述摄像机(12)的拍摄角度实现被校正的提示符号的不同透视调整；在透视校正的步骤(56)中以确定的校准参数为基础进行校正；

其中校准步骤在检测汽车(10)的当前地理位置的步骤(52)之后执行，校准步骤包括由数字道路地图数据产生的地理位置的透视图，该透视图与拍摄的图像叠加并且显示在显示器(20)上，其中，通过相对于拍摄的图像改变由数字道路地图数据产生的所述透视图来确定校准参数。

2.如权利要求1所述的方法，其特征在于，在校准步骤中，在显示器(20)上显示水平线和提示符号(36)并且将它们与拍摄的图像叠加，其中，校准参数的确定是这样进行的，即，将所述水平线移到在图像的地平线上或者将提示符号定向成紧邻从图像中可识别的路面边缘或车道标线。

3.如权利要求1所述的方法，其特征在于，所述校准参数在透视校正步骤(56)中引起图像在显示器上围绕图像法线旋转或者引起提示符号(36)围绕图像法线旋转。

4.如权利要求1至3中任一项所述的方法，其特征在于，在组合步骤(58)之前执行拍摄的图像的微光增强或者优化拍摄的图像。

5.用于以给定的行驶路线为基础在汽车中输出光学的行驶建议的装置，其特征在于下面的特征：

-摄像机(12)，它能够拍摄在汽车(10)行驶方向上(22)的汽车环境的图像；

-定位单元(14)，它能够检测汽车(10)的当前地理位置；

-提示符号发生器(16)，它能够根据给定的行驶路线和检测到的地理位置来确定用于光学的行驶建议的提示符号(36)；

-校正单元(18)，它能够以确定的校准参数为基础执行确定的提示符号(36)的透视校正步骤(56)，以根据所述摄像机(12)的拍摄角度实现被校正的提示符号的不同透视调整，以便得到提示符号(36)视图，使得所述提示符号看上去如同在路面上的标线；

-显示器(20)，它能够将拍摄的图像与经透视校正的提示符号(36)组合并且输出组合的图像(30)；以及

其中所述装置还被进一步构造用于借助于操作部件执行校准所述摄像机(12)的拍摄角度，以确定校准参数；以及

其中所述显示器(20)被构造用于将由数字道路地图数据产生的地理位置的透视图与拍摄的图像叠加并显示，

其中所述装置还被进一步构造用于通过相对于拍摄的图像改变由数字道路地图数据产生的所述透视图来确定校准参数。

6.如权利要求5所述的装置，其特征在于，所述装置的大小和重量使它能够由一个人携带并且能够移动地使用。

7.汽车，其特征在于，该汽车具有如权利要求5所述的装置，其中，摄像机(12)是固定安装在汽车(10)中的汽车摄像机。

Images