CN107111741A - 用于具有摄像机的机动车的方法，设备和系统 - Google Patents

Abstract

本发明涉及一种用于具有摄像机(101)的机动车(100)的方法，所述方法包括以下步骤:‑提供摄像机(101)的图像(102)，该图像描绘机动车(100)的周围环境(103)，‑在图像中检测至少一个车队(104)，‑依赖于检测到的至少一个车队(104)检测至少一个车道(108)，‑在图像(102)中检测至少一个行驶方向指示器(112)的状态，‑依赖于至少一个行驶方向指示器(112)的状态确定检测到的至少一个车道(108)的车道拓扑结构(114)。

Description

用于具有摄像机的机动车的方法，设备和系统

技术领域

本发明涉及一种用于机动车的方法，特别用于借助于摄像机检测车道。本发明还涉及一种设备，该设备设计为用于实施所述方法，和一种具有所述设备的系统。

背景技术

导航系统可以具有关于道路和较大的十字路口的拓扑数据。拓扑结构特别包括为车道设定的转弯方向、亦即例如左转车道、直行车道或右转车道。这些信息可以被显示给位于这种十字路口附近的机动车驾驶员。所述显示通常不依赖于实际存在的车道和自身的车辆位置。

值得期望的是，提出一种用于具有摄像机的机动车的方法，该方法能实现准确地检测机动车的周围环境。此外值得期望的是，提出一种用于机动车的设备以及一种用于机动车的系统，该设备或该系统能实现可靠地检测机动车的周围环境。

发明内容

本发明的特征在于一种用于具有摄像机的机动车的方法以及一种相应的设备，该设备设计为用于实施所述方法。

根据本发明的至少一个实施形式，提供摄像机的图像，该图像描绘机动车的周围环境。在图像中检测至少一个车队。依赖于检测到的至少一个车队检测至少一个车道。在图像中检测至少一个行驶方向指示器的状态。依赖于至少一个行驶方向指示器的状态为检测到的至少一个车道确定车道拓扑结构。

借助于摄像机采集机动车的周围环境的图像。借助于图像评估算法在图像中检测车队。车队具有多个连续依次布置的机动车。例如提供多个时间上接连的图像并将该图像用于后续的方法步骤。特别使用摄像机的视频信号。

可以在图像中识别出并排的多个车队。依赖于车队的数量检测多个车道。如果在图像中检测到唯一一个车队，则检测出，在周围环境中存在唯一一个车道。如果例如在图像中检测到两个车队，则检测出，在周围环境中存在两个车道。为了确定所检测的车道的车道拓扑结构，对在图像中被描绘的至少一个行驶方向指示器(所谓的闪光转向灯)进行评估。在运行时根据实施形式对多个行驶方向指示器的状态进行评估。所述状态可以包括左闪光、右闪光或没有闪光。如果对于车队检测出，车队的机动车的预定比例进行右闪光，则检测到车道的车道拓扑结构为右转车道。如果检测到车队的进行左闪光的预定比例的机动车，则检测到车道的车道拓扑结构为左转车道。如果没有检测到闪光或进行闪光的车辆比例低于预定比例，则检测到车道的车道拓扑结构为直行车道。根据其它的实施形式能实现多个层次。例如将预定第一值用于以下比例：在低于该比例时则断定为直行车道。预定第二比例。如果检测到进行闪光的车辆的比例在第一预定比例和第二预定比例之间，则断定为以下的车道拓扑结构：该车道拓扑结构既涉及直行又涉及转弯。如果超过第二预定比例，则断定为转弯车道。

借助于所述方法能实现，检测在机动车的周围环境中的车道的数量和车道拓扑结构。在此可以放弃例如由导航系统的数据库获得的附加的信息。此外，即使当不能识别周围环境的图像上的车道标线时，例如因为车道标线被拥堵的交通遮盖，也能实现车道检测。此外实时地检测车道，并且不基于可能过时的数据。例如当车道被封锁或车道仅不定期地开放用于行驶时，通过所述方法可靠地检测到这种情况。因此避免了由于关于周围环境中车道的不适合的数据而引起的错误的导航指示。

根据另外的实施形式，提供摄像机的摄像机信息。依赖于摄像机信息检测机动车相对于至少一个检测到的车道的位置。摄像机信息特别包括摄像机的标定信息。摄像机信息例如包括关于摄像机的镜头、摄像机相对于机动车的相对取向的信息和/或摄像机相对于机动车的相对取向。该摄像机信息在评估摄像机图像时被考虑。由图像失真或识别出的车道的错位中或由另外的图像处理算法能实现，检测机动车位于哪个车道上。在存在多个车道时因此能实现，检测机动车是位于右侧车道、中间车道还是左侧车道上。

关于机动车的位置的信息例如在建立用于导航仪的路线引导的导航指示时被考虑。例如因此能输出精确的导航指示。根据实施形式提供用于机动车的计划路线的路线信息。依赖于路线信息和依赖于检测到的车道拓扑结构确定用于机动车的优选的车道。如果路线信息例如包括：在下一个十字路口处必须左转，则能实现，从检测到的车道拓扑结构过滤出为左转车道的车道。在此根据实施形式考虑机动车的检测到的位置。如果例如检测出，机动车在最右侧的车道上，且存在多个左转车道，则将左转车道选为优选的车道，该左转车道被布置在最右侧。因此机动车必须尽可能少地进行车道变换。此外，导航指示可以输出车道变换的精确数量。由于机动车的位置是已知的，因此已知了，该机动车位于机动车周围环境中的哪个车道上。

根据另外的实施形式，提供源自数据库的理论车道拓扑结构。例如提供源自导航系统的数据的理论车道拓扑结构。依赖于理论车道拓扑结构由摄像机的图像检测车道拓扑结构。因此能实现，通过理论车道拓扑结构对检测到的车道拓扑结构进行可信度测试。此外能实现，通过检测到的车道拓扑结构更新理论车道拓扑结构。

根据另外的实施形式，检测周围环境中的车道标线的位置。依赖于车道标线的位置检测出至少一个车道。特别地，如果车道标线局部可见并且仅局部地被遮盖，则能实现，借助于车道标线的检测到的位置对检测到的车道进行可信度测试。因此也能实现，提高检测到的车道的准确性。特别地，如果图像中的车道不能清楚地检测到，则考虑将车道标线的位置用于车道的检测。

根据本发明的另一方面，用于机动车的系统具有设计为用于实施所述方法的设备。该系统具有导航仪和用于输出导航指示的输出设备，所述导航指示包括关于优选的车道的信息。

导航仪例如是受卫星支持的导航仪、例如GPS-导航仪。导航仪包括地图数据，该地图数据用于路线引导。因此依赖于路线的起点和预定的目的地确定导航指示，该导航指示例如包括在十字路口处转弯。

输出设备例如是图像输出设备、特别是显示器。另选地或附加地，输出设备是音频输出设备，该音频输出设备特别具有扬声器。在运行中对于所述系统能输出非常具体的导航指示。由于特别是机动车的准确位置以及存在的车道及其拓扑结构是已知的，因此能依赖于自身的位置实现对于车道变换的准确的导航指示。

附图说明

其它优点、特征和改进方案由下面结合附图说明的例子中得出。

其中:

图1示出根据实施形式的机动车的示意图，和

图2至8示出根据实施形式的不同方法阶段。

具体实施方式

图1示出机动车100。机动车100在路途中位于道路121上的周围环境103中。

机动车具有摄像机101。摄像机101设置用于，拍摄周围环境103的图像。特别地，摄像机101设置用于，提供周围环境103的视频信号。摄像机例如布置在机动车100的前窗玻璃处的后视镜的区域中。根据另外的实施形式，摄像机布置在机动车101的车顶上。例如可能的是，将摄像机从机动车的车顶中移出，以便获得更好的视角。根据另外的实施形式设有多个摄像机101，使用该多个摄像机的图像。摄像机这样取向，即该摄像机拍摄机动车前方的周围环境103。

机动车100具有设备120，该设备评估摄像机的图像。根据实施形式，摄像机101是设备120的一部分。根据另外的实施形式，摄像机101和设备120是分开的部件。例如，设备120是机动车100的控制设备的一部分。机动车100还具有导航仪131和输出设备132。导航仪131与设备120以信号技术耦合或者是设备120的一部分。根据另外的实施形式，设备120是导航仪131的一部分。导航仪131、特别是卫星导航系统设置用于，确定用于机动车100的驾驶员的导航指示并借助于输出设备132输出。输出设备132特别是屏幕。设备120、导航仪131和输出设备132是系统130的一部分。根据另外的实施形式，摄像机101同样是系统130的一部分。

图2示出周围环境103的图像102，该图像由摄像机101拍摄。图像102具有在机动车100前方的道路121的影像。图像102包括多个另外的机动车117和118。

在图像102中进行图案识别。借助于图案识别检测车队104、105、106和107(图3)。车队在图3中可借助于白色线条识别。连续依次排列的车辆在图像102中被识别并借助于图案识别检测为车队104至107。在示出的实施例中检测到四个车队。根据另外的实施形式，依赖于图像102描绘了多少个车队而检测多于四个车队或少于四个车队。

根据实施形式，除了车队104至107之外还检测到图像102中的车道标线115。车道标线115根据另外的实施形式借助于分开的系统检测。根据实施形式放弃对车道标线115的检测。特别在拥堵的交通中，车道标线115被其它机动车117和118遮盖。对车队104至107的检测可以独立于对车道标线115的检测而实现。

为了检测车队104至107，特别在视频信号中例如识别出，在周围环境103中哪个物体运动而哪个物体不运动。运动的物体例如被识别为车辆117、118，而不运动的物体例如被识别为房屋或树木。

由检测到的车队104至107检测车道108、109、110和111(图4)。如果检测到四个并排的车队104至107，则判断为四个并排的车道108至111。

对车道拓扑结构114的检测也是可能的。车道拓扑结构114特别包括关于车道108至111的相应的行驶方向的信息。车道108至111的行驶方向例如分别是右转车道、直行车道或左转车道。组合的直行车道和转弯车道也是可能的。

为了检测车道拓扑结构114，考虑源自摄像机图像处理的额外特征。特别检测行驶方向指示器112、113的状态(图4)。在图像102中检测其它机动车117、118的闪光转向灯活动性。例如其它机动车118的行驶方向指示器112的状态在图5中是右闪光。行驶方向指示器113的状态是左闪光。其它机动车117在图5中不闪光。

图6示意性地示出闪光转向灯图案识别和车道图案识别的叠加。因此可能的是，在右闪光的车辆与左闪光的车辆之间进行区分。在车队104中识别出，在车队104的右侧上的行驶方向指示器闪光。因此检测到右闪光。在车队106和107中识别出，在相应的车队106和107的左侧边缘处的行驶方向指示器闪光。因此确定为左闪光。

由行驶方向指示器112、113的检测以及检测到的车道108至111推导出车道拓扑结构114(图7)。如果对于车道108检测出，机动车117、118的至少一个预定比例在右侧闪光，则将车道识别为右转车道，在示出的实施例中是车道108。如果对于车道检测出，其它机动车117、118的至少一个预定比例在该车道上在左侧闪光，则将该车道识别为左转车道。在示出的实施例中，该车道是车道110和111。例如，闪光的车辆的比例预定为50％。在车道上的机动车117，118的至少一半必须闪光，以便将该车道确定为转弯车道检测。根据另外的实施形式，所述比例为75％或更多，特别为80％或更多。如果对于车道检测出，在该车道上少量机动车或没有机动车闪光，则将该车道确定为直行车道。在示出的实施例中该车道为车道109。

借助于摄像机101的摄像机信息，例如通过摄像机101的镜头、摄像机101在机动车100中的相对位置和/或摄像机101的标定信息能检测机动车100在周围环境103中、特别是在道路121上的自身位置119。由摄像机101的图像102中的偏移能实现，检测自身的车辆位置119。因此能实现，检测机动车100实时地位于车道108至111中的哪个车道上。如果例如检测到在车道108上的车队104相对为直线的，而在其它车道109、110和111上的车队105、106和107倾斜地行进，则机动车100大概在车道108上。自身的位置119在图9中示范性地通过交叉符号表示。

对于导航仪131可能的是，借助于关于自身的位置119以及检测到的具有车道拓扑结构114的车道108的信息通过输出设备132输出精确的导航指示116。例如在输出设备132上显示检测到的具有车道拓扑结构114的车道108至111的图像。优选的车道——在示出的实施例中是车道110——在此被特别突出显示。优选的车道特别依赖于实时位置119检测。如果存在多个与预定路线相一致的可能的车道110、111，则将例如可最简单地到达的车道选择为优选的车道。在示出的实施例中，该车道为车道110，这是因为该车道从车道100上的实时位置119出发在右侧需要最少的车道变换。根据另外的实施例，另选地或附加地根据另一标准，例如后续的导航指示检测出优选的车道110。

通过评估车队104至107能实现，识别车道108至111和车道的数量，特别也在拥堵的交通的情况下，当车道标线115被遮盖时。此外可能的是，将车道108至111用于导航指示，即使当在导航仪131中不存在源自数据库的关于车道的数据时。根据对行驶方向指示器112，113的评估确定车道拓扑结构114。基于车道108至111的识别出的车道图案检测自身的车辆位置119。将检测到的具有车道拓扑结构114和检测到的自身的位置119的车道108至111与导航的路线引导组合。这简化了车道变换并使得该车道变换更精确。在右侧车道上行驶的驾驶员在其必须向左转弯时不一定需要从最右侧变换到最左侧。在第二左转车道或第三左转车道可用的情况下足够的是，变换到靠得最近的转弯车道上。对于路线引导的可能的精确描述在图8中显示，在其中以图形方式实现优选的车道110。另选地或附加地通过输出设备132输出精确的语言输出。例如替代一般性的陈述“在前方向左转弯”，输出精确的导航指示“向左变换两个车道和在前方向左转弯”。因此也在城市交通中和在十字路口区域中——在其中机动车拥堵地连续依次行驶——可能的是，检测车道104至111并输出精确的导航指示。由于持续检测到车道108至111的当前的数量和检测到当前的车道拓扑结构114，因此基于当前的周围环境情况建立导航指示。由此避免由于过时信息而引起的错误的说明。

Claims (9)

1.一种用于具有摄像机(101)的机动车(100)的方法，所述方法包括以下步骤:

-提供摄像机(101)的图像(102)，该图像描绘机动车(100)的周围环境(103)，

-在图像中检测至少一个车队(104)，

-依赖于检测到的至少一个车队(104)检测至少一个车道(108)，

-在图像(102)中检测至少一个行驶方向指示器(112)的状态，

-依赖于至少一个行驶方向指示器(112)的状态确定检测到的至少一个车道(108)的车道拓扑结构(114)。

2.根据权利要求1所述的方法，包括:

-提供摄像机(101)的摄像机信息，

-依赖于摄像机信息检测机动车(100)相对于至少一个检测到的车道(108)的位置(119)。

3.根据权利要求1或2所述的方法，包括:

-如果在图像(102)中检测到行驶方向指示器(112)的激活的状态，则依赖于至少一个检测到的车队(104)检测行驶方向指示器显示的方向。

4.根据权利要求1至3中任一项所述的方法，包括:

-提供源自数据库的理论车道拓扑结构，

-依赖于理论车道拓扑结构检测车道拓扑结构。

5.根据权利要求1至4中任一项所述的方法，包括:

-检测周围环境中的车道标线(115)的位置，

-依赖于车道标线(115)的位置检测至少一个车道(108)。

6.根据权利要求1至5中任一项所述的方法，包括:

-提供用于机动车(100)的计划路线的路线信息，

-依赖于路线信息和依赖于检测到的车道拓扑结构(114)确定用于机动车(100)的优选的车道(106)。

7.根据权利要求2和权利要求6所述的方法，包括:

-依赖于检测到的机动车(100)位置和依赖于优选的车道(110)输出导航指示。

8.一种用于机动车(100)的设备，该设备设计为用于实施根据权利要求1至7中任一项所述的方法。

9.一种用于机动车(100)的系统，具有:

-根据权利要求8所述的设备(120)，

-导航仪(131)，

-用于输出导航指示的输出设备(132)，所述导航指示包括关于优选的车道(110)的信息。