CN104081443B - 用于操作机动车辆的驾驶员辅助装置的方法、驾驶员辅助装置和机动车辆 - Google Patents

Abstract

本发明涉及用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，其中，机动车辆(1)的环境区域(12)的图像(15)通过驾驶员辅助装置(2)的摄像头捕获，且另外，环境区域(12)的传感器数据通过与摄像头(11)不同的传感器(3至6)被捕获，其中，定位在环境区域(12)中的物体(16)在图像(15)中通过驾驶员辅助装置(2)的电子计算装置被识别，传感器(3至6)的传感器数据用于识别图像(15)中的物体(16)。

Description

用于操作机动车辆的驾驶员辅助装置的方法、驾驶员辅助装置和机动车辆

技术领域

本发明涉及用于操作机动车辆中的驾驶员辅助装置的方法。机动车辆的环境区域的图像通过驾驶员辅助装置的摄像头捕获。另外，对环境区域的传感器数据通过与摄像头不同的传感器被捕获。另外，本发明涉及用于执行这样的方法的驾驶员辅助装置以及具有这样的驾驶员辅助装置的机动车辆。

背景技术

驾驶员辅助装置已经在现有技术中已知不同构造。由此，摄像头系统一方面是已知的，其具有附连至机动车辆的多个视频摄像头，其图像可显示在机动车辆中的显示器上。摄像头的图像可还经历图像处理，且基于图像，附加的功能可被提供。例如，基于图像，目标识别被实现，从而摄像头系统可用作碰撞警告系统。另一方面，系统也是已知的，其被形成用于测量机动车辆和位于其环境中的障碍物之间的距离。在此，例如是指超声波传感器，其可布置为分布在机动车辆的前和后保险杠上。每个超声波传感器则具有其自己的捕获范围，其表示整个超声波传感器系统的共用捕获范围的局部区段。由此，每个超声波传感器测量在其自己的捕获范围内的距离。

将摄像头系统与机动车辆中的传感器系统组合也已经是现有技术。这样的传感器融合例如从文献GB2463544A已知。在此，使用多个超声波传感器，其例如附连到保险杠。由超声波传感器检测的机动车辆的环境区域附加地通过摄像头成像。计算装置处理超声波传感器的传感器数据，以及同时处理摄像头的图像。一方面，图像被显示在机动车辆中的显示器上；另一方面，其通过计算装置被检查，如果被检测物体接近机动车辆的话。如果情况是这样的话，警告信息则被输出。

在现有技术中，传感器融合被实现，从而不同传感器系统的所有信息—即，一方面摄像头、另一方面超声传感器—在共用的计算装置中被同时收集和处理。

发明内容

本发明的目的是证明一种方案，在首先提到的那种类型的方案中，一方面摄像头的图像和另一方面传感器的传感器数据可比现有技术更好地组合到一起。

根据本发明，该目的通过具有根据各独立权利要求的特征的方法、驾驶员辅助装置以及机动车辆解决。本发明的有利实施例是从属权利要求、说明书和附图的主题。

根据本发明的方法用于操作机动车辆中的驾驶员辅助装置，通过借助驾驶员辅助装置的摄像头捕获机动车辆的环境区域的图像，以及通过借助与摄像头不同的传感器捕获对环境区域的传感器数据，该传感器即例如超声波传感器。根据本发明，定位在环境区域中的物体在图像中通过驾驶员辅助装置的电子计算装置而被识别，且传感器的传感器数据用于识别图像中的物体。

由此，根据本发明的效果被实现，因为计算装置不基于或不仅基于图像数据在图像中识别车辆之外的物体，而是基于或还基于所述至少一个传感器的传感器数据。由此，本发明基于以下事实：借助自现有技术已知的用于基于图像检测物体的检测算法，不总是可以识别在被捕获图像中的物体。即，仅基于图像数据的目标识别不可行或仅以受限方式特别在距机动车辆直到约0.5m的近范围内可行。其可发生，定位在该近范围内的物体在被捕获的图像中示出，但不可能仅基于图像被识别。现在，本发明采取一方式，以使用传感器的传感器数据用于识别在被捕获图像中的物体。例如，这可被构造为使得，如果物体不能基于图像数据被识别，相同物体仅基于传感器数据被识别。作为对比，物体基于传感器数据和基于图像两者被识别，由此，图像中的物体的识别可取决于传感器数据和取决于图像数据被实现。因此总之，传感器融合与现有技术相比被改善，摄像头图像中的目标识别的准确性和可靠性被增加。

图像中的物体的识别可例如被执行，从而图像中示出的物体的至少一个区域被边框围绕。在基于图像中的图像数据通过边框标识被识别的物体的这种方式已经例如从出版物JP2011/119917A中已知。但是，在该实施例中，还提出产生这样的边框，不基于或不仅基于摄像头的图像数据，而是附加地或替换地基于传感器的传感器数据。该实施例利用以下事实：根据回声传播时间方法操作的传感器具有一定的检测范围，且仅在该检测范围内测量距离。特别地对于超声波传感器，该检测范围相对窄，从而在具有良好准确性的多个传感器存在的情况下，物体相对于机动车辆的位置且因此物体在被捕获图像中的位置也可被确定。基于传感器数据产生的边框可例如在摄像头图像中具有一宽度，其对应于传感器的检测范围的宽度。这种具有边框的摄像头图像则可以非常不同的方式使用：一方面，该图像可在机动车辆中的显示器上被显示，从而驾驶员被通知被检测物体。另一方面，具有边框的该图像可还被传递至机动车辆中的其他驾驶员辅助系统，这些其他系统可使用图像用于在机动车辆中提供不同功能。这样的系统可例如是碰撞警告系统，其能够产生警告信号，用于基于图像警告驾驶员。

在一实施例中，设置为物体基于传感器的传感器数据和基于摄像头图像通过计算装置在图像中被识别。如果目标识别基于传感器数据和基于摄像头的图像数据二者可行，由此如果物体位于传感器的检测范围以及图像分析范围之间的重叠区域中，在该图像分析范围中目标识别还基于图像数据可行，则特别地提供该实施例。该实施例具有的优点是，车辆之外的物体可特别可靠且极为精确地在摄像头的图像中被识别。即，该实施例将一方面基于图像数据目标识别的优势与另一方面基于传感器数据目标识别的优势组合，从而两个目标识别的各自缺点可被避免。

例如，这可被实现，从而在图像中，第一边框基于传感器的传感器数据被产生，而第二边框基于摄像头的图像(由此借助图像处理)被产生。然后，两个边框可被合并至共用的边框。由此，边框在摄像头图像中的产生特别准确。

特别优选地，物体的识别涉及，图像中的物体的宽度基于摄像头的图像被确定，且图像中的物体的下端部的位置基于传感器的传感器数据被确定。该实施例基于以下事实：基于图像数据的目标识别和基于传感器数据的识别具有“弱点”。由此，在基于图像数据的目标识别中，由于被使用的检测算法(光流、自我运动补偿方法)，图像中的下端部的准确确定是不可行的，或仅以受限方式可行。通过这些检测算法，例如，行人的脚可仅被不准确地检测。另一方面，在图像中的物体的宽度的确定仅以有限准确度基于传感器的传感器数据可行。出于此原因，当前提出，使用摄像头的图像数据用于确定图像中的物体的宽度，且使用传感器的传感器数据用于确定图像中的物体的下端部的位置。识别方法的各自的缺点——一方面基于图像数据和另一方面基于传感器数据——可因此被避免，目标识别可特别准确地实现。

后一实施例可例如被实现，从而两个边框的合并以非常特定的方式实现：对于共用的边框，第二边框(基于摄像头数据)的宽度以及图像中的第一边框(基于传感器数据)的下边缘的位置可被使用。共用的边框由此具有基于图像数据产生的边框的宽度，且共用的边框的下边缘的位置对应于基于传感器数据产生的边框的位置。共用的边框由此特别准确地反映物体在图像中的实际位置。

如已经解释的，可以发生的是，物体在传感器的检测范围内，但在图像分析范围之外，其中，基于图像数据的物体的识别根本不可行。在这样的情况下，相同物体优选地在图像中仅基于传感器的传感器数据被识别。基于传感器数据的目标识别的缺点在该实施例中被接受。但是，该实施例允许甚至在没有基于图像数据的目标识别时，车辆之外的目标也能在摄像头图像中被识别。

作为对比，如果物体在传感器的检测范围之外，相同物体在图像中仅基于摄像头的图像被识别。由此，如果物体不能基于传感器数据被识别，仅摄像头的图像数据被用于目标识别。如果物体距机动车辆相对较远，即在例如大于2.2m的距离处时，这特别是这种情况。即，在这样的距离中，物体可不再借助传感器被检测，且目标识别可仅基于图像数据被执行。

超声波传感器是优选的，其用于捕获机动车辆的环境区域的传感器数据。总之，可使用多个超声波传感器，它们可布置为分布在机动车辆的前保险杠和/或后保险杠上。每个超声波传感器则具有其自己的检测范围，单独的检测范围可靠近彼此——可选地还是重叠的。但是，本发明不限于超声波传感器。与摄像头不同的其他传感器也可被使用。具体地，所述至少一个传感器是这样一个，其根据回声传播时间方法操作，由此是距离传感器，其中距离通过测量传输信号的传播时间而被测量。

本发明还涉及一种用于机动车辆的驾驶员辅助装置，其被形成用于执行根据本发明的方法。

根据本发明的机动车辆包括根据本发明的驾驶员辅助装置。

关于根据本发明的方法呈现的优选实施例和其优势相应地应用于根据本发明的驾驶员辅助装置以及根据本发明的机动车辆。

本发明的进一步特征由权利要求、附图和附图的说明体现。以上在说明书中提到的全部特征和特征组合以及以下在附图说明和/或单独在附图中所示的特征和特征组合不仅用于分别示出的组合，还用在其他组合或单独使用。

附图说明

现在，将基于优选实施例以及还参考附图详细地解释本发明。

这其中显示：

图1示意性地显示了根据本发明的实施例的机动车辆的平面图；

图2示意性地显示了摄像头的图像，其中，传感器的检测范围在图像中示出；

图3示意性地显示了根据图2的图像，其中，基于传感器数据的边框的产生以详细方式解释；

图4显示了具有边框的图像，其仅基于传感器数据产生；

图5显示了具有边框的图像，其仅基于图像(由此基于图像数据)产生；

图6显示了具有两个边框的图像；

图7以放大图示显示了两个边框；

图8显示了具有共用边框的图像的部分，其从两个被提及的边框产生；和

图9示意性地显示了机动车辆，其中，根据本发明实施例的方法以更详细方式解释。

具体实施方式

根据本发明实施例的图1所示的机动车辆是小客车。机动车辆1包括驾驶员辅助装置2，其用于辅助驾驶员驾驶机动车辆1。驾驶员辅助装置2具有多个超声波传感器3、4、5、6，它们在实施例中布置为分布在机动车辆1的后保险杠上。在该实施例中，总共提供四个超声波传感器3至6。超声波传感器3至6的数量以及设置在根据图1的例子中仅是示例性地示出；超声波传感器3至6的数量和设置可根据实施例而不同。由此，超声波传感器3至6可还布置在机动车辆1的前保险杠上。传感器3至6作为超声波传感器的构造在此也是示例性的。其他传感器也可被使用，其可测量机动车辆1和位于其环境中的障碍物之间的距离。例如，还可使用雷达装置或其他光学距离传感器。

每个超声波传感器3至6具有检测范围7、8、9、10，其中，相应地超声波传感器3至6可测量距离。例如，如果车辆之外的物体在超声波传感器3的检测范围7内，由此，超声波传感器3可检测该物体距机动车辆1的距离。检测范围7至10彼此紧邻，并就邻接彼此。检测范围7至10由此覆盖机动车辆1之后的相对大的环境区域，从而单独的检测范围7至10每个具有在机动车辆1之后的环境区域的局部区段。在此，相应的检测范围7至10是相对窄的区段，其沿车辆横向方向彼此靠近，且构造为沿车辆纵向方向是细长的。

另外，驾驶员辅助装置2具有摄像头11，其布置在机动车辆11的后部区域中，类似于超声波传感器3至6，且对机动车辆1之后的环境区域12成像。通过摄像头11成像的环境区域12还包括超声波传感器3至6的检测范围7至10，从而检测范围7至10在成像的环境区域12内。

摄像头11是视频摄像头，其能够每秒提供多帧或提供图像的时间序列。摄像头11具有相对大的捕获角或孔径角，其甚至可在值为120°至190°的范围内。该角在图1中通过两条线13、14界定，即，从而在机动车辆1之后被成像的环境区域12也通过界定线13、14界定。摄像头11可例如是所谓的鱼眼摄像头。

超声波传感器3至6和摄像头11二者电连接至电子计算装置(在图中未以更详细细节示出)，其可例如包括数字信号传感器和存储器。由此，计算装置一方面接收超声波传感器3至6的传感器数据，且另一方面接收摄像头11的图像，由此接收摄像头11的图像数据。

摄像头11的示例性图像15在图2中示出，其中示出了环境区域12。因为摄像头11和超声波传感器3至6在摄像头11的坐标系中和在机动车辆1的坐标系中的坐标分别在计算装置中已知，检测范围7至10在图像15中的位置也是已知的，如图2示意性地示出。如果物体16(在此为行人)存在于超声波传感器3至6的一个的检测范围7至10内(示例性地，在图2中的超声波传感器4的检测范围8中)，区域17可限定在图像15中，其中，被成像的图像16定位在图像15中。这是可行的，因为检测范围7至10在摄像头11的图像15中的位置在计算装置中是已知的。如果物体16被超声波传感器4检测(如果该超声波传感器4提供被测量的距离)，可以无疑地假定，物体16实际上位于超声波传感器4的检测范围8中。其中定位有物体16的被限定区域17可在图像15中具有与超声波传感器4的检测范围8相同的宽度。因为距物体16的距离可特别准确地通过超声波传感器3至6测量，物体16的下端部18在图像15中的位置可基于被测量距离确定。在根据图3的实施例中，下端部18对应于行人的脚。在另一方面，不可以容易地基于超声波传感器3至6的传感器数据确定物体16在图像15中的宽度。因此，区域17通过这样的宽度限定，该宽度对应于检测范围8的宽度。

仅基于超声波传感器3至6的传感器数据，由此，第一边框19可在图像15中产生，其在图4中示出，且对应于根据图3的区域17。超声波传感器3至6的被设想检测范围7至10不再在图4中示出。由此，可获得根据图4的图像15，其中，物体16被边框19围绕。因此，目标识别在此仅基于超声波传感器3至6的传感器数据实现。为了产生第一边框19，即，不需要图像15的特殊的图像处理。

如果由于物体16的低距离而计算装置不能仅基于图像数据的图像处理识别图像15中的物体16，则例如可提供一类型的目标识别，其仅基于超声波传感器3至6的传感器数据执行。如果光学目标识别不提供结果，由此，图像15中的物体16仅基于超声波传感器3至6的传感器数据被检测，如上所示。根据图4的这样的图像15可继而例如显示在机动车辆1中的显示器上，或还可转发到另外的辅助系统。

作为对比，如果基于摄像头数据的物体16的检测可行，由此，由现有技术已知的图像处理算法可还被使用，其用于检测在图像15中的物体16。这样的检测算法还提供边框20(第二边框)，其在图5中更详细地示出。根据图5的图像15因此是检测算法的结果，物体16通过其被识别。如图5可见，与第一边框19(图4)相比，物体16的实际宽度通过第二边框20更好地反映。但是，基于图像数据的物体识别的缺点在于，物体16的基部——由此下端部18(在此为脚)——不能通过计算装置独一地识别。即，出于通常所谓“光流”被用作检测算法(其具有自我运动补偿)的原因。该算法输出具有边框20的图像15，其中，图像15中的边框20的下边缘不总是对应于图像15中的下端部18的位置。

如果基于超声波传感器3至6的传感器数据的目标识别不可行，由此，物体16的检测仅基于图像15、由此仅基于摄像头数据实现。该目标识别的结果在图5中示出。

其还可发生，图像15中的物体16可基于超声波传感器3至6的传感器数据和基于摄像头11的图像数据而被识别。如图6所示，由此，产生两个边框19、20，即基于传感器数据的第一边框19和基于图像处理的第二边框20。自两个边框19、20，现在，共用的边框21可被产生(见图8)。共用的边框21的产生被实现，从而一方面使用第二边框20的宽度，另一方面使用第一边框19的下边缘的位置。参考图7，在计算装置中，第二边框20被选取，且在其高度中被扩展，从而第二边框20的下边缘22与第一边框19的下边缘23重合。由此，第二边框20的高度通过将图像15中的边缘22向下移位直到该边缘22达到下边缘23而增加。在此，边框20的上边缘保持不变。这样的被改变边框20则对应于根据图8的共用边框21，其基于两个边框19、20产生。由此，根据图8的边框21展示基于图像数据和基于传感器数据的目标识别结果。

如已经解释的，不同的情况可发生：

目标识别排他地基于传感器数据可行；目标识别排他地基于图像数据可行；和两种类型的目标识别可行(共用的边框21)。

通常，这将取决于物体16距机动车辆1的距离。参考图9，总共可限定三个不同区域24、25、26，其每个处于距车辆尾部不同的距离中。在此，第一区域24例如延伸直到距机动车辆1的0.5m距离处。第二区域25例如从距车辆1的0.5m延伸至距车辆1的2.2m处。第三区域26从距车辆1的2.2m处延伸。在第一区域24中，基本上，目标识别仅基于传感器数据可行。作为对比，在第二区域25中，目标识别基于图像数据和基于传感器数据二者可行。最后，在第三区域26中，目标识别排他地基于摄像机数据可行。如果物体16在第一区域24中，由此，第一边框19可产生在物体16的识别范围内。但是，如果物体16在区域25中，由此，共用的边框21可自边框19、20产生。最后，如果物体16在第三区域26内，由此，仅产生第二边框20。

由此，最终，可获得具有边框19、20或21的图像。该图像15现在可被显示在显示器上。附加地或替换地，该图像15可还被进一步处理，以便能够提供机动车辆1的其他功能，即例如警告驾驶员的功能。

Claims (8)

1.一种用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，通过以下控制：

-通过驾驶员辅助装置(2)的摄像头(11)捕获机动车辆(1)的环境区域(12)的图像(15)，和

-通过超声波传感器(3至6)捕获对环境区域(12)的传感器数据，该超声波传感器具有覆盖环境区域(12)的局部区段的单独的检测范围(7至10)，

其特征在于，

定位在环境区域(12)中的物体(16)在图像(15)中通过驾驶员辅助装置(2)的电子计算装置被识别，且超声波传感器(3至6)的传感器数据用于识别图像(15)中的物体(16)，其中

图像(15)中的物体(16)的识别包括图像(15)中示出的物体(16)的至少一个区域被边框(19、20、21)围绕，

且其中，在图像(15)中，第一边框(19)基于超声波传感器(3至6)的传感器数据产生，以及，第二边框(20)基于摄像头(11)的图像(15)产生，且两个边框(19、20)组合形成共用的边框(21)。

2.根据权利要求1所述的用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，

其特征在于，

物体(16)通过电子计算装置基于超声波传感器(3至6)的传感器数据和基于摄像头(11)的图像(15)被识别。

3.根据权利要求2所述的用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，

其特征在于，

物体(16)的识别包括，物体(16)的宽度基于摄像头(11)的图像(15)被确定，且物体(16)的下端部(18)的位置基于超声波传感器(3至6)的传感器数据在图像(15)中被确定。

4.根据权利要求3所述的用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，

其特征在于，

两个边框(19、20)的组合包括，第二边框(20)的宽度和第一边框(19)的下边缘(23)在图像(15)中的位置被用于共用的边框(21)。

5.根据权利要求1至4中任一项所述的用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，

其特征在于，

如果传感器数据被捕获的物体(16)位于超声波传感器(3至6)的检测范围(7至10)内且在基于图像(15)的物体(16)的识别可行的图像分析范围(25、26)之外，则相同物体(16)在图像(15)中仅基于超声波传感器(3至6)的传感器数据被识别。

6.根据权利要求1至4中任一项所述的用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法，

其特征在于，

如果物体(16)在超声波传感器(3至6)的检测范围(7至10)之外，相同物体(16)仅基于摄像头(11)的图像(15)在图像(15)中被识别。

7.一种用于机动车辆(1)的驾驶员辅助装置(2)，包括至少一个摄像头(11)，用于捕获机动车辆(1)的环境区域(12)的图像(15)；包括超声波传感器(3至6)，具有单独的检测范围(7至10)，其覆盖用于捕获环境区域(12)的传感器数据的环境区域(12)的局部区段；且包括电子计算装置，用于处理图像(15)和传感器数据，

其特征在于，

电子计算装置被设置为执行根据前述权利要求中的任一项所述的用于操作机动车辆(1)中的驾驶员辅助装置(2)的方法。

8.一种机动车辆(1)，包括根据权利要求7所述的驾驶员辅助装置(2)。