CN103568935B - 具有驾驶员辅助系统的机动车和用于运行驾驶员辅助系统的方法 - Google Patents

Abstract

本发明涉及一种机动车（1），包括：至少一个照明装置（2），通过控制装置（3）能控制所述照明装置；至少一个摄像机（4），所述摄像机用于拍摄被照明装置照亮的车辆周围环境；以及图像处理装置（5），其用于处理由摄像机（4）提供的图像以产生处理结果，根据该处理结果能控制车辆侧的驾驶员辅助系统（6），其中所述照明装置（2）通过控制装置（3）能依次在至少两个以不同方式照亮车辆周围环境的模式中运行，即从摄像机（4）方面能拍摄被以不同方式照亮车辆周围环境的至少两个图像，其中图像处理装置（5）设计用于根据至少两个不同的图像产生处理结果。

Description

具有驾驶员辅助系统的机动车和用于运行驾驶员辅助系统的方法

技术领域

本发明涉及一种机动车，包括：至少一个照明装置，通过控制装置能控制所述照明装置；至少一个摄像机，所述摄像机用于拍摄被照明装置照亮的车辆周围环境；以及图像处理装置，其用于处理由摄像机提供的图像以产生处理结果，根据该处理结果能控制车辆侧的驾驶员辅助系统。

背景技术

在现代机动车中，驾驶员辅助系统的意义越来越重要。其在不同的标准任务中——像泊车或者保持一定的速度时——辅助驾驶员。越来越引人注意的还有允许自主/自动行驶的系统。

驾驶员辅助系统通过大量安装在车辆上的检测器和摄像机提供信息。摄像机的图像通常由图像处理装置处理，处理结果供驾驶员辅助系统使用。所用于图像处理的算法的大部分基于边棱检测。已经存在用于边棱检测的算法且该算法基于识别突然的颜色或亮度变化。因此必要的是，应该被输入边棱检测算法的图像被均匀照亮。

如果要在差的照明条件下使用这种驾驶员辅助系统，则可以通过车辆侧的照明装置照亮摄像机的图像区域。然而因为车辆侧的照明定向强烈，所以图像会由于投射阴影或者极强烈的对比度而失真。因此，例如在对于反射物体或者亮物体以及极接近的物体，必须减小摄像机的感光度以便阻止饱和。然而由此失去了在较暗的图像区域中的感光度。此外，由于利用车辆侧的照明装置对车辆周围环境的照明会产生投射阴影，该投射阴影会被图像处理装置误认为边棱。

发明内容

因此，本发明的目的在于，给出相应改进的车辆。

为了实现该目的，对于前述类型的机动车根据本发明提出，由控制装置能使照明装置依次在至少两个以不同方式照亮车辆周围环境的模式中运行，即，使得从摄像机能拍摄被以不同方式照亮的车辆周围环境的至少两个图像，其中图像处理装置设计用于根据不同的所述至少两个图像产生处理结果。

根据本发明的机动车基于以下发明思想：对其中车辆周围环境被以不同方式照明的多个图像进行图像处理。因此例如可以仅照亮摄像机的图像区域的一部分或者从不同角度对一对象进行照明。

所拍摄的图像包括每个像点的亮度信息。因为在被以不同方式照亮的车辆周围环境中拍摄图像，所以在图像中针对至少部分的像素存储了不同的亮度值。像点的亮度值取决于，利用何种强度照明图像区域，这又会取决于，从哪个方向照明图像区域。由于为图像处理装置提供了在车辆周围环境被以不同方式照亮的情况下拍摄的图像，所以例如可以通过以下方式识别出一图像中突然的亮度过渡是对应于实际的边棱还是对应于投射阴影：对于其中例如因为未激活产生该投射阴影的照明装置而不存在该投射阴影的第二图像中的相同位置进行考虑。仅由对多个被以不同方式照亮的图像的亮度信息的处理还可以得到关于机动车的周围环境的其它信息。

例如，通过仅照亮部分车辆周围环境并进而仅照亮部分图像，可以在图像中存在极亮的或反光的对象时避免前述的图像饱和问题。因此，例如可以首先拍摄在正常照明下的图像，接着拍摄一其中在极亮的或反光的对象的区域中降低照明亮度的图像。在这种情况下存在用于进一步处理的多种可能性。一方面，可以将两个图像以非线性的比例组合以实现其它的对比区域，另一方面也可以在两个图像中独立地执行边棱检测并且随后将信息组合。然而在独立地执行边棱检测的情况下，必须考虑：由于图像区域的未照明或弱化照明会人工地产生新的边棱。然而因为该边棱出现在已知的位置处且具有已知的形状，所以可以容易地克服由于所述方法产生的该边棱。

在边棱检测中通过在不同的照明模式中拍摄多个图像同样能区分投射阴影和真实的边棱。在此，希望就在车辆前部的左侧和右侧具有两个光源的机动车的简单情况来进行说明。如果对象被光锥直接照射，则其产生所谓的投射阴影。这表示，在对象后面存在没有光到达的区域。如果一对象此时被具有一定距离的两个平行的光锥照射，则在该对象之后产生两个略微暗淡的区域，因为这两个区域分别仅由一个光锥照射。这种黯淡在图像处理时可以容易地识别为人工边棱。然而此时根据本发明应该拍摄其它图像。在此应该分别拍摄一图像，其中车辆的两个光源中仅有一个被激活。利用激活的光源对之前略微黯淡的两个区域中的一个进行完全照明，而另一个完全不被照明。在第一图像中由于投射阴影而存在的边棱在两个仅利用一个光源拍摄的图像中分别一半消失，而另一半显著更鲜明。在一个图像中显著更鲜明的边棱在另一个中消失，而反之亦然。因此此处能简单地识别出由投射阴影产生的边棱。

在非完全的黑暗中也可以通过拍摄照明装置的亮度降低的若干图像来识别出由于投射阴影产生的人工边棱。当照明装置的亮度降低时，图像中一个边棱的对比度明显比另一个边棱的对比度下降得更快，则这表示由于投射阴影产生了虚假的边棱。

在确定与边棱检测相关的处理结果时，图像处理装置可以通过比较被以不同方式照亮的车辆周围环境的图像来识别出：在其中至少一个图像中识别出的边棱是实际的边棱还是由于投射阴影而识别出的边棱。

有利的是，照明装置包括至少一个能调整的光源。光源的调整能以极为不同的方式进行。例如可以改变光源的照射角度或者改变光源的亮度。像从前述具有两个光源的机动车的例子可看到的，实现单个光源的简单的关闭便足够了。因此，当存在一定的残余亮度或者另外的不可调整的光源时，仍能识别出投射阴影并进而避免边棱的错误识别。

然而有利的是，光源的亮度能连续地变化。尤其有利的是，照明装置包括多个光源，控制装置设计用于对所述多个光源单个地或成组地进行切换和/或调整。因此光源例如可以成组切换，以获取对于对象的不同照明角度。像已经描述的那样，经常是通过使用两个距离相对较大的光源已经能清楚地区分真实的边棱和由于投射阴影而产生的边棱。当然有利的是，存在较大数量的光源，因为这样实现了照明角度的近似连续的变化。

例如也可能的是，机动车的两个前大灯分别由多个发光二极管组成，这些发光二极管分别照亮一定的立体角。首先照明角度的这种近似连续的变化是有利的，这是因为此处由于投射阴影而产生的边棱变得“游移”。照明角度的变化导致拍摄的图像中边棱的旋转。如果以足够短的距离相继拍摄图像，则对实际的边棱来说几乎不能期待边棱的这种旋转。因此由于投射阴影而产生的边棱在此特别容易被识别出。

也可能是：照明装置包括至少一个微镜致动器。在此利用光源对由微镜的阵列进行照明。每个微镜通常具有两个可能的位置。在所述位置的一个中，光被朝向吸收器偏转，在另一个位置中光被光学装置反射。如果在机动车中使用这种系统取代正常的大灯，则可以使大灯发射的光束部分变暗。这样允许了以极精细的分辨率来匹配大灯的照明。

当在机动车中存在多个可调整的光源时，除了改进对比度和/或边棱检测外还允许了其它应用情况。例如，处理结果可以是在至少一个像点处的对象的距离间隔，其中当该间隔的宽度超出一阈值时，控制装置设计用于使照明装置在至少一个另外的、以不同方式照亮车辆周围环境的模式中运行，而所述图像处理装置设计用于处理至少一个另外的不同的图像。

通过调整光源实现了照亮车辆周围环境的不同的立体角。然而，例如此时存在距摄像机一定距离的照明装置——其由多个照亮不同的立体角的光源组成，则通过调整不同组的光源，可以确定出光源与在像点处的对象之间的立体角。因此，在那些所有在一像点处照明所述对象的光源具有最大强度的图像中该像点显得最明亮。例如，可以如此确定光源和像点之间的立体角，即逐渐增多地使更多的光源变暗或关掉。通过图像坐标得到了第二立体角，因为每个图像坐标对应了关于摄像机的一个立体角。

因为各个光源的反射角是已知的，所以为了确定距离仅需要确定，那些光源对像点处的对象进行照射。这例如如此实现，即在全照明下拍摄一图像，随后关掉光源的强烈侧向反射/辐射光的一半，即照明近的对象的一半，由此拍摄另一个图像。如果待检查的像点在两个图像中亮度相同，则可以得出最小距离。如果像点在第二图像中明显较暗，则可以得出最大距离。在下一次拍摄中可以进一步划分该间隔。一直持续进行照明和图像拍摄的改变，直至距离间隔的宽度低于额定值或者直至达到另一个中断条件。

为了实现更好的距离分辨率，可以对由距离数据进行插值。在此希望简化地假定，仅对两个光源进行切换以强烈地影响像点的亮度。在这种情况下，图像处理装置可以由切换相应的光源对像点亮度的影响强度来确定：该像点是应该被分派给一个立体角还是另一个立体角。为了实现更稳定的方法，具有较大距离的光源是有利的。例如可以存在两个大灯，这两个大灯都由多个发光二极管组成。

可能的是：驾驶员辅助系统用于自主执行单个的行驶动作，尤其是停车入库或者泊车。在此例如作为最可能的场景来描述自主驶入一大门。在此情况下车辆停在大门前不确定的距离处。通过车辆中的摄像机拍摄该场景。为了能导航驾驶，需要通过摄像机识别出大门的内边界。当周围环境照明低时激活大灯以照亮该场景。由此会导致投射阴影。因此，图像处理算法，例如边棱检测会错误地解读该场景。然而根据本发明可以通过改变照明并且拍摄多个图像来识别出投射阴影。由此实现了对实际边棱的识别，实现了自主地驶过大门。此外，根据本发明还可以确定各个点的距离，这补充了纯粹的边棱信息。

驾驶员辅助系统也可以设计用于将由图像处理装置的处理结果计算出的车辆周围环境图像和/或被补充了该处理结果的车辆周围环境图像显示在屏幕上。此外，例如对倒车摄像机来说实现了图像的再处理，从而突出边棱或者建立车辆周围环境的3D模型。

附图说明

由随后描述的实施例以及根据附图得到本发明的其它优点、特征和细节。附图示出：

图1是根据本发明的机动车的原理图；

图2是在两个照明装置时用于识别投射阴影的实施例；

图3示意性示出在具有多个光源的照明单元的条件下的光锥；

图4是在具有多个光源的一个照明装置时用于识别投射阴影的实施例；

图5是具有微镜致动器的照明装置的实施例，以及

图6示意性示出距离确定。

具体实施方式

图1示出根据本发明的机动车的原理图。在此，在机动车的前部区域中安装照明装置2和摄像机4。摄像机4拍摄的图像被输送给图像处理装置5。图像处理装置5的处理结果被输送给驾驶员辅助系统。照明装置2在此由多个光源7，例如LED组成。各光源7能通过控制装置3来操控。为了在至少两种照明下拍摄车辆周围环境的图像，照明装置2的光源7在控制装置3的控制下直接相继地（一个接一个地）以至少两种不同的模式运行，所述模式以不同的方式对车辆周围环境进行照明。此外，控制装置3还向图像处理装置5发送一信号，以便将图像的照明通知给该图像处理装置。图像处理装置5可以在处理预先给定数量的图像之后将处理结果发送给驾驶员辅助系统6。驾驶员辅助系统可以将该处理结果例如应用于车辆的自主导航/自动驾驶。

图像处理装置5还可以与图像处理结果相关地给控制装置发出指示：建立其它的照明情况，从而可以处理其它图像。这一点例如在下述情况下是特别有利的：需要确定物体的距离或者所探测到的边棱的真实性还存在不清楚之处。

图2示出了用于在两个照明装置的情况下识别投射阴影的实施例。在此示意性地示出了机动车1，在该机动车上在前部区域中安装有摄像机4以及左侧的照明单元2和右侧的第二照明单元9。在车辆前存在一障碍物8。

如果现在两个照明装置起作用/是有效的，则在障碍物8的左侧和右侧形成仅由一个照明装置照明的区域，这是因为其是照明装置2的投射阴影10或者是第二照明装置9的投射阴影11。因为在这些区域的边缘处存在急剧的亮度变化，所以这些边缘很可能被检测为边棱。应该避免这一点。如果现在除了两个照明装置都起作用的第一图像外，还拍摄了仅第一照明装置2起作用的一个图像以及仅第二照明装置9起作用的另一个图像，则在这些图像的第一个中，第一照明装置的投射阴影10完全可见并产生了对比极其鲜明的边棱，然而第二照明装置9的投射阴影11是不可见的，因为该照明装置是关闭的。在另一个图像中恰好出现相反的情况。因此，由于投射阴影造成的边棱分别在其中一个其它图像中明显比此前能更对比鲜明地识别出，而在另一图像中则不是这样。因此这种边棱可以明确地作为投射阴影的结果而被识别出并且可以由图像处理装置去除。

图3示出了在具有多个光源的照明装置的情况下的光锥的示意图。在此示出了机动车1的照明装置2。该照明装置由多个光源组成，这些光源分别稍微错开并且照明一轻微转动的立体角范围。例如，光源12的光锥13的边缘被特别（用实线）标记。可以清楚地看出，该光源以其整体照明了车辆周围环境的非常宽的立体角。通过切断单个光源可以限制这个立体角。

图4示出了用于在具有多个光源的照明装置的情况下识别投射阴影的实施例。在这个实施例中，障碍物8仅由照明装置2来照明。示例性地，外部光源14的投射阴影15边缘以及内部光源16的投射阴影17边缘被标出。现在如果相继地（一个接一个地）从外向内激活光源，则投射阴影的边缘在这些位置之间移动。这一点导致了边棱随着光源的变化而接近连续地移位。因此，这些边棱可以特别容易地作为投射阴影的产物被识别出并且能在查明图像处理的处理结果时被忽略。

图5示出具有微镜致动器的照明装置。在此，利用一内置在反射器19中的光源18对微镜致动器20进行照明。该微镜致动器20由微镜阵列组成。这些微镜可以在两种状态之间来回切换。在断开状态21中的微镜朝向吸收器23的方向反射光。在接通状态22中的微镜朝向光学装置24的方向反射光，该光学装置24投影光锥。因此，如果所有微镜都处于接通状态，则产生具有最大立体角照明的光束。通过把单个微镜或者微镜组切换至断开状态中可以有针对性地遮住部分光束。由此实现了选择性的照明。

图6示意性示出距离确定（原理）。在此为了更简化的图示，照明装置2的所有光源7布置在一条直线上。实线25分别表示了光源的光锥的中心。虚线26标记出相邻的光源的光锥之间的过渡区域。点划线27示出配属于摄像机像素的立体角。为了清晰起见，选择出对应于沿行驶方向延伸的直线的中心像素。

如果基于摄像机像素能识别出障碍物8，则可以查明该障碍物的距离。为此，在存在左侧和右侧照明设备的情况下能分别逐个地切断光源，例如从外向内。如果在任意时间点确定像素的亮度明显下降，则假定（angenommen）：该光源照亮的物体处于车辆周围环境的立体角中。因此在所示例子中可以确定：对象处于光源28、29、30和31的区域中。因为这些光源的每个的切换导致像素的相同大小的亮度变化，所以可以推断出：各对象分别处于光源28和29以及30和31的相邻光锥的边缘区域中。因此，对于对象位置来说已知了相对于照明光源的两个立体角以及相对于摄像机的一个立体角。这样允许了对象位置的超定的确定。由于该超定能容易地确定出距离测量中的错误。

Claims (13)

1.一种机动车(1)，包括：至少一个照明装置(2)，该照明装置能通过控制装置(3)控制；至少一个摄像机(4)，所述摄像机用于拍摄被所述照明装置照亮的车辆周围环境；以及图像处理装置(5)，该图像处理装置用于处理由所述摄像机(4)提供的图像以产生处理结果，根据所述处理结果能控制车辆侧的驾驶员辅助系统(6)，由控制装置(3)能使所述照明装置(2)依次在至少两个以不同方式照亮车辆周围环境的模式中运行，即，使得从所述摄像机(4)能拍摄被以不同方式照亮的车辆周围环境的至少两个图像，其特征在于，所述图像处理装置(5)设计用于根据不同的所述至少两个图像通过在至少一个图像中的边棱检测产生处理结果，所述图像处理装置构造成：通过比较被以不同方式照亮的车辆周围环境的图像来区分实际的边棱和由于投射阴影而识别出的边棱。

2.根据权利要求1所述的机动车，其特征在于，所述照明装置(2)包括至少一个能调整的光源(7)。

3.根据权利要求2所述的机动车，其特征在于，所述照明装置(2)包括多个光源(7)，所述控制装置(3)设计用于对所述多个光源(7)单个地或成组地进行切换和/或调整。

4.根据权利要求1-3中任一项所述的机动车，其特征在于，所述照明装置(2)包括至少一个微镜致动器(20)。

5.根据权利要求1-3中任一项所述的机动车，其特征在于，所述处理结果是在至少一个像点处的对象的距离间隔，其中当该间隔的宽度超出一阈值时，控制装置(3)设计用于使照明装置(2)在至少一个另外的、以不同方式照亮车辆周围环境的模式中运行，而所述图像处理装置(5)设计用于处理至少一个另外的不同的图像。

6.根据权利要求1-3中任一项所述的机动车，其特征在于，所述驾驶员辅助系统(6)用于自主执行单个的行驶动作。

7.根据权利要求1-3中任一项所述的机动车，其特征在于，所述驾驶员辅助系统(6)用于自主停车入库或者泊车。

8.根据权利要求1-3中任一项所述的机动车，其特征在于，所述驾驶员辅助系统(6)设计用于将由图像处理装置的处理结果计算出的车辆周围环境图像和/或被补充了所述处理结果的车辆周围环境图像显示在屏幕上。

9.一种用于运行机动车(1)的驾驶员辅助系统(6)的方法，所述机动车包括：至少一个照明装置(2)，该照明装置能通过控制装置(3)控制；至少一个摄像机(4)，所述摄像机用于拍摄被所述照明装置(2)照亮的车辆周围环境；以及图像处理装置(5)，该图像处理装置用于处理由所述摄像机(4)提供的图像以产生处理结果，其中，首先在照明装置(2)的第一模式——在该第一模式中以第一方式照亮车辆周围环境——中拍摄至少一个摄像机(4)的至少一个图像，紧接着在照明装置(2)的至少一个第二模式——在该第二模式中以第二方式照亮车辆周围环境——中拍摄至少一个另外的图像，随后通过图像处理装置(5)处理由前述步骤得到的至少两个图像，根据不同的所述至少两个图像通过边棱检测产生处理结果，所述图像处理装置通过比较被以不同方式照亮的车辆周围环境的图像来区分实际的边棱和由于投射阴影而识别出的边棱，并把处理结果传送给驾驶员辅助系统(6)。

10.根据权利要求9所述的方法，其特征在于，作为所述处理结果确定出在至少一个像点处的对象的距离间隔，其中当该间隔的宽度超过一阈值时，在照明装置(2)的至少一个另外的模式——在该另外的模式中以另一方式照亮车辆周围环境——中拍摄至少一个其它的图像，该至少一个其它的图像由图像处理装置(5)处理。

11.根据权利要求9或10所述的方法，其特征在于，所述处理结果通过驾驶员辅助系统(6)被用于自主执行单个的行驶动作。

12.根据权利要求9或10所述的方法，其特征在于，所述处理结果通过驾驶员辅助系统(6)被用于自主停车入库或者泊车。

13.根据权利要求9或10所述的方法，其特征在于，驾驶员辅助系统(6)由处理结果计算出车辆周围环境图像或者给所述至少两个图像中的一个补充以处理结果，随后将所计算出的图像或者经补充的图像显示在屏幕上。