CN109644251B - 用于拍摄本车的环境区域的摄像装置及用于提供驾驶员辅助功能的方法 - Google Patents

Abstract

本发明涉及用于拍摄本车(1)的环境区域的摄像装置(2)，该摄像装置带有光电子单元，该光电子单元包含高分辨率图像拍摄传感器和用于拍摄环境区域的至少一个原图的广角光学器件，光电子单元用于，从所拍摄的所述至少一个原图生成经处理的结果图(4)，与相应的原图相比，经处理的结果图(4)具有至少一个未改变的图像区域(4a)和至少一个与所述至少一个图像区域(4a)相邻的、分辨率降低的其余图像区域(4b)。

Description

用于拍摄本车的环境区域的摄像装置及用于提供驾驶员辅助 功能的方法

技术领域

本发明涉及一种用于拍摄本车的环境区域的摄像装置。此外，本发明涉及一种带有这类摄像装置的车辆以及一种用于提供驾驶员辅助功能的方法。

背景技术

为了实现例如交通标志识别或车道保持辅助等驾驶员辅助装置，摄像系统需要约50度的水平视角和约30度的竖直视角。然而，诸如在保持于最前列时的横向交通识别或交通指示灯识别的新功能需要明显更大的视角，才能拍摄到在图像周边区域中正在接近的对象。而例如高度自动化驾驶或车道保持辅助要求即使在较远距离也能对对象和车道结构加以识别，为此需要一相应的分辨率。

在这种情况下，已知例如带有至少两个光电子单元的摄像系统，所述至少两个光电子单元至少在视角和/或角度分辨率方面是有区别的，以此满足对具有较大有效范围的中央区域的检测和对横向交通识别功能的广角区域识别的检测之间彼此矛盾的要求。由此，例如专利文献DE102004061998A1描述了一种机动车辆的带有至少一个第一摄像机和至少一个第二摄像机的设备，其中，第一摄像机和第二摄像机至少在一种摄像机特性上是有区别的。

这类摄像系统的缺点是例如需处理的数据量大、以及由于多个光电子单元所造成的高昂成本，这类光电子单元一般是摄像系统中最昂贵的组件。

发明内容

本发明的任务是，提供一种摄像装置，其能实现高效的图像处理，同时为实现驾驶员辅助装置而满足在细节拍摄、尽可能大的检测区域方面的需求。

该任务通过一种具有权利要求1所述特征的摄像装置，通过一种具有权利要求15所述特征的车辆以及一种具有权利要求16所述特征的方法来完成。本发明的有益或优选的实施方式在从属权利要求、后面的描述以及附图中加以说明。

本发明提出一种用于拍摄本车的环境区域的摄像装置。环境区域是指：例如沿本车的行驶方向的前方、侧方和/或后方的环境区域。

摄像装置具有用于拍摄环境区域的至少一个原图的光电子单元。由光电子单元拍摄的至少一个原图优选是指未经处理的图像。

光电子单元包括广角光学器件。尤其是借助广角光学器件实现广角拍摄的原图。广角光学器件优选是指如下的物镜/镜头：其相对于光轴具有例如至少+/-50度的水平和/或竖直视角，尤其是至少+/-70度的视角，和/或最高+/-80度的视角。由此，能在例如交叉路口区域的周边环境区域对交叉的交通参与者提前进行对象分析。

光电子单元还包括高分辨率的图像拍摄传感器。借助高分辨率图像拍摄传感器尤其能实现对象分析，例如对远距离区域中的交通标志或车道的分析，由此尤其能对在相对于本车至少50米处的远距离区域中的对象进行分析。高分辨率图像拍摄传感器尤其是指像素量为几兆像素的图像拍摄传感器，例如像素量至少五兆像素，优选至少七兆像素，特殊情况下至少十兆像素的图像拍摄传感器。图像拍摄传感器优选具有以每厘米像素为单位的均匀分辨率。

高分辨率图像拍摄传感器被归类为不适合汽车技术领域内的使用，尤其是不适合与广角光学器件结合使用，因为这类传感器不允许复杂图像处理算法的有效的大量像素处理。

在此背景下，光电子单元，尤其是图像拍摄传感器或摄像装置的图像处理装置用于从所拍摄的至少一个原图生成经处理的结果图，其中，与相应的原图相比经处理的结果图有至少一个未改变的图像区域和至少一个与所述至少一个图像区域相邻的、分辨率降低的其余图像区域。未改变的图像区域尤其是指具有未改变的分辨率、换句话说分辨率保持不变的、原图的图像区域部分。因此，尤其是在指定图像区域中排除了分辨率降低，从而只会出现所拍摄原图的局部分辨率降低。

在拍摄图像序列的情况下，光电子单元优选用于从每个所拍摄的原图分别生成一个经处理的结果图。

局部分辨率降低的一个主要优点是，与车载摄像机相比，平均而言整个结果图分析的计算计算量几乎保持不变，或仅略微提高，为达到可实现的图像处理计算量，车载摄像机迄今为止具有明显较低的分辨率，例如最高二兆像素，因此不允许对远距离区域进行分析。

此外确保了：不会由于计算量过高而仅对原图的部分图像区域进行分析，这种局部分析会导致对相关目标对象的分析延迟。因此，尽管使用了高分辨率的图像拍摄传感器和广角光学器件，在整个结果图中进行对象分析的计算量也是可行的。

因此，仅利用(本发明的)摄像装置就能满足如下的目标冲突：为运行驾驶员辅助装置要求有一尽可能大的检测区域，而同时为以可实现的图像处理成本进行远距离区域中的目标对象分析又需要达到足够的分辨率。

此外，与带两个甚至三个光电子单元的摄像装置相比，所述摄像装置在紧凑的结构尺寸方面，以及在明显节约成本方面都具有显著的优势。

摄像装置优选包括至少一个驾驶员辅助装置，例如车道保持装置或转向辅助装置或可与这些装置相连接。驾驶员辅助装置尤其用于从至少一个原图的经处理的结果图对至少一个目标对象——例如车道、交通信号灯、交通标志、行人、骑自行车者和/或其他交通参与者——进行分析，并根据至少一个经分析的目标对象实施至少一个被动和/或主动的驾驶员辅助功能，诸如间距预警、紧急制动或自主避让操作。

光电子单元优选用于，借助像素合并来而以分辨率降低的方式生成其余图像区域。在像素合并时，合并图像拍摄传感器的相邻像素，例如在一行和/或一列内或在原图的例如一矩形部分区域内的相邻像素，并且分派一个新的像素。因此，所得到的、以分辨率降低的方式生成的结果图的像素阵列尤其具有比所拍摄的原图更低的分辨率。

作为替代或补充，光电子单元用于，借助像素跳漏而以分辨率降低的方式生成其余图像区域。尤其是，在像素跳漏中，原图中的像素被以设定的顺序跳过，从而优选地，结果图仅接收一部分的像素量。以此方式，尤其实现了结果图的较低分辨率，并由此实现了数据量的减少。

在第一优选实施方式中，图像拍摄传感器用于从至少一个所拍摄的原图生成经处理的结果图。为此，尤其实施经处理的结果图的生成，因此，在图像拍摄传感器上借助电子的像素合并和/或像素跳漏来实现至少一个原图的其余图像区域的分辨率降低。优选由图像拍摄传感器仅输出整个像素数量的一部分像素数，其中，像素数量的剩余部分被消隐或合并。像素数量的总体数量尤其对应于原，而输出的部分像素数对应于所生成的经处理的结果图。换句话说，由此尤其通过图像拍摄传感器进行结果图的处理和输出。

在第二优选实施方式中，摄像装置包括图像处理设备，它用于从至少一个由图像拍摄传感器发送的原图生成经处理的结果图。由此，尤其进行图像拍摄的后处理，以及通过例如后续的像素合并和/或像素跳漏来实现原图的分辨率降低。

优选地，至少一个图像区域是原图的围绕光轴的中央图像区域或与中央图像区域相邻的周边图像区域。中央图像区域优选是一对称的，尤其是相对于光轴旋转对称布置在摄像装置视野的中央图像区域。周边图像区域尤其是指摄像装置视野四个边缘图像区域中的至少一个。由此，周边图像区域优选至少部分围绕中央图像区域。尤其优选的是，中央图像区域和周边图像区域布局得与摄像装置的光轴同心。中央图像区域和周边图像区域优选指的是摄像装置视野不同的，尤其是非重叠的检测区域。尤其优选的是，摄像装置视野由中央图像区域和周边图像区域构成。

中央图像区域例如具有+/-25度的水平视角和/或竖直视角。与中央图像区域相邻的周边图像区域例如具有+/-50度的水平视角和/或竖直视角。

远距离区域中能进行的对象分析越广泛，驾驶员辅助装置的驾驶员辅助功能就越可靠并越具前瞻性。在此背景下，一种特别优选的实施方式规定，所拍摄的原图在中央图像区域至少局部具有比周边图像区域更高的、尤其是至少为其双倍的分辨率。特别优选的是，随着水平视角和/或竖直视角角度的增加，分辨率至少局部地减小。以此方式，在中央图像区域中，可通过单一的光电子单元对例如1到50米之间的近距离范围和50到500米之间的远距离范围中的目标对象进行分析。由于周边图像区域中目标对象主要存在于近距离区域，这样有必要对例如交叉路口区域横穿的骑自行车者进行分析，这可通过一非均匀广角光学器件以较低分辨率进行对象分析。

为了在中央图像区域中至少局部达到较高的分辨率，从设计结构上优选，广角光学器件包括一个非均匀的，尤其是非线性的失真，尤其是以一变形的广角光学器件来构成。尤其可借助不均匀的失真，根据图像拍摄传感器的分辨率实现一最高为每度50个像素的分辨率。以此方式，尤其可在无附加的长焦距物镜的情况下实现远距离区域对象分析所要求的分辨率。

在另一优选的实施方式中，广角光学器件具有至少一个透镜或刚好一个透镜，所述透镜至少局部——例如球面段异形地、特别是以变形的方式构成。异形、特别是变形的透镜至少局部地引起原图的失真，与其它透镜形式相比，尤其通过椭圆形状实现较大的面积覆盖，这样，每个成像区域可实现更多的像点。以此方式，尽管失真，但改善了中央图像区域中目标对象的识别。

周边图像区域中相关目标对象尤其在城市环境中的低车速下进行分析，反之，在城外公路上尤其在高车速下分析中央图像区域远距离范围中的相关目标对象。在此背景下，光电子单元，尤其是图像处理装置例如用于，根据本车的当前确定的车辆速度和/或当前确定的转向角，将图像区域设定为中央图像区域或周边图像区域。车速和/或转向角使得能够推断出，本车当前处于哪类道路上，例如处于城内交通道路还是高速公路上。以此方式，即使在非均匀物镜情况下，也能在对周边图像区域中的当前相关目标对象进行分析时维持所要求的分辨率。

作为替代或补充，光电子单元，尤其是图像处理装置用于，根据所确定的、本车当前所处位置的前方交通区域和/或公路类别，将图像区域设定为中央图像区域或周边图像区域。通过确定前方交通区域，可检测包括例如有横向交通参与者的交叉路口等相关交通区域的特征目标对象。道路类别例如可区别为高速公路、联邦公路和/或城内交通道路。通过确定前方交通区域和/或道路类别，可根据当前车辆周边环境对图像区域进行匹配，并由此对至少通过一个驾驶员辅助装置分析的目标对象进行个性化选择。

本车具有一例如全球定位系统(GPS)传感器等定位装置，该装置用于确定当前位置，并由此确定可集成或已集成了摄像装置的本车当前所在的位置。此外，本车包括一例如用于调用电子地图材料的车载导航数据服务器。本车的分析单元优选用于，借助本车的设定位置以及借助电子地图材料的信息数据对前方交通区域进行分析和/或由本车的当前位置对道路类别进行分析，并将所分析的交通区域或道路类别发送给图像处理装置。

本发明的另一主题涉及一种具有上述摄像装置的车辆。

本发明还涉及一种用于提供本车的至少一个驾驶员辅助装置的驾驶员辅助功能的方法。在第一步骤中，借助上述摄像装置拍摄环境区域的至少一个原图。在下一步骤中，通过光电子单元，尤其是摄像装置的图像拍摄传感器和/或图像处理装置由至少一个原图生成经处理的结果图。经处理的结果图与相应的原图相比具有至少一个未改变的图像区域和至少一个与所述图像区域相邻的、分辨率降低的其余图像区域。由至少一个经处理的结果图对至少一个目标对象进行分析。至少一个目标对象的分析尤其通过至少一个摄像装置的驾驶员辅助装置进行。优选地，基于至少一个所分析的目标对象实施驾驶员辅助功能，由此进行例如制动辅助、预警辅助和/或转向辅助。

附图说明

本发明的其他特征、优点和效果可从以下对本发明优选实施例的描述中得出。其中：

图1以示意图的方式示出车辆俯视图；该车辆包括摄像装置；

图2和图3分别示出经处理的结果图的实施例，该结果图具有未改变的图像区域和与所述图像区域相邻的、分辨率降低的其余图像区域；

图4以图表方式示出由现有技术已知的摄像系统的两个光电子单元的分辨率相对于水平视角的变化曲线。

图5以图表方式示出与图2实施例相应的结果图的分辨率曲线；

图6以图表方式示出与图3实施例相应的结果图的分辨率曲线；

图7以图表方式示出与图5实施例相应的结果图的分辨率曲线；其中，相应原图是利用包括变形物镜的摄像装置拍摄的。

具体实施方式

所有图中，相对应的零部件采用相同的附图标记。

图1以示意图的方式示出带有用于拍摄前方环境区域的摄像装置2的车辆1。在该实施例中，摄像装置2是被设置在本车1内的挡风玻璃后面并对准本车1的行驶方向的摄像机。摄像装置2尤其被设计为正好带有一个光电子单元3的单目摄像机装置2。

摄像装置2的光电子单元3用于拍摄前方环境区域的至少一个原图。为了拍摄原图，光电子单元包括广角光学器件和高分辨率图像拍摄传感器。

广角光学器件相对于光轴A例如具有+/-50度的水平和/或竖直视角α、β。借助广角光学器件能提前分析目标对象，例如横穿的交通参与者。

图像拍摄传感器具有例如至少五兆像素、尤其是至少七兆像素、特殊情况下至少十兆像素的分辨率。该分辨率也允许对远距离区域内的目标对象的分析。

以此方式，例如可避免采用尤其是设定用于边缘图像区域或中央图像区域分析(图4)的、成本高昂的多个光电子单元。

由此，摄像装置2一方面具有提前识别交叉路口区域横向交通参与者或在最前排识别交通信号灯可能需要的广角检测范围。另一方面，它可生成至少一个高分辨率的原图，使目标对象无论在例如1米到50米之间的近距离区域内，还是在例如50米到500米之间的远距离范围内都能被分析。因此，只要使用一个单一的光电子单元3就可满足广角区域和远距离区域对象检测这一矛盾的目标要求。

然而，这类原图会提升数据量，使其超过一图像分析装置，尤其是汽车领域所使用的、目标对象分析用处理器的处理能力。

光电子单元3，尤其是图像拍摄传感器或光电子单元3的图像处理装置用于，从至少一个所拍摄的原图生成一经处理的结果图4。优选结果图4的视野相对于原图视野保持不变。

与相应原图相比，经处理的结果图4具有至少一个未改变的图像区域4a和与所述至少一个图像区域相邻的、分辨率降低的其余图像区域4b。由此，特别是存在对于本车1中、尤其是摄像装置2中安装的图像分析装置可处理的数据量。此外，利用仅仅一个摄像装置2就能在不同距离范围中实现本车1的中央区域以及周边区域中的对象分析。

此外，摄像装置2例如包括至少一个带有图像处理装置的驾驶员辅助装置7，其特别用于，从经由光电子单元3处理的结果图4对目标对象进行分析，并基于所分析的目标对象实施至少一项驾驶员辅助功能。

优选地，由经处理的结果图4计算出具有不同分辨率的图像层级系统，也被称为金字塔结构。例如，提供至少三个分辨率分别各低一半的图像。尤其是，首先由图像分析装置对最低分辨率的图像进行分析以进行对象识别，以保持尽可能低的计算计算量。如果通过图像分析装置在分辨率最低的图像中识别到目标对象，则优选参考下一较高分辨率的显示，这样做尤其是为了对对象识别加以验证。

例如，借助像素合并来降低所拍摄原图的分辨率。像素合并尤其是指多个，例如4个自然像素合并成一个像点。在将四个像素合并成一个像点情况下，仅将1/4的物理像素量作为像点处理。

例如，所述至少一个图像区域4a被光电子单元3、尤其是被图像拍摄装置或图像处理装置设置在原图的如下的部分图像区域中：其中的目标分析是优先的或其中在至少50米的距离范围内进行分析。

图2和图3示出经处理的结果图4的实施例，该结果图具有未改变的图像区域4a和与所述图像区域4a相邻的、分辨率降低的其余图像区域4b。

在图2所示实施例中，图像区域4a是位于光轴A周围的中央图像区域5，其余图像区域4b是与中央图像区域5相邻的原图3的周边图像区域6。中央图像区域5例如包括+/-25度的水平视角5α和/或竖直视角5β。通过该视角范围，例如可延长要分析的所检测车道的走向。水平周边图像区域6尤其包括+/-50度的水平视角6α和/或竖直视角6β，由此例如也可检测大面积的交叉路口区域。纯粹作为示例，周边图像区域6包括所拍摄原图的四个边缘图像部分中的每一个。

图3所示的实施例中，图像区域4a是位于光轴A周围的周边图像部分6，其余图像区域4b是中央图像区域5。如果要在一交叉路口区域例如对横穿的交通参与者和/或交通信号灯设施等进行分析，则该方案具有特殊的优势。

例如，根据车辆速度、转向角、前方交通区域和/或本车1当前所在道路的道路类别将图像区域4a设定为中央图像区域和/或周边图像区域5和6。

因为为了例如提前分析交通标志和/或车道走向而需要在中央图像区域5中的分辨率随着车速提高而同样提高，所以优选地，在车速超过例如100千米每小时的速度限值时，优选图像区域4b被置于中央图像区域5上。由于在较低速度时，对提前识别横向交通和/或交通指示灯必须确保在周边图像区域6中至少具有足够的分辨率，则在低于例如每小时30公里的速度下限时，尤其是在车辆停止不动的状态下，图像区域4a被设定为周边图像区域6。

作为现有技术，图4中以范例的方式展示摄像系统所包含的两个光电子单元的分辨率相对于水平视角α的变化曲线。其中一个光电子单元包含线性广角光学器件，另一个光电子单元包含线性长焦距物镜，以便无论是在中央图像区域中的远距离范围、还是在一相对于长焦距物镜得以扩展的视野区域中都能对对象进行识别。

与此相比较，在图5和图6中以范例的方式展示，由根据本发明的摄像装置2生成的结果图4的分辨率相对于水平视角α的变化曲线。在此实施例中，光电子单元包括形式为16:9的、7.23兆像素的高分辨率图像拍摄传感器，以及具有+/-50度水平视角α的线性广角光学器件。

在图5中，中央图像区域5对应于图像部分4a，而周边图像区域6被设定为分辨率降低的其余图像区域。如图6所示，作为替代，周边图像区域6可被设定为图像区域5b。重要的特别是，平均来讲必须实现至少几乎保持不变的待处理高像素数量。

图7以范例的方式展示，由根据本发明的摄像装置2生成的结果图4的分辨率相对于水平视角α的变化曲线。在该实施例中，光电子单元包括形式为16:9的、7.23兆像素的高分辨率图像拍摄传感器以及具有+/-50度水平视角α的变形广角光学器件。与线性广角光学器件相比，借助变形广角光学器件能使中央图像区域中的分辨率至少局部地提高，但与此同时，周边图像区域6中的分辨率降低。因此，周边图像区域中局部分辨率的下降有时会导致低于可靠对象识别所要求的分辨率。在此，根据诸如当前车速或前方交通区域等当前行驶情形设定图像区域4a证明具有明显优点，因为在要求周边图像区域6具有足够分辨率的情况下，尤其图像区域4a被设置在这一部分图像区域，并由此确保可靠的对象分析。

附图标记列表

1 车辆

2 摄像装置

3 光电子单元

4 经处理的结果图

4a 图像区域

4b 其余图像区域

5 中央图像区域

6 周边图像区域

7 驾驶员辅助装置

α 水平视角

β 竖直视角

A 光轴

Claims (15)

1.用于拍摄本车(1)的环境区域的摄像装置(2)，

该摄像装置带有光电子单元，该光电子单元包含高分辨率图像拍摄传感器和用于拍摄环境区域的至少一个原图的广角光学器件，其中，图像拍摄传感器有均匀的分辨率，

其中，光电子单元用于，从所拍摄的所述至少一个原图生成经处理的结果图(4)，

其中，与相应的原图相比，经处理的结果图(4)具有至少一个未改变的图像区域(4a)和至少一个与所述至少一个图像区域(4a)相邻的、分辨率降低的其余图像区域(4b)，由图像拍摄传感器仅输出整个像素数量的一部分像素数，输出的部分像素数对应于所生成的经处理的结果图，其中，在图像拍摄传感器上借助电子的像素合并和/或像素跳漏来实现其余图像区域的分辨率降低，

其中，所述至少一个未改变的图像区域(4a)是位于光轴周围的中央图像区域(5)或与中央图像区域(5)相邻的周边图像区域(6)，

其中，光电子单元用于，根据本车(1)的前方交通区域、本车(1)当前所在道路的道路类别、本车(1)的当前确定的车速和/或当前的转向角将至少一个图像区域(4a)设定为中央图像区域(5)或周边图像区域(6)。

2.根据权利要求1所述的摄像装置(2)，其中，光电子单元用于，借助像素合并和/或借助像素跳漏从而以分辨率降低的方式生成所述的其余图像区域(4b)。

3.根据权利要求1或2所述的摄像装置(2)，其中，图像拍摄传感器具有至少五兆像素的分辨率。

4.根据权利要求1或2所述的摄像装置(2)，其中，广角光学器件相对于光轴A具有+/-50度的水平和/或竖直视角(α、β)。

5.根据权利要求1或2所述的摄像装置(2)，其中，图像拍摄传感器用于，从所拍摄的至少一个原图生成经处理的结果图(4)。

6.根据权利要求1或2所述的摄像装置(2)，其中，摄像装置(2)包括图像处理装置，该图像处理装置用于，从至少一个由图像拍摄传感器所发送的原图生成经处理的结果图(4)。

7.根据权利要求1或2所述的摄像装置(2)，其中，中央图像区域(5)具有最高+/-25度的水平视角(5α)和/或与中央图像区域(5)相邻的周边图像区域(6)具有最小+/-50度的水平视角(6α)。

8.根据权利要求1或2所述的摄像装置(2)，其中，所拍摄的原图在中央图像区域(5)中至少局部地具有比在周边图像区域(6)中高的分辨率。

9.根据权利要求1或2所述的摄像装置(2)，其中，所拍摄的原图在中央图像区域(5)中至少局部地具有至少是周边图像区域(6)双倍的分辨率。

10.根据权利要求8所述的摄像装置(2)，其中，广角光学器件包括不均匀的失真，该失真被用于在中央图像区域(5)中实现至少局部较高的分辨率。

11.根据权利要求1或2所述的摄像装置(2)，其中，广角光学器件具有至少一个透镜或刚好一个透镜，所述透镜至少局部异形地构成。

12.根据权利要求11所述的摄像装置(2)，其中，所述透镜至少局部以变形的方式构成。

13.根据权利要求1或2所述的摄像装置(2)，其中，摄像装置(2)至少包括驾驶员辅助装置(7)，所述驾驶员辅助装置用于从至少一个经处理的结果图(4)中对至少一个目标对象进行分析，并根据经分析的至少一个目标对象来执行至少一项驾驶员辅助功能。

14.带有根据权利要求1-13中任一项所述的摄像装置(2)的车辆(1)。

15.用于提供本车(1)的至少一个驾驶员辅助装置(7)的驾驶员辅助功能的方法，包括下列步骤：

使用根据权利要求1-13中任一项所述的摄像装置(2)拍摄本车(1)环境区域的至少一个原图；

从所述至少一个原图生成经处理的结果图(4)，其中，与相应的原图相比，经处理的结果图(4)具有至少一个未改变的图像区域(4a)和至少一个与所述至少一个图像区域(4a)相邻的、分辨率降低的其余图像区域(4b)；

从所述至少一个经处理的结果图(4)对至少一个目标对象进行分析。

Images