CN102782722A - 用于车辆环境的摄像机的清晰视野检查的方法和设备 - Google Patents

Abstract

提出了一种用于车辆环境的摄像机的清晰视野检查的方法，所述方法包括接收（101）摄像机图像的步骤和将所述摄像机图像划分（103）成多个子图像的步骤。基于多个在相应的子图像中识别的对象来确定（105）清晰视野值。对于所述子图像中的每一个，基于相应的子图像的失明值和清晰视野值来确定清晰视野概率。

Description

用于车辆环境的摄像机的清晰视野检查的方法和设备

技术领域

本发明涉及一种用于车辆环境中的摄像机的清晰视野检查的方法，一种相应的控制设备以及一种相应的计算机程序产品。

背景技术

US-7423752 B2涉及雾识别算法，其尝试确定雾中摄像机的视距。在此，对象识别基于边缘识别。

EP-1548685 B1描述了一种方法，在所述中使用3D单元的信息以及多个垂直边缘和水平边缘来确定摄像机的失明。

发明内容

基于所述背景，通过本发明提出根据本发明的独立权利要求所述的一种用于在车辆环境中的摄像机的清晰视野检查的方法、一种使用所述方法的设备以及一种相应的计算机程序产品。有利的构型由相应的从属权利要求和以下描述得出。

根据本发明的方案能够实现摄像机的清晰视野检查，尤其是在车辆环境中。根据本发明，为此进行摄像机图像的划分，并且一起分析处理其他测量算法的结果。有利地，对于不同功能——例如对于在冷凝物形成时挡风玻璃加热的运行生成特定的失明信号。

根据一个实施方式，可以附加地对于一个图像中的不同区域计算一个失明概率。可以借助清晰视野概率来计算失明概率。由此可以生成用于不同算法的失明信号。当已经识别到失明时，这些算法可以又进入可靠的状态。

清晰视野信息可以用于支持失明识别。附加地，失明识别的灵敏度可以与照明相关。例如，在夜间存在较低的概率，从而当在摄像机图像中发现较少的边缘时涉及失明。如果将摄像机图像划分成一些失明区，则由这些失明区又可以计算失明信号。例如，图像的上部区域中的区对于车道识别功能的失明识别而言是不重要的。根据本发明，失明信号的去抖动可以与识别失明的持续时间相关。

本发明提出了一种用于车辆环境的摄像机的清晰视野检查的方法，所述方法包括如下步骤：通过接收接口来接收摄像机图像；将摄像机图像划分成多个子图像；对于子图像中的每一个基于多个在相应的子图像中识别的对象确定一个清晰视野值；对于子图像中的每一个基于相应的子图像的清晰视野值确定一个清晰视野概率。

摄像机可以是设置在车辆中或设置在车辆上的图像检测装置。摄像机可以被构造用于连续地检测和提供车辆周围环境的图像信息或图像。这些图像可以由车辆中的不同功能或用户——例如车窗加热装置或车道辅助系统使用。如果摄像机失明，则提供给这些功能的图像不包含可用的图像信息。如果没有识别到失明，则这会导致这些功能的故障。失明例如可以通过摄像机光学器件的严重沾污或通过摄像机的损坏而引起。失明可以涉及由摄像机提供的图像的整个图像区域或者仅仅一个或多个图像部分。因此，根据本发明将整个图像划分成一些子图像，其中每一个子图像包括整个图像的一个确定的区域。所有子图像可以共同得到整个图像。对于每一个子图像确定一个清晰视野概率。清晰视野概率定义：在由相应的子图像覆盖的区域中以怎样的概率存在摄像机的清晰视野。因此，基于清晰视野概率可以确定涉及所述子图像的图像信息是否由于摄像机失明而是有错误的并且因此在相应的功能中不应被分析处理或仅仅被有限地分析处理。考虑用于确定清晰视野值的对象例如可以是所识别的车道或其他车辆。对象识别可以由单独的对象识别装置实施。对象识别可以基于摄像机的当前图像或基于在时间上在前的图像进行。

根据一个实施方式，根据本发明的方法可以包括对于子图像中的每一个确定图像的边缘曲线的步骤、根据图像的亮度来调节失明阈值的步骤以及对于子图像中的每一个在使用失明阈值的情况下基于相应的子图像的边缘曲线来确定一个失明值的步骤以及对于子图像中的每一个基于失明值和清晰视野概率确定一个失明概率的步骤。因此，本发明可以实现一种用于摄像机的失明识别和清晰视野检查的方法。通过失明概率不仅基于失明识别而且基于清晰视野概率，可以提高根据本发明的方法的精确度。清晰视野概率定义：在由相应的子图像覆盖的区域中以怎样的概率存在摄像机的失明或不足的清晰视野。因此，基于清晰视野概率可以确定：涉及子图像的图像信息是否由于摄像机失明而是有错误的并且因此在相应的功能中不应被分析处理或者仅仅应有限地被分析处理。边缘曲线可以沿着亮度边界或照度边界在图像中延伸。因此，边缘可以定义亮度差或照度差。可以分析处理边缘曲线的特征——例如其方向或长度，以确定失明值。失明值可以说明：关于子图像存在失明还是不存在失明。为了确定失明值，可以将特定的特征——例如边缘斜率与阈值进行比较。可以根据图像具有怎样的亮度来提高或降低阈值。因此，亮度可以对相应的子图像的失明的确定具有直接影响。

根据一个实施方式，在划分的步骤中可以将摄像机图像划分成多个行和多个列。例如，对于车道识别而言，在失明方面仅仅检验下面一行或下部多行的子图像就足够了。例如如果在上面一行中存在失明，则这仅仅涉及也分析处理上面一行的子图像的功能。对于这些功能可以说明相应高的失明概率。相反，对于其余功能可以说明低的失明概率。

可以基于亮度特征曲线来调节失明阈值。对于图像的不同亮度级，亮度特征曲线可以具有不同的失明阈值。通过所述方式例如可以在较暗图像的情况下减小失明识别的灵敏度而在亮图像的情况下提高失明识别的灵敏度。

根据本发明的方法可以包括从对象识别装置接收对象信息的步骤和基于所提供的对象信息求得多个在相应的子图像中识别的对象的步骤。对象信息可以由一个或多个对象识别装置提供，其借助于摄像机实施对象识别。对于子图像中的每一个，可以计数在多个子图像上延伸的对象。如果在一个子图像中计数很多对象，则这意味着：摄像机至少关于所述子图像没有失明。相反，如果没有计数到任何对象，则这可以是对摄像机失明的提示。

在确定清晰视野值的步骤中，当在相应的子图像中识别的对象的数量超过预先确定的对象数量时，可以将子图像的清晰视野值设置到预先确定的值。如果识别到多于预先确定的数量的对象，则以高概率得出：不存在失明。因此，预先确定的值可以代表假定没有失明，或者换句话说假定清晰视野。

在确定清晰视野值的步骤中，当在预先确定的时间间隔内在相应的子图像中没有识别到对象时，可以使子图像的清晰视野值减小一个差值。减小的清晰视野代表假定存在清晰视野的更高概率或者更小的清晰视野概率。

根据一个实施方式，在对于子图像中的每一个确定失明概率的步骤中，可以减去相应的子图像的失明值和清晰视野值。这种关联是有意义的并且可以简单地实现。

此外，根据本发明的方法可以包括基于子图像的选择的失明概率来确定失明信号的步骤。失明信号可以定义在包括子图像的选择的区域中摄像机的失明概率。失明信号可以提供给用于分析处理或再处理摄像机的所述图像或其他图像的由选择包括的子图像。

此外，本发明还实现一种用于车辆环境中的摄像机的失明识别和清晰视野检查的设备，其被构造用于实施或者实现根据本发明的方法的步骤。本发明所基于的任务也可以通过本发明的设备形式的实施变型方案快速且高效地解决。

设备在此可以理解为处理传感器信号和据此输出控制信号的电设备。所述设备可以具有硬件构造的和/或软件构造的接口。在硬件构造时，接口例如可以是所谓的系统ASIC的一部分，其包含所述设备的各种不同的功能。但也可能的是，接口是单独的集成电路或者至少部分地由分立的部件组成。在软件构造时，接口可以是例如在微控制器上与其他软件模块共存的软件模块。

具有程序代码的计算机程序产品也是有利的，所述程序代码可以存储在机器可读的载体——如半导体存储器、硬盘存储器或光学存储器上，并且用于当在设备上执行所述程序时实施根据以上描述的实施方式之一的方法。

附图说明

参照附图示例性地进一步阐述本发明。附图示出：

图1：根据本发明的一个实施例的方法的流程图；

图2：根据本发明的另一实施例的流程图；

图3：根据本发明的一个实施例的根据本发明的方法的部分区段的流程图；

图4：根据本发明的一个实施例的根据本发明的方法的另一部分区段的流程图；

图5：根据本发明的一个实施例的摄像机图像的示图；以及

图6：根据本发明的一个实施例的亮度特征曲线。

具体实施方式

在本发明的优选实施例的以下描述中，对于在不同附图中示出的并且作用类似的元件使用相同或相似的附图标记，其中不重复描述省这些元件。

图1示出根据本发明的一个实施例的用于车辆环境中摄像机的失明识别和清晰视野检查的方法的流程图。在步骤101中，接收摄像机图像。摄像机图像可以作为原始图像直接从摄像机接收或者作为经预处理的图像从预处理装置接收。在步骤103中，将摄像机图像划分成多个子图像。例如，可以形成三个行和三个列，从而将摄像机图像划分成九个子图像。替代地，可以通过其他方式划分摄像机图像，并且可以形成多于九个或少于九个子图像。子图像可以分别覆盖不同的图像区域。替代地，可以存在子图像的部分重叠。

在步骤105中，对于子图像中的每一个确定一个自己的清晰视野值。清晰视野值的大小分别取决于：在所对应的子图像中是否识别到对象，以及如果识别到对象则识别到多少对象。对象的识别可以是根据本发明的方法的一部分，或者可以与根据本发明的方法分离地实施对象的识别。如果对象识别单独进行，则可以向根据本发明的方法提供相应的对象信息，由所述对象信息可以求得每个子图像的对象数量。

在步骤107中，对于每个子图像确定边缘曲线。这可以基于用于确定图像中的边缘的已知方法进行。在步骤109中，确定和调节失明阈值。根据图像的亮度来调节失明阈值。为此，可以首先确定图像的亮度并且接着可以选择相应于所述亮度的失明阈值。在步骤111中，对于每一个子图像确定一个自己的失明值。确定失明值，其中对于每一个子图像形成基于相应的子图像的边缘曲线的值并且将其与失明阈值进行比较。根据比较结果可以设置失明值。例如，当超过失明阈值时失明值具有第一值，而当低于失明阈值时失明值具有第二值。第一值可以给出对于相应的子图像存在失明的提示，而第二值可以给出对于相应的子图像不存在失明的提示，或者相反。在步骤113中，对于子图像中的每一个确定一个失明概率。基于相应的子图像的失明值和清晰视野值来确定子图像的失明概率。

因此，对于子图像中的每一个确定一个所对应的清晰视野值、一个所对应的失明值并且基于此确定一个所对应的失明概率。子图像的失明概率说明摄像机在由子图像覆盖的区域中失明的概率有多大。

可以并行地确定失明值和清晰视野值。可以分别对于所有子图像或者仅对于确定的子图像确定失明值和清晰视野值和（因此）失明概率。可以连续地重复或者响应于询问来执行根据本发明的方法。

根据一个实施例，可以对于子图像中的每一个基于相应的子图像的清晰视野值来确定清晰视野概率。在所述情形中，可以取消步骤107、109、111。取代步骤113可以进行清晰视野概率的确定。

可以将多个子图像的失明概率或清晰视野概率彼此关联，以便确定多个子图像的总失明概率或总清晰视觉概率。可以将总失明概率、总清晰视野概率或者基于此的信号提供给分析处理或者再处理摄像机图像的一个区域的功能，所述区域由所述多个子图像覆盖。例如，当由所述多个子图像的失明概率或清晰视野概率形成的平均失明概率或清晰视野概率超过或低于一个边界值时，基于总失明概率或总清晰视野概率的信号可以包括对所识别的失明或不存在清晰视野的警告。替代地，当一个或多个子图像的失明概率低于或超过一个边界值时，基于总失明概率或者总清晰视野概率的信号包括对所识别的失明的警告。

图2示出根据本发明的另一实施例的用于车辆环境中的摄像机的失明识别和清晰视野检查的方法的流程图。

示出了可以相应于摄像机图像的传感器图像202。在步骤204中，将图像202划分成九个区。所述九个区形成3×3矩阵。对于每个区确定206平均边缘斜率。在步骤208中，根据阈值确定每个区的失明。

与步骤202、204并行地，可以在步骤210中确定图像202中或一个区中的亮度。在步骤210中，确定一个阈值。为此，特征曲线可以表示阈值与亮度之间的相关性。阈值可以在步骤208中用于确定失明。

又与步骤202、204、208并行地，可以在步骤214中接收测量算法的结果。测量算法可以被构造用于基于传感器图像202或基于在时间上在传感器图像202前面的图像识别例如车道、对象或交通标志——总称为对象。在步骤216中，可以实施在一个时间间隔中在九个区之一中探测到的对象的数量的计数。接着，可以实施阈值比较218。如果在所述区中所识别的对象多于一个阈值，则可以在步骤220中将所述区的清晰视野概率设置为100％。相反，如果在所述区中所识别的对象不多于所述阈值，则在步骤222中可以降低所述区的清晰视野概率。例如，所述区的当前清晰视野概率由所述区的已有的清晰视野概率形成，其方式是，从已有的清晰视野概率减去值1。在所述情况中适用：清晰视野概率=清晰视野概率-1。

步骤202、204、206、208、210、212用于失明识别。步骤214、216、218、220、220、222用于清晰视野识别。

在步骤224中，将在步骤208中确定的失明和在步骤220、222中确定的清晰视野概率相结合，以及确定失明概率。在此，对于每一个区可以确定一个自己的失明概率。根据所述实施例适用：失明概率=失明-清晰视野。清晰视野的值可以相应于清晰视野概率。在步骤226中，确定用于由根据本发明的方法提供失明信息的每个功能的失明信号。可以由不同的区的失明概率确定对于确定的功能确定的失明信号。在步骤228中，实施失明信号的发送。

以下详细描述根据另一实施例的根据本发明的失明识别和清晰视野检查的各个方法步骤。

图3示出根据本发明的一个实施例的失明识别的框图。示出了成像器或图像转换器302，其被构造用于将原始图像提供给用于失明识别的装置308。用于失明识别的装置308被构造用于基于原始图像确定失明矩阵并且将其提供给用于信号处理的装置326。用于信号处理的装置326被构造用于基于失明矩阵向失明识别的用户提供信号。

参照在图2中示出的实施例，成像器302可以被构造用于提供传感器图像202。在装置308中，例如可以实现方法步骤204、206、208、210、212、224，并且在装置326中可以实现方法步骤226、228。

为了识别失明，可以将每个图像、例如由成像器302提供的图像划分成九个大小相同的区。替代地，可以将图像划分成多于九个或少于九个区。对于每个区，例如可以在装置308中计算失明概率。失明概率可以基于在图像中找到的结构。所述结构可以是边缘。在可以相应于装置326的另一组件中，确定用于各个失明用户的信号。失明用户例如可以包括FDD、ACC、SHE或RSR。FDD涉及黑暗中的车辆探测。其对于大灯的触发是必需的。当存在失明时，则没有车辆被发现并且以持续远光行驶，这导致炫目。ACC涉及自适应巡航控制。因此，车辆自动地开动并且为此必需监视车辆的空间，如果存在失明，则例如无法识别行人。SHE涉及车窗加热。如果发现失明，则首先加热一次以便必要时消除失明。RSR涉及道路标志识别（RoadSign Recognition）。

图4示出根据本发明的一个实施例的清晰视野检查和失明识别的框图。示出了算法414，其被构造用于将向用于清晰视野检查的装置418提供结果。用于清晰视野检查的装置418被构造用于基于所述结果确定清晰视野矩阵并且将其提供给用于失明识别的装置424和用于信号处理的装置430。用于信号处理的装置430被构造用于基于所述清晰视野矩阵来提供信号“Freisicht_nio”。用于失明识别的装置424被构造用于基于所述清晰视野矩阵提供失明信号。所述清晰视野矩阵可以对于每一个区具有一个清晰视野概率值。

参照在图2中示出的实施例，所述算法414可以被构造用于提供结果214。装置418可以被构造用于实现方法步骤216、218、220、222。装置424可以被构造用于实现方法步骤224。

为了清晰视野检查，可以如在失明识别中那样将图像划分成九个大小相同的区。当在例如一秒钟的时间间隔内探测到多于确定数量的对象——例如车道、FDD对象或MOV对象时，将相应的矩阵元素设置到100％。当在另外的时间间隔中不再探测到对象时，则清晰视野值分别每个时间间隔降级1％。MOV表示单目对象验证（MonoocularObjectVerfiaktion）并且原本必须称作MOD（ObjectDetection：对象检测），因为借助于摄像机在日间探测对象，如汽车或摩托车。

基于清晰视野检查，可以确定信号freisicht_nio。尤其是，可以基于清晰视野矩阵来确定所述信号freisicht_nio。如果在图像中识别到足够的对象——例如LDA对象、FDD对象和MOV对象，则根据所述实施例将所述信号freisicht_nio从1设置为0。信号从一端开始设置15个循环。一旦识别到清晰视野，则发送并且不重新计算信号freisicht_nio。

因此，基于由算法414提供的结果不仅可以实施清晰视野检查而且可以实施失明识别。所识别的清晰视野导致失明的修复。然而，这根据所述实施例仅仅适用于对DPC的清晰视野检查，即使用LDA和FDD的结果。在此，从失明概率中减去清晰视野百分比值。基于所述九个失明矩阵，所谓的经修复的失明矩阵可以计算失明识别的各个信号。DPC表示两用摄像机（Dual Purpose Camera）。在摄像机上仅有两个主功能，更确切地说黑暗中的车道识别和车辆识别。

图5示出根据本发明的一个实施例的传感器图201。图像划分成三个列和三个行，从而形成九个子图像。对于每一个子图像提供了涉及失明和清晰视野的值，其可以按照根据本发明的方法对于所示的图像202确定。

对于上面一行的子图像，从左向右确定如下值：

失明指示器：    74，73，73

经修复的失明：  74，73，73

清晰视野DCP：   0，0，0

清晰视野BVS：   0，0，0

组合的清晰视野：0，0，0

对于中间一行的子图像，从左向右确定如下值：

失明指示器：    63，67，68

经修复的失明：  63，67，68

清晰视野DCP：   0，0，0

清晰视野BVS：   0，100，100

组合的清晰视野：0，100，100

对于下面一行的子图像，从左向右确定如下值：

失明指示器：    69，69，69

经修复的失明：  69，69，69

清晰视野DCP：   0，0，0

清晰视野BVS：   0，0，0

组合的清晰视野：81，0，0

当一次设置信号Freisicht_nio=0时，不再实施BVS上的清晰视野识别。BVS表示图像处理控制设备（BildVerarbeitungs）。因为摄像机可以仅仅体现两个功能，所以在BVS上计算其他功能。

图像202示出车辆的不同挡风玻璃。图像202在上面一行的子图像中具有比下面一行的子图像中更高的亮度。在图像202中不能识别清楚的结果并且不能识别对象。

借助于根据本发明的方法可以确定和提供失明信号。参照图2可以在方法步骤226中确定失明信号。

根据所述实施例，对于失明识别的每个用户，选择图像中的要识别失明的区域。当所述区中的平均失明概率在预先确定的持续时间（例如45秒）上高于一个阈值，则发送相应的失明信号。

对于用户车窗加热，使用整个图像来进行识别。因此，选择所有子图像。关于失明ACC，使用图像的中部和下部，即例如在图5中示出的中间一行和下面一行的子图像。关于失明FDD，使用图像的中部区域。关于失明RSR，使用中部区域或上部区域。关于失明“错误存储记录”，适用30mm的去抖动时间并且使用整个图像。

图6示出根据本发明的一个实施例的亮度特征曲线612。亮度特征曲线612绘制在一个图中，其中在横坐标上绘制了光强度cbl（基于摄像机的光传感器）而在纵坐标上绘制了阈值的平均值，其表示失明识别的灵敏度。参照图2，可以在方法步骤212中使用亮度特征曲线612。根据图像的亮度可以从亮度特征曲线612中读取阈值，所述阈值可以在方法步骤208中使用。

阈值对于1cbl的光强度具有值35，对于30cbl的光强度具有值100，对于600cbl的光强度具有值220，对于2000cbl的光强度具有值230并且对于15000cbl的光强度具有值350。因此，在暗图像的情况下可以选择更小的阈值而在亮图像的情况下可以选择更大的阈值。与此相应地，与在极亮图像的情况下相比，在暗图像的情况下存在失明确定方面的低灵敏度。其间，灵敏度随着亮度增加而仅仅具有小的升高。

亮度特征曲线612定义失明识别的灵敏度。特别是在夜间，可能出现结构非常缺乏的场景，其类似于失明场景。因此，存在失明识别的与亮度相关的灵敏度，如其通过特征曲线612示出的那样。

所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或者在各个特征方面彼此组合。一个实施例也可以通过另一实施例的特征来补充。此外，可以重复以及以不同于所描述的顺序的顺序来执行根据本发明的方法步骤。

Claims (10)

1.用于车辆环境的摄像机的清晰视野检查的方法，所述方法包括如下步骤：

通过接收接口来接收（101）摄像机图像（202）；

将所述摄像机图像划分（103）成多个子图像；

基于多个在相应的子图像中识别的对象，对于所述子图像中的每一个确定（105）一个清晰视野值；以及

基于相应的子图像的清晰视野值，对于所述子图像中的每一个确定一个清晰视野概率。

2.根据权利要求1所述的方法，其中，所述方法具有对于所述子图像中的每一个确定（107）所述图像的边缘曲线的步骤、根据所述图像的亮度来调节（109）失明阈值的步骤、对于所述子图像中的每一个在使用所述失明阈值的情况下基于相应的子图像的边缘曲线来确定（111）一个失明值的步骤，以及对于所述子图像中的每一个基于所述失明值和所述清晰视野概率来确定（113）一个失明概率的步骤。

3.根据权利要求2所述的方法，其中，基于亮度特征曲线（612）来调节所述失明阈值。

4.根据以上权利要求中任一项所述的方法，其中，所述方法具有从对象识别装置接收对象信息的步骤和基于所提供的对象信息来求得（216）多个在相应的子图像中识别的对象的步骤。

5.根据以上权利要求中任一项所述的方法，其中，在确定（105）所述清晰视野值的步骤中，当在相应的子图像中识别的对象的数量超过预先确定的对象数量时，将所述子图像的清晰视野值设置到一个预先确定的值上（220）。

6.根据以上权利要求中任一项所述的方法，其中，在确定（105）所述清晰视野值的步骤中，当在预先确定的时间间隔中在相应的子图像中没有识别到对象时，将所述子图像的清晰视野值减小一个差值（222）。

7.根据权利要求2至6中任一项所述的方法，其中，在对于所述子图像中的每一个确定（113）所述失明概率的步骤中，减去（228）相应的子图像的失明值和清晰视野值。

8.根据权利要求2至7中任一项所述的方法，其中，所述方法具有基于所述子图像的选择的失明概率来确定（226）失明信号的步骤，其中，所述失明信号定义在包括所述子图像的选择的区域中所述摄像机的失明概率。

9.设备，其被构造用于实施根据权利要求1至8中任一项所述的方法的步骤。

10.具有程序代码的计算机程序产品，所述程序代码存储在机器可读的载体上，用于当在控制设备上执行程序时实施根据权利要求1至8中任一项所述的方法。

Images