CN102844767B - 用于分析车辆的图像采集装置的图像的方法与设备 - Google Patents
用于分析车辆的图像采集装置的图像的方法与设备 Download PDFInfo
- Publication number
- CN102844767B CN102844767B CN201180010967.2A CN201180010967A CN102844767B CN 102844767 B CN102844767 B CN 102844767B CN 201180010967 A CN201180010967 A CN 201180010967A CN 102844767 B CN102844767 B CN 102844767B
- Authority
- CN
- China
- Prior art keywords
- image
- blind
- collecting device
- region
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims description 32
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
提出了一种用于分析车辆的图像采集装置的图像的方法。在考虑图像采集装置的曝光特征曲线的情况下确定(103)图像的亮度信息以及根据所述亮度信息调节(105)阈值。确定(107)所述图像的图像结构以及基于所述图像结构在使用所述阈值的情况下确定(109)所述图像的失明值。
Description
技术领域
本发明涉及一种用于分析图像采集装置的图像的方法、一种相应的控制设备以及一种相应的计算机程序产品。
背景技术
US-7423752B2涉及雾识别算法,其尝试确定雾中摄像机的视距。在此,对象识别基于边缘识别。
发明内容
在所述背景下,通过本发明提出根据本发明的独立权利要求所述的一种用于分析图像采集装置的图像的方法、一种使用所述方法的设备以及一种相应的计算机程序产品。有利的构型由相应的从属权利要求和以下描述得出。
本发明的核心是失明识别算法,其中可以根据摄像机调节进行失明识别。借助于摄像机调节可以确定关于图像中的结构的概率的说明并且相应地匹配失明识别的灵敏度。为了得到关于摄像机的失明的说明,因此可以一起考虑摄像机调节的特征曲线。通过使用摄像机的特征曲线而不仅仅使用亮度,可以更准确地匹配灵敏度。通过特征曲线和(因此)再线性化直方图的知识,可以使失明识别的灵敏度显著更好地匹配于实际情况。所产生的直方图可以不仅用于灵敏度的评价而且也可以直接用作除图像中的结构以外的其他信息源,以便获得关于失明的说明。
所述实施方式的另一优点在于:关于图像的确定部分中的再线性化直方图的知识,不仅仅关于整个图像的知识。因此,尤其是可以改善图像的一部分中具有强亮度差的情景中的失明。
通过使用摄像机调节的信息,可以使失明识别显著更好地匹配于实际情况。由此能够实现关于失明的更稳定的说明。
失明识别算法可以基于结构,例如对象的边缘。根据本发明,可以进行摄像机图像的划分。优选地,可以生成用于不同功能——例如用于冷凝时的挡风玻璃加热的运行的特定的失明信号。为了改进失明识别,可以将其他测量算法的结果一起纳入失明的评价。
可以计算图像中的不同区域的失明概率并且可以由此生成不同算法的失明信号。当已识别到失明时,算法可以又进入可靠状态中。可以附加地以清晰视野概率计算失明概率。
因此,清晰视野信息可以用于支持失明识别。附加地,失明识别的灵敏度可以与照明相关。例如,在夜间存在较低的概率,从而当在摄像机图像中发现较少的边缘时涉及失明。如果将摄像机图像划分成一些失明区域,则由这些失明区域又可以计算失明信号。例如,图像的上部部分中的区域对于车道识别功能的失明识别而言是不重要的。根据本发明,失明信号的去抖动可以与识别失明的持续时间相关。
本发明提供一种用于分析车辆的图像采集装置的图像的方法,所述方法包括以下步骤:通过图像接口接收图像,其中所述图像表示由图像采集装置提供的图像数据;基于所述图像在考虑图像采集装置的曝光特征曲线的情况下确定图像的亮度信息;根据亮度信息调节阈值;确定图像的图像结构;基于所述图像结构在使用阈值的情况下确定图像的失明值。
图像采集装置可以是设置在车辆中或设置在车辆上的摄像机。图像采集装置可以被构造用于连续地检测和提供车辆周围环境的图像信息或图像。这些图像可以由车辆中的不同功能或用户——例如车窗加热装置或车道辅助系统使用。如果图像采集装置失明,则提供给这些功能的图像不包含可用的图像信息。如果没有识别到失明,则这会导致这些功能的故障。失明例如可以通过图像采集装置的光学器件的严重沾污或通过图像采集装置的光学器件的损坏引起。失明可以涉及由图像采集装置提供的图像的整个图像部分或者仅仅一个或多个图像部分。失明值或由其求得的用于失明概率的值定义以怎样的概率存在摄像机的失明。因此,基于失明值或失明概率可以确定涉及所述图像的图像信息是否由于失明而是有错误的并且因此在相应的功能中不应被分析处理或仅仅被有限地分析处理。所述图像结构可以涉及沿着图像内的亮度边界的边缘曲线。因此,边缘可以定义亮度差。可以分析处理边缘曲线的特性——例如其方向或长度,以便确定失明值。为了确定失明值,可以将特定的特性——例如边缘斜率与可以相应于失明阈值的阈值进行比较。通过所述阈值可以调节失明识别的灵敏度。通过根据亮度信息调节阈值,识别失明取决于摄像机调节。图像结构也可以表示例如可以由对象识别进行识别的一个或多个对象。在这种情况下,为了确定失明值,可以将多个所识别的对象与在所述情况中可以相应于清晰视野阈值的阈值进行比较。因此,可以仅仅通过失明识别、仅仅通过清晰视野检查或者通过失明识别与清晰视野检查的组合进行失明识别。在组合的情况中,可以在彼此分离的装置中进行失明识别和清晰视野检查。
根据本发明的方法可以包括由亮度信息确定再线性化直方图的步骤。可以根据再线性化直方图实施阈值的调节。除阈值的调节外,也可以使用除图像结构以外的直方图直接作为其他信息源,以便获取关于失明的说明。
根据本发明的方法还可以包括基于亮度信息的时间变化求得亮度变化的步骤。此外,对于区域中的每一个,可以基于亮度变化实施失明概率的确定。亮度变化是用于识别或防止失明的附加可行方案。在此,可以分析处理直方图。只要在此存在较少运动,则这可以认为是对失明的指示。
根据一种实施方式,图像结构可以分别表示每个区域的边缘斜率。所述边缘斜率可以借助于已知的方法求得并且给出图像部分的结构性的良好度量。
根据一种实施方式,图像结构可以表示至少一个在图像中成像的对象。例如,图像结构可以表征对象的轮廓或面变化,其可以用于图像识别。
根据本发明的方法还可以包括接收关于已经基于由图像采集装置提供的图像识别的对象的信息的步骤。在一个确定对象数量的步骤中,可以基于关于对象的信息确定图像的对象数量,其中所述对象数量包括每个图像的多个所识别的对象。在一个确定的步骤中,可以基于对象数量在使用清晰视野阈值的情况下确定图像的清晰视野值。可以基于失明值和清晰视野值实施图像失明概率的确定。通过分析处理图像中的对象的数量,可以附加地防止失明。如果没有计数到对象,则这可以是对摄像机的失明的指示。考虑用于确定清晰视野值的对象例如可以是所识别的车道或其他车辆。清晰视野值或由此求得的用于失明概率的值定义以怎样的概率存在摄像机的清晰视野或失明。可以由独立的对象识别装置实施对象识别。可以基于摄像机的当前图像或者基于在时间上在前的图像实施对象识别。可以计数在预先确定的时间间隔内识别到的对象的数量。通过所述方式可以不断地更新对象数量的值。
根据一种实施方式,可以根据亮度信息进行清晰视野值的调节。通过所述方式,可以在清晰视野检查时考虑通过摄像机调节所调节的图像采集灵敏度。
可以根据图像的对象数量与清晰视野阈值的比较使图像的现有的清晰视野值改变一个预先确定的值。例如,当没有计数到对象或者计数到比通过清晰视野阈值说明的更少的对象时,可以减小现有的清晰视野值。
根据一种实施方法,根据本发明的方法可以包括将图像划分成各个区域的步骤,其中对于这些区域中的每一个可以确定一个失明值和/或一个清晰视野值。为了对于每一个区域确定一个失明值,可以在划分图像之后在使用失明阈值的情况下对于这些区域中的每一个确定图像的图像结构以及基于相应区域的图像结构确定这些区域中的每一个的失明值。因此,可以将整个图像划分成一些区域,其中每一个区域包括整个图像的一个确定的部分。所有区域可以共同得到整个图像。图像的各个区域不可重叠。因此,无需重复分析处理图像数据。替代地,各个区域的图像部分的重叠也是可能的。对于每一个区域确定一个失明值。此外,对于每一个区域基于相应的失明值可以确定所述区域的失明概率。失明值或由其求得的失明概率的值定义在由相应的区域覆盖的部分中以怎样的概率存在摄像机的失明。因此,可以基于失明概率确定涉及所述区域的图像信息是否由于失明而是有错误的并且因此在相应的功能中不应被分析处理或仅仅被有限地分析处理。在此,对于区域中的每一个,可以计数在多个区域上延伸的对象。如果在一个区域中计数多个对象,则这意味着:摄像机至少关于所述区域不是失明的。
根据本发明的方法还可以包括基于第一组区域的失明值确定第一失明信息以及基于第二组区域的失明值确定第二失明信息的步骤。可以作为失明信号提供所述失明信息。失明信息可以分别示出:是否关于相应的区域组假定图像采集装置的失明。在此,可以向基于图像的第一组区域中的图像信息的功能提供第一失明信息。相应地,可以向基于第二组图像区域中的图像信息的功能提供第二失明信息。各个区域可以包含在多个组中。
根据本发明的方法可以包括向第一图像分析处理装置提供第一失明信息和向第二图像分析处理装置提供第二失明信息的步骤。第一图像分析处理装置可以被构造用于分析处理在第一组区域中包含的图像信息,第二图像分析处理装置可以被构造用于分析处理第二组区域中包含的图像信息。可以分别作为信号提供失明信息。图像分析处理装置可以表示功能或用户。
此外,本发明还实现一种用于分析图像采集装置的图像的设备,其被构造用于实施或者实现根据本发明的方法的步骤。本发明所基于的任务也可以通过本发明的设备形式的实施变型方案快速且高效地解决。
设备在此可以理解为处理传感器信号和据此输出控制信号的电设备。所述设备可以具有硬件构造的和/或软件构造的接口。在硬件构造时,接口例如可以是所谓的系统ASIC的一部分,其包含所述设备的各种不同的功能。但也可能的是,接口是单独的集成电路或者至少部分地由分立的部件组成。在软件构造时,接口可以是例如在微控制器上与其他软件模块共存的软件模块。
具有程序代码的计算机程序产品也是有利的,所述程序代码可以存储在机器可读的载体——如半导体存储器、硬盘存储器或光学存储器上,并且用于当在设备上执行所述程序时实施根据以上描述的实施方式之一的方法。
附图说明
以下根据附图示例性地进一步阐述本发明。附图示出:
图1:本发明的一个实施例的流程图;
图2:本发明的另一实施例的流程图;
图3:根据本发明的一个实施例的根据本发明的方法的部分区段的流程图;
图4:根据本发明的一个实施例的根据本发明的方法的另一部分区段的流程图;
图5:根据本发明的一个实施例的摄像机图像的示图;以及
图6:根据本发明的一个实施例的亮度特征曲线。
具体实施方式
在本发明的优选实施例的以下描述中,对于在不同附图中示出的并且作用类似的元素使用相同或相似的附图标记,其中不重复描述这些元素。
图1示出根据本发明一个实施例的用于分析图像采集装置的图像的方法的流程图。在步骤101中接收图像。所述图像可以作为原始图像直接由图像采集装置——例如摄像机接收或者作为经预处理的图像由预处理装置接收。所述图像可以具有例如像点形式的图像信息,所述图像信息再现图像采集装置的视野范围。
在步骤103中可以确定图像的亮度信息。这可以在考虑图像采集装置的曝光特征曲线的情况下进行。关于曝光特征曲线的信息可以由图像采集装置提供或者可以从存储装置中读取。在步骤105中可以根据亮度信息实施失明阈值的调节。此外,在步骤107中可以确定图像的图像结构并且在步骤109中确定图像的失明值。在此,可以基于图像结构在使用失明阈值的情况下确定失明值。在步骤111中由失明值确定图像的失明概率。
根据另一实施例,不仅可以确定整个图像的总失明值或总失明概率也可以确定图像的各个区域的各个失明值或各个失明概率。
为此可以将图像划分成多个区域。例如可以形成三个行和三个列,从而将图像划分成九个区域。替代地,也可以通过另一方式来划分图像,并且形成多于或少于九个区域。这些区域可以分别覆盖不同的图像部分。替代地,存在这些区域的部分重叠。可以如此选择图像部分,使得由算法使用的区域被覆盖。
对于每一个区域确定位于相应区域内的图像结构。图像结构可以表示边缘曲线。可以基于已知的方法——例如用于确定图像中的边缘的方法来进行图像结构的确定。使用每一个区域的图像结构,以便对于这些区域中的每一个确定一个失明值。即,对于每一个区域基于相应图像的图像结构确定一个自己的失明值。为此,可以将图像结构或者由其导出的参量与一个失明阈值进行比较。根据本发明可以使用平均边缘斜率作为结构。根据比较结果,可以将失明值设置为一个相应的值。例如,所述失明值可以在超过所述失明阈值时具有第一值而在低于所述失明阈值时具有第二值。第一值可以给出关于对于相应区域存在失明的提示而第二数值可以给出关于对于相应区域存在非失明的提示,或者反之。
失明阈值可以是固定地预给定的,但或者也可以是可调节的。如果失明阈值是可调节的,则可以通过失明阈值来调节失明识别的灵敏度。例如可以根据图像的亮度或图像的区域的亮度来调节失明阈值。如果根据图像的一个区域的亮度来调节失明阈值,则所述区域可以是一个预先确定的区域或者是随后基于失明阈值确定失明值的区域。根据亮度可以选择与亮度相对应的失明阈值。
图像的亮度取决于图像采集装置的调节。所述调节例如可以表示曝光特征曲线。图像的亮度取决于曝光特征曲线。图像可以具有高亮度,尽管所检测的环境是暗的。在知道曝光特征曲线或在检测图像时所使用的调节的情况下可以由图像的亮度得出例如由图像成像的环境的实际亮度。因此可以根据所述实际亮度选择与实际亮度相对应的失明阈值。为此不需要用于求得环境中的亮度的其他传感机构。取而代之地,可以基于图像的亮度或图像的一个区域的亮度和摄像机调节来确定实际亮度。关于摄像机调节的信息可以通过接口提供给根据本发明的方法。
对于每一个区域可以确定一个失明概率。一个区域的失明概率基于与所述区域相对应的失明值确定。一个区域的失明概率说明:图像采集装置在由所述区域覆盖的部分内以怎样的概率是失明的。
可以将各个区域的失明概率彼此关联。可以形成不同的失明信息,这些失明信息可以分别涉及区域的不同分组。例如,对于第一组区域可以确定第一失明信息,并且对于第二组区域可以确定第二失明信息。相应的失明信息基于相应组的区域的失明概率。可以形成其他组的其他失明信息。也可以形成仅仅对应于一个单个区域的失明信息。所述失明信息或者基于所述失明信息的信号可以提供给分析处理或者再处理图像的由相应区域组覆盖的部分。例如,当由区域组的失明概率形成的平均失明概率超过或低于一个极限值时,基于失明信息的信号可以包含对所识别的失明的警告。替代地,当一个或多个区域的失明概率低于或超过一个极限值时,基于失明信息的信号可以包含对所识别的失明的警告。
为了能够更准确地确定失明概率,可以附加地对于每一个区域确定一个自己的清晰视野值。清晰视野值的大小分别取决于:在相应的区域中是否识别到对象,如果识别到对象,识别到多少个对象。对象识别可以是根据本发明的方法的一部分,或者与根据本发明的方法分离地实施对象识别。如果单独地进行对象识别,则可以向根据本发明的方法提供相应的对象信息,由所述对象信息可以求得每个区域的对象数量。可以并行地确定失明值与清晰视野值。因此,对于每一个区域可以确定一个相对应的清晰视野值和一个相对应的失明值,并且可以基于此确定一个相对应的失明概率。在这种情况下,通过将相应的失明值与相应的清晰视野值彼此组合或逻辑关联来确定一个区域的失明概率。
可以分别对于所有区域或仅仅对于确定的区域确定失明概率。可以不断地重复或者响应于请求地执行根据本发明的方法。
图2示出根据本发明的另一实施例的用于分析图像采集装置的图像的方法的流程图。
示出了传感器图像202,其例如可以由图像采集装置提供。在步骤204中将图像202划分成九个区域。所述九个区域形成3x3矩阵。随后确定206每个区域的平均边缘斜率。在步骤208中根据一个阈值确定每个区域的失明。
失明的概率可以表示为百分比并且取决于当前的平均边缘斜率相对于阈值的差。在这种情况下100%意味着:不存在边缘并且因此存在失明。0%意味着:平均边缘斜率高于所述阈值。
与步骤202、204并行地,在步骤210中可以确定图像202中或一个区域中的亮度。在步骤210中可以确定一个阈值。为此,特征曲线可以表示阈值与亮度之间的关系。在步骤208中可以使用所述阈值来确定失明。附加地或替代地,在步骤210中可以考虑图像采集装置的调节,例如曝光特征曲线,以便确定所述阈值。
又与步骤202、204、208并行地,在步骤214中可以接收测量算法的结果。所述测量算法可以被构造用于基于传感器图像202或基于在时间上在传感器图像202之前的图像来识别例如车道、对象或交通标志(统称为对象)。在步骤216中可以实施在一个时间间隔内在九个区域之一中探测到的对象的数量的计数。随后可以实施阈值的比较218。如果在区域中存在比阈值更多的所识别的对象,则在步骤220中可以将所述区域的清晰视野概率设置为100%。相反,如果在所述区域中不存在多于所述阈值的所识别的对象,则在步骤222中降低所述区域的清晰视野概率。例如可以由所述区域的现有的清晰视野概率形成所述区域的当前的清晰视野概率,其中从现有的清晰视野概率中减去值1。在这种情况下:清晰视野概率=清晰视野概率-1。
步骤202、204、206、208、210、212用于失明识别。步骤214、216、218、220、222用于清晰视野识别。
在步骤224中将在步骤208中确定的失明值与在步骤220、222中确定的清晰视野值相结合并且确定失明概率。例如为此可以实施减法。在此对于每一个区域可以确定一个自己的失明概率。根据所述实施例:失明概率=失明-清晰视野。在此,失明概率不可以是负的。清晰视野的值可以等于清晰视野概率。在步骤226中对于每一个由根据本发明的方法提供失明信息的功能确定一个失明信号。可以由不同区域的失明概率来确定对于确定的功能确定的失明信号。在步骤228中实施所述一个或多个失明信号的发送。
以下根据其他实施例进一步描述根据本发明的失明识别与清晰视野检查的各个方法步骤。
图3示出根据本发明一个实施例的失明识别的框图。示出了成像器或图像转换装置302,其被构造用于向用于失明识别的装置308提供原始图像。用于失明识别的装置308被构造用于基于原始图像确定失明矩阵并且将所述失明矩阵提供给用于信号处理的装置326。用于信号处理的装置326被构造用于基于失明矩阵向失明识别的用户提供信号。
参照在图2中示出的实施例,成像器302可以被构造用于提供传感器图像202。在装置308中例如可以执行方法步骤204、206、208、210、212、224,在装置326中可以执行方法步骤226、228。
为了失明识别,例如可以将例如由成像器302提供的每一个图像划分成九个相同大小的区域。对于每一个区域,例如可以在装置308中计算一个失明概率。失明概率可以基于在图像中找到的结构。所述结构可以是边缘。在可以相应于装置326的另一组件中可以确定用于各个失明用户的信号。失明用户例如可以包括FDD、ACC、SHE或RSR。FDD涉及黑暗时的车辆探测。其对于前大灯的控制而言是必要的。如果存在失明,则没有发现车辆并且以持续远光行驶,这导致炫目。ACC涉及自适应巡航控制。车辆因此自动地行驶并且必须为此监视车辆的空间,如果存在失明,则例如识别不到行人。SHE涉及车窗加热。如果发现失明,则首先加热一次,以便在必要时消除失明。RSR涉及道路标志牌识别。
图4示出根据本发明的一个实施例的清晰视野检查与失明识别的框图。示出了算法414,其被构造用于向用于清晰视野检查的装置418提供结果。用于清晰视野检查的装置418被构造用于基于所述结果来确定清晰视野矩阵并且向用于失明识别的装置424以及向用于信号处理的装置430提供所述清晰视野矩阵。用于信号处理的装置430被构造用于基于清晰视野矩阵提供信号“Freisicht_nio”。用于失明识别的装置424被构造用于基于清晰视野矩阵提供失明信号。对于每一个区域,所述清晰视野矩阵可以具有一个清晰视野概率值。
参照在图2中示出的实施例,算法414可以被构造用于提供结果214。装置418可以被构造用于执行方法步骤216、218、220、222。装置424可以被构造为用于执行方法步骤224。
为了清晰视野检查,可以如在失明识别中那样将图像划分成九个大小相同的区域。当在例如一秒钟的时间间隔内探测到多于确定数量的对象——例如车道、FDD对象或MOV对象时,将相应的矩阵元素设置为100%。当在另外的时间间隔中不再探测到对象时,则清晰视野值分别每个时间间隔降级一个确定的百分比,例如1%。MOV表示单目对象验证(Monoocular-ObjectVerfiaktion)并且原本必须称作MOD(ObjectDetection:对象检测),因为借助于摄像机在日间探测对象,如汽车或摩托车。
基于清晰视野检查,可以确定信号freisicht_nio。尤其是,可以基于清晰视野矩阵来确定所述信号freisicht_nio。如果在图像中识别到足够的对象——例如LDA对象、FDD对象和MOV对象,则根据所述实施例将所述信号freisicht_nio从1设置为0。信号从一端开始设置15个循环。一旦识别到清晰视野,则发送并且不重新计算信号freisicht_nio。
因此,基于由算法414提供的结果不仅可以实施清晰视野检查而且可以实施失明识别。所识别的清晰视野导致失明的修复。然而,这根据所述实施例仅仅适用于对DPC的清晰视野检查,即使用LDA和FDD的结果。在此,从失明概率中减去清晰视野百分比值。基于所述九个失明矩阵,所谓的经修复的失明矩阵可以计算失明识别的各个信号。DPC表示两用摄像机(DualPurposeCamera)。在摄像机上仅有两个主功能,更确切地说黑暗中的车道识别和车辆识别。
图5示出根据本发明的一个实施例的传感器图像202。图像划分成三个列和三个行,从而形成九个区域。对于每一个区域提供了涉及失明和清晰视野的值,其可以按照根据本发明的方法对于所示的图像202确定。
对于上面一行的区域,从左向右确定如下值:
对于中间一行的区域,从左向右确定如下值:
对于下面一行的区域,从左向右确定如下值:
当一次设置信号Freisicht_nio=0时,不再实施BVS上的清晰视野识别。BVS表示图像处理控制设备。因为摄像机可以仅仅体现两个功能,所以在BVS上计算其他功能。
图像202示出车辆的不同挡风玻璃。图像202在上面一行的区域中具有比下面一行的区域中更高的亮度。在图像202中不能识别清楚的结构并且不能识别对象。
借助于根据本发明的方法可以确定和提供失明信号。参照图2可以在方法步骤226中确定失明信号。
根据所述实施例,对于失明识别的每个用户,选择图像中的要识别失明的部分。当所述区域中的平均失明概率在预先确定的持续时间(例如45秒)上高于一个阈值,则发送相应的失明信号。
对于用户车窗加热,使用整个图像来进行识别。因此,选择所有区域或子图像。关于失明ACC,使用图像的中部和下部,即例如在图5中示出的中间一行和下面一行的子图像。关于失明FDD,使用图像的中部部分。关于失明RSR,使用中部部分或上部部分。关于失明“错误存储记录”,适用30分钟的去抖动时间并且使用整个图像。
图6示出根据本发明的一个实施例的亮度特征曲线612。亮度特征曲线612绘制在一个图中,其中在横坐标上绘制了光强度cbl(基于摄像机的光传感器)并且在纵坐标上绘制了阈值的平均值,其表示失明识别的灵敏度。参照图2,可以在方法步骤212中使用亮度特征曲线612。根据图像的亮度可以从亮度特征曲线612中读取阈值,所述阈值可以在方法步骤208中使用。
阈值对于1cbl的光强度具有值35,对于30cbl的光强度具有值100,对于600cbl的光强度具有值220,对于2000cbl的光强度具有值230并且对于15000cbl的光强度具有值350。因此,在暗图像的情况下可以选择更小的阈值而在亮图像的情况下可以选择更大的阈值。与此相应地,与在极亮图像的情况下相比,在暗图像的情况下存在失明确定方面的低灵敏度。其间,灵敏度随着亮度增加而仅仅具有小的升高。
亮度特征曲线612定义失明识别的灵敏度。特别是在夜间,可能出现结构非常缺乏的场景,其类似于失明场景。因此,存在失明识别的与亮度相关的灵敏度,如其通过特征曲线612示出的那样。
除亮度特征曲线612以外或者替代亮度特征曲线612,可以考虑摄像机调节,以便调节失明识别的灵敏度。可以通过曝光特征曲线考虑摄像机调节。
因此,可以使失明识别扩展再线性化直方图的平均值和方差,以便控制失明识别的灵敏度。
可以直接使用摄像机调节的特征曲线,以便获得关于图像中的结构附着性的说明。
如果提供图像中的多个部分的再线性化直方图,则当图像由非常亮的部分和非常暗的部分组成时可以获得关于失明的更好说明。
对于失明识别而言,世界中的亮度与对比度具有决定性意义,相反摄像机调节遵循以下目标:总是产生具有尽可能高对比度的、曝光最佳的图像。因此,原则上可考虑两种场景。
根据第一场景,世界例如由于雾是对比度缺乏的,但摄像机调节产生对比度丰富的图像,其方式是,突出强调极低的对比度。
根据第二场景,世界例如由于太阳较低或投影是对比度丰富的。为了摄像机调节可以呈现完整的对比度范围,即在图像中不存在饱和,压缩暗部分和亮部分中的对比度。这导致边缘(例如对于街道边缘处的树木)的消失,这又可能导致失明的探测。
在两种情况中有利的是,失明识别一起考虑摄像机调节的当前所调节的特征曲线并且因此不期待灰度值而期待亮度值。
所描述的和在附图中示出的实施例仅仅是示例性地选择的。不同的实施例可以完整地或者在各个特征方面彼此组合。一个实施例也可以通过另一实施例的特征来补充。此外,可以重复以及以不同于所描述的顺序的顺序来执行根据本发明的方法步骤。
Claims (11)
1.用于分析车辆的图像采集装置的图像的方法,所述方法包括以下步骤:
通过图像接口接收(101)图像(202),其中,所述图像表示由所述图像采集装置(302)提供的图像数据并且具有与所述图像采集装置的曝光特征曲线相关的亮度;
将所述图像划分成各个区域;
基于所述图像的亮度和所述图像采集装置的曝光特征曲线的情况下确定(103)所述图像的亮度信息,所述亮度信息表示由所述图像成像的周围环境的实际亮度;
调节(105)阈值,其方式是,根据所述亮度信息选择与所述亮度信息相对应的阈值;
对于所述区域中的每一个,确定(107)所述图像的图像结构,其中,所述图像结构表示每一个区域的边缘变化的平均边缘斜率;以及
对于所述区域中的每一个,基于相应区域的图像结构在使用所述阈值的情况下确定(109;208)所述图像的失明值,其方式是,将所述图像结构或由其导出的参量与所述阈值进行比较,其中,失明值定义在由相应区域覆盖的范围中以怎样的概率存在所述图像采集装置的失明。
2.根据权利要求1所述的方法,其中,所述方法具有由所述亮度信息确定再线性化直方图的步骤,其中,根据所述再线性化直方图实施所述阈值的调节。
3.根据权利要求1或2所述的方法,其中,所述方法具有基于所述亮度信息的时间变化求得亮度变化的步骤,其中,还基于所述亮度变化实施所述失明值的确定。
4.根据权利要求1或2所述的方法,其中,所述图像结构表示至少一个在所述图像中成像的对象。
5.根据权利要求1或2所述的方法,其中,所述方法具有接收关于基于由所述图像采集装置(302)提供的图像识别的对象(214)的信息的步骤;所述方法具有基于关于所述对象的信息确定(216)所述图像的对象数量的步骤,其中,所述对象数量包括每个图像所识别的对象的数量;所述方法具有基于所述对象数量在使用清晰视野阈值的情况下确定(220,222)所述图像的清晰视野值的步骤。
6.根据权利要求5所述的方法,其中,其中,所述方法具有根据所述亮度信息调节所述清晰视野阈值的步骤。
7.根据权利要求5所述的方法,其中,所述方法具有基于所述失明值和所述清晰视野值确定所述图像的失明概率的步骤。
8.根据权利要求5所述的方法,其中,根据所述图像的对象数量与所述清晰视野度阈值的比较使所述图像的现有的清晰视野值改变一个预先确定的值。
9.根据权利要求1或2所述的方法,其中,所述方法具有将所述图像划分成各个区域的步骤,其中,对于这些区域中的每一个确定一个失明值和/或一个清晰视野值。
10.根据权利要求9所述的方法,其中,所述方法具有基于第一组区域的失明值来确定(111;226)第一失明信息并且基于第二组区域的失明值来确定第二失明信息的步骤。
11.设备,所述设备用于分析车辆的图像采集装置的图像并且包括以下模块:
第一模块,其构造用于通过图像接口接收(101)图像(202),其中,所述图像表示由所述图像采集装置(302)提供的图像数据并且具有与所述图像采集装置的曝光特征曲线相关的亮度;
第二模块,其构造用于将所述图像划分成各个区域;
第三模块,其构造用于基于所述图像的亮度和所述图像采集装置的曝光特征曲线的情况下确定(103)所述图像的亮度信息,所述亮度信息表示由所述图像成像的周围环境的实际亮度;
第四模块,其构造用于调节(105)阈值,其方式是,根据所述亮度信息选择与所述亮度信息相对应的阈值;
第五模块,其构造用于对于所述区域中的每一个确定(107)所述图像的图像结构,其中,所述图像结构表示每一个区域的边缘变化的平均边缘斜率;以及
第六模块,其构造用于对于所述区域中的每一个基于相应区域的图像结构在使用所述阈值的情况下确定(109;208)所述图像的失明值,其方式是,将所述图像结构或由其导出的参量与所述阈值进行比较,其中,失明值定义在由相应区域覆盖的范围中以怎样的概率存在所述图像采集装置的失明。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010002312.4 | 2010-02-24 | ||
DE102010002312A DE102010002312A1 (de) | 2010-02-24 | 2010-02-24 | Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug |
PCT/EP2011/051934 WO2011104124A1 (de) | 2010-02-24 | 2011-02-10 | Verfahren und vorrichtung zur analyse eines bildes einer bilderfassungseinrichtung für ein fahrzeug |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102844767A CN102844767A (zh) | 2012-12-26 |
CN102844767B true CN102844767B (zh) | 2016-08-03 |
Family
ID=44009800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180010967.2A Active CN102844767B (zh) | 2010-02-24 | 2011-02-10 | 用于分析车辆的图像采集装置的图像的方法与设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8818093B2 (zh) |
EP (1) | EP2539851B1 (zh) |
CN (1) | CN102844767B (zh) |
DE (1) | DE102010002312A1 (zh) |
WO (1) | WO2011104124A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012215287A1 (de) * | 2012-08-29 | 2014-05-28 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben eines Fahrzeugs |
DE102019116834B4 (de) * | 2019-06-21 | 2021-01-28 | RE'FLEKT GmbH | Augmentierte Fotoaufnahme |
CN111881917A (zh) * | 2020-06-30 | 2020-11-03 | 浙江大华技术股份有限公司 | 图像预处理方法、装置、计算机设备和可读存储介质 |
US11993274B2 (en) * | 2020-09-16 | 2024-05-28 | Zenuity Ab | Monitoring of on-board vehicle image capturing device functionality compliance |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6353392B1 (en) * | 1997-10-30 | 2002-03-05 | Donnelly Corporation | Rain sensor with fog discrimination |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3312729B2 (ja) * | 1999-07-14 | 2002-08-12 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
JP2001028056A (ja) * | 1999-07-14 | 2001-01-30 | Fuji Heavy Ind Ltd | フェールセーフ機能を有するステレオ式車外監視装置 |
JP3587506B2 (ja) * | 1999-08-30 | 2004-11-10 | 富士重工業株式会社 | ステレオカメラの調整装置 |
DE10303046A1 (de) | 2003-01-24 | 2004-10-21 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen |
JP4638143B2 (ja) * | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | 車両用運転支援装置 |
FR2884637B1 (fr) | 2005-04-19 | 2007-06-29 | Valeo Vision Sa | Procede de detection de brouillard nocturne et systeme de mise en oeuvre de ce procede |
JP2007245970A (ja) * | 2006-03-16 | 2007-09-27 | Denso Corp | 車両用照明装置 |
-
2010
- 2010-02-24 DE DE102010002312A patent/DE102010002312A1/de active Pending
-
2011
- 2011-02-10 US US13/579,885 patent/US8818093B2/en active Active
- 2011-02-10 CN CN201180010967.2A patent/CN102844767B/zh active Active
- 2011-02-10 WO PCT/EP2011/051934 patent/WO2011104124A1/de active Application Filing
- 2011-02-10 EP EP11704588.0A patent/EP2539851B1/de active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6353392B1 (en) * | 1997-10-30 | 2002-03-05 | Donnelly Corporation | Rain sensor with fog discrimination |
Also Published As
Publication number | Publication date |
---|---|
CN102844767A (zh) | 2012-12-26 |
EP2539851A1 (de) | 2013-01-02 |
DE102010002312A1 (de) | 2011-08-25 |
EP2539851B1 (de) | 2018-04-11 |
US20130039576A1 (en) | 2013-02-14 |
US8818093B2 (en) | 2014-08-26 |
WO2011104124A1 (de) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5747549B2 (ja) | 信号機検出装置及びプログラム | |
JP2012068965A (ja) | 画像認識装置 | |
WO2017171659A1 (en) | Signal light detection | |
CN102782722B (zh) | 用于车辆环境的摄像机的清晰视野检查的方法和设备 | |
CN104392468A (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
CN101900567A (zh) | 基于像素的无纹理畅通路径检测 | |
JP2012226513A (ja) | 検知装置、及び検知方法 | |
US20190057262A1 (en) | Driver assistance system and method for object detection and notification | |
CN102844767B (zh) | 用于分析车辆的图像采集装置的图像的方法与设备 | |
CN111191535B (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
KR20150114728A (ko) | 카메라의 다중 노출 영상을 이용한 신호등 자동 인식 장치 및 방법 | |
CN113792600B (zh) | 一种基于深度学习的视频抽帧方法和系统 | |
JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
CN104008518B (zh) | 对象检测设备 | |
KR20120098292A (ko) | 차선 검출 방법 | |
JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
JP3294468B2 (ja) | 映像監視装置における物体検出方法 | |
CN110388985B (zh) | 确定街道标记的颜色的方法和图像处理系统 | |
CN117237907A (zh) | 交通信号灯识别方法、装置、存储介质及电子设备 | |
Balci et al. | Front-View Vehicle Make and Model Recognition on Night-Time NIR Camera Images | |
CN110466419A (zh) | 车辆的控制方法、系统及车辆 | |
CN112784817B (zh) | 车辆所在车道检测方法、装置、设备及存储介质 | |
CN114885096A (zh) | 拍摄模式切换方法、电子设备及存储介质 | |
KR20190055479A (ko) | 마커 인식 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |