CN101646021A - 曝光确定装置和图像处理设备 - Google Patents
曝光确定装置和图像处理设备 Download PDFInfo
- Publication number
- CN101646021A CN101646021A CN200910159254A CN200910159254A CN101646021A CN 101646021 A CN101646021 A CN 101646021A CN 200910159254 A CN200910159254 A CN 200910159254A CN 200910159254 A CN200910159254 A CN 200910159254A CN 101646021 A CN101646021 A CN 101646021A
- Authority
- CN
- China
- Prior art keywords
- exposure
- zone
- image
- zones
- mismatch area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/28—Circuitry to measure or to take account of the object contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Abstract
本发明公开了一种曝光确定装置和图像处理设备。在曝光确定装置中,图像获取单元获取第一图像。第一图像由图像拾取单元以第一曝光拾取。光强度检测单元提取第一图像中的区域并且检测区域中的光强度。基于检测到的每个区域中的光强度,失配区域确定单元确定每个区域是否是失配区域,在所述失配区域中,由于针对区域中的相应一个区域的第一曝光的过度或不足,边缘估计未被检测到。当确定区域中的一个是失配区域时,第二曝光确定单元确定图像拾取单元的第二曝光。第二曝光与失配区域中的光强度相匹配。
Description
技术领域
本发明涉及用于在图像拾取单元拾取图像之前确定图像拾取单元的曝光的曝光确定装置以及装备有这样的曝光确定装置的图像处理设备。
背景技术
具有检测拾取图像中的“边缘”的功能的图像处理设备广泛使用于各种领域;这些“边缘”指的是图像亮度或颜色变化的边界。例如在日本专利申请公开第2001-005966号中公开的一种这样的图像处理设备被设计成使图像拾取单元执行预先确定的数目如三次或更多的图像拾取,同时改变图像拾取单元的曝光量。对于要被拾取的目标的每个亮度范围,图像拾取的数目已被预先确定。
因为图像拾取单元的曝光量以图像拾取的预先确定的数目而改变,所以相对于图像拾取单元的动态范围,可以实现具有大动态范围的图像。注意动态范围指的是图像拾取单元可以拾取的图像的最大照度和最小照度之间的范围。
这样一来,即使拾取的图像中的区域亮度彼此不同,也可以检测拾取的图像中的边缘;这些区域例如对应于要被拾取的向阳区和阴影区。
然而,这种类型的图像处理设备总是需要为要被拾取的每个目标的亮度范围执行预先确定数目的图像拾取,并且需要基于每个拾取的图像执行图像处理以便检测边缘。即使不需要执行预先确定数目的图像拾取,这也会使图像处理设备为要被拾取的每个目标的亮度范围执行预先确定数目的图像拾取,并且基于每个拾取的图像执行图像处理以便检测边缘。
因此,这会在检测边缘时增加图像处理设备的处理负荷。
发明内容
考虑到上述情况,本发明的一个方面的目的是提供这样的技术,该技术允许图像处理设备准确检测边缘,同时尽可能低地减少图像处理设备的处理负荷。
根据本发明的一个方面,提供了一种用于图像拾取单元的曝光确定装置。该装置包括图像获取单元,其配置成获取第一图像。第一图像由图像拾取单元以预先确定的第一曝光拾取。该装置包括光强度检测单元,其配置成提取第一图像中的多个区域并且检测所述多个区域中的每一个区域中的光强度。该装置包括失配区域确定单元,其配置成基于检测到的所述多个区域中的每一个区域中的光强度,确定所述多个区域中的每一个区域是否是至少一个失配区域,在所述至少一个失配区域中,由于针对所述多个区域中的相应一个区域的第一曝光的过度和不足中的任何一种,边缘估计未被检测到。该装置包括第二曝光确定单元,其配置成当确定所述多个区域中的至少一个区域是所述至少一个失配区域时,确定所述图像拾取单元的第二曝光。所述第二曝光与所述至少一个失配区域中的光强度匹配。
根据本发明的另一个方面,提供了一种嵌入在可由用于图像拾取单元的曝光确定装置的计算机访问的介质中的程序产品。该程序产品包括第一步骤,用于命令所述计算机获取第一图像。第一图像由图像拾取单元以预先确定的第一曝光拾取。该程序产品包括第二步骤,用于命令所述计算机提取第一图像中的多个区域并且检测所述多个区域中的每一个区域中的光强度。该程序产品包括第三步骤,用于命令所述计算机基于检测到的所述多个区域中的每一个区域中的光强度,确定所述多个区域中的每一个区域是否是至少一个失配区域,在所述至少一个失配区域中,由于针对所述多个区域中的相应一个区域的第一曝光的过度和不足中的任何一种,边缘估计未被检测到。该程序产品包括第四步骤,用于命令所述计算机当确定所述多个区域中的至少一个区域是所述至少一个失配区域时,确定所述图像拾取单元的第二曝光。所述第二曝光与所述至少一个失配区域中的光强度匹配。
根据本发明的进一步的方面,提供了一种用于图像拾取单元的图像处理单元。该图像处理单元包括第一图像获取单元,其配置成使所述图像拾取单元以预先确定的第一曝光拾取第一图像,以从而获取所述第一图像。该图像处理单元包括光强度检测单元,其配置成提取第一图像中的多个区域并且检测所述多个区域中的每一个区域中的光强度。该图像处理单元包括失配区域确定单元,其配置成基于检测到的所述多个区域中的每一个区域中的光强度,确定所述多个区域中的每一个区域是否是至少一个失配区域,在所述至少一个失配区域中,由于针对所述多个区域中的相应一个区域的第一曝光的过度和不足中的任何一种,边缘估计未被检测到。该图像处理单元包括第二曝光确定单元,其配置成当确定所述多个区域中的至少一个区域是所述至少一个失配区域时,确定所述图像拾取单元的第二曝光。所述第二曝光与所述至少一个失配区域中的光强度匹配。该图像处理单元包括第二图像获取单元,其配置成使所述图像拾取单元以所述第二曝光拾取第二图像,以从而获取所述第二图像。该图像处理单元包括边缘检测器,其配置成检测所述第一图像和所述第二图像中的至少一个中的边缘。
附图说明
参考附图,从以下实施例的描述中,本发明的其它目的和方面将会变得明显,其中:
图1是示意性图示根据本发明实施例的安装在车辆中的车道检测系统的总体硬件结构的例子的框图;
图2是示意性图示根据实施例的将要由如图1所示的CPU执行的车道检测程序的流程图;
图3A是示意性图示拾取的图像中的预先设置的车道识别区的例子的视图,其中假定车辆前面的目标区包括从车辆开始在向前方向上按顺序排列的向阳区和阴影区;以及
图3B是示意性图示拾取的图像中的预先设置的车道识别区的另一个例子的视图,其中假定车辆前面的目标区包括从左到右在宽度方向上按顺序排列的向阳区和阴影区。
具体实施方式
下面参考附图来描述本发明的实施例。在附图中,使用相同的标号来标识相同的对应部件。
在实施例中,本发明应用于安装在车辆中作为图像处理设备的例子的车道检测系统1。
参考图1,车道检测系统1装备有控制器10、可通信地连接到控制器10的作为图像拾取单元的例子的摄影机15以及可通信地连接到控制器10的车内装置20。
控制器10例如被设计为常规微型计算机电路,其例如包括CPU 10a、ROM(只读存储器)如可重写ROM 10b、RAM(随机存取存储器)10c、HDD(硬盘驱动器)10d以及其它外围设备(未示出)。CPU 10a、ROM10b、RAM 10c、HDD 10d以及其它外围设备彼此可通信。
ROM 10b在其中预先存储包括车道检测程序P的多个程序,该车道检测程序P包括曝光确定子程序。多个程序中的每个程序使CPU 10a执行相应的程序。例如,车道检测程序P命令CPU 10a控制摄影机15的曝光,并且基于摄影机15所拾取的图像来检测车辆前面的道路表面上的车道(车道位置)。
RAM 10c充当由运行的CPU 10a使用的工作区。
HDD 10d在其中预先存储可由CPU 10a使用的各项信息,并且可以存储从CPU 10a或车内装置20发送的各项信息。
摄影机15安装在车辆框架上安装的车身(外壳)的前侧,并且可操作用于拾取车辆前面的道路表面上的预定目标区的二维图像(帧图像)。每个拾取图像的垂直方向和水平方向分别对应于车辆的向前方向和宽度方向。
每个拾取图像例如由排列成矩阵的多个像素组成;每个像素代表了其相应位置的光强度(亮度)。
摄影机15还可操作用于基于环境光自动控制其曝光,以便获得每个具有适当对比度的拾取图像。对比度指的是图像的亮度(光强度)范围。例如,摄影机15可操作用于计算拾取图像的所有像素的平均亮度,并且基于计算的作为环境光的平均亮度来自动控制其曝光。
具体地,摄影机15包括镜头15a、光圈15b、快门15c、图像传感器15d、驱动器15e和15f、控制器15g以及数字处理器15h。
镜头15a包括设计成收集并聚焦光的一片或多片光学玻璃或类似的材料。
光圈15b作为具有可调节的尺寸的开口,被设计成使得镜头15a所收集的光的一部分从中穿过,以从而控制由图像传感器15d拾取的光量。
快门15c被设计成可开启,并且可操作用于控制时间,在该时间期间,穿过光圈15b的光到达图像传感器15d。亦即,开启速度(快门速度)确定了穿过光圈15b的光到达图像传感器15d期间的时间。
图像传感器15d包括排列成矩阵并且包括光敏像素区的多个光敏元件;每个光敏元件对应于将要由图像传感器15d拾取的图像的一个像素。
当光被图像传感器15d的光敏像素区接收时,接收到的光被光敏元件转换成电模拟图像。
图像传感器15d装备有放大器,用于放大由此检测到的模拟图像,并且可通信地连接到控制器15g。放大器的增益可由控制器15g控制,以便图像传感器15d的ISO(国际组织标准)灵敏度可由控制器15g调节。
驱动器15e可通信地连接到控制器15g,并且可操作用于在控制器15g的控制下改变光圈15b的开启尺寸,以从而控制将要由图像传感器15d拾取的光量。
驱动器15f可通信地连接到控制器15g,并且可操作用于调节快门15c的快门速度,以从而确定穿过光圈15b的光照射到图像传感器15d的像素区期间的时间。
控制器15g可通信地连接到控制器10的CPU 10a。
控制器15g可操作用于计算由图像传感器15d拾取的图像的所有像素的平均亮度,并且基于计算的作为环境光的平均亮度来自动控制摄影机15的曝光。
数字处理器15h可操作用于将模拟图像转换成数字图像,并且将数字图像输出到控制器10。
另外,摄影机15可操作用于响应于从控制器10供应的指令而控制其曝光。
摄影机15的曝光指的是至少一个曝光参数,其确定了将要照射到图像传感器15d的像素区上的光量。
当接收到从控制器10的CPU 10a发送的用于确定指示摄影机15曝光的目标曝光值的指令时,控制器15g根据接收到的指令改变以下至少一个:光圈15b的开启尺寸、快门15c的快门速度以及图像传感器15d的放大器的增益。这允许设置摄影机15的目标曝光值。
车内装置20安装在车辆中,并且可操作用于基于控制器10进行的多个程序的执行结果,执行与车辆的操作状况(驾驶状况)相关联的各种任务如控制目标控制任务。
例如,用于基于车道检测程序P的执行结果自动控制车辆转向的自动转向控制器,或者用于根据车道检测程序P的执行结果向车辆的驾驶员给出“道路偏离警告”的报警装置,可以用作车内装置20。
车道检测系统1的控制器10被设计成每当发生下述情况时,就启动车道检测程序P以从而执行车道检测程序:
点火开关定位到点火位置,以便在车内安装的内燃机和交流发电机开动期间供电;或者
点火开关定位到附属位置,以便从安装在车内的电池供电。
其后,车道检测程序由控制器10循环执行,直到供电停止为止。
下面参考图2来描述根据车道检测程序P将要由CPU 10a执行的车道检测程序。注意,步骤S130至S190中的操作对应于根据实施例的曝光确定单元。
在步骤S120中,当启动车道检测程序P的执行时,CPU 10a向摄影机15(控制器15g)发送指令,命令摄影机15以自我确定的曝光拾取第一图像。
在步骤S300中,基于从CPU 10a发送的指令,控制器15g获得环境光(环境亮度)。例如,在步骤S300中,控制器15g使快门15c开启以从而拾取目标区的图像,并且计算拾取图像的全部像素的平均亮度作为环境光(环境亮度)。
在步骤S310中,基于获得的环境亮度,控制器15g自动调节以下至少一个:光圈15b的开启尺寸、快门15c的快门速度以及图像传感器15d的放大器的增益,以从而自动确定摄影机15的第一曝光(至少一个第一曝光参数)。
下一步,在步骤S320中,控制器15g基于第一曝光控制光圈15b、快门15c和图像传感器15d,以从而以第一曝光拾取目标区的第一图像。在步骤S320中,控制器15g将拾取的数字格式的第一图像发送到控制器10。
在步骤S130中,控制器10的CPU 10a接收(获取)从摄影机15发送的拾取的第一图像,并且将拾取的第一图像例如存储在RAM 10c中。
下一步,在步骤S140中,CPU 10a提取拾取的第一图像中的多个预先设置(编程)的区域(道路表面亮度检测区域),并且计算道路表面的每个区域中的亮度。
下面参考图3A来描述CPU 10a在步骤S140中的特定操作。图3A图示了拾取的图像I中的预先设置的道路识别区的例子,其中假定车辆前面的目标区包括从车辆开始在向前方向上按顺序排列的向阳区(亮区)和阴影区(暗区)。
根据实施例,拾取的图像I的垂直方向上的中心已被设置为车道识别区RA,作为用于车道识别的目标区。另外,在车道识别区RA中,相邻地在垂直方向上排列成两行并且在水平方向上排列成两列的四个区域AR1、AR2、AR3和AR4被设置为道路表面亮度检测区域。
例如,区域AR3和AR4布置成构成矩阵中的第一行,并且区域AR1和AR2布置在区域AR3和AR4各自的下侧,以构成矩阵的第二行。
道路识别区RA的长度和宽度已被确定,以允许车道周围的道路表面的部分上的亮度被适当地检测。类似地,车道识别区RA中的区域的数目已被确定,以允许车道周围的道路表面的部分上的亮度被适当地检测。此外,区域AR1至AR4中的每一个的长度和宽度已被确定,以允许车道周围的道路表面的部分上的亮度被适当地检测。
在步骤S140中,CPU 10a计算区域AR1至AR4中的每一个中的全部像素的平均亮度(平均光强度),以从而估计区域AR1至AR4中的每一个的平均亮度,作为道路表面的区域AR1至AR4中的每一个中的估计亮度。
注意,上面没有车道的道路表面的亮度估计略微低于其中包含有车道的对应区域的平均值。因为这个原因,所以与当其中不包含车道时区域AR1至AR4中的对应一个的平均亮度相比,当其中包含车道时区域AR1至AR4中的每一个中的平均亮度的增加通过试验或仿真等来估计。然后,在步骤S140中,通过从区域AR1至AR4中的对应一个的平均亮度中减去估计的增加,CPU 10a可以计算道路表面的区域AR1至AR4中的每一个中的估计亮度。
在步骤S140中,CPU 10a可以在车道识别区RA中设置多个道路表面亮度检测区域,使得道路表面亮度检测区域位于车道识别区RA中包含的车道周围。
特别地,图3B图示了拾取的图像I中的预先设置的道路识别区RA的另一个例子,其中假定车辆前面的目标区包括从左到右在宽度方向上按顺序排列的向阳区和阴影区。
如图3B所示,在车道识别区RA中,相邻地在垂直方向上排列成两行并且在水平方向上排列成四列的四对区域AR1a、AR1b、AR2a、AR2b、AR3a、AR3b和AR4a、AR4b可以设置在车道L1和L2周围作为道路表面亮度检测区域。
例如,成对的区域AR3a和AR3b以及成对的区域AR4a和AR4b布置成构成矩阵中的第一行,使得:
区域AR3a和AR3b位于水平方向上的车道L1的两侧;以及
区域AR4a和AR4b位于水平方向上的车道L2的两侧。
类似地,成对的区域AR1a和AR1b以及成对的区域AR2a和AR2b布置成构成矩阵中的第二行,使得:
区域AR1a和AR1b位于水平方向上的车道L1的两侧;以及
区域AR2a和AR2b位于水平方向上的车道L2的两侧。
车道表面亮度检测区域AR1a、AR1b、AR2a、AR2b、AR3a、AR3b和AR4a、AR4b的布置允许车道不包含在它们当中。因为这个原因,可以增加估计车道表面亮度检测区域AR1a、AR1b、AR2a、AR2b、AR3a、AR3b和AR4a、AR4b中的每一个中的平均亮度作为车道表面亮度检测区域AR1a、AR1b、AR2a、AR2b、AR3a、AR3b和AR4a、AR4b中的对应一个中包含的道路表面的亮度的准确性。
在步骤S140中的操作之后,在步骤S150中,CPU 10a确定区域AR1至AR4中的每一个中的失配水平。
具体地,基于道路表面的区域AR1至AR4中的对应一个中的计算的亮度,CPU 10a为区域AR1至AR4中的每一个确定正确曝光;用于区域AR1至AR4中的每一个的这种正确曝光最适合于拾取目标区中的区域AR1至AR4中的对应一个。
下一步,在步骤S150b中,CPU 10a将确定的用于区域AR1至AR4中的每一个的正确曝光与通过摄影机15自身确定的第一曝光相比较。
基于步骤S150b中的比较结果,CPU 10a确定区域AR1至AR4中的每一个中的曝光失配水平。
特别地,在步骤S150b中,CPU 10a确定区域AR1至AR4中的每一个中的曝光失配水平,使得用于区域AR1至AR4中的每一个的正确曝光与第一曝光之间的差越大,则在步骤S150c中,道路表面亮度检测区域AR1至AR4中的对应一个中的曝光失配水平就越高。
换言之,CPU 10a确定区域AR1至AR4中的每一个中的曝光失配水平,使得第一曝光相对于用于区域AR1至AR4中的每一个的正确曝光越高(过度曝光)或越低(曝光不足),则在步骤S150c中,道路表面亮度检测区域AR1至AR4中的对应一个中的曝光失配水平就越高。
例如,当将区域AR1至AR4中的每一个中的曝光失配水平的值确定为按升序排列的水平0、水平1、水平2、水平3和水平4的五级水平中的任何一级时,并且当用于区域的正确曝光和第一曝光之间的差等于或低于第一阈值时,CPU 10a将区域中的曝光失配水平的值确定为水平0(最低水平)。
当用于区域的正确曝光和第一曝光之间的差大于第一阈值并且等于或低于比第一阈值高的第二阈值时,CPU 10a将区域中的曝光失配水平的值确定为水平1。
当用于区域的正确曝光和第一曝光之间的差大于第二阈值并且等于或低于比第二阈值高的第三阈值时,CPU 10a将区域中的曝光失配水平的值确定为水平2。
当用于区域的正确曝光和第一曝光之间的差大于第三阈值并且等于或低于比第三阈值高的第四阈值时,CPU 10a将区域中的曝光失配水平的值确定为水平3。
当用于区域的正确曝光和第一曝光之间的差大于第四阈值时,CPU10a将区域中的曝光失配水平的值确定为水平4(最高水平)。
下一步,在步骤S160中,CPU 10a确定在全部的区域AR1至AR4中是否存在至少一个失配区域;在这至少一个失配区域中,边缘估计未被检测到。具体地,在步骤S160中,CPU 10a确定区域AR1至AR4中的一个目标区ARk(k=1,2,3或4)中的曝光失配水平的值是否等于或大于可变地设置的曝光阈值。
在步骤S160中,CPU 10a可变地将曝光阈值设置为取决于摄影机15以第一曝光拾取的第一图像的动态范围亦即分辨率的值。
更加具体地,在步骤S160中,CPU 10a基于以第一曝光拾取的第一图像的像素获得道路表面的亮度分布,并且获得在内可以检测到第一图像中的边缘的亮度范围。在步骤S160中,CPU 10a在获得的亮度范围之上设置曝光阈值。
例如,当基于以第一曝光拾取的第一图像的像素获得的道路表面的亮度范围对应于范围在水平0至水平2的估计亮度范围时,CPU 10a将曝光阈值设置为水平3。此外,例如当基于以第一曝光拾取的第一图像的像素获得的道路表面的亮度范围对应于范围在水平0至水平3的估计亮度范围时,CPU 10a将曝光阈值设置为水平4。
注意,针对第一曝光的每个调节的值,可以通过试验确定基于以第一曝光拾取的第一图像的像素的道路表面的亮度范围。可以通过试验确定取决于针对第一曝光的每个调节的值确定的亮度范围的曝光阈值。
当车辆前面的目标区被摄影机15拾取时,环境亮度(摄影机15周围的亮度)对应于亮区的亮度或暗区的亮度。例如,向阳区对应于亮区,而阴影区则对应于暗区。又例如,隧道里面对应于暗区,而隧道外面则对应于亮区。
这样,第一曝光通常基于对应于亮区或暗区的环境亮度而确定。这样,当第一图像由摄影机15以对应于亮区的第一曝光拾取时,如果在全部的区域AR1至AR4中存在一个失配区域,则对应于暗区的第二曝光允许边缘在所述一个失配区域中被检测到。
类似地,当第一图像由摄影机15以对应于暗区的第一曝光拾取时,如果在全部的区域AR1至AR4中存在一个失配区域,则对应于亮区的第二曝光允许边缘在所述一个失配区域中被检测到。
特别地,可以假定:
如图3A所示,车辆前面的目标区包括从车辆开始在向前方向上按顺序排列的向阳区和阴影区;以及
基于对应于图3A中的向阳区的环境亮度来确定第一曝光。
在这种假定中,比较低的水平如水平0或水平1很可能被设置到向阳区中包含的区域AR1和AR2中的每一个,并且与此形成对照,比较高的水平如水平3或水平4很可能被设置到阴影区中包含的区域AR3和AR4中的每一个。
当确定在全部的区域AR1至AR4中不存在失配区域(步骤S160中的确定为否)时,CPU 10a确定边缘可以在基于以第一曝光拾取的第一图像的像素的全部区域AR1至AR4中检测到。然后,CPU 10a前进到步骤S170,并且在步骤S170中检测存储在RAM 10c中的第一图像中的边缘。
下一步,在步骤S175中,CPU 10a分析检测到的边缘,以从而从检测到的边缘中提取每个都在大范围之上延伸的并且具有线性或光滑斜率形状的边缘作为道路表面上的车道。其后,在步骤S175中,CPU 10a例如在RAM 10c中存储提取的边缘的坐标(地址)作为车辆前面的道路表面上的车道的位置数据。其后,CPU 10a退出当前的车道检测程序,并且自从退出开始在一个循环已过去之后,CPU 10a执行车道检测程序。
否则,当确定在全部的区域AR1至AR4中存在至少一个失配区域(步骤S160中的确定为是)时,CPU 10a确定边缘不能在所述至少一个失配区域(区域AR1至AR4中的至少一个)中检测到。然后,CPU 10a前进到步骤S180。
在步骤S180中,CPU 10a确定以下至少一个:摄影机15的光圈15b的开启尺寸、摄影机15的快门15c的快门速度以及摄影机15的图像传感器15d的放大器的增益,以作为摄影机15的第二曝光(至少一个第二曝光参数)。
具体地,在步骤S180中,当在步骤S160中检测到一些失配区域时,CPU 10a确定第二曝光,使得当在步骤S160中检测到的一些失配区域中的至少一个(曝光失配水平中的最大值已被设置到一些失配区域中的该至少一个失配区域)由摄影机15拾取时,确定的第二曝光是最合适的曝光。在步骤S160中检测到的一些失配区域中的该至少一个失配区域(曝光失配水平中的最大值已被设置到一些失配区域中的该至少一个失配区域)指的是这样的区域,在该区域中,用于区域的正确曝光和第一曝光之间的差在用于全部的区域AR1至AR4的全部的差当中最大。
例如,在如图3A所示的这个假定中,当曝光阈值设置为水平2时,区域AR3和AR4在步骤S160中被检测为失配区域。此时,当水平3和4分别被设置到区域AR3和AR4时,第二曝光被确定(在步骤S180中),使得当已向其设置最高水平(水平4)的失配区域AR4被摄影机15拾取时,确定的第二曝光是最合适的曝光。
注意,在步骤S180中,当在步骤S160中检测到一些失配区域时,CPU 10a可以基于在步骤S160中检测到的失配区域的曝光失配水平的平均值来确定第二曝光。
下一步,在步骤S190中,CPU 10a向摄影机15(控制器15g)发送指令,命令摄影机15以第二曝光拾取第二图像。
在步骤S330中,基于从CPU 10a发送的指令,控制器15g调节以下至少一个:光圈15b的开启尺寸、快门15c的快门速度以及图像传感器15d的放大器的增益,以将摄影机15的曝光设置为第二曝光。
下一步,在步骤S340中,控制器15g基于第二曝光控制光圈15b、快门15c和图像传感器15d,以从而以第二曝光拾取目标区的第二图像。在步骤S340中,控制器15g将拾取的数字格式的第二图像发送到控制器10。
在步骤S200中,控制器10的CPU 10a接收(获取)从摄影机15发送的拾取的第二图像,并且将拾取的第二图像存储在RAM 10c中。
下一步,在步骤S210中,CPU 10a从RAM 10c中存储的每个第二图像中检测边缘。
在步骤S220中,CPU 10a将从第一图像检测到的边缘与从第二图像检测到的边缘合并。
其后,在步骤S230中,CPU 10a分析合并的数据,并且基于分析的结果从合并的图像中提取每个都在大范围之上延伸的并且具有线性或光滑斜率形状的边缘作为道路表面上的车道。然后,在步骤S230中,CPU 10a例如在RAM 10c中存储在合并的图像中提取的边缘的坐标(地址)作为车辆前面的道路表面上的车道的位置数据。其后,CPU 10a退出当前的车道检测程序。自从退出开始在一个循环已过去之后,CPU 10a执行车道检测程序。
如上所述,根据实施例的车道检测系统1的控制器10配置成:
命令摄影机15以自我确定的第一曝光拾取第一图像;
计算第一图像的区域AR1至AR4中的每一个中的道路表面亮度;以及
基于计算的区域AR1至AR4中的每一个中的道路表面亮度,确定在全部的区域AR1至AR4中是否存在至少一个失配区域;边缘估计在这至少一个失配区域中未被检测到。
当确定在全部的区域AR1至AR4中不存在失配区域时,控制器10确定边缘可以在基于以第一曝光拾取的第一图像的像素的全部区域AR1至AR4中检测到。这样,控制器10检测第一图像的边缘,而不用在车道检测程序的每次执行中以另一个曝光拾取第二图像。
否则,当确定在全部的区域AR1至AR4中存在至少一个失配区域时,控制器10基于拾取的第一图像确定由摄影机15使用的第二曝光,以执行下一个图像拾取。
特别地,控制器10确定对应于所述至少一个失配区域的亮度的第二曝光。
其后,控制器10命令摄影机15以第二曝光拾取第二图像,并且从第一和第二图像的每一个中检测边缘。
使用车道检测系统1的配置,当确定从以第一曝光拾取的第一图像获得的车辆前面的道路表面亮度允许边缘被检测时,可以省略确定另一个曝光和基于另一个曝光拾取另一个图像以便在车道检测程序的每次执行中检测边缘。
另外,只有当确定从以第一曝光拾取的第一图像获得的车辆前面的道路表面亮度使得难以检测边缘时,车道检测系统1才确定第二曝光,并且基于第二曝光拾取第二图像,以便检测边缘。
这样,车道检测系统1就实现了下述优点:准确地检测边缘,同时尽可能低地减少控制器10的处理负荷。
车道检测系统1实现了下述优点:可以基于检测到的边缘的形状来检测车辆前面的道路表面上的车道。
车道检测系统1的控制器10计算区域AR1至AR4中的每一个中的全部像素的平均亮度(平均光强度),以从而估计区域AR1至AR4中的每一个的平均亮度,作为道路表面的区域AR1至AR4中的每一个中的估计亮度。
这样,即使区域AR1至AR4中的每一个中的全部像素的亮度有变化,也可以使区域AR1至AR4中的每一个中的全部像素的亮度的变化平均化。
另外,当检测到一些失配区域时,控制器10确定第二曝光,使得当检测到的一个失配区域(曝光时最不适当的一个区域,曝光失配水平中的最大值已被设置到一些失配区域中的该失配区域)由摄影机15拾取时,确定的第二曝光是最合适的曝光。
这实现了下述优点:确定第二曝光,该第二曝光允许曝光时最不适当的一个区域在其中的边缘可以可靠地检测的情况下被拾取。
本发明不限于所述实施例,并且本发明可以应用于本发明的范围之内的各种修改。
例如,在实施例中,摄影机15配置成在步骤S300和S310中基于环境亮度自动确定第一曝光,但是本发明不限于该结构。
特别地,在实施例的第一种修改中,参考图2,在当前正在运行车道检测程序时,CPU 10a可以计算第一图像或第二图像的区域AR1至AR4中的每一个中的全部像素的平均亮度,如用虚线图示的步骤S110所示;这个第一图像或第二图像已由摄影机15在车道检测程序的以前执行中拾取。
基于区域AR1至AR4中的每一个中的平均亮度,CPU 10a可以确定第一曝光,并且向摄影机15(控制器15g)发送指令,命令摄影机15在步骤S110中以第二曝光拾取第一图像。
基于从CPU 10a发送的指令,控制器15g可以调节以下至少一个:光圈15b的开启尺寸、快门15c的快门速度以及图像传感器15d的放大器的增益,以将摄影机15的曝光设置为第一曝光(参见步骤S320)。
在当前正在执行车道检测程序时,根据第一修改的车道检测系统1可以基于在车道检测程序的以前检测中拾取的第一或第二图像中的至少一些像素的亮度来确定第一曝光。
具体地,在步骤S110中,CPU 10a可以确定第一曝光,使得当区域AR1至AR4中的一个(其中最大平均亮度已被计算)由摄影机15拾取时,确定的第一曝光是最合适的曝光。这可以在摄影机15的动态范围内,在车道检测程序的下一次执行中,维持由摄影机15以第一曝光拾取的第一图像中的区域AR1至AR4中的另一个区域中的亮度。这使得可以在车道检测的下一次执行中容易地确定第二曝光。
车道检测系统1设计成适当地检测车辆前面的道路表面中的车道,但是根据第二修改的控制器10可以检测除了车道之外的对象;这些对象包括经过者如行人或自行车以及路旁对象如标牌或信号。
在第二种修改中,图案图像数据PID预先存储在HDD 10d中。图案图像数据PID包括数字格式的多个目标图案图像,分别指示作为将要由车道检测系统1检测的目标的多个对象的特征。
例如,多个图案图像中的每一个包括排列的像素,每个像素代表了其相应位置的光强度(亮度)。每个图案图像具有其像素的对应特定图案;这个特定图案对应于对象的多个特征中的一个。
特别地,在步骤S175和S230中,控制器10将检测到的边缘的特征与多个图案图像中的每一个相匹配,并且基于图案匹配的结果检测对象中的至少一个。
在第二种修改中,检测到的边缘的特征包括标牌的类型和信号的状态。
如图2所示的车道检测程序是各种车道检测程序的例子,并且因此可以在本发明的主题范围之内进行修改。
虽然已描述了本发明的目前被认为是实施例的内容及其修改,但是将会理解的是,其中可以进行尚未描述的各种修改,并且打算在所附权利要求中覆盖落在本发明的范围之内的所有这些修改。
Claims (7)
1.一种用于图像拾取单元的曝光确定装置,所述装置包括:
图像获取单元,其配置成获取第一图像,所述第一图像由所述图像拾取单元以预先确定的第一曝光拾取;
光强度检测单元,其配置成提取所述第一图像中的多个区域并且检测所述多个区域中的每一个区域中的光强度;
失配区域确定单元,其配置成基于检测到的所述多个区域中的每一个区域中的光强度,确定所述多个区域中的每一个区域是否是至少一个失配区域,在所述至少一个失配区域中,由于针对所述多个区域中的相应一个区域的所述第一曝光的过度和不足中的任何一种,边缘估计未被检测到;以及
第二曝光确定单元,其配置成当确定所述多个区域中的至少一个区域是所述至少一个失配区域时,确定所述图像拾取单元的第二曝光,所述第二曝光与所述至少一个失配区域中的光强度匹配。
2.根据权利要求1所述的曝光确定装置,其中,所述第一图像包括多个像素,每个像素代表相应的光强度,并且所述光强度检测单元配置成检测所述第一图像的所述多个区域中的每一个区域中的全部像素的平均值作为所述多个区域中的相应一个区域中的光强度。
3.根据权利要求1所述的曝光确定装置,其中,所述第二曝光确定单元配置成:
基于检测到的所述多个区域中的每一个区域中的光强度,计算用于所述多个区域中的每一个区域的正确曝光;
计算用于所述多个区域中的每一个区域的所述正确曝光与所述第一曝光之间的差;以及
当确定所述多个区域中的一些区域是所述失配区域时,确定所述图像拾取单元的所述第二曝光,所述第二曝光与所述失配区域中的至少一个失配区域中的光强度匹配,用于所述失配区域中的所述至少一个失配区域的正确曝光与所述第一曝光之间的差是所述第一曝光和所述多个区域中的每一个区域之间的差中最大的。
4.根据权利要求1所述的曝光确定装置,其中,所述图像拾取单元配置成循环执行一组以所述第一曝光对所述第一图像的拾取和以所述第二曝光对第二图像的拾取,所述曝光确定装置进一步包括:
第一曝光确定单元,其配置成基于由所述光强度检测单元在当前循环的以前循环中检测的多个区域中的每一个区域中的光强度,确定当前循环中的所述第一曝光。
5.一种嵌入在可由用于图像拾取单元的曝光确定装置的计算机访问的介质中的程序产品,所述程序产品包括:
第一步骤,用于命令所述计算机获取第一图像,所述第一图像由所述图像拾取单元以预先确定的第一曝光拾取;
第二步骤,用于命令所述计算机提取第一图像中的多个区域并且检测所述多个区域中的每一个区域中的光强度;
第三步骤,用于命令所述计算机基于检测到的所述多个区域中的每一个区域中的光强度,确定所述多个区域中的每一个区域是否是至少一个失配区域,在所述至少一个失配区域中,由于针对所述区域中的相应一个区域的第一曝光的过度和不足中的任何一种,边缘估计未被检测到;以及
第四步骤,用于命令所述计算机当确定所述多个区域中的至少一个区域是所述至少一个失配区域时,确定所述图像拾取单元的第二曝光,所述第二曝光与所述至少一个失配区域中的光强度匹配。
6.一种用于图像拾取单元的图像处理单元,所述图像处理单元包括:
第一图像获取单元,其配置成使所述图像拾取单元以预先确定的第一曝光拾取第一图像,以从而获取所述第一图像;
光强度检测单元,其配置成提取所述第一图像中的多个区域并且检测所述多个区域中的每一个区域中的光强度;
失配区域确定单元,其配置成基于检测到的所述多个区域中的每一个区域中的光强度,确定所述多个区域中的每一个区域是否是至少一个失配区域,在所述至少一个失配区域中,由于针对所述区域中的相应一个区域的第一曝光的过度和不足中的任何一种,边缘估计未被检测到;
第二曝光确定单元,其配置成当确定所述多个区域中的至少一个区域是所述至少一个失配区域时,确定所述图像拾取单元的第二曝光,所述第二曝光与所述至少一个失配区域中的光强度匹配;
第二图像获取单元,其配置成使所述图像拾取单元以所述第二曝光拾取第二图像,以从而获取所述第二图像;以及
边缘检测器,其配置成检测所述第一图像和所述第二图像中的至少一个中的边缘。
7.根据权利要求6所述的图像处理单元,其中,所述图像处理单元安装在行驶于道路表面上的车辆内,所述图像拾取单元安装在所述车辆内,并且所述第一和第二图像中的每一个对应于所述车辆周围的区域,所述图像处理单元进一步包括:
识别单元,其配置成基于检测到的所述边缘的特征,识别所述道路表面上的车道及其上面的行人中的至少一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008205636A JP4525812B2 (ja) | 2008-08-08 | 2008-08-08 | 露出設定装置、露出設定プログラム、および画像処理装置 |
JP2008-205636 | 2008-08-08 | ||
JP2008205636 | 2008-08-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101646021A true CN101646021A (zh) | 2010-02-10 |
CN101646021B CN101646021B (zh) | 2012-08-29 |
Family
ID=41652569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101592547A Expired - Fee Related CN101646021B (zh) | 2008-08-08 | 2009-08-10 | 曝光确定装置和图像处理设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8395698B2 (zh) |
JP (1) | JP4525812B2 (zh) |
CN (1) | CN101646021B (zh) |
DE (1) | DE102009036844B8 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103765438A (zh) * | 2011-08-31 | 2014-04-30 | 罗伯特·博世有限公司 | 用于识别车辆前方的被照明的车道的方法和设备 |
CN105744156A (zh) * | 2016-01-29 | 2016-07-06 | 深圳市美好幸福生活安全系统有限公司 | 一种提高影像中物体识别的系统及方法 |
CN108616690A (zh) * | 2018-04-18 | 2018-10-02 | 广州视源电子科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN108681182A (zh) * | 2018-04-24 | 2018-10-19 | 浙江大华技术股份有限公司 | 一种光圈控制方法及终端设备 |
CN111741229A (zh) * | 2017-02-24 | 2020-10-02 | 三星电子株式会社 | 图像处理方法和设备 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110044544A1 (en) * | 2006-04-24 | 2011-02-24 | PixArt Imaging Incorporation, R.O.C. | Method and system for recognizing objects in an image based on characteristics of the objects |
JP2013160895A (ja) * | 2012-02-03 | 2013-08-19 | Denso Corp | カメラ露出設定装置 |
JP5800288B2 (ja) * | 2012-10-30 | 2015-10-28 | 株式会社デンソー | 車両用画像処理装置 |
JP5737306B2 (ja) | 2013-01-23 | 2015-06-17 | 株式会社デンソー | 露出制御装置 |
JP2016196233A (ja) * | 2015-04-03 | 2016-11-24 | クラリオン株式会社 | 車両用道路標識認識装置 |
JP7005973B2 (ja) * | 2017-07-11 | 2022-01-24 | 日産自動車株式会社 | 運転支援車両のルート探索方法及びルート探索装置 |
JP7007324B2 (ja) * | 2019-04-25 | 2022-01-24 | ファナック株式会社 | 画像処理装置、画像処理方法、及びロボットシステム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5801773A (en) * | 1993-10-29 | 1998-09-01 | Canon Kabushiki Kaisha | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
JP2000209488A (ja) * | 1999-01-13 | 2000-07-28 | Nissan Motor Co Ltd | 高コントラスト撮像装置 |
JP3498627B2 (ja) * | 1999-04-07 | 2004-02-16 | 三菱電機株式会社 | 撮像装置及びその露出制御方法 |
JP2001005966A (ja) * | 1999-06-21 | 2001-01-12 | Nissan Motor Co Ltd | エッジ画像生成装置 |
JP2003319250A (ja) * | 2002-04-22 | 2003-11-07 | Toshiba Lsi System Support Kk | 撮像装置および撮像方法 |
US7295232B2 (en) * | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
JP2005148309A (ja) | 2003-11-13 | 2005-06-09 | Denso Corp | 白線検出用カメラの露出制御装置 |
JP3945494B2 (ja) * | 2004-05-11 | 2007-07-18 | トヨタ自動車株式会社 | 走行レーン認識装置 |
JP4572583B2 (ja) * | 2004-05-31 | 2010-11-04 | パナソニック電工株式会社 | 撮像装置 |
JP4731953B2 (ja) | 2005-03-02 | 2011-07-27 | 富士フイルム株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
JP4483744B2 (ja) * | 2005-08-26 | 2010-06-16 | ソニー株式会社 | 撮像装置及び撮像制御方法 |
US7821570B2 (en) * | 2005-11-30 | 2010-10-26 | Eastman Kodak Company | Adjusting digital image exposure and tone scale |
JP4656657B2 (ja) * | 2006-07-31 | 2011-03-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN100403332C (zh) * | 2006-11-02 | 2008-07-16 | 东南大学 | 用于车道偏离报警的车道线鲁棒识别方法 |
JP2008205636A (ja) | 2007-02-16 | 2008-09-04 | Canon Inc | 画像処理装置、画像処理装置の画像処理方法、及びプログラム |
CN101119439A (zh) * | 2007-08-22 | 2008-02-06 | 东风汽车有限公司 | 车载摄像机拍摄清晰车道图像的自动控制方法 |
-
2008
- 2008-08-08 JP JP2008205636A patent/JP4525812B2/ja not_active Expired - Fee Related
-
2009
- 2009-08-07 US US12/462,706 patent/US8395698B2/en active Active
- 2009-08-10 CN CN2009101592547A patent/CN101646021B/zh not_active Expired - Fee Related
- 2009-08-10 DE DE102009036844.2A patent/DE102009036844B8/de not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103765438A (zh) * | 2011-08-31 | 2014-04-30 | 罗伯特·博世有限公司 | 用于识别车辆前方的被照明的车道的方法和设备 |
CN103765438B (zh) * | 2011-08-31 | 2017-09-12 | 罗伯特·博世有限公司 | 用于识别车辆前方的被照明的车道的方法和设备 |
CN105744156A (zh) * | 2016-01-29 | 2016-07-06 | 深圳市美好幸福生活安全系统有限公司 | 一种提高影像中物体识别的系统及方法 |
CN111741229A (zh) * | 2017-02-24 | 2020-10-02 | 三星电子株式会社 | 图像处理方法和设备 |
US11409303B2 (en) | 2017-02-24 | 2022-08-09 | Samsung Electronics Co., Ltd. | Image processing method for autonomous driving and apparatus thereof |
CN111741229B (zh) * | 2017-02-24 | 2022-08-16 | 三星电子株式会社 | 图像处理方法和设备 |
CN108616690A (zh) * | 2018-04-18 | 2018-10-02 | 广州视源电子科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN108681182A (zh) * | 2018-04-24 | 2018-10-19 | 浙江大华技术股份有限公司 | 一种光圈控制方法及终端设备 |
CN108681182B (zh) * | 2018-04-24 | 2020-08-04 | 浙江大华技术股份有限公司 | 一种光圈控制方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
DE102009036844B8 (de) | 2018-10-25 |
JP4525812B2 (ja) | 2010-08-18 |
US20100033619A1 (en) | 2010-02-11 |
DE102009036844A1 (de) | 2010-04-08 |
CN101646021B (zh) | 2012-08-29 |
DE102009036844B4 (de) | 2018-06-28 |
US8395698B2 (en) | 2013-03-12 |
JP2010041668A (ja) | 2010-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101646021B (zh) | 曝光确定装置和图像处理设备 | |
US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
CN102271218B (zh) | 一种超智能场景摄像机及超智能摄像方法 | |
CN100512389C (zh) | 成像设备 | |
US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
US9883148B2 (en) | Color mask for an image sensor of a vehicle camera | |
CN101142814A (zh) | 图像处理装置及方法、程序、以及记录介质 | |
JP4035910B2 (ja) | 車色判別装置 | |
CN101350933B (zh) | 一种基于图像感应器拍摄显示屏幕的亮度调整方法 | |
US20170270368A1 (en) | Method for detecting a soiling of an optical component of a driving environment sensor used to capture a field surrounding a vehicle; method for automatically training a classifier; and a detection system | |
CN100515041C (zh) | 自动曝光控制方法及自动曝光补偿装置 | |
US20090051794A1 (en) | Image processing apparatus, image processing method, image processing system, program and recording medium | |
CN102745134A (zh) | 检测装置以及检测方法 | |
CN110334601A (zh) | 一种结合机器学习和计算机视觉的限速标志牌识别方法 | |
CN105530404B (zh) | 影像识别装置及影像识别方法 | |
JP3570198B2 (ja) | 画像処理方法およびその装置 | |
US6965402B2 (en) | System for detecting and storing digital pictures | |
JP2000348268A (ja) | 人体検知装置 | |
JPH05282592A (ja) | 画像処理式車両感知装置及び交通情報処理方法 | |
WO2015147457A1 (ko) | 노출 조절을 이용한 차량용 영상 촬영장치 및 그 방법 | |
CN101142811A (zh) | 图像处理装置和图像处理方法、程序以及记录介质 | |
JPH09297813A (ja) | コンテナ番号認識装置 | |
JP2000285379A (ja) | 画像形車両感知器 | |
Yamada et al. | Effectiveness of video camera dynamic range expansion for lane mark detection | |
JPH11175882A (ja) | 車番読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120829 |
|
CF01 | Termination of patent right due to non-payment of annual fee |