CN102314602A - 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 - Google Patents

使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 Download PDF

Info

Publication number
CN102314602A
CN102314602A CN2011101880819A CN201110188081A CN102314602A CN 102314602 A CN102314602 A CN 102314602A CN 2011101880819 A CN2011101880819 A CN 2011101880819A CN 201110188081 A CN201110188081 A CN 201110188081A CN 102314602 A CN102314602 A CN 102314602A
Authority
CN
China
Prior art keywords
image
input picture
illumination
shade
linear axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101880819A
Other languages
English (en)
Other versions
CN102314602B (zh
Inventor
W.张
Q.吴
V.巴加瓦图拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN102314602A publication Critical patent/CN102314602A/zh
Application granted granted Critical
Publication of CN102314602B publication Critical patent/CN102314602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影。提供了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获图像。将所捕获输入图像的每个像素都绘在两维对数图上。确定对于所述多个颜色集的一个线性轴线,所述线性轴线基本上正交于各相应颜色集的相应光照方向。将各所绘像素的色度对数值投射在所述轴线上。所述线性轴线的定向选择成:最小化光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔。识别所述输入图像和所述光照恒定图像域中的边缘。将所述输入图像的识别边缘与所述光照恒定图像域的识别边缘作比较。响应于所述比较确定是否存在阴影边缘。产生减少了阴影的图像,用于车辆的基于视觉的系统的场景分析。

Description

使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影
技术领域
实施例总地涉及基于视觉的目标检测系统。
背景技术
光照情形如阴影会引起基于视觉的目标检测系统的误差。阴影会扭曲被捕获对象的颜色,导致(1)由于阴影生产的边缘与(2)不同实体(例如道路与风景)间的边缘之间的模糊不清。已经使用一些应用来过滤掉阴影,但是现有技术的系统假定使用具有高质量成像器的相机。具有高质量成像器的相机昂贵且包装尺寸大,因此,特别是在基于批量生产的车辆的视觉系统中并不实用。使用高质量成像器,相机传感器被假定为窄频带并且如同狄拉克δ函数那样工作,因为它们仅在一个波长具有非空响应。然而,通常用在基于车辆视觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此,用于去除阴影的现有技术不适于使用低成本生产的成像器。
传统的用于阴影去除的方法,例如《国际计算机视觉杂志》(International Journal of Computer Vision, IJVC)中公开的题为“Entropy Minimization for Shadow Removal”描述了使用恒定成像去除阴影。其概念是选择最小化熵的光照方向。最小化熵试图最小化不同色调变化的分散的混乱无序;然而,当熵被最小化时,各颜色集内的所有或部分颜色值可能会试图投射到单一的组合或族上。结果,IJCV中描述的技术仅最小化了一个颜色集或多个颜色集中的变化。在该描述的方法下,特别是当使用多个颜色集时,最大化颜色集之间的集间变化不是行得通的结果。在IJVC公开中,仅使用三个不同的颜色集。如果使用超过所示三个颜色集,更具体地,颜色集具有类似的颜色变化,那么颜色集之间的差别可能很小,最终阻止识别恒定图像中的阴影边缘。
发明内容
实施例的优点在于从将要被车用视觉感测系统分析的、由图像捕获装置捕获的图像减少阴影。该阴影减少技术最优化了线性轴线的斜率,使得最小化了颜色值中的内部变化,并且最大化了颜色集之间的集间变化,从而区分和维持了各颜色集的色度,同时去除施加在相应颜色集上的所有光照影响。
实施例设想了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获场景的输入图像。将所捕获输入图像的每个像素都绘在两维对数图上。每个像素为所述对数图中多个颜色集之一的色调变化。确定对于所述多个颜色集的一线性轴线。所述线性轴线基本上正交于各相应颜色集的相应光照方向。将各所绘像素的色度对数值投射在所述轴线上。所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值。所述线性轴线的定向选择成:最小化所述图像中的光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在,确定是否存在阴影边缘。产生减少了阴影的图像,用于基于车辆视觉的系统的场景分析。
本发明提供了如下技术方案:
方案1. 一种用于去除捕获图像中光照产生的阴影的方法,所述方法包括如下步骤:
(a)通过图像捕获装置捕获场景的输入图像;
(b)将所捕获输入图像的每个像素都绘在两维对数图上,每个像素为所述对数图中多个颜色集之一的色调变化;
(c)确定所述多个颜色集的线性轴线,所述线性轴线基本上正交于各相应颜色集的相应光照方向;
(e)将各所绘像素的色度对数值投射在所述轴线上,其中所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值,其中所述线性轴线的定向选择成:最小化所述图像中的光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔;
(f)识别所述输入图像中的边缘;
(g)识别所述光照恒定图像域中的边缘;
(h)将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较;
(i)响应于所述输入图像中识别的边缘及所述光照恒定图像域中相关边缘的不存在,确定是否存在阴影边缘;以及
(j)产生减少了阴影的图像,用于基于车辆视觉的系统的场景分析。
方案2. 如方案1的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括,定位所述线性轴线,直到在各颜色集之间获得最大分隔距离为止。
方案3. 如方案2的方法,其中选择所述线性轴线的定向以提供最佳分隔包括,维持各颜色集内的色调变化的分隔。
方案4. 如方案1的方法,其中选择所述线性轴线的定向以提供最佳分隔包括,最小化颜色集的内部变化,同时最大化颜色集之间的集间变化。
方案5. 如方案1的方法,其中选择所述线性轴线的定向以提供最佳分隔是利用机器学习技术来获得。
方案6. 如方案5的方法,其中所述机器学习技术包括多类别线性判别分析。
方案7. 如方案6的方法,其中所述多类别线性判别分析包括至少两个颜色集,其中最大化所述颜色集之间的平方和,并最小化颜色集内的和。
方案8. 如方案1的方法,其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
方案9. 如方案1的方法,其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤:
确定所述输入图像的方向梯度; 
确定所述光照恒定图像域的方向梯度;
将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较,以确定是否存在阴影边缘。
方案10. 如方案9的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
确定所述输入图像的方向梯度是否大于第一阈值;以及
确定所述光照恒定图像域的方向梯度是否小于第二阈值。
方案11. 如方案9的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差;
将所述梯度差与所述至少一个阈值作比较。
方案12. 如方案11的方法,其中计算梯度差包括下列步骤:
确定所述输入图像的梯度范数;
确定所述光照恒定图像域的梯度范数;以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
附图说明
图1为捕获道路图像的基于车辆的相机的平面图。
图2为由车辆内图像捕获装置捕获的图像。
图3为阴影减少过程的框图。
图4为示出线性光照恒定轴线的光照恒定线图的图表。
图5为使用熵最小化的示例性光照恒定线图。
图6为利用线性光照恒定轴线最优化技术的光照恒定线图的图表。
图7为用于从捕获的图像减少阴影的方法的流程图。
具体实施方式
图1中示出了沿着道路12行驶的车辆10。基于视觉的成像装置14捕获车辆10前方的道路的图像,用以检测行驶可行区域(下文称畅通路径)内的图像。基于视觉的成像装置14用于检测目标。在优选实施例中,基于视觉的成像装置14用于为系统(例如,但不限于,车道偏离警告系统)识别畅通路径或道路中的车道标记。基于视觉的成像装置14优选安装在车辆的内部,恰在挡风玻璃的后方,用于捕获车辆外面和前方发生的事件。尽管基于视觉的成像装置14可用于多种功用(例如,增强驾驶员夜视),但是本文所述的主要目的是用于需要识别道路标记、车道标记、道路标志或其它道路目标的系统。这种系统的例子包括,但不限于,必要要求系统能够识别车辆处于道路中何处的车道偏离警告系统,用以警告驾驶员无意识的车道变化。
图2示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角度,可能会在车辆行驶路径中的物体上投射阴影,从而增加了系统区分道路上的物体与投射在道路上的阴影的难度。如图2中所示,行驶在被驾驶车辆前方的车辆16以及路灯18和20可在车行道中投射阴影22、24和26,使得难以识别道路上的车道标记28。
图3中示出了用于去除阴影的示例性图形化流程方法。在框30中,含有阴影的图像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。
在框31中,执行后面描述的光照恒定分析,以检测图像中的所有阴影。在框32中,在光照恒定图像域中表现输入图像。为图形目的在光照恒定图像域中示出的图像为灰度图像,其中颜色集是复现的,不管输入图像中存在的光照条件或阴影。应当理解,为在车辆中实施该技术的目的,不需要产生实际恒定图像;而是,可使用数学分析、建模或其它表现方式来模拟光照恒定图像域中的图像。如图所示,作为光照恒定分析的结果,从光照恒定图像域中去除了阴影。
在框33中,比较输入图像和光照恒定图像域,用于确定原始输入图像中哪儿存在阴影以构造减少了阴影的图像。
在框34中,作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结果,从捕获的输入图像去除了阴影。
图4描述了去除阴影的数学方法,如下所述。在用于路上车辆的目标检测和分类中,捕获图像的背景和前景是不断变化的。对于单一的RGB(红、绿、蓝)图像,可基于光照恒定分析去除投射的阴影。如果照明大致为三δ函数型传感器成像的具有朗伯面的普朗克源,那么可形成色度波段比(例如,3波段RGB彩色图像的R/G、B/G)。另外,对于在不同照明条件下的任意颜色集,对于两维{log(R/G),log(B/G)}值的对数图形成直线。此外,各不同颜色集的每条这种线具有相同的斜率。因此,可使用该物理概念得到光照恒定图像域,其中不管照明条件如何(即,是否存在阴影),一个颜色集的颜色值都映射至光照恒定图像中的相同值。
另外,图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作,以确定阴影边缘。由于阈值阴影边缘是噪声,所以应用形态学运算,以扩展边缘并填充阴影边缘中的一些空隙。此外,识别的阴影边缘被设定为零,用以去除光照变化的影响。各处理通道的梯度图像的积分步骤用于放弃乘法常数而恢复减少了阴影的图像,然后估计乘法常数,以便获得最终减少了阴影的彩色图像。
这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技术使用标准彩色图像作为输入,而输入为图像的光照恒定表示。光照恒定图像域通过将其色度对数值投影在光照恒定方向上来获得。为执行该投影,使用朗伯模型用于图像形成。假定,如果表面外观相同,并且独立于取景方向(即,理想漫反射面),那么照射在该表面上并入射在相机传感器上的具有光谱功率分布(SPD):E(λ)的光源导致如下响应:
Figure 359905DEST_PATH_IMAGE001
其中
Figure 277046DEST_PATH_IMAGE002
 表示表面反射率,其定义为在每波长基础上反射的入射光的分数,
Figure 869832DEST_PATH_IMAGE003
(发光体的SPD)将发光体发出的功率定义为波长的函数,
Figure 265042DEST_PATH_IMAGE004
为成像装置的
Figure 79414DEST_PATH_IMAGE005
传感器(其中
Figure 964193DEST_PATH_IMAGE006
)的光谱灵敏度,明确指明了传感器在各波长处吸收的光的比例。如果上面的各项相乘并在
Figure 231227DEST_PATH_IMAGE007
(传感器具有非零响应的波长范围)上积分,那么它给出Rk,图像中各像素处的色值。
为了简化公式(1)和导出恒定表示,除朗伯表面假定之外,还利用其它两个假定。第一,假定光照源遵守普朗克黑体辐射体定律。普朗克黑体辐射体定律指出,当在温度T加热时的理想球形辐射体以特定的波长发出电磁辐射(例如,发光、闪光)。普朗克光源的例子包括太阳和天空,其为在我们的目标检测和分类应用中最感兴趣的光照源。这样,该光照可通过其色温T参数化为:
Figure 243176DEST_PATH_IMAGE008
其中C1和C2为常数,I为光的总体强度。
第二假定为,假定相机传感器为窄带式并且如同迪拉克δ函数那样工作,因为它们仅在单一波长λk有非空响应。结果,相机灵敏度可由下式表示:
Figure 912055DEST_PATH_IMAGE009
其中
Figure 905419DEST_PATH_IMAGE010
为Qk具有非空响应处的唯一波长。通过这些约束,原始图像形成可表达为:
Figure 722065DEST_PATH_IMAGE011
对于图像中的任何颜色,该颜色可通过RGB颜色通道的组合(例如,i=红色、蓝色)来得到。波段比2维矢量色度可通过除以两个颜色通道产生:
Figure 459077DEST_PATH_IMAGE012
其中p固定为一个颜色通道(例如,绿色),i指示另两个颜色通道(例如,i=红色、蓝色)。由于对于所有三个颜色通道,各像素处的光照强度效应I都是恒定值,所以去除I。因此,ci不依赖于强度和遮光信息。于是对数可如下导出:
Figure 792581DEST_PATH_IMAGE013
其中,
Figure 222426DEST_PATH_IMAGE014
 ,
Figure 464051DEST_PATH_IMAGE015
以矢量形式概括上面的公式,推导出下面的矢量:
Figure 801492DEST_PATH_IMAGE016
其中
Figure 444963DEST_PATH_IMAGE017
为依赖于要成像的表面和相机的2维矢量,但是与光源无关,
Figure 593178DEST_PATH_IMAGE018
为与要成像的表面无关但依赖于相机的2维矢量。结果,光照颜色变化(即,T变化),且给定表面的色度对数矢量
Figure 322100DEST_PATH_IMAGE019
沿着直线移动,其从点
Figure 400914DEST_PATH_IMAGE020
开始并沿着方向
Figure 961209DEST_PATH_IMAGE021
移动。此外,该直线的方向依赖于相机的特性,但是与表面和光源无关。
公式(8)还有效地表明,对于在各种普朗克光源下的相同表面,色度对数值落在具有如下斜率的线上:
Figure 732856DEST_PATH_IMAGE022
将每个色度对数值投影在垂直于光照斜率的方向上给出了在对应图像位置中的值,所述对应图像位置仅依赖于相对光照基本不变的颜色反射率。产生的图像为光照恒定图像。 
图4示出了恒定图像形成过程。图4中,图像具有四个不同表面(即,颜色集)的色度对数值。这假定在一定范围的普朗克光源下利用理想的窄带传感器。显然,各表面的色度对数值沿着色度空间中各自的线40、41、42和43降低。这些线具有方向e。实黑线44示出了与光照方向正交的方向,称为光照恒定轴线。不管哪个视角方向的光照,给定表面的各色度对数值沿着这条线投影到一个点上。这些点代表如上定义的恒定图像。
假如有新的输入图像,一旦相对于各颜色集的光照方向找出恒定方向,那么所有像素都被转换到色度对数空间并被投影到该恒定方向上。
其目的是产生减少了阴影的彩色图像。含有阴影的原始输入图像用于导出减少了阴影的恒定图像。通过将原始图像的边缘与从恒定图像得到的边缘作比较可以识别对应于阴影的边缘。通过对阴影边缘进行阈值处理和将原始图像中的阴影梯度设置为零,能够排除包括由于光照效应引起的急剧变化的梯度。最后,积分阈值梯度产生减少了阴影的全色图像。下面提供了用于获得减少了阴影的全色图像的过程的详细描述。
第一步是执行阴影边缘遮罩提取。原始图像含有由表面转变和光照转变引起的边缘,但是恒定图像仅包含与被捕获表面的基准变化(不是由阴影引起的)有关的边缘。因此,原始图像的边缘被与恒定图像中得到的边缘相比较。阴影边缘定义为原始图像中的、但不在恒定图像中的任何边缘,仅对应于光照变化。方向梯度
Figure 379049DEST_PATH_IMAGE024
分别从原始图像和恒定图像计算出。
使用两个阈值t1和t2来评价这两个边缘图,以便确定原始图像具有强边缘而恒定图像具有弱边缘的位置。二元阴影边缘如下产生:
Figure 731533DEST_PATH_IMAGE025
替代地,可通过比较各自梯度的范数差来执行阴影边缘遮罩提取。从输入图像确定梯度范数,并从光照恒定图像域确定梯度范数。通过从输入图像的梯度范数减去光照恒定图像域的梯度范数来计算梯度差。梯度差被与阈值作比较,以确定是否存在阴影边缘。
首先产生的初始阴影边缘遮罩是不完全的,其中边缘遮罩包含多个伪边缘。因此,利用一组形态学运算(例如,闭运算和膨胀运算)来精制阴影边缘,用以产生最终阴影边缘遮罩。
第二步是应用减少阴影的图像积分。由于梯度上的阴影边缘对应于变化的光照,所以通过使用阴影边缘遮罩的阈值处理,如上所述,以降低光照效应,可以去除原始图像的梯度中的阴影边缘。结果,阈值梯度产生了一个通道的灰度表现,其为减少了阴影的图像。通过组合所有的RGB通道的减少阴影的灰度图像,恢复最终的减少了阴影的全色图像。为执行该步骤,使用阈值函数Ts去除原始图像的梯度中的阴影。
Figure 736398DEST_PATH_IMAGE026
        
当识别出阴影边缘时,原始图像中的梯度设定为零,表示在该点没有光照变化。在应用阈值处理之后,仅在因材料改变存在急剧变化的地方获得梯度。现在积分所述梯度,以便恢复不具有阴影的减少阴影图像I’。为实现该目的,泊松方程用作问题公式化,如下:
在方程(13)的左侧,图像的拉普拉斯算子如下表示:
Figure 594949DEST_PATH_IMAGE028
   
在方程(13)的右侧,公式如下表示:
Figure 880568DEST_PATH_IMAGE029
因此,通过齐次诺伊曼边界条件求解泊松方程,使得边界处的梯度被设定为零。分别求解出三个颜色通道的每个通道的上述方程,推导出对于各通道的示例性重新构造的灰度图像,但是具有一些未知的乘法常数。将所有RGB通道的I’组合在一起,产生去除了阴影的彩色图像。另外,为了纠正未知乘法因数和获得更加现实的图像色彩,对每个像素应用映射,以将恢复的图像中的最亮像素(例如,按亮度排序的前5%的像素的平均值)映射到原始图像中的相应像素。实际上,在像素被投影到光照恒定轴线之后,每个像素都赋予一个投影值。
当使用高质量成像装置时,如上所述的过程成功地去除了阴影。然而,考虑到在车辆中包含高质量成像装置的成本,更可能的情况是对于目标检测和分类使用低成本产品相机。问题是,由于低成本产品相机引起色度对数线中的发散,所以低成本产品相机不满足窄带假定。此外,由于无法找出恒定方向,所以不可能确定恒定图像。下面的段落描述了使低成本产品相机适于提高用于目标检测和分类的阴影去除的性能的过程。
在前面的段落中,阴影去除方法将不同颜色集的色度对数值投影到线性空间,以最小化各种光照条件下每个投影颜色集内的差异。然而,如图5中所示,具有相似颜色外观的颜色集(例如,橙色和黄色)当被投影在光照恒定轴线上时可能重叠。在图5中,颜色集50、51、52和53绘制在对数图中。在图5中,对于颜色集50-53分别产生光照方向54、55、56和57。以58示出了得到的光照恒定轴线。图5示出了颜色集52和颜色集53被投影到光照恒定轴线上时重叠,以致在颜色集52和颜色集53之间没有色调变化的分隔。
图6示出了在具有类似颜色外观的颜色集之间区分的改进方法。捕获输入图像的每个像素都被绘在二维对数图上,颜色集由60-63表示。应当理解,绘在二维空间中的每个像素都位于与图5中所示像素相同的所绘对数坐标上。然而,与图5不同,各颜色集的轴线和光照方向被重新定位。
图6中,线性轴线64定位成在投影的颜色集之间获得更大的间隔,从而维持颜色集的色调变化之间的显著差别。线性轴线64不仅最小化了图像的光照影响,而且最大化了投射在线性轴线64上的各自颜色集之间的分隔距离。由于光照方向60-63垂直于线性轴线64,所以各颜色集的光照方向60-63还重新定位成保持正交于线性轴线的方向。应当理解,重新构造的光照方向60-63不必为本身最佳匹配相应颜色集的方向线(即,相应颜色集的各重新定位线可不必投影通过各相应颜色集的每个像素);然而,当投影到线性轴线64上时,该重新定位提供了像素间增大的色彩分隔。
优选地,线性轴线64定位成直到在各颜色集之间建立最大分隔为止。其目标是在颜色集内获得最小内部变化,同时最大化颜色集之间的集间变化。还应当理解,线性轴线64的选择不要求选择线性轴线64,然后将其重新定位成提供最佳定向;而是,可利用机器学习算法最初就选择线性轴线64的相应定向,该定向获得投影在线性轴线64上的颜色集之间的最佳分隔。这可通过用于多目标分类的机器学习算法实现,例如,但不限于,多类别线性判别分析(LDA)。线性判别分析为用在机器学习以确定特征的线性组合的方法,其通过最大化类别之间的平均差的平方和并最小化类别内的变化的和,来特征化或区分两个或更多类别的目标或事件。
图7为从捕获的图像减少阴影和获得颜色集的改进分隔的方法。在步骤70中,通过图像捕获装置捕获车辆外部场景的输入图像。图像捕获装置捕获彩色图像。
在步骤71中,捕获的输入图像的每个像素<R,G,B>被绘在两维对数图内。
在步骤72中,确定图像的颜色集的线性轴线,该线性轴线基本正交于各相应颜色集的相应光照方向。
在步骤73中,将各所绘像素的色度对数值投射到线性轴线上。轴线上的各所绘像素表示输入图像的相应像素映射到光照恒定图像域的颜色值。线性轴线的定向选择成在投射到线性轴线上的相应颜色集之间提供最佳分隔。即,线性轴线的定向在投射到线性轴线上的颜色集之间提供了显著的区别,使得颜色集之间没有色调变化的重叠,并且投射在线性轴线上的各相应投影颜色集可清楚地从相邻颜色集区分开。通过定位轴线而在颜色集之间获得最佳分隔可利用多类别LDA的辅助。这可执行为离线程序。替代地,这可实时在线执行。
在步骤74中,利用投射在线性光照恒定核上的特定颜色集的各所绘像素的投影值,提供在光照恒定图像域中的输入图像的表示。投影在非线性光照恒定核上的各颜色值表示光照恒定图像域中的恒定图像的相应像素。光照恒定图像域中边缘的梯度通过算子计算,所述算子包括,但不限于,苏贝尔算子。此外,通过苏贝尔算子获得输入图像中边缘的梯度。
在步骤75中,在输入图像和光照恒定图像域中都识别边缘。
在步骤76中,通过算子(例如,苏贝尔算子)确定输入图像和光照恒定图像域中边缘的方向梯度。
在步骤77中,将输入图像的方向梯度和光照恒定图像域的方向梯度与至少一个阈值作比较。输入图像的方向梯度大于第一阈值、并且光照恒定图像的方向梯度小于第二阈值表示,在输入图像中存在阴影边缘。
在步骤78中,如果确定存在阴影边缘,那么产生减少了阴影的图像,用于基于车辆的视觉系统的场景分析。所述减少阴影的图像可通过重新构造输入图像产生,通过如在恒定图像分析中确定的以相关联的颜色集变化替代原始输入图中的阴影效果来重新构造输入图像。
如果确定不存在阴影,那么将原始输入图像提供给基于车辆的视觉系统,用于步骤79中的场景分析。
尽管已经详细描述了本发明的特定实施例,但是本发明所属领域的技术人员会认识到用于实施由所附权利要求限定的本发明的各种替代设计和实施方式。

Claims (10)

1.一种用于去除捕获图像中光照产生的阴影的方法,所述方法包括如下步骤:
(a)通过图像捕获装置捕获场景的输入图像;
(b)将所捕获输入图像的每个像素都绘在两维对数图上,每个像素为所述对数图中多个颜色集之一的色调变化;
(c)确定所述多个颜色集的线性轴线,所述线性轴线基本上正交于各相应颜色集的相应光照方向;
(e)将各所绘像素的色度对数值投射在所述轴线上,其中所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值,其中所述线性轴线的定向选择成:最小化所述图像中的光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔;
(f)识别所述输入图像中的边缘;
(g)识别所述光照恒定图像域中的边缘;
(h)将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较;
(i)响应于所述输入图像中识别的边缘及所述光照恒定图像域中相关边缘的不存在,确定是否存在阴影边缘;以及
(j)产生减少了阴影的图像,用于基于车辆视觉的系统的场景分析。
2.如权利要求1的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括,定位所述线性轴线,直到在各颜色集之间获得最大分隔距离为止。
3.如权利要求2的方法,其中选择所述线性轴线的定向以提供最佳分隔包括,维持各颜色集内的色调变化的分隔。
4.如权利要求1的方法,其中选择所述线性轴线的定向以提供最佳分隔包括,最小化颜色集的内部变化,同时最大化颜色集之间的集间变化。
5.如权利要求1的方法,其中选择所述线性轴线的定向以提供最佳分隔是利用机器学习技术来获得。
6.如权利要求1的方法,其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
7.如权利要求1的方法,其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤:
确定所述输入图像的方向梯度; 
确定所述光照恒定图像域的方向梯度;
将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较,以确定是否存在阴影边缘。
8.如权利要求7的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
确定所述输入图像的方向梯度是否大于第一阈值;以及
确定所述光照恒定图像域的方向梯度是否小于第二阈值。
9.如权利要求7的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差;
将所述梯度差与所述至少一个阈值作比较。
10.如权利要求9的方法,其中计算梯度差包括下列步骤:
确定所述输入图像的梯度范数;
确定所述光照恒定图像域的梯度范数;以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
CN2011101880819A 2010-07-06 2011-07-06 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 Active CN102314602B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/830,513 2010-07-06
US12/830,513 US8345100B2 (en) 2010-07-06 2010-07-06 Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis
US12/830513 2010-07-06

Publications (2)

Publication Number Publication Date
CN102314602A true CN102314602A (zh) 2012-01-11
CN102314602B CN102314602B (zh) 2013-10-30

Family

ID=45427750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101880819A Active CN102314602B (zh) 2010-07-06 2011-07-06 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影

Country Status (3)

Country Link
US (1) US8345100B2 (zh)
CN (1) CN102314602B (zh)
DE (1) DE102011106072A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104417325A (zh) * 2013-09-02 2015-03-18 现代自动车株式会社 用于控制遮阳板的装置和方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
US8428352B1 (en) * 2011-11-07 2013-04-23 Tandent Vision Science, Inc. Post processing for improved generation of intrinsic images
US8948449B2 (en) * 2012-02-06 2015-02-03 GM Global Technology Operations LLC Selecting visible regions in nighttime images for performing clear path detection
CN103996212B (zh) * 2013-02-18 2017-11-14 威达电股份有限公司 自动描绘对象边缘走向之方法
US9256959B1 (en) * 2013-08-29 2016-02-09 Marvell International Ltd. Systems and methods for color lens shading correction
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult
US10210399B2 (en) * 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
JP2015200976A (ja) * 2014-04-04 2015-11-12 富士通株式会社 移動量推定装置、移動量推定方法、およびプログラム
US9594964B2 (en) * 2014-06-12 2017-03-14 GM Global Technology Operations LLC Vision-based wet road surface detection using texture analysis
US9875415B2 (en) * 2014-11-17 2018-01-23 Tandent Vision Science, Inc. Method and system for classifying painted road markings in an automotive driver-vehicle-asistance device
US9218534B1 (en) * 2014-11-17 2015-12-22 Tandent Vision Science, Inc. Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device
WO2016081240A1 (en) * 2014-11-17 2016-05-26 Tandent Vision Science, Inc. Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device
CN104809699A (zh) * 2015-04-15 2015-07-29 东南大学 基于最大熵的路面阴影抑制方法
CN104899898B (zh) * 2015-05-28 2018-01-05 华南理工大学 基于多维信息概率模型的路面检测方法
US10635116B2 (en) * 2017-10-19 2020-04-28 Ford Global Technologies, Llc Video calibration with illumination invariant image
CN110834563A (zh) * 2019-11-20 2020-02-25 无锡顺达智能自动化工程股份有限公司 新能源汽车换电站电池更换检测方法和检测装置
EP4189638A4 (en) * 2020-12-12 2024-01-24 Samsung Electronics Co Ltd METHOD AND ELECTRONIC DEVICE FOR MANAGING IMAGE ARTIFACTS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592567A (en) * 1992-11-10 1997-01-07 Siemens Aktiengesellschaft Method for detecting and separating the shadow of moving objects in a sequence of digital images
US5651075A (en) * 1993-12-01 1997-07-22 Hughes Missile Systems Company Automated license plate locator and reader including perspective distortion correction
US20060274917A1 (en) * 1999-11-03 2006-12-07 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
US7751639B1 (en) * 2005-04-20 2010-07-06 University Of East Anglia Obtaining intrinsic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592567A (en) * 1992-11-10 1997-01-07 Siemens Aktiengesellschaft Method for detecting and separating the shadow of moving objects in a sequence of digital images
US5651075A (en) * 1993-12-01 1997-07-22 Hughes Missile Systems Company Automated license plate locator and reader including perspective distortion correction
US20060274917A1 (en) * 1999-11-03 2006-12-07 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
US7751639B1 (en) * 2005-04-20 2010-07-06 University Of East Anglia Obtaining intrinsic images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《International Journal of Computer Vision (2009)》 20090502 Graham D. Finlayson,Mark S. Drew,Cheng Lu "Entropy Minimization for Shadow Removal" 35-57 第85卷, 第1期 *
GRAHAM D. FINLAYSON,MARK S. DREW,CHENG LU: ""Entropy Minimization for Shadow Removal"", 《INTERNATIONAL JOURNAL OF COMPUTER VISION (2009)》, vol. 85, no. 1, 2 May 2009 (2009-05-02), pages 35 - 57, XP019734453, DOI: doi:10.1007/s11263-009-0243-z *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104417325A (zh) * 2013-09-02 2015-03-18 现代自动车株式会社 用于控制遮阳板的装置和方法
CN104417325B (zh) * 2013-09-02 2018-03-20 现代自动车株式会社 用于控制遮阳板的装置和方法

Also Published As

Publication number Publication date
US8345100B2 (en) 2013-01-01
DE102011106072A1 (de) 2012-03-01
CN102314602B (zh) 2013-10-30
US20120008019A1 (en) 2012-01-12

Similar Documents

Publication Publication Date Title
CN102314602B (zh) 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影
CN102314601B (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
CN102314600B (zh) 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影
US10635929B2 (en) Saliency-based method for extracting road target from night vision infrared image
Fleyeh Color detection and segmentation for road and traffic signs
Corke et al. Dealing with shadows: Capturing intrinsic scene appearance for image-based outdoor localisation
Fleyeh Shadow and highlight invariant colour segmentation algorithm for traffic signs
US8577170B2 (en) Shadow detection in a single image
CN105338262A (zh) 一种热成像图像处理方法及装置
CN105678318B (zh) 交通标牌的匹配方法及装置
CN103810722A (zh) 结合改进的lbp纹理和色度信息的运动目标检测方法
Zakir et al. Road sign segmentation based on colour spaces: A Comparative Study
Chaki et al. Image color feature extraction techniques: fundamentals and applications
CN102779353B (zh) 一种具有距离保持特性的高光谱彩色可视化方法
Hamam et al. Single-band infrared texture-based image colorization
Álvarez et al. Shadow resistant road segmentation from a mobile monocular system
Martinkauppi et al. Face video database
CN107316040A (zh) 一种光照不变的图像颜色空间变换方法
Xu et al. Color space transformation and object oriented based information extraction of aerial images
Kawakami et al. Color estimation from a single surface color
US8682067B2 (en) Method for entropy-based determination of object edge curves
Khanal et al. Robust road signs segmentation in color images
Banerjee et al. Relevance of Color spaces and Color channels in performing Image dehazing
Movia et al. Land use classification from VHR aerial images using invariant colour components and texture
Abdellatif et al. Illumination-Invariant Color Recognition for Mobile Robot Navigation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant