CN102314602B - 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 - Google Patents
使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 Download PDFInfo
- Publication number
- CN102314602B CN102314602B CN2011101880819A CN201110188081A CN102314602B CN 102314602 B CN102314602 B CN 102314602B CN 2011101880819 A CN2011101880819 A CN 2011101880819A CN 201110188081 A CN201110188081 A CN 201110188081A CN 102314602 B CN102314602 B CN 102314602B
- Authority
- CN
- China
- Prior art keywords
- illumination
- input picture
- gradient
- linear axis
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000005286 illumination Methods 0.000 claims abstract description 39
- 238000000926 separation method Methods 0.000 claims abstract description 20
- 230000004438 eyesight Effects 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 7
- 241001062009 Indigofera Species 0.000 claims description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 claims description 2
- 229940097275 indigo Drugs 0.000 claims description 2
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000005457 Black-body radiation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影。提供了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获图像。将所捕获输入图像的每个像素都绘在两维对数图上。确定对于所述多个颜色集的一个线性轴线,所述线性轴线基本上正交于各相应颜色集的相应光照方向。将各所绘像素的色度对数值投射在所述轴线上。所述线性轴线的定向选择成:最小化光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔。识别所述输入图像和所述光照恒定图像域中的边缘。将所述输入图像的识别边缘与所述光照恒定图像域的识别边缘作比较。响应于所述比较确定是否存在阴影边缘。产生减少了阴影的图像,用于车辆的基于视觉的系统的场景分析。
Description
技术领域
实施例总地涉及基于视觉的目标检测系统。
背景技术
光照情形如阴影会引起基于视觉的目标检测系统的误差。阴影会扭曲被捕获对象的颜色,导致(1)由于阴影生产的边缘与(2)不同实体(例如道路与风景)间的边缘之间的模糊不清。已经使用一些应用来过滤掉阴影,但是现有技术的系统假定使用具有高质量成像器的相机。具有高质量成像器的相机昂贵且包装尺寸大,因此,特别是在基于批量生产的车辆的视觉系统中并不实用。使用高质量成像器,相机传感器被假定为窄频带并且如同狄拉克δ函数那样工作,因为它们仅在一个波长具有非空响应。然而,通常用在基于车辆视觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此,用于去除阴影的现有技术不适于使用低成本生产的成像器。
传统的用于阴影去除的方法,例如《国际计算机视觉杂志》(International Journal of Computer Vision, IJVC)中公开的题为“Entropy Minimization for Shadow Removal”描述了使用恒定成像去除阴影。其概念是选择最小化熵的光照方向。最小化熵试图最小化不同色调变化的分散的混乱无序;然而,当熵被最小化时,各颜色集内的所有或部分颜色值可能会试图投射到单一的组合或族上。结果,IJCV中描述的技术仅最小化了一个颜色集或多个颜色集中的变化。在该描述的方法下,特别是当使用多个颜色集时,最大化颜色集之间的集间变化不是行得通的结果。在IJVC公开中,仅使用三个不同的颜色集。如果使用超过所示三个颜色集,更具体地,颜色集具有类似的颜色变化,那么颜色集之间的差别可能很小,最终阻止识别恒定图像中的阴影边缘。
发明内容
实施例的优点在于从将要被车用视觉感测系统分析的、由图像捕获装置捕获的图像减少阴影。该阴影减少技术最优化了线性轴线的斜率,使得最小化了颜色值中的内部变化,并且最大化了颜色集之间的集间变化,从而区分和维持了各颜色集的色度,同时去除施加在相应颜色集上的所有光照影响。
实施例设想了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获场景的输入图像。将所捕获输入图像的每个像素都绘在两维对数图上。每个像素为所述对数图中多个颜色集之一的色调变化。确定对于所述多个颜色集的一线性轴线。所述线性轴线基本上正交于各相应颜色集的相应光照方向。将各所绘像素的色度对数值投射在所述轴线上。所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值。所述线性轴线的定向选择成:最小化所述图像中的光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在,确定是否存在阴影边缘。产生减少了阴影的图像,用于基于车辆视觉的系统的场景分析。
本发明提供了如下技术方案:
方案1. 一种用于去除捕获图像中光照产生的阴影的方法,所述方法包括如下步骤:
(a)通过图像捕获装置捕获场景的输入图像;
(b)将所捕获输入图像的每个像素都绘在两维对数图上,每个像素为所述对数图中多个颜色集之一的色调变化;
(c)确定所述多个颜色集的线性轴线,所述线性轴线基本上正交于各相应颜色集的相应光照方向;
(e)将各所绘像素的色度对数值投射在所述轴线上,其中所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值,其中所述线性轴线的定向选择成:最小化所述图像中的光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔;
(f)识别所述输入图像中的边缘;
(g)识别所述光照恒定图像域中的边缘;
(h)将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较;
(i)响应于所述输入图像中识别的边缘及所述光照恒定图像域中相关边缘的不存在,确定是否存在阴影边缘;以及
(j)产生减少了阴影的图像,用于基于车辆视觉的系统的场景分析。
方案2. 如方案1的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括,定位所述线性轴线,直到在各颜色集之间获得最大分隔距离为止。
方案3. 如方案2的方法,其中选择所述线性轴线的定向以提供最佳分隔包括,维持各颜色集内的色调变化的分隔。
方案4. 如方案1的方法,其中选择所述线性轴线的定向以提供最佳分隔包括,最小化颜色集的内部变化,同时最大化颜色集之间的集间变化。
方案5. 如方案1的方法,其中选择所述线性轴线的定向以提供最佳分隔是利用机器学习技术来获得。
方案6. 如方案5的方法,其中所述机器学习技术包括多类别线性判别分析。
方案7. 如方案6的方法,其中所述多类别线性判别分析包括至少两个颜色集,其中最大化所述颜色集之间的平方和,并最小化颜色集内的和。
方案8. 如方案1的方法,其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
方案9. 如方案1的方法,其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤:
确定所述输入图像的方向梯度;
确定所述光照恒定图像域的方向梯度;
将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较,以确定是否存在阴影边缘。
方案10. 如方案9的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
确定所述输入图像的方向梯度是否大于第一阈值;以及
确定所述光照恒定图像域的方向梯度是否小于第二阈值。
方案11. 如方案9的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差;
将所述梯度差与所述至少一个阈值作比较。
方案12. 如方案11的方法,其中计算梯度差包括下列步骤:
确定所述输入图像的梯度范数;
确定所述光照恒定图像域的梯度范数;以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
附图说明
图1为捕获道路图像的基于车辆的相机的平面图。
图2为由车辆内图像捕获装置捕获的图像。
图3为阴影减少过程的框图。
图4为示出线性光照恒定轴线的光照恒定线图的图表。
图5为使用熵最小化的示例性光照恒定线图。
图6为利用线性光照恒定轴线最优化技术的光照恒定线图的图表。
图7为用于从捕获的图像减少阴影的方法的流程图。
具体实施方式
图1中示出了沿着道路12行驶的车辆10。基于视觉的成像装置14捕获车辆10前方的道路的图像,用以检测行驶可行区域(下文称畅通路径)内的图像。基于视觉的成像装置14用于检测目标。在优选实施例中,基于视觉的成像装置14用于为系统(例如,但不限于,车道偏离警告系统)识别畅通路径或道路中的车道标记。基于视觉的成像装置14优选安装在车辆的内部,恰在挡风玻璃的后方,用于捕获车辆外面和前方发生的事件。尽管基于视觉的成像装置14可用于多种功用(例如,增强驾驶员夜视),但是本文所述的主要目的是用于需要识别道路标记、车道标记、道路标志或其它道路目标的系统。这种系统的例子包括,但不限于,必要要求系统能够识别车辆处于道路中何处的车道偏离警告系统,用以警告驾驶员无意识的车道变化。
图2示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角度,可能会在车辆行驶路径中的物体上投射阴影,从而增加了系统区分道路上的物体与投射在道路上的阴影的难度。如图2中所示,行驶在被驾驶车辆前方的车辆16以及路灯18和20可在车行道中投射阴影22、24和26,使得难以识别道路上的车道标记28。
图3中示出了用于去除阴影的示例性图形化流程方法。在框30中,含有阴影的图像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。
在框31中,执行后面描述的光照恒定分析,以检测图像中的所有阴影。在框32中,在光照恒定图像域中表现输入图像。为图形目的在光照恒定图像域中示出的图像为灰度图像,其中颜色集是复现的,不管输入图像中存在的光照条件或阴影。应当理解,为在车辆中实施该技术的目的,不需要产生实际恒定图像;而是,可使用数学分析、建模或其它表现方式来模拟光照恒定图像域中的图像。如图所示,作为光照恒定分析的结果,从光照恒定图像域中去除了阴影。
在框33中,比较输入图像和光照恒定图像域,用于确定原始输入图像中哪儿存在阴影以构造减少了阴影的图像。
在框34中,作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结果,从捕获的输入图像去除了阴影。
图4描述了去除阴影的数学方法,如下所述。在用于路上车辆的目标检测和分类中,捕获图像的背景和前景是不断变化的。对于单一的RGB(红、绿、蓝)图像,可基于光照恒定分析去除投射的阴影。如果照明大致为三δ函数型传感器成像的具有朗伯面的普朗克源,那么可形成色度波段比(例如,3波段RGB彩色图像的R/G、B/G)。另外,对于在不同照明条件下的任意颜色集,对于两维{log(R/G),log(B/G)}值的对数图形成直线。此外,各不同颜色集的每条这种线具有相同的斜率。因此,可使用该物理概念得到光照恒定图像域,其中不管照明条件如何(即,是否存在阴影),一个颜色集的颜色值都映射至光照恒定图像中的相同值。
另外,图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作,以确定阴影边缘。由于阈值阴影边缘是噪声,所以应用形态学运算,以扩展边缘并填充阴影边缘中的一些空隙。此外,识别的阴影边缘被设定为零,用以去除光照变化的影响。各处理通道的梯度图像的积分步骤用于放弃乘法常数而恢复减少了阴影的图像,然后估计乘法常数,以便获得最终减少了阴影的彩色图像。
这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技术使用标准彩色图像作为输入,而输入为图像的光照恒定表示。光照恒定图像域通过将其色度对数值投影在光照恒定方向上来获得。为执行该投影,使用朗伯模型用于图像形成。假定,如果表面外观相同,并且独立于取景方向(即,理想漫反射面),那么照射在该表面上并入射在相机传感器上的具有光谱功率分布(SPD):E(λ)的光源导致如下响应:
其中 表示表面反射率,其定义为在每波长基础上反射的入射光的分数,(发光体的SPD)将发光体发出的功率定义为波长的函数,为成像装置的传感器(其中)的光谱灵敏度,明确指明了传感器在各波长处吸收的光的比例。如果上面的各项相乘并在(传感器具有非零响应的波长范围)上积分,那么它给出Rk,图像中各像素处的色值。
为了简化公式(1)和导出恒定表示,除朗伯表面假定之外,还利用其它两个假定。第一,假定光照源遵守普朗克黑体辐射体定律。普朗克黑体辐射体定律指出,当在温度T加热时的理想球形辐射体以特定的波长发出电磁辐射(例如,发光、闪光)。普朗克光源的例子包括太阳和天空,其为在我们的目标检测和分类应用中最感兴趣的光照源。这样,该光照可通过其色温T参数化为:
其中C1和C2为常数,I为光的总体强度。
第二假定为,假定相机传感器为窄带式并且如同迪拉克δ函数那样工作,因为它们仅在单一波长λk有非空响应。结果,相机灵敏度可由下式表示:
对于图像中的任何颜色,该颜色可通过RGB颜色通道的组合(例如,i=红色、蓝色)来得到。波段比2维矢量色度可通过除以两个颜色通道产生:
其中p固定为一个颜色通道(例如,绿色),i指示另两个颜色通道(例如,i=红色、蓝色)。由于对于所有三个颜色通道,各像素处的光照强度效应I都是恒定值,所以去除I。因此,ci不依赖于强度和遮光信息。于是对数可如下导出:
以矢量形式概括上面的公式,推导出下面的矢量:
其中为依赖于要成像的表面和相机的2维矢量,但是与光源无关,为与要成像的表面无关但依赖于相机的2维矢量。结果,光照颜色变化(即,T变化),且给定表面的色度对数矢量沿着直线移动,其从点开始并沿着方向移动。此外,该直线的方向依赖于相机的特性,但是与表面和光源无关。
公式(8)还有效地表明,对于在各种普朗克光源下的相同表面,色度对数值落在具有如下斜率的线上:
将每个色度对数值投影在垂直于光照斜率的方向上给出了在对应图像位置中的值,所述对应图像位置仅依赖于相对光照基本不变的颜色反射率。产生的图像为光照恒定图像。
图4示出了恒定图像形成过程。图4中,图像具有四个不同表面(即,颜色集)的色度对数值。这假定在一定范围的普朗克光源下利用理想的窄带传感器。显然,各表面的色度对数值沿着色度空间中各自的线40、41、42和43降低。这些线具有方向e。实黑线44示出了与光照方向正交的方向,称为光照恒定轴线。不管哪个视角方向的光照,给定表面的各色度对数值沿着这条线投影到一个点上。这些点代表如上定义的恒定图像。
假如有新的输入图像,一旦相对于各颜色集的光照方向找出恒定方向,那么所有像素都被转换到色度对数空间并被投影到该恒定方向上。
其目的是产生减少了阴影的彩色图像。含有阴影的原始输入图像用于导出减少了阴影的恒定图像。通过将原始图像的边缘与从恒定图像得到的边缘作比较可以识别对应于阴影的边缘。通过对阴影边缘进行阈值处理和将原始图像中的阴影梯度设置为零,能够排除包括由于光照效应引起的急剧变化的梯度。最后,积分阈值梯度产生减少了阴影的全色图像。下面提供了用于获得减少了阴影的全色图像的过程的详细描述。
第一步是执行阴影边缘遮罩提取。原始图像含有由表面转变和光照转变引起的边缘,但是恒定图像仅包含与被捕获表面的基准变化(不是由阴影引起的)有关的边缘。因此,原始图像的边缘被与恒定图像中得到的边缘相比较。阴影边缘定义为原始图像中的、但不在恒定图像中的任何边缘,仅对应于光照变化。方向梯度和分别从原始图像和恒定图像计算出。
使用两个阈值t1和t2来评价这两个边缘图,以便确定原始图像具有强边缘而恒定图像具有弱边缘的位置。二元阴影边缘如下产生:
替代地,可通过比较各自梯度的范数差来执行阴影边缘遮罩提取。从输入图像确定梯度范数,并从光照恒定图像域确定梯度范数。通过从输入图像的梯度范数减去光照恒定图像域的梯度范数来计算梯度差。梯度差被与阈值作比较,以确定是否存在阴影边缘。
首先产生的初始阴影边缘遮罩是不完全的,其中边缘遮罩包含多个伪边缘。因此,利用一组形态学运算(例如,闭运算和膨胀运算)来精制阴影边缘,用以产生最终阴影边缘遮罩。
第二步是应用减少阴影的图像积分。由于梯度上的阴影边缘对应于变化的光照,所以通过使用阴影边缘遮罩的阈值处理,如上所述,以降低光照效应,可以去除原始图像的梯度中的阴影边缘。结果,阈值梯度产生了一个通道的灰度表现,其为减少了阴影的图像。通过组合所有的RGB通道的减少阴影的灰度图像,恢复最终的减少了阴影的全色图像。为执行该步骤,使用阈值函数Ts去除原始图像的梯度中的阴影。
当识别出阴影边缘时,原始图像中的梯度设定为零,表示在该点没有光照变化。在应用阈值处理之后,仅在因材料改变存在急剧变化的地方获得梯度。现在积分所述梯度,以便恢复不具有阴影的减少阴影图像I’。为实现该目的,泊松方程用作问题公式化,如下:
在方程(13)的左侧,图像的拉普拉斯算子如下表示:
在方程(13)的右侧,公式如下表示:
因此,通过齐次诺伊曼边界条件求解泊松方程,使得边界处的梯度被设定为零。分别求解出三个颜色通道的每个通道的上述方程,推导出对于各通道的示例性重新构造的灰度图像,但是具有一些未知的乘法常数。将所有RGB通道的I’组合在一起,产生去除了阴影的彩色图像。另外,为了纠正未知乘法因数和获得更加现实的图像色彩,对每个像素应用映射,以将恢复的图像中的最亮像素(例如,按亮度排序的前5%的像素的平均值)映射到原始图像中的相应像素。实际上,在像素被投影到光照恒定轴线之后,每个像素都赋予一个投影值。
当使用高质量成像装置时,如上所述的过程成功地去除了阴影。然而,考虑到在车辆中包含高质量成像装置的成本,更可能的情况是对于目标检测和分类使用低成本产品相机。问题是,由于低成本产品相机引起色度对数线中的发散,所以低成本产品相机不满足窄带假定。此外,由于无法找出恒定方向,所以不可能确定恒定图像。下面的段落描述了使低成本产品相机适于提高用于目标检测和分类的阴影去除的性能的过程。
在前面的段落中,阴影去除方法将不同颜色集的色度对数值投影到线性空间,以最小化各种光照条件下每个投影颜色集内的差异。然而,如图5中所示,具有相似颜色外观的颜色集(例如,橙色和黄色)当被投影在光照恒定轴线上时可能重叠。在图5中,颜色集50、51、52和53绘制在对数图中。在图5中,对于颜色集50-53分别产生光照方向54、55、56和57。以58示出了得到的光照恒定轴线。图5示出了颜色集52和颜色集53被投影到光照恒定轴线上时重叠,以致在颜色集52和颜色集53之间没有色调变化的分隔。
图6示出了在具有类似颜色外观的颜色集之间区分的改进方法。捕获输入图像的每个像素都被绘在二维对数图上,颜色集由60-63表示。应当理解,绘在二维空间中的每个像素都位于与图5中所示像素相同的所绘对数坐标上。然而,与图5不同,各颜色集的轴线和光照方向被重新定位。
图6中,线性轴线64定位成在投影的颜色集之间获得更大的间隔,从而维持颜色集的色调变化之间的显著差别。线性轴线64不仅最小化了图像的光照影响,而且最大化了投射在线性轴线64上的各自颜色集之间的分隔距离。由于光照方向60-63垂直于线性轴线64,所以各颜色集的光照方向60-63还重新定位成保持正交于线性轴线的方向。应当理解,重新构造的光照方向60-63不必为本身最佳匹配相应颜色集的方向线(即,相应颜色集的各重新定位线可不必投影通过各相应颜色集的每个像素);然而,当投影到线性轴线64上时,该重新定位提供了像素间增大的色彩分隔。
优选地,线性轴线64定位成直到在各颜色集之间建立最大分隔为止。其目标是在颜色集内获得最小内部变化,同时最大化颜色集之间的集间变化。还应当理解,线性轴线64的选择不要求选择线性轴线64,然后将其重新定位成提供最佳定向;而是,可利用机器学习算法最初就选择线性轴线64的相应定向,该定向获得投影在线性轴线64上的颜色集之间的最佳分隔。这可通过用于多目标分类的机器学习算法实现,例如,但不限于,多类别线性判别分析(LDA)。线性判别分析为用在机器学习以确定特征的线性组合的方法,其通过最大化类别之间的平均差的平方和并最小化类别内的变化的和,来特征化或区分两个或更多类别的目标或事件。
图7为从捕获的图像减少阴影和获得颜色集的改进分隔的方法。在步骤70中,通过图像捕获装置捕获车辆外部场景的输入图像。图像捕获装置捕获彩色图像。
在步骤71中,捕获的输入图像的每个像素<R,G,B>被绘在两维对数图内。
在步骤72中,确定图像的颜色集的线性轴线,该线性轴线基本正交于各相应颜色集的相应光照方向。
在步骤73中,将各所绘像素的色度对数值投射到线性轴线上。轴线上的各所绘像素表示输入图像的相应像素映射到光照恒定图像域的颜色值。线性轴线的定向选择成在投射到线性轴线上的相应颜色集之间提供最佳分隔。即,线性轴线的定向在投射到线性轴线上的颜色集之间提供了显著的区别,使得颜色集之间没有色调变化的重叠,并且投射在线性轴线上的各相应投影颜色集可清楚地从相邻颜色集区分开。通过定位轴线而在颜色集之间获得最佳分隔可利用多类别LDA的辅助。这可执行为离线程序。替代地,这可实时在线执行。
在步骤74中,利用投射在线性光照恒定核上的特定颜色集的各所绘像素的投影值,提供在光照恒定图像域中的输入图像的表示。投影在非线性光照恒定核上的各颜色值表示光照恒定图像域中的恒定图像的相应像素。光照恒定图像域中边缘的梯度通过算子计算,所述算子包括,但不限于,苏贝尔算子。此外,通过苏贝尔算子获得输入图像中边缘的梯度。
在步骤75中,在输入图像和光照恒定图像域中都识别边缘。
在步骤76中,通过算子(例如,苏贝尔算子)确定输入图像和光照恒定图像域中边缘的方向梯度。
在步骤77中,将输入图像的方向梯度和光照恒定图像域的方向梯度与至少一个阈值作比较。输入图像的方向梯度大于第一阈值、并且光照恒定图像的方向梯度小于第二阈值表示,在输入图像中存在阴影边缘。
在步骤78中,如果确定存在阴影边缘,那么产生减少了阴影的图像,用于基于车辆的视觉系统的场景分析。所述减少阴影的图像可通过重新构造输入图像产生,通过如在恒定图像分析中确定的以相关联的颜色集变化替代原始输入图中的阴影效果来重新构造输入图像。
如果确定不存在阴影,那么将原始输入图像提供给基于车辆的视觉系统,用于步骤79中的场景分析。
尽管已经详细描述了本发明的特定实施例,但是本发明所属领域的技术人员会认识到用于实施由所附权利要求限定的本发明的各种替代设计和实施方式。
Claims (12)
1.一种用于去除捕获图像中光照产生的阴影的方法,所述方法包括如下步骤:
(a)通过图像捕获装置捕获场景的输入图像;
(b)将所捕获输入图像的每个像素都绘在两维对数图上,每个像素为所述对数图中多个颜色集之一的色调变化;
(c)确定所述多个颜色集的线性轴线,所述线性轴线基本上正交于各相应颜色集的相应光照方向;
(e)将各所绘像素的色度对数值投射在所述轴线上,其中所述线性轴线上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值,其中所述线性轴线的定向选择成:最小化所述图像中的光照效应,并在投射到所述线性轴线上的各相应颜色集之间提供最佳分隔;
(f)识别所述输入图像中的边缘;
(g)识别所述光照恒定图像域中的边缘;
(h)将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较;
(i)响应于所述输入图像中识别的边缘的存在及所述光照恒定图像域中相关边缘的不存在,确定是否存在阴影边缘;以及
(j)产生减少了阴影的图像,用于基于车辆视觉的系统的场景分析。
2.如权利要求1的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括,定位所述线性轴线,直到在各颜色集之间获得最大分隔距离为止。
3.如权利要求2的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括,维持各颜色集内的色调变化的分隔。
4.如权利要求1的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔包括,最小化颜色集的内部变化,同时最大化颜色集之间的集间变化。
5.如权利要求1的方法,其中选择所述线性轴线的定向以在各相应颜色集之间提供最佳分隔是利用机器学习技术来获得。
6.如权利要求5的方法,其中所述机器学习技术包括多类别线性判别分析。
7.如权利要求6的方法,其中所述多类别线性判别分析包括至少两个颜色集,其中最大化所述颜色集之间的平方和,并最小化颜色集内的和。
8.如权利要求1的方法,其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
9.如权利要求1的方法,其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤:
确定所述输入图像的方向梯度;
确定所述光照恒定图像域的方向梯度;
将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较,以确定是否存在阴影边缘。
10.如权利要求9的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
确定所述输入图像的方向梯度是否大于第一阈值;以及
确定所述光照恒定图像域的方向梯度是否小于第二阈值。
11.如权利要求9的方法,其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括:
计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差;
将所述梯度差与所述至少一个阈值作比较。
12.如权利要求11的方法,其中计算梯度差包括下列步骤:
确定所述输入图像的梯度范数;
确定所述光照恒定图像域的梯度范数;以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/830,513 | 2010-07-06 | ||
US12/830,513 US8345100B2 (en) | 2010-07-06 | 2010-07-06 | Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis |
US12/830513 | 2010-07-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102314602A CN102314602A (zh) | 2012-01-11 |
CN102314602B true CN102314602B (zh) | 2013-10-30 |
Family
ID=45427750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101880819A Active CN102314602B (zh) | 2010-07-06 | 2011-07-06 | 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8345100B2 (zh) |
CN (1) | CN102314602B (zh) |
DE (1) | DE102011106072A1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8773535B2 (en) * | 2010-12-08 | 2014-07-08 | GM Global Technology Operations LLC | Adaptation for clear path detection using reliable local model updating |
US8428352B1 (en) * | 2011-11-07 | 2013-04-23 | Tandent Vision Science, Inc. | Post processing for improved generation of intrinsic images |
US8948449B2 (en) * | 2012-02-06 | 2015-02-03 | GM Global Technology Operations LLC | Selecting visible regions in nighttime images for performing clear path detection |
CN103996212B (zh) * | 2013-02-18 | 2017-11-14 | 威达电股份有限公司 | 自动描绘对象边缘走向之方法 |
US9256959B1 (en) * | 2013-08-29 | 2016-02-09 | Marvell International Ltd. | Systems and methods for color lens shading correction |
KR101438640B1 (ko) * | 2013-09-02 | 2014-11-03 | 현대자동차 주식회사 | 선바이저 제어장치 및 선바이저 제어방법 |
US9070023B2 (en) * | 2013-09-23 | 2015-06-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method of alerting a driver that visual perception of pedestrian may be difficult |
US10210399B2 (en) * | 2013-12-20 | 2019-02-19 | Magna Electronics Inc. | Vehicle vision system with image processing |
JP2015200976A (ja) * | 2014-04-04 | 2015-11-12 | 富士通株式会社 | 移動量推定装置、移動量推定方法、およびプログラム |
US9594964B2 (en) * | 2014-06-12 | 2017-03-14 | GM Global Technology Operations LLC | Vision-based wet road surface detection using texture analysis |
US9875415B2 (en) * | 2014-11-17 | 2018-01-23 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver-vehicle-asistance device |
US9218534B1 (en) * | 2014-11-17 | 2015-12-22 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device |
WO2016081240A1 (en) * | 2014-11-17 | 2016-05-26 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device |
CN104809699A (zh) * | 2015-04-15 | 2015-07-29 | 东南大学 | 基于最大熵的路面阴影抑制方法 |
CN104899898B (zh) * | 2015-05-28 | 2018-01-05 | 华南理工大学 | 基于多维信息概率模型的路面检测方法 |
US10635116B2 (en) * | 2017-10-19 | 2020-04-28 | Ford Global Technologies, Llc | Video calibration with illumination invariant image |
CN110834563A (zh) * | 2019-11-20 | 2020-02-25 | 无锡顺达智能自动化工程股份有限公司 | 新能源汽车换电站电池更换检测方法和检测装置 |
EP4189638A4 (en) * | 2020-12-12 | 2024-01-24 | Samsung Electronics Co Ltd | METHOD AND ELECTRONIC DEVICE FOR MANAGING IMAGE ARTIFACTS |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5592567A (en) * | 1992-11-10 | 1997-01-07 | Siemens Aktiengesellschaft | Method for detecting and separating the shadow of moving objects in a sequence of digital images |
CA2135240A1 (en) * | 1993-12-01 | 1995-06-02 | James F. Frazier | Automated license plate locator and reader |
CN100533482C (zh) * | 1999-11-03 | 2009-08-26 | 特许科技有限公司 | 基于视频的交通监控系统的图像处理技术及其方法 |
US7751639B1 (en) * | 2005-04-20 | 2010-07-06 | University Of East Anglia | Obtaining intrinsic images |
-
2010
- 2010-07-06 US US12/830,513 patent/US8345100B2/en active Active
-
2011
- 2011-06-30 DE DE102011106072A patent/DE102011106072A1/de not_active Withdrawn
- 2011-07-06 CN CN2011101880819A patent/CN102314602B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102314602A (zh) | 2012-01-11 |
US8345100B2 (en) | 2013-01-01 |
DE102011106072A1 (de) | 2012-03-01 |
US20120008019A1 (en) | 2012-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102314602B (zh) | 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 | |
CN102314600B (zh) | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 | |
CN102314601B (zh) | 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 | |
US10635929B2 (en) | Saliency-based method for extracting road target from night vision infrared image | |
Alvarez et al. | Road detection based on illuminant invariance | |
Corke et al. | Dealing with shadows: Capturing intrinsic scene appearance for image-based outdoor localisation | |
Mohd Ali et al. | Performance comparison between RGB and HSV color segmentations for road signs detection | |
CN103544484A (zh) | 一种基于surf的交通标志识别方法及系统 | |
CN105678318B (zh) | 交通标牌的匹配方法及装置 | |
Zakir et al. | Road sign segmentation based on colour spaces: A Comparative Study | |
US20130342694A1 (en) | Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device | |
CN103810722A (zh) | 结合改进的lbp纹理和色度信息的运动目标检测方法 | |
CN104766071A (zh) | 一种应用于无人驾驶汽车的交通灯快速检测算法 | |
Álvarez et al. | Shadow resistant road segmentation from a mobile monocular system | |
Hamam et al. | Single-band infrared texture-based image colorization | |
Harbaš et al. | Motion estimation aided detection of roadside vegetation | |
Maxwell et al. | Real-time physics-based removal of shadows and shading from road surfaces | |
Oh et al. | Automatic illumination invariant road detection with stereo vision | |
Schleusner et al. | Deep learning based classification of pedestrian vulnerability trained on synthetic datasets | |
CN106846260A (zh) | 一种计算机中视频去雾方法 | |
US8682067B2 (en) | Method for entropy-based determination of object edge curves | |
Khanal et al. | Robust road signs segmentation in color images | |
Winkens et al. | Automatic shadow detection using hyperspectral data for terrain classification | |
Banerjee et al. | Relevance of Color spaces and Color channels in performing Image dehazing | |
Kang et al. | Texture segmentation of road environment scene using SfM module and HLAC features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |