CN102314601B - 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 - Google Patents
使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 Download PDFInfo
- Publication number
- CN102314601B CN102314601B CN2011101878151A CN201110187815A CN102314601B CN 102314601 B CN102314601 B CN 102314601B CN 2011101878151 A CN2011101878151 A CN 2011101878151A CN 201110187815 A CN201110187815 A CN 201110187815A CN 102314601 B CN102314601 B CN 102314601B
- Authority
- CN
- China
- Prior art keywords
- illumination
- gradient
- constant
- edge
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000005286 illumination Methods 0.000 claims abstract description 48
- 230000004438 eyesight Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000010354 integration Effects 0.000 claims description 6
- 241001062009 Indigofera Species 0.000 claims description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 claims description 2
- 229940097275 indigo Drugs 0.000 claims description 2
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000005457 Black-body radiation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影。提供了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获图像。所捕获图像的每个像素由对数图中的相应颜色值表示。确定非线性光照恒定核。在所述对数图中为各相应颜色集确定光照方向，所述光照方向正交于所述非线性光照恒定核。各所绘像素的色度对数值投射在所述非线性光照恒定核上。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。比较识别出的边缘。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的缺乏，确定是否存在阴影边缘。产生减少了阴影的图像，用于车辆的基于视觉的系统的场景分析。
Description
技术领域
实施例总地涉及基于视觉的目标检测系统。
背景技术
光照情形如阴影会引起基于视觉的目标检测系统的误差。阴影会扭曲被捕获对象的颜色，导致（1）由于阴影产生的边缘与（2）不同实体（例如道路与风景）间的边缘之间的模糊不清。已经使用一些应用来过滤掉阴影，但是现有技术的系统假定使用具有高质量成像器的相机。具有高质量成像器的相机昂贵且包装尺寸大，因此，特别是在基于批量生产的车辆的视觉系统中并不实用。使用高质量成像器，相机传感器被假定为窄频带并且如同狄拉克δ函数那样工作，因为它们仅在一个波长具有非空响应。然而，通常用在基于车辆视觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此，用于去除阴影的现有技术不适于使用低成本生产的成像器。
发明内容
实施例的优点在于从将要被车用视觉感测系统分析的、由图像捕获装置捕获的图像中减少阴影。该阴影减少技术利用非线性光照恒定核，该非线性光照恒定核区分和维持各颜色集的色度，同时去除施加在各自颜色集上的所有光照影响，不管各颜色集的投影光照方向彼此不平行。
实施例设想了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获场景的输入图像。将所捕获输入图像的每个像素都绘在两维对数图上。每个像素为所述对数图中多个颜色集之一的变化。随所述多个颜色集变化而确定非线性光照恒定核。为所述对数图中各相应颜色集确定光照方向。各相应颜色集的所述光照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于所述非线性光照恒定核。将各所绘像素的色度对数值投射在所述非线性光照恒定核上。所述非线性光照恒定核分成多个颜色集范围。所述颜色集范围每个与特定颜色集的变化相关联，其中所述非线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的识别出的边缘与所述光照恒定图像域中的识别出的边缘作比较。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘。产生减少了阴影的图像，用于基于车辆视觉的系统的场景分析。
本发明提供以下技术方案：
方案1. 一种用于去除捕获图像中光照产生的阴影的方法，所述方法包括如下步骤：
（a）通过图像捕获装置捕获场景的输入图像；
（b）将所捕获的输入图像的每个像素都绘在两维对数图上，每个像素为所述对数图中多个颜色集之一的色调变化；
（c）确定随所述多个颜色集而变化的非线性光照恒定核；
（d）在所述对数图中确定对于各相应颜色集的光照方向，对于各相应颜色集的所述光照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于所述非线性光照恒定核；
（e）将各所绘像素的色度对数值投射在所述非线性光照恒定核上，所述非线性光照恒定核分成多个颜色集范围，所述颜色集范围每个与特定颜色集的变化相关联，其中所述非线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值；
（f）识别所述输入图像中的边缘；
（g）识别所述光照恒定图像域中的边缘；
（h）将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较；
（i）响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘；以及
（j）产生减少阴影的图像，用于通过基于车辆视觉的系统的场景分析。
方案2．如方案1的方法，其中所述非线性光照恒定核为椭圆。
方案3．如方案1的方法，其中所述非线性光照恒定核为圆形。
方案4．如方案1的方法，其中所述非线性光照恒定核为多边形。
方案5．如方案1的方法，其中步骤（d）还包括选择提供在投影在所述非线性光照恒定核上的所述特定颜色集与其它颜色集之间的显著的分隔距离的非线性光照恒定核。
方案6．如方案3的方法，其中选择所述非线性光照恒定核基本上最小化了所述特定颜色集内所述色调变化的投影值之间的距离。
方案7．如方案1的方法，其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
方案8．如方案1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤：
从所述输入图像确定边缘的梯度；以及
从所述光照恒定图像域确定边缘的梯度。
方案9．如方案8的方法，其中将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较包括，将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一个阈值作比较的步骤。
方案10．如方案9的方法，其中确定是否存在阴影边缘的步骤还包括如下步骤：
确定所述输入图像的梯度是否大于第一阈值；以及
确定所述光照恒定图像域的梯度是否小于第二阈值。
方案11．如方案9的方法，其中将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一个阈值作比较还包括如下步骤：
计算所述输入图像的梯度与所述光照恒定图像域的梯度之间的梯度差。
方案12．如方案11的方法，其中计算梯度差包括下列步骤：
确定所述输入图像的梯度范数；
确定所述光照恒定图像域的梯度范数；以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
方案13．如方案12的方法，其中确定是否存在阴影边缘的步骤还包括确定所述梯度差是否大于预定阈值的步骤。
方案14．如方案1的方法，其中对于每个颜色通道都执行步骤（f）-（i）。
方案15．如方案14的方法，其中所述颜色通道包括红色通道、绿色通道和蓝色通道。
方案16．如方案14的方法，其中产生减少阴影的图像的步骤还包括如下步骤：
对于成功地识别出的阴影边缘，将所述输入图像中的梯度设置为零；
积分各自通道的梯度，用于重新构造灰度图像；以及
组合各通道，用以形成减少阴影的彩色图像。
附图说明
图1为捕获道路图像的车辆的平面图。
图2为由车辆内图像捕获装置捕获的图像。
图3为阴影减少过程的框图。
图4为示出线性光照恒定轴线的光照恒定线图的图表。
图5为使用低质量图像捕获装置的示例性光照恒定线图。
图6为应用非线性光照恒定轴线的光照恒定线图的图表。
图7为用于从捕获的图像减少阴影的方法的流程图。
具体实施方式
图1中示出了沿着道路12行驶的车辆10。基于视觉的成像装置14捕获车辆10前方的道路的图像，用以检测行驶可行区域（下文称畅通路线）内的图像。基于视觉的成像装置14用于检测目标。在优选实施例中，基于视觉的成像装置14用于为系统（例如，但不限于，车道偏离警告系统）识别畅通路线或道路中的车道标记。基于视觉的成像装置14优选安装在车辆的内部，恰在挡风玻璃的后方，用于捕获车辆外面和前方发生的事件。尽管基于视觉的成像装置14可用于多种功用（例如，增强驾驶员夜视），但是本文所述的主要目的是用于需要识别道路标记、车道标记、道路标志或其它道路目标的系统。这种系统的例子包括，但不限于，必须要求系统能够识别车辆处于道路中何处的车道偏离警告系统，用以警告驾驶员无意识的车道变化。
图2示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角度，可能会在车辆行驶路线中的物体上投射阴影，从而增加了系统区分道路上的物体与投射在道路上的阴影的难度。如图2中所示，行驶在被驾驶车辆前方的车辆16以及路灯18和20可在车行道中投射阴影22、24和26，使得难以识别道路上的车道标记28。
图3中示出了用于去除阴影的示例性图形化流程方法。在框30中，含有阴影的图像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。
在框31中，执行后面描述的光照恒定分析，以检测图像中的所有阴影。在框32中，在光照恒定图像域中表现输入图像。为图形目的在光照恒定图像域中示出的图像为灰度图像，其中颜色集是复现的，不管输入图像中存在的光照条件或阴影。应当理解，为在车辆中实施该技术的目的，不需要产生实际恒定图像；而是，可使用数学分析、建模或其它表现方式来模拟光照恒定图像域中的图像。如图所示，作为光照恒定分析的结果，从光照恒定图像域中去除了阴影。
在框33中，比较输入图像和光照恒定图像域，用于确定原始输入图像中哪儿存在阴影以构造减少了阴影的图像。
在框34中，作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结果，从捕获的输入图像去除了阴影。
图4描述了去除阴影的数学方法，如下所述。在用于路上车辆的目标检测和分类中，捕获图像的背景和前景是不断变化的。对于单一的RGB（红、绿、蓝）图像，可基于光照恒定分析去除投射的阴影。如果照明大致为三δ函数型传感器成像的具有朗伯面的普朗克源，那么可形成色度波段比（例如，3波段RGB彩色图像的R/G、B/G）。另外，对于在不同照明条件下的任意颜色集，对于两维｛log(R/G)，log(B/G)｝值的对数图形成直线。此外，各不同颜色集的每条这种线具有相同的斜率。因此，可使用该物理概念得到光照恒定图像域，其中不管照明条件如何（即，是否存在阴影），一个颜色集的颜色值都映射至光照恒定图像中的相同值。
另外，图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作，以确定阴影边缘。由于阈值阴影边缘是噪声，所以应用形态学运算，以扩展边缘并填充阴影边缘中的一些空隙。此外，被识别的阴影边缘被设定为零，用以去除光照变化的影响。各处理通道的梯度图像的积分步骤用于放弃乘法常数而恢复减少了阴影的图像，然后估计乘法常数，以获得最终减少了阴影的彩色图像。
这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技术使用标准彩色图像作为输入，而输入为图像的光照恒定表示。光照恒定图像域通过将其色度对数值投影在光照恒定方向上来获得。为执行该投影，使用朗伯模型用于图像形成。假定，如果表面外观相同，并且独立于取景方向（即，理想漫反射面），那么照射在该表面上并入射在相机传感器上的具有光谱功率分布（SPD）：E(λ)的光源导致如下响应：
其中
表示表面反射率，其定义为在每波长基础上反射的入射光的分数，（发光体的SPD）将发光体发出的功率定义为波长的函数，为成像装置的
传感器(其中)的光谱灵敏度，明确指明了传感器在各波长处吸收的光的比例。如果上面的各项相乘并在
（传感器具有非零响应的波长范围）上积分，那么它给出Rk,图像中各像素处的色值。
为了简化公式（1）和导出恒定表示，除朗伯表面假定之外，还利用其它两个假定。第一，假定光照源遵守普朗克黑体辐射体定律。普朗克黑体辐射体定律指出，当在温度T加热时的理想球形辐射体以特定的波长发出电磁辐射（例如，发光、闪光）。普朗克光源的例子包括太阳和天空，其为在我们的目标检测和分类应用中最感兴趣的光照源。这样，该光照可通过其色温T参数化为：
其中C1和C2为常数，I为光的总体强度。
第二假定为，假定相机传感器为窄带式并且如同迪拉克δ函数那样工作，因为它们仅在单一波长λk有非空响应。结果，相机灵敏度可由下式表示:
其中
为Qk具有非空响应处的唯一波长。通过这些约束，原始图像形成可表达为：
对于图像中的任何颜色，该颜色可通过RGB颜色通道的组合（例如，i=红色、蓝色）来得到。波段比2维矢量色度可通过除以两个颜色通道产生：
其中p固定为一个颜色通道（例如，绿色），i指示另两个颜色通道（例如，i=红色、蓝色）。由于对于所有三个颜色通道，各像素处的光照强度效应I都是恒定值，所以去除I。因此，ci不依赖于强度和遮光信息。于是对数可如下导出：
其中，
,
。
以矢量形式概括上面的公式，推导出下面的矢量：
其中
为依赖于要成像的表面和相机的2维矢量，但是与光源无关，
为与要成像的表面无关但依赖于相机的2维矢量。结果，光照颜色变化（即，T变化），且给定表面的色度对数矢量
沿着直线移动，其从点
开始且沿着方向
移动。此外，该直线的方向依赖于相机的特性，但是与表面和光源无关。
公式（8）还有效地表明，对于在各种普朗克光源下的相同表面，色度对数值落在具有如下斜率的线上：
将每个色度对数值投射在垂直于光照斜率的方向上给出了在对应图像位置中的值，所述对应图像位置仅依赖于相对光照基本不变的颜色反射率。产生的图像为光照恒定图像。
图4示出了恒定图像形成过程。图4中，图像具有四个不同表面（即，颜色集）的色度对数值。这假定在一定范围的普朗克光源下利用理想的窄带传感器。显然，各表面的色度对数值沿着色度空间中各自的线40、41、42和43降低。这些线具有方向e。实黑线44示出了与光照方向正交的方向，称为光照恒定轴线。不管哪个视角方向的光照，给定表面的各色度对数值沿着这条线投影到一个点上。这些点代表如上定义的恒定图像。
假如有新的输入图像，一旦相对于各颜色集的光照方向找出恒定方向，那么所有像素都被转换到色度对数空间并被投影到该恒定方向上。
其目的是产生减少了阴影的彩色图像。含有阴影的原始输入图像用于导出减少了阴影的恒定图像。通过将原始图像的边缘与从恒定图像得到的边缘作比较可以识别对应于阴影的边缘。通过对阴影边缘进行阈值处理和将原始图像中的阴影梯度设置为零，能够排除包括由于光照效应引起的急剧变化的梯度。最后，积分阈值梯度产生减少了阴影的全色图像。下面提供了用于获得减少了阴影的全色图像的过程的详细描述。
第一步是执行阴影边缘遮罩提取。原始图像含有由表面转变和光照转变引起的边缘，但是恒定图像仅包含与被捕获表面的基准变化（不是由阴影引起的）有关的边缘。因此，原始图像的边缘被与恒定图像中得到的边缘相比较。阴影边缘被定义为原始图像中的、但不在恒定图像中的任何边缘，仅对应于光照变化。方向梯度
和
分别从原始图像和恒定图像计算出。使用两个阈值t1和t2来评价这两个边缘图，以便确定原始图像具有强边缘而恒定图像具有弱边缘的位置。二元阴影边缘如下产生：
替代地，可通过比较各自梯度的范数差来执行阴影边缘遮罩提取。从输入图像确定梯度范数，且从光照恒定图像域确定梯度范数。通过从输入图像的梯度范数减去光照恒定图像域的梯度范数来计算梯度差。梯度差被与阈值作比较，以确定是否存在阴影边缘。
首先产生的初始阴影边缘遮罩是不完全的，其中边缘遮罩包含多个伪边缘。因此，利用一组形态学运算（例如，闭运算和膨胀运算）来精制阴影边缘，用以产生最终阴影边缘遮罩。
第二步是应用减少阴影的图像积分。由于梯度上的阴影边缘对应于变化的光照，所以通过使用阴影边缘遮罩的阈值处理，如上所述，以降低光照效应，可以去除原始图像的梯度中的阴影边缘。结果，阈值梯度产生了一个通道的灰度表现，其为减少了阴影的图像。通过组合所有的RGB通道的减少阴影的灰度图像恢复了最终的减少了阴影的全色图像。为执行该步骤，使用阈值函数Ts去除原始图像的梯度中的阴影。
当识别出阴影边缘时，原始图像中的梯度设定为零，表示在该点没有光照变化。在应用阈值处理之后，仅在因材料改变存在急剧变化的地方获得梯度。现在积分所述梯度，以便恢复不具有阴影的减少阴影图像I’。为实现该目的，泊松方程用作问题的公式表示，如下：
在方程（13）的左侧，图像的拉普拉斯算子如下表示：
在方程（13）的右侧，公式如下表示：
因此，通过齐次诺伊曼边界条件求解泊松方程，使得边界处的梯度被设定为零。分别求解出三个颜色通道的每个通道的上述方程，推导出对于各通道的示例性重新构造的灰度图像，但是具有一些未知的乘法常数。将所有RGB通道的I’组合在一起，产生去除了阴影的彩色图像。另外，为了纠正未知乘法因数和获得更加现实的图像色彩，对每个像素应用映射，以将恢复的图像中的最亮像素（例如，按亮度排序的前5%的像素的平均值）映射到原始图像中的相应像素。实际上，在像素被投影到光照恒定轴线上之后，每个像素都赋予一个投影值。
当使用高质量成像装置时，如上所述的过程成功地去除了阴影。然而，考虑到在车辆中包含高质量成像装置的成本，更可能的情况是对于目标检测和分类使用低成本产品相机。问题是，由于低成本产品相机引起色度对数线中的发散，所以低成本产品相机不满足窄带假定。此外，由于无法找出恒定方向，所以不可能确定恒定图像。下面的段落描述了使低成本产品相机适于提高用于目标检测和分类的阴影去除的性能的过程。
在前面的段落中，阴影去除方法将不同颜色集的色度对数值投影到线性空间，以最小化各种光照条件下每个投影颜色集内的差异。然而，如图5中所示，对于低成本产品相机，对数-对数空间上的值是发散的。捕获的输入图像的每个像素都被绘在两维对数图上。每个像素表示对数图中的各自的颜色值。该图像示出了五个不同颜色集的色度对数值。每个颜色值由图上的各自形状所表示。总地如45-49所示，对于每个颜色集产生一个光照方向。如较早所述的，对数-对数空间上的值是分散的，不存在与所有光照方向45-49正交的线性光照恒定投影。
图6示出了利用非线性核从捕获的输入图像中去除阴影的对数图。该技术通过使用不同颜色集的色度对数值以观察不同光照条件下各颜色集的线性特性来实施。在这种条件下，非线性核50，例如，但不限于，椭圆，用于将各颜色集的各色调变化从多个光照方向51投射到非线性光照恒定核上。所述非线性光照恒定核50可包括任意非线性形状，其包括，但不限于，椭圆、圆形或多边形。非线性光照恒定核50在各自的交叉点处垂直于各颜色集的光照方向。各颜色集的光照方向与椭圆50交叉的各个位置都产生各自的关注区域52-57。每个关注区域52-57都含有各自颜色集的色调变化的投影值，其区分和维持各颜色集的色度，同时去除施加在各自颜色集上的所有光照影响。
在色度值被投影到光照恒定轴线上并且在光照恒定图像域中表示出该图像之后，通过算子，例如包括、但不限于苏贝尔算子，计算光照恒定图像域中的边缘的梯度。此外，通过苏贝尔算子获得输入图像的梯度。
通过从输入图像的梯度范数减去光照恒定图像域的梯度范数计算梯度差图像（即，输入图像与光照恒定图像域之间的梯度差）。梯度差图像被阈值处理以产生阴影边缘图。对于各梯度差值，如果各自的值大于预定阈值，那么其被假定为阴影边缘。在从RGB颜色通道上的输入图像的梯度去除阴影边缘之后，更新的梯度被从阴影去除重新积分成彩色图像，作为减少阴影的图像。结果，无需使用线性恒定轴线就可容易地获得阴影边缘。
图7为用于从捕获的图像减少阴影的方法。在步骤60中，通过图像捕获装置捕获车辆外部场景的输入图像。图像捕获装置捕获彩色图像。
在步骤61中，捕获的输入图像的每个像素<R,G,B>被绘在两维对数图上。
在步骤62中，确定非线性光照恒定核。在各种光照条件下，可利用预先记录的颜色样本在离线程序中更早地确认所述非线性光照恒定核。选择的非线性光照恒定核为已经预先确认为共用于所绘颜色集的核。也就是说，对于各自的所确认颜色集，可确认共用于所有所确认颜色集的相应核。
在步骤63中，确定各相应颜色集的光照方向。所述光照方向在各交叉点正交于非线性光照恒定核。
在步骤64中，将每个所绘像素的色度对数值投射在非线性光照恒定核上。每个颜色集投射在非线性光照恒定核上的区域表示关注区域。每个关注区域都包含相应颜色集的色调变化的投影值，每个关注区域区分和维持各颜色集的色度，同时去除施加在相应颜色集上的所有光照影响。
在步骤65中，利用投射在非线性光照恒定核上的特定颜色集的各所绘像素的投影值，提供在光照恒定图像域中的输入图像的表示。投影在非线性光照恒定核上的各颜色值表示光照恒定图像域中的恒定图像的相应像素。
在步骤66中，通过算子，包括、但不限于苏贝尔算子，计算光照恒定图像域中边缘的梯度和输入图像中边缘的梯度。
在步骤67中，在输入图像的梯度和光照恒定图像域的梯度中都识别阴影边缘。可通过确定原始图像和恒定图像的梯度并然后将各自的梯度与两个相应阈值作比较来识别阴影边缘。替代地，可通过从光照恒定图像域和输入图像中确定梯度范数、确定两个范数之间的梯度差、然后将梯度差与单个阈值作比较来识别阴影边缘。
在步骤68中，对于已经成功识别出的阴影边缘，原始图像中的梯度被设定为零，表示在该位置没有光照变化。由于没有因光照变化产生的锐利边缘，所以该阈值处理步骤获得了图像中仅仅由于材料变化而急剧变化的地方的梯度。
在步骤69中，积分各通道（即，RGB）的梯度，用以重新构造各通道的灰度图像。
在步骤70中，组合所有通道，用以形成阴影被显著地减少或去除的彩色图像。
在步骤71中，产生减少阴影的图像，用于由基于车辆的视觉系统的场景分析。如果确定不存在阴影，那么由基于车辆的视觉系统使用原始输入图像进行场景分析。
尽管已经详细描述了本发明的特定实施例，但是本发明所属领域的技术人员会认识到用于实施由所附权利要求限定的本发明的各种替代设计和实施方式。
Claims (16)
1.一种用于去除捕获图像中光照产生的阴影的方法，所述方法包括如下步骤：
（a）通过图像捕获装置捕获场景的输入图像；
（b）将所捕获的输入图像的每个像素都绘在两维对数图上，每个像素为所述对数图中多个颜色集之一的色调变化；
（c）确定随所述多个颜色集而变化的非线性光照恒定核；
（d）在所述对数图中确定对于各相应颜色集的光照方向，对于各相应颜色集的所述光照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于所述非线性光照恒定核；
（e）将各所绘像素的色度对数值投射在所述非线性光照恒定核上，所述非线性光照恒定核分成多个颜色集范围，所述颜色集范围每个与特定颜色集的变化相关联，其中所述非线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值；
（f）识别所述输入图像中的边缘；
（g）识别所述光照恒定图像域中的边缘；
（h）将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较；
（i）响应于所述输入图像中识别的边缘的存在而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘；以及
（j）产生减少阴影的图像，用于通过基于车辆视觉的系统的场景分析。
2.如权利要求1的方法，其中所述非线性光照恒定核为椭圆。
3.如权利要求1的方法，其中所述非线性光照恒定核为圆形。
4.如权利要求1的方法，其中所述非线性光照恒定核为多边形。
5.如权利要求1的方法，其中步骤（d）还包括选择提供在投影在所述非线性光照恒定核上的所述特定颜色集与其它颜色集之间的显著的分隔距离的非线性光照恒定核。
6.如权利要求5的方法，其中选择所述非线性光照恒定核基本上最小化了所述特定颜色集内所述色调变化的投影值之间的距离。
7.如权利要求1的方法，其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。
8.如权利要求1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤：
从所述输入图像确定边缘的梯度；以及
从所述光照恒定图像域确定边缘的梯度。
9.如权利要求8的方法，其中将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较包括，将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一个阈值作比较的步骤。
10.如权利要求9的方法，其中确定是否存在阴影边缘的步骤还包括如下步骤：
确定所述输入图像的梯度是否大于第一阈值；以及
确定所述光照恒定图像域的梯度是否小于第二阈值。
11.如权利要求9的方法，其中将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一个阈值作比较还包括如下步骤：
计算所述输入图像的梯度与所述光照恒定图像域的梯度之间的梯度差。
12.如权利要求11的方法，其中计算梯度差包括下列步骤：
确定所述输入图像的梯度范数；
确定所述光照恒定图像域的梯度范数；以及
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。
13.如权利要求12的方法，其中确定是否存在阴影边缘的步骤还包括确定所述梯度差是否大于预定阈值的步骤。
14.如权利要求1的方法，其中对于每个颜色通道都执行步骤（f）-（i）。
15.如权利要求14的方法，其中所述颜色通道包括红色通道、绿色通道和蓝色通道。
16.如权利要求14的方法，其中产生减少阴影的图像的步骤还包括如下步骤：
对于成功地识别出的阴影边缘，将所述输入图像中的梯度设置为零；
积分各自通道的梯度，用于重新构造灰度图像；以及
组合各通道，用以形成减少阴影的彩色图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/830518 | 2010-07-06 | ||
| US12/830,518 US8319854B2 (en) | 2010-07-06 | 2010-07-06 | Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102314601A CN102314601A (zh) | 2012-01-11 |
| CN102314601B true CN102314601B (zh) | 2013-11-27 |
Family
ID=45372778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011101878151A Active CN102314601B (zh) | 2010-07-06 | 2011-07-06 | 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8319854B2 (zh) |
| CN (1) | CN102314601B (zh) |
| DE (1) | DE102011106052B4 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8773535B2 (en) * | 2010-12-08 | 2014-07-08 | GM Global Technology Operations LLC | Adaptation for clear path detection using reliable local model updating |
| US20140160155A1 (en) * | 2011-08-30 | 2014-06-12 | Hewlett-Packard Development Company, L.P. | Inserting an Object into an Image |
| US8948449B2 (en) * | 2012-02-06 | 2015-02-03 | GM Global Technology Operations LLC | Selecting visible regions in nighttime images for performing clear path detection |
| JP2015200976A (ja) * | 2014-04-04 | 2015-11-12 | 富士通株式会社 | 移動量推定装置、移動量推定方法、およびプログラム |
| US9594964B2 (en) | 2014-06-12 | 2017-03-14 | GM Global Technology Operations LLC | Vision-based wet road surface detection using texture analysis |
| US9218534B1 (en) * | 2014-11-17 | 2015-12-22 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device |
| US9875415B2 (en) * | 2014-11-17 | 2018-01-23 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver-vehicle-asistance device |
| US9361527B1 (en) * | 2014-11-17 | 2016-06-07 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver vehicle-assistance device |
| US20190039200A1 (en) * | 2017-08-01 | 2019-02-07 | Jian-Shiou Liaw | Air File |
| US10635116B2 (en) * | 2017-10-19 | 2020-04-28 | Ford Global Technologies, Llc | Video calibration with illumination invariant image |
| CN111391861A (zh) * | 2018-12-29 | 2020-07-10 | 北京奇虎科技有限公司 | 一种车辆驾驶辅助方法和装置 |
| JP7310526B2 (ja) * | 2019-10-14 | 2023-07-19 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
| US11308646B2 (en) * | 2020-05-13 | 2022-04-19 | Walmart Apollo, Llc | Extracting color from item images |
| WO2023202844A1 (de) | 2022-04-19 | 2023-10-26 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein kamerasystem sowie kamerasystem |
| DE102022206328B3 (de) | 2022-04-19 | 2023-02-09 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein Kamerasystem sowie Kamerasystem |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU1089300A (en) * | 1999-11-03 | 2001-05-14 | Cet Technologies Pte Ltd | Image processing techniques for a video based traffic monitoring system and methods therefor |
| US7751639B1 (en) * | 2005-04-20 | 2010-07-06 | University Of East Anglia | Obtaining intrinsic images |
| CN101029824B (zh) * | 2006-02-28 | 2011-10-26 | 东软集团股份有限公司 | 基于车辆特征的车辆定位方法和装置 |
| US8478029B2 (en) * | 2009-05-26 | 2013-07-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
-
2010
- 2010-07-06 US US12/830,518 patent/US8319854B2/en active Active
-
2011
- 2011-06-30 DE DE102011106052.2A patent/DE102011106052B4/de active Active
- 2011-07-06 CN CN2011101878151A patent/CN102314601B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102314601A (zh) | 2012-01-11 |
| US20120008020A1 (en) | 2012-01-12 |
| DE102011106052B4 (de) | 2017-09-28 |
| DE102011106052A1 (de) | 2012-01-12 |
| US8319854B2 (en) | 2012-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102314601B (zh) | 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 | |
| CN102314600B (zh) | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 | |
| CN102314602B (zh) | 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影 | |
| US10635929B2 (en) | Saliency-based method for extracting road target from night vision infrared image | |
| CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
| Alvarez et al. | Road detection based on illuminant invariance | |
| CN103559507B (zh) | 基于颜色与形状特征相结合的交通标志检测方法 | |
| Corke et al. | Dealing with shadows: Capturing intrinsic scene appearance for image-based outdoor localisation | |
| CN105426864B (zh) | 一种基于等距边缘点匹配的多车道线检测方法 | |
| CN103324935B (zh) | 一种图像中对车辆进行定位与区域分割的方法与系统 | |
| Mohd Ali et al. | Performance comparison between RGB and HSV color segmentations for road signs detection | |
| CN109886896A (zh) | 一种蓝色车牌分割与矫正方法 | |
| CN102354457B (zh) | 基于广义霍夫变换的交通信号灯位置检测方法 | |
| CN104899554A (zh) | 一种基于单目视觉的车辆测距方法 | |
| CN105338262A (zh) | 一种热成像图像处理方法及装置 | |
| CN102938057B (zh) | 一种车辆阴影消除方法及装置 | |
| Zakir et al. | Road sign segmentation based on colour spaces: A Comparative Study | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN103279755A (zh) | 基于汽车底部阴影特征的快速车牌定位方法 | |
| CN105678318A (zh) | 交通标牌的匹配方法及装置 | |
| Alami et al. | Local fog detection based on saturation and RGB-correlation | |
| Álvarez et al. | Shadow resistant road segmentation from a mobile monocular system | |
| He et al. | Effective haze removal under mixed domain and retract neighborhood | |
| CN109800693B (zh) | 一种基于颜色通道混合特征的夜间车辆检测方法 | |
| CN107992788A (zh) | 识别交通灯的方法、装置及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |