CN103481824A

CN103481824A - 用于从成像装置图像中去除反射光的装置和方法

Info

Publication number: CN103481824A
Application number: CN201210566887.1A
Authority: CN
Inventors: 崔轸贺
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2012-06-12
Filing date: 2012-12-24
Publication date: 2014-01-01
Anticipated expiration: 2032-12-24
Also published as: KR101327032B1; CN103481824B; DE102012222303A1; JP2013258677A; DE102012222303B4; US20130329045A1; JP6068945B2; US9025029B2

Abstract

本发明提供了一种用于从成像装置图像中去除反射光的装置和方法。所述装置包括：滤光器控制器，其被配置成以预定间隔向挡风玻璃或成像装置透镜输出用于控制至少一个滤光器的开启或关闭操作的控制信号，其中滤光器可以布置在车辆的挡风玻璃和摄像机透镜上以使反射光能够通过；图像获得单元，其被配置成获得由摄像机拍摄的图像，所述摄像机可以沿朝向车辆的挡风玻璃的方向安装；差分图像生成单元，其被配置成通过从滤光器被关闭时拍摄的通常图像中减去滤光器被开启时拍摄的反射图像，来生成差分图像；以及差分图像校正单元，其被配置成通过基于差分图像的模糊图像对差分图像中的与反射图像相对应的区域进行校正，来获得最终图像。

Description

用于从成像装置图像中去除反射光的装置和方法

技术领域

本发明涉及一种用于从成像装置图像中去除反射光的装置和方法，并且更特别地涉及一种用于从基本上布置于车辆内的挡风玻璃附近的前部摄像机所拍摄的图像中去除由车辆的挡风玻璃导致的反射光的装置和方法。

背景技术

外部光穿过挡风玻璃，一部分从仪表板被反射作为反射光线，且一部分被透射。从仪表板反射的来自车辆外部的入射光可能会在挡风玻璃上被看到。

另外，透过挡风玻璃拍摄车辆的前方视图的成像装置基本上布置在车辆内的挡风玻璃附近。因此，当反射光在挡风玻璃上可看到时，由摄像机拍摄的图像可能会显示反射光。此外，在阳光基本充足的天气状况下，所拍摄图像中的对象可能会由于所拍摄图像中显示的反射光而显得模糊。

当把对应的拍摄图像应用于例如车道识别系统时，识别率可能会由于反射光而降低或者由于反射光而可能会出现错误识别。

发明内容

因此，本发明是考虑到上述问题而做出的，并且本发明的目的是提供一种用于从成像装置图像中去除反射光的装置和方法，其中从基本上布置在车辆的挡风玻璃附近的前部摄像机所拍摄的图像中去除由挡风玻璃导致的反射光，以使识别前方图像过程中的错误最少化。

此外，本发明的目的是提供一种用于从成像装置图像中去除反射光的装置和方法，其中可以通过对成像装置和挡风玻璃滤光器通电和断电、并校正拍摄图像的差分图像，来更容易地从摄像机图像中去除反射光。

在本发明的一个实施例中，公开了一种用于从成像装置图像中去除反射光的装置，所述装置包括：滤光器控制器，其被配置成以预定时间间隔向挡风玻璃或成像装置透镜输出用于控制至少一个滤光器的开启或关闭操作的控制信号，其中滤光器可以布置在车辆的挡风玻璃和摄像机透镜上以使反射光能够通过；由控制器上的处理器执行的图像获得单元，其被配置成获得由摄像机拍摄的图像，所述摄像机可以沿朝向车辆的挡风玻璃的方向安装；由处理器执行的差分图像生成单元，其被配置成通过从滤光器被关闭时拍摄的通常图像（general image）中减去滤光器被开启时拍摄的反射图像，来生成差分图像；以及由处理器执行的差分图像校正单元，其被配置成通过基于差分图像的模糊图像对差分图像中的与反射图像相对应的区域进行校正，来获得最终图像。差分图像校正单元从模糊图像中检测亮度级，并校正差分图像中的与反射图像相对应的区域的亮度级。差分图像校正单元可以对差分图像中的与反射图像相对应的区域上的空白空间进行填充。此外，差分图像校正单元可以从反射图像检测边缘区域，并且基于检测的边缘区域从差分图像中识别与反射图像相对应的区域。

在本发明的另一实施例中，公开了一种从成像装置图像中去除反射光的方法，其包括：由处理器以预定时间间隔向挡风玻璃或成像装置透镜输出用于控制至少一个滤光器的开启或关闭操作的控制信号，其中滤光器可以布置在车辆的挡风玻璃上，以使反射光能够通过；由处理器获得沿着朝向车辆的挡风玻璃的方向安装的摄像机所拍摄的图像；由处理器通过从滤光器被关闭时拍摄的通常图像中减去滤光器被开启时拍摄的反射图像，来生成差分图像；以及由处理器通过基于差分图像的模糊图像对差分图像中的与反射图像相对应的区域进行校正，来获得最终图像。由处理器获得最终图像的步骤可以包括：由处理器从模糊图像中检测亮度级，并校正差分图像中的与反射图像相对应的区域的亮度级。此外，获得最终图像的步骤可以包括：对差分图像中的与反射图像相对应的区域上的空白空间进行填充。此外，获得最终图像的步骤可以包括：由处理器检测反射图像的边缘区域，并基于检测的边缘区域从差分图像中识别与反射图像相对应的区域。

附图说明

根据结合附图给出的以下详细说明，本发明的上述及其它目的、特征和优点将会更清楚地得到理解，在附图中：

图1是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的装置的示例性视图；

图2是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的装置的配置的示例性框图；

图3至9是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的装置的操作的示例性视图；

图10是示出根据本发明示例性实施例的从成像装置图像中去除反射光的方法中的获得图像的操作的示例性流程图；并且

图11是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的方法的示例性流程图。

附图中各要素的附图标记

1：车辆 3：挡风玻璃

5：摄像机 7：滤光器

110：控制器 120：滤光器控制器

130：图像获得单元

140：差分图像生成单元

150：差分图像校正单元

160：最终图像处理单元

170：存储单元

具体实施方式

应理解的是，本文中使用的术语“车辆”或“车辆的”或其它类似术语包括一般的机动车辆（诸如包括运动型多功能车（SUV）、公共汽车、卡车、各种商用车辆在内的客车）、包括各种艇和船在内的水运工具、飞行器等，并且包括混合动力车、电动车、插电式混合电动车、氢动力车以及其它代用燃料车（例如从除石油以外的资源中取得的燃料）。

尽管示例性实施例被描述为使用多个单元来执行示例性处理，但应理解的是，所述示例性处理也可以由一个或多个模块执行。另外，应理解的是，术语“控制器”是指包括存储器和处理器的硬件装置。存储器被配置成存储各模块，并且处理器被具体地配置成执行所述模块以执行下面进一步描述的一个或多个处理。

此外，本发明的控制逻辑可以实施为包含由处理器、控制器等执行的可执行程序指令的非暂时性计算机可读介质。计算机可读介质的实例包括但不限于ROM、RAM、压缩盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在网络连接的计算机系统中，使得计算机可读介质以分布式方式（例如通过远程信息处理服务器或控制器局域网（CAN））被存储和执行。

本文中所用的术语仅用于描述特定实施例的目的，并且并非旨在对本发明进行限制。如本文中所使用的那样，单数形式的“一”旨在也包括复数形式，除非文中清楚地指出。还应理解的是，术语“包括”在本说明书中被使用时，指的是所陈述的特征、整数、步骤、操作、元件和/或组件的存在，而并不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或附加。如本文中使用的那样，术语“和/或”包括一个或多个相关列出条目的任意和全部组合。

在这里将参考附图详细描述本发明的示例性实施例。在附图中始终使用相同的附图标记来指代相同或相似的部分。本文中包含的众所周知的功能和结构的详细描述会被省略，以避免使本发明的主题模糊。

图1是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的装置的示例性视图。

图1示出用于从成像装置5所拍摄的图像中去除反射光的装置100（在下文中被称为“反射光去除装置”），其中滤光器可以布置在车辆1挡风玻璃3和摄像机5的透镜上。此外，布置在挡风玻璃3上的滤光器7（在下文中被称为“第一滤光器”）和布置在摄像机5的透镜上的滤光器（在下文中被称为“第二滤光器”）可以是用于检测挡风玻璃3上的反射光的偏振滤光器。

反射光去除装置100可以连接到第一滤光器或第二滤光器以便控制滤光器的开/关操作、以及以便获得由摄像机5拍摄的图像。优选地，反射光去除装置100控制第二滤光器的开/关操作；然而，本发明并不局限于此。然而，在下面描述的示例性实施例中，作为说明性实例，反射光去除装置100被描述为控制第二滤光器的开/关操作。

特别地，反射光去除装置100可以在滤光器关闭时获得通常图像，并且可以通过在预定时间间隔期间开启滤光器来获得与通常图像相对应的反射图像。因此，反射光去除装置100可以通过通常图像和反射图像来从摄像机5拍摄的图像中去除反射光。

将参考图2对装置100进行详细描述。

图2是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的装置的配置的示例性框图。

参考图2，反射光去除装置100可以包括处理器110、滤光器控制器120和多个单元，所述多个单元包括图像获得单元130、差分图像生成单元140、差分图像校正单元150、最终图像处理单元160和存储器170。控制器105上的处理器110被配置成执行反射光去除装置100的多个单元。

滤光器控制器120可以连接到第二滤光器，以输出控制信号至第二滤光器。此外，由滤光器控制器120输出的控制信号可以是用于控制第二滤光器的开/关操作的信号。特别地，滤光器控制器120可以按照预设的间隔控制第二滤光器的开/关操作。此外，滤光器控制器120可以按照预设的时间间隔来关闭第二滤光器和开启第二滤光器。例如，滤光器控制器120可以在第一周期的开始时间点关闭第二滤光器，并在第一周期的结束时间点开启第二滤光器。第二滤光器可以在第二周期开始时被关闭，并在第二周期的结束时间点被开启。因此，可以按照预设的间隔开启第二滤光器，以便仅使偏振光能够通过。

由处理器110执行的图像获得单元130可以获得由布置在车辆1中的摄像机拍摄的图像。此外，摄像机5可以沿朝向车辆的挡风玻璃的方向布置。在这种情况下，图像获得单元130可以按照第二滤光器的开/关操作来获得通常图像和反射图像。特别地，当第二滤光器关闭时，可以获得通常图像，并且当第二滤光器开启时，可以获得反射图像。

由处理器110执行的差分图像生成单元140可以通过使用由摄像机5拍摄的通常图像和反射图像，来生成差分图像。特别地，差分图像生成单元140可以通过在一时间段期间由摄像机5拍摄的图像中从第二滤光器关闭时拍摄的通常图像中减去第二滤光器开启时拍摄的反射图像，来生成差分图像。

差分图像校正单元150可以校正由差分图像生成单元140生成的差分图像，以获得最终图像。此外，差分图像校正单元150可以生成相对于差分图像的模糊图像，其中模糊图像是当校正差分图像时利用的参考图像。差分图像校正单元150还可以从模糊图像中检测亮度级，以校正差分图像的亮度级。

差分图像校正单元150可以校正差分图像中的与反射图像相对应的区域，而不校正整个差分图像的亮度级。此外，在此实施例中，差分图像校正单元150可以检测反射图像的边缘，并且可以基于反射图像的边缘信息来检测差分图像中的与反射图像相对应的区域。因此，差分图像校正单元150可以校正由差分图像的反射图像边缘限定的内部区域，从而获得最终图像。此外，差分图像校正单元150可以填充由反射图像的边缘限定的内部区域上的空白空间（hole filling）。

由处理器110执行的最终图像处理单元160可以把由差分图像校正单元150获得的最终图像存储在存储器170中，或者可以把最终图像提供至基于成像装置图像的系统。

图3至9是示出根据本发明示例性实施例的用于从成像装置图像中去除反射光的装置的操作的示例性视图。

图3示出车辆的实际前方视图，图4示出由车辆内布置的成像装置拍摄的前方图像，其中该前方图像是第二滤光器关闭时拍摄的通常图像。图4中所示的图像可以类似于车辆的实际前方视图，然而，由于摄像机透过挡风玻璃拍摄前方视图，所以挡风玻璃上的反射光可能会被显示在拍摄图像上。

尽管驾驶者可以根据拍摄图像识别前面的状况，但是当在例如基于来自前部摄像机的图像进行操作的传感器中使用包括反射光的图像时，传感器的识别率可能会由于挡风玻璃上的反射而被降低。

与图4类似，图5示出通过车辆内布置的摄像机拍摄的前方图像，并且图5示出开启第二滤光器时拍摄的反射图像。换句话说，当开启第二滤光器时，其它光线会被滤光器阻挡，并且仅仅由挡风玻璃反射的光可以通过，使得由摄像机拍摄的图像可以仅包括来自挡风玻璃的反射光。

图6示出差分图像，在该差分图像中，图5的反射图像被从图4的通常图像中去除。图7示出通过使图6的差分图像模糊而获得的模糊图像。在图7的模糊图像中，与反射图像相对应的区域的亮度级基本上不同于剩余区域，使得可以检测模糊图像的亮度级信息来校正差分图像。

图8示出从图5的反射图像中检测到的边缘区域。当校正差分图像时，可以利用图8中所示的反射图像的边缘来填充图像中的空白空间。

图9示出通过根据从图7的模糊图像中提取的亮度级和空白空间填充来相对于图8的边缘区域校正图6的差分图像而获得的最终图像。如图9所示，与图4中所示的通常图像相比，已经基本上去除了反射光。在这种情况下，通过从由摄像机拍摄的前方图像中基本上去除反射光，当将本发明应用于使用前方图像的感测装置时，可以使不准确识别和错误最少化。

在下面将详细描述具有上述配置的根据本发明的反射光去除装置的操作。

图10是示出根据本发明的从成像装置图像中去除反射光的方法中获得图像的操作的示例性流程图。

参考图10，根据本发明的反射光去除装置可以开启摄像机（S100），所述摄像机基本上布置在车辆内的挡风玻璃附近、并且配置成拍摄车辆的前方图像。反射光去除装置可以通过将关闭控制信号输出至布置在摄像机上的第二滤光器，来关闭第二滤光器（S110）。当第二滤光器被关闭时，反射光去除装置可以通过摄像机获得通常图像（S120）。

反射光去除装置可以将第二滤光器保持在关闭状态直到特定的一段时间（Δt）已经逝去为止，并且当所述时间已经逝去时，反射光去除装置可以输出开启控制信号以开启第二滤光器（S140）。当第二滤光器被开启时，反射光去除装置可以通过摄像机获得反射图像（S150）。

图11是示出根据本发明示例性实施例的从成像装置图像中去除反射光的方法的示例性流程图。

参考图11，反射光去除装置可以获得图10中通过摄像机拍摄的通常图像和反射图像（S200）。接着，反射光去除装置可以从通常图像中去除反射图像，获得差分图像（S210），并且检测反射图像的边缘以校正差分图像（S220）。此外，反射光去除装置可以生成差分图像的模糊图像（S230），并且从差分图像的模糊图像中检测亮度级（S240）。此外，反射光去除装置可以基于步骤S240中检测的亮度级来校正差分图像（S250）。

在步骤S250中，可以对差分图像中与反射图像的边缘区域相对应的区域进行校正，并且可以对差分图像的相应区域的亮度级进行调整。另外，反射光去除装置可以对差分图像中的相应区域上的空白空间进行填充。因此，反射光去除装置可以获得从摄像机图像中基本上去除反射光的最终图像（S260）。

本发明可以开启或关闭基本上布置在车辆的挡风玻璃附近的前部摄像机以及车辆的挡风玻璃的滤光器之一，可以校正拍摄图像的差分图像，从而更容易地从成像装置图像中去除挡风玻璃反射的光，从而基本上去除摄像机图像的反射光以使图像的错误识别最少化。

有利地，因为不需要遮蔽物来使反射光最少化，所以本发明可以增大视野范围，从而基本上消除挡风玻璃的设计限制或由挡风玻璃导致的环圈（loop），从而实现制造车辆的各种设计的可能性。

尽管已经在上文中详细描述了本发明的示例性实施例，但应清楚理解的是，可以做出本文中的基本发明概念的许多变型、改型、添加和替换，而不脱离所附权利要求中公开的本发明的精神和范围。

Claims

1.一种用于从成像装置图像中去除反射光的装置，所述装置包括：

包括处理器的控制器，所述处理器被配置成：

以预定间隔向挡风玻璃或成像装置透镜输出用于控制至少一个滤光器的开启或关闭操作的控制信号，其中所述滤光器布置在车辆的挡风玻璃和摄像机透镜上以使反射光能够通过；

获得由摄像机拍摄的图像，其中所述摄像机沿朝向车辆的挡风玻璃的方向安装；

通过从所述滤光器被关闭时拍摄的通常图像中减去所述滤光器被开启时拍摄的反射图像，来在由所述摄像机拍摄的图像中生成差分图像；以及

通过基于所述差分图像的模糊图像对所述差分图像中的与所述反射图像相对应的区域进行校正，来获得最终图像。

2.如权利要求1所述的装置，其中所述处理器还被配置成从所述模糊图像中检测亮度级，以校正所述差分图像中的与所述反射图像相对应的区域的亮度级。

3.如权利要求1所述的装置，其中所述处理器还被配置成对所述差分图像中的与所述反射图像相对应的区域上的空白空间进行填充。

4.如权利要求1所述的装置，其中所述处理器还被配置成检测所述反射图像的边缘区域，并基于检测的边缘区域从所述差分图像中识别与所述反射图像相对应的区域。

5.一种从成像装置图像中去除反射光的方法，所述方法包括：

由包括处理器的控制器以预定间隔向挡风玻璃或成像装置透镜输出用于控制至少一个滤光器的开启或关闭操作的控制信号，其中所述滤光器布置在车辆的挡风玻璃和摄像机透镜上，以使反射光能够通过；

由所述处理器获得摄像机所拍摄的图像，其中所述摄像机沿着朝向车辆的挡风玻璃的方向安装；

由所述处理器通过从所述滤光器被关闭时拍摄的通常图像中减去所述滤光器被开启时拍摄的反射图像，来在由所述摄像机拍摄的图像中生成差分图像；以及

由所述处理器通过基于所述差分图像的模糊图像对所述差分图像中的与所述反射图像相对应的区域进行校正，来获得最终图像。

6.如权利要求5所述的方法，其中由所述处理器获得所述最终图像的步骤还包括：

由所述处理器从所述模糊图像中检测亮度级，以校正与所述反射图像相对应的区域的亮度级。

7.如权利要求5所述的方法，其中由所述处理器获得所述最终图像的步骤还包括：

填充所述差分图像中的与所述反射图像相对应的区域上的空白空间。

8.如权利要求5所述的方法，其中获得所述最终图像的步骤还包括：

检测所述反射图像的边缘区域，并基于检测的边缘区域从所述差分图像中识别与所述反射图像相对应的区域。

9.一种包含由控制器上的处理器执行的程序指令的非暂时性计算机可读介质，所述计算机可读介质包括：

以预定间隔向挡风玻璃或成像装置透镜输出用于控制至少一个滤光器的开启或关闭操作的控制信号的程序指令，其中所述滤光器布置在车辆的挡风玻璃和摄像机透镜上，以使反射光能够通过；

获得摄像机所拍摄的图像的程序指令，其中所述摄像机沿着朝向车辆的挡风玻璃的方向安装；

通过从所述滤光器被关闭时拍摄的通常图像中减去所述滤光器被开启时拍摄的反射图像，来在由所述摄像机拍摄的图像中生成差分图像的程序指令；以及

通过基于所述差分图像的模糊图像对所述差分图像中的与所述反射图像相对应的区域进行校正，来获得最终图像的程序指令。

10.如权利要求9所述的非暂时性计算机可读介质，其中获得所述最终图像的程序指令还包括：

从所述模糊图像中检测亮度级，以校正与所述反射图像相对应的区域的亮度级的程序指令。

11.如权利要求9所述的非暂时性计算机可读介质，其中获得所述最终图像的程序指令还包括：

填充所述差分图像中的与所述反射图像相对应的区域上的空白空间的程序指令。

12.如权利要求9所述的非暂时性计算机可读介质，其中获得所述最终图像的程序指令还包括：

检测所述反射图像的边缘区域，并基于检测的边缘区域从所述差分图像中识别与所述反射图像相对应的区域的程序指令。