CN104732489A - 从图像数据中去除雨纹的图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供了从图像数据中去除雨纹的图像处理装置和图像处理方法。该装置包括被配置成获取图像数据的至少一个成像装置以及被配置成在图像数据中检测并去除雨纹的控制器。此外，控制器被配置为恢复去除的雨纹所在的区域处的图像数据以将恢复后的图像数据输出。

Description

从图像数据中去除雨纹的图像处理装置和图像处理方法

相关申请的交叉引用 

本申请基于并要求于2013年12月19日向韩国知识产权局提交的韩国专利申请第10-2013-0159192号的优先权，其全部内容通过引用结合于此。 

技术领域

本发明涉及用于从图像数据中去除雨纹的图像处理装置和图像处理方法，更具体地，涉及用于从图像数据中去除雨纹的图像处理装置和图像处理方法，其中检测并去除通过获取降雨场景获取的图像数据中的雨滴并且恢复去除了雨滴的像素的图像数据。 

背景技术

在外部视频监视系统中，天气情况是一个不同的因素，该因素会使图像数据的质量恶化并且进而使系统的性能恶化。现有的图像数据处理算法是在输入图像数据质量合格的假设下运算的。因此，为了提高系统的性能，需要进行预处理来提高外部图像数据的质量。 

发明内容

因此，本发明提供了用于从图像数据中去除雨纹的图像处理装置和图像处理方法，其中在检测到雨时检测并去除通过成像装置获取的图像数据 中的雨滴并且恢复检测到雨滴的像素的图像数据以进行输出。 

在本发明的一个方面中，用于从图像数据中去除雨纹的图像处理装置可包括：被配置成获得图像数据的至少一个成像设备(例如，照相机、摄影机等)；以及控制器，被配置为检测并去除图像数据中的雨纹并且恢复去除的雨纹所在的区域处的图像数据以将恢复后的图像数据输出。 

控制器可被配置为检测图像数据中像素的亮度并且检测该像素周围的像素(例如，相邻像素)的亮度。控制器可被配置为选择最亮的像素作为检测的像素之中的雨纹的候选区域并且将选择作为雨纹候选区域的像素连接以创建单一的雨纹。控制器还可被配置成测量单一雨纹的角度和长度以选择雨纹最终候选区域并且将雨纹区域扩展到所选择的最终候选区域周围的像素。控制器可被配置成删除与雨纹区域对应的像素的数据。 

此外，控制器可被配置成创建关于去除了数据的像素的图像块，并且提取至少一个在前帧至当前帧以从在前帧中提取候选块。控制器可被配置为检测图像块和候选块之间的相似性以使用候选块修复去除了数据的像素。控制器还可被配置为当在图像数据中检测到雨纹时自动运行车辆的雨刮器。控制器可被配置为当在图像数据中检测到雨纹时自动打开包括车辆的前灯和尾灯的灯。图像处理装置可以进一步包括：被配置为感测降雨的传感器。 

在本发明的另一方面中，用于从图像数据中移去雨纹的图像处理方法可包括：通过控制器获取图像数据；通过控制器检测获取的图像数据中的雨纹；通过控制器去除检测到的雨纹；通过控制器恢复去除了雨纹所在的区域处的图像数据以将其输出；并且通过控制器输出恢复后的图像数据。 

雨纹的检测可包括：检测图像数据中的像素的亮度；检测像素周围的像素(例如，相邻像素)的亮度；选择最亮的像素选择作为雨纹的候选区域；连接选择作为雨纹候选区域的像素以创建单一雨纹；测量单一雨纹的 角度和长度；并且设置雨纹的最终候选区域以将雨纹区域扩展到所选择的最终候选区域周围的像素。检测的雨纹的去除可包括删除与雨纹区域对应的像素的数据。图像数据的恢复可包括：创建关于去除了数据的像素的图像块；提取至少一个在前帧至当前帧；从在前帧中提取候选块；并且检测图像块和候选块之间的相似性以使用候选块恢复去除了数据的像素。 

附图说明

结合附图根据以下详细说明，本发明的上述和其他目的、特征及优势将变得更加显而易见，其中： 

图1是示出了根据本发明示例性实施方式的图像处理装置的组成元件的示例性框图； 

图2是示出了根据本发明示例性实施方式的图像处理方法的示例性流程图； 

图3是详细示出根据本发明示例性实施方式的用于从图像数据中检测雨纹的方法的示例性流程图； 

图4A至图4C是根据本发明示例性实施方式的从图像数据中检测到雨纹的示例性屏幕视图；以及 

图5是用于详细示出根据本发明示例性实施方式的用于修复去除了雨纹的图像数据的方法的示例性流程图。 

具体实施方式

应当理解，本文所使用的术语“车辆(vehicle)”或者“车辆的(vehicular)”或者其他的类似术语包括广义的机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆，包括 各种小船(boat)和船舶(ship)的水运工具(watercraft)，航天器等，并且包括混合动力车辆、电动车辆、燃烧、插电混合动力车辆、氢动力车辆、和其他替代燃料车辆(例如，燃料来源于非石油能源)。 

虽然示例性实施例被描述为使用多个单元执行该示例性过程，但是应该理解该示例性过程也可由一个模块或多个模块执行。此外，应该理解术语控制器/控制单元是指包括存储器和处理器的硬件装置。该存储器被配置存储模块，且该处理器被特别配置执行所述模块，以执行下面进一步描述的一个或多个过程。 

此外，本发明的控制逻辑被实施为包括由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读媒介。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可分布在网络耦接的计算机系统中，从而例如通过远程通信服务器(telematics server)或控制器局域网络(CAN)以分布式方式存储和执行该计算机可读介质。 

本文所用的术语仅用于描述特定实施方式的目的，并非旨在限制本发明。如本文所用，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。应进一步理解，术语“包括”和/或“包含”在本说明书中使用时指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。如本文所用的，术语“和/或”包括所关联的列出项目中的一个或多个的任何和所有组合。 

在下文中，将参考附图对本发明的示例性实施方式进行详细地描述。在以下描述中，不会描述本领域众所周知的并且与本发明不直接相关的特征。这是为了通过省去不必要的描述的方式清楚地使本发明的主旨清晰而不晦涩。 

图1是示出了根据本发明示例性实施方式的图像处理装置的组成元件的示例性框图。参照图1，图像处理装置可包括传感器110、成像装置120、显示器140、存储器140以及控制器130。 

传感器110可布置在车辆外部(例如，外部上)以感测(例如，检测)车辆外部的降雨情况。因此，传感器110可实现为雨量传感器。传感器110可被配置成获得有关天气的实时感应信息并将感应信息提供至控制器150。成像装置120(例如，照相机、摄影机等)可被配置成在控制器150的操作下获得或捕获车辆外部的图像数据。多个成像装置120可布置在车辆的前部和后部。显示器130可被配置为显示与图像处理装置100中执行的操作相对应的画面。具体地，显示器130可被配置为在控制器150的操作下显示通过成像装置120获取的图像数据并且在下雨的情况下显示雨纹被去除的图像数据。因此，显示器130可以是液晶显示器(LCD)等，并且当显示器是触摸屏时，显示器130同样可作为输入装置。存储器140可被配置为储存图像处理装置100中执行的操作的各种程序。具体地，显示器130可被配置成在控制器150的操作下显示通过成像装置120获取的图像数据并且在下雨的情况下显示雨纹被去除的图像数据。 

控制器150可被配置为检测由成像装置120获取的图像数据中的雨纹，从图像数据中去除雨纹，并且恢复(restore)雨纹被移去的区域处的图像数据以输出图像数据。更具体地，控制器150可被配置为基于从传感器110提供的感测信息确定外部雨水情况，并且响应确定雨水情况调用存储器140中存储的图形处理算法。控制器150可被配置为分析由成像装置120获取的图像数据并且使用图形处理算法检测图像数据中的雨纹。控制器150可被配置为从由成像装置120获取的图像数据中选择像素并且检测所选择的像素的亮度。然后，控制器150可被配置为检测所选择的像素周围的像素(例如，相邻像素)的亮度。 

此外，控制器150可被配置成检测所选择的像素的右侧三个像素和左侧三个像素，例如(例如，可检测所选择的像素的两侧的像素)。控制器 150可被配置为将从七个像素之中选择最亮的像素以将最亮的像素选择为雨纹的候选区域。当亮度的最大值和最小值之间的差异等于或大于阈值时，控制器150可被配置为确定与图像数据中的界线对应的像素，然后可把那些像素从雨纹的候选区域中排除。 

此外，控制器150可被配置为以以上描述的方式检测图像数据中的每个像素的亮度，并且将选择的像素连接为雨纹的候选区域以创建雨纹。控制器150可被配置成测量单一雨纹的角度和长度以选择雨纹的最终候选区域。具体地，当单一雨纹的长度小于预定长度时，控制器150可被配置为把该单一雨纹从最终候选区域中排除。控制器150可被配置为检测雨纹的候选区域的平均角度并且把具有偏离所检测的平均角度多于阈值的角度的雨纹从最终候选区域中排除。此外，控制器150可被配置为将雨纹区域扩展到所选择的最终候选区域周围的像素。因为雨纹区域的亮度可根据高斯分布改变，所以期望将雨纹区域根据高斯分布扩展到相邻像素区域。 

此外，控制器150可被配置为删除与选择为最终候选区域的雨纹区域对应的像素的数据。然后，控制器150可被配置成恢复数据已被删除的像素的图像数据。因此，当恢复的图像数据显示在显示器130上时，控制器150可被配置为从在前帧中提取图像数据至像素被删除的帧以在恢复图像数据时使用该图像数据使得驾驶员感觉不到差异感。具体地，控制器150可被配置为在包括数据已被删除的像素的图像数据的帧中创建图像块。控制器150可被配置为提取三至五个在前帧中的图像块至已创建图像块的帧。控制器150可被配置为将创建了图像块的帧中的块与在前帧中的块相匹配(例如，相关)以由在前帧创建候选块。因此，当雨下的很大时，可在几个帧上的图像数据的相似位置处检测到雨纹。因此，控制器150可被配置为在与创建图像块的位置相似的位置处在在前帧中创建块。 

控制器150还可以被配置为确定候选块的等级以使得与图像块具有较小的差异合(SAD)的块具有更高的等级。因为使用块匹配得出的最佳 运动矢量和与其对应的最佳块不能提供足够量的可用资料，所以不能准确修复图像数据。因此，控制器150可被配置成确定几个候选块。 

控制器150可被配置为确定图像块和候选块之间的相似性。控制器150同样可被配置成当相似性小于阈值时将候选块确定为可靠候选块，当相似性大于阈值时将候选块确定为不可靠候选块。控制器150可被配置为使用可靠候选块恢复图像块中去除了雨纹的区域的图像数据。然后控制器150可被配置为计算候选块的权重以恢复去除了雨纹的像素的数据，使得亮度与权重相对应。此外，控制器150可被配置为当在图像数据中检测到雨纹时自动运行车辆雨刮器或自动打开诸如车辆的前灯或尾灯的车灯，由此在行驶的同时改善驾驶员的便利度。当这个操作出现时，控制器150可被配置为基于检测到的雨纹的量调整雨刮器的运行速度或车灯的亮度。 

图2是示出了根据本发明示例性实施方式的图像处理方法的示例性流程图。图3是详细示出根据本发明示例性实施方式的用于从图像数据中检测雨纹的方法的示例性流程图。图4A至图4C是根据本发明示例性实施方式的从图像数据中检测到雨纹的实例的示例性屏幕视图。图5是用于详细示出根据本发明示例性实施方式的用于恢复去除了雨纹的图像数据的方法的示例性流程图。 

参照图1至图5，在步骤S11中，控制器150可被配置为基于来自传感器110的感测信息确定车辆的降雨情况。在步骤S13中，响应于确定降雨情况，控制器150可被配置为接收由成像装置120获取的图像数据。在步骤S15中，控制器150可被配置为分析所接收的图像数据。因此，控制器150可被配置为调用存储器140中存储的图形处理算法。在步骤S17中，控制器150可被配置为从图像数据中检测雨纹。尽管在这个示例性实施方式中降雨情况可基于传感器的感测信息在车辆外部确定，但本发明不限于此并且降雨情况可基于驾驶员的输入或者由成像装置120获取的图像数据的分析结果来确定。 

此外，在图3的步骤S171中，控制器150可被配置为从图像数据中选择像素以检测所选择的像素的亮度。在步骤S173中，控制器150可被配置为检测所选择的像素周围的像素(例如，相邻像素)的亮度。具体地，控制器150可被配置为，例如，检测所选择的像素的右侧三个像素和左侧三个像素。在步骤S175中，控制器150可被配置成将从七个像素之中选择最亮的像素以将最亮的像素选择为雨纹的候选区域。当像素的亮度的最大值和最小值之间的差异等于或大于阈值时，控制器150可被配置为确定与图像数据中的界线对应的像素使得控制器150可被配置为把那些像素从雨纹的候选区域中排除。 

随后，在步骤S177中，控制器150可被配置为将选择的像素连接为雨纹候选区域以创建单一雨纹。在步骤S179中，控制器150可被配置为测量创建的单一雨纹的角度和长度。然后，在步骤S181中，控制器150可被配置为选择雨纹的最终候选区域。这可如图4A和图4B中所示的来表示。当图4A中创建的单一雨纹411的长度小于预定长度时，控制器150可被配置为把这些雨纹从雨纹的候选区域中排除。此外，控制器150可被配置为检测雨纹的候选区域的平均角度，并且把具有与检验的平均角度偏离大于阈值的角度的图4A中的雨纹412和413从雨纹的候选区域中排除。 

此外，在步骤S183中，控制器150可被配置为将雨纹区域扩展到步骤S181中所选择的最终候选区域周围的像素。控制器150可被配置为基于在步骤S181中最终选择的雨纹区域的大致中心根据高斯分布发生亮度改变的事实根据高斯分布将雨纹区域大致扩展到相邻像素。这个可以由图4C所示出的来表示。再次参照图2，在步骤S19中，控制器150可被配置为从图像数据中去除所确定的雨纹。具体地，控制器150可被配置为将与图3的步骤S183中的扩展雨纹区域相对应的像素的数据删除。 

在步骤S21中，控制器150可被配置为恢复在步骤S19中已删除了数据的像素的图像数据。具体地，在图5的步骤S211中，控制器150可被配置为在包括数据已被删除的像素的图像数据的帧中创建图像块。随 后，过程进行到步骤S213，在步骤S213中控制器150可被配置为提取先前帧至创建了图像块的帧。控制器150可被配置为提取三到五个在前帧至已创建了图像块的帧。在步骤S215中，控制器150可被配置为将创建了图像块的帧与提取的在前帧进行块匹配。在步骤S217中，控制器150可被配置为创建候选块。 

因此，当雨下的很大时，可在几个帧上的图像数据的相似位置处检测到雨纹。因此，控制器150可被配置为在与创建了图像块的位置基本相似的位置处在在前帧中创建块。控制器150可被配置为确定候选块的等级使得与图像块具有较小的差异合(SAD)的块可具有更高的等级。因为使用块匹配得出的最佳运动矢量和与其对应的最佳块不能提供充分的量的可用资料，所以不能准确恢复图像数据。因此，控制器150可被配置成确定几个候选块。在步骤S219中，控制器150可被配置成检测图像块和候选块之间的相似性。具体地，控制器150可被配置成使用以下方程1将候选块中的可靠块与不可靠块分开： 

方程1 

其中SAD_最大值表示SAD的最大值，SAD_最小值表示SAD的最小值，SAD__i表示i^th候选块和图像块之间的SAD值，并且ε表示确定具有等于平均值的SAD值的候选块的值。当候选块的SAD值分布在较窄的范围中或者分布在整个分布中的主要范围中时相似性可具有较低值，同时当候选块的SAD值分布在较宽的范围中或者不是分布在整个分布中的主要范围中时相似性可具有较高值。当这样计算的候选块的相似性在阈值以下时，块可被确定为可靠候选块，否则，块可被确定为不可靠候选块。 

在步骤S221中，控制器150可被配置为使用确定为可靠候选块的候选块恢复图像块中去除了雨纹的区域的图像数据。控制器150可被配置为计算候选块的权重以恢复去除了雨纹的像素的数据使得它们具有与权重相对应的亮度。因此，控制器150可被配置成使用以下方程2和方程3： 

方程2 

其中R(j)表示候选块中雨像素的比例。 

方程3 

$W(i,j)=\frac{1}{z\left(i\right)}R\left(j\right)e\frac{-\mathrm{SADi}}{h^2}$

其中w(i,j)表示权重，Z(i)表示等级情况(leveling condition)，并且h表示与偏差相对应的变量(指数函数)。根据相似性的权重可通过调整变量h来调整。 

随后，在步骤S23中，控制器150可被配置为将恢复的图像数据输出到显示器120上。通过这样做，驾驶员可看到去除了雨纹以在下雨的时候提供清晰的视图的图像数据，并且相应地可以减少由于不清楚的视图所引起的事故率。 

如上所述，根据本发明的示例性实施方式，在下雨的时候，可在由成像装置获取的图像数据中检测出雨滴并且将其去除，并且检测出雨滴的像素的图像数据可被恢复以被输出，以改善图像数据的质量并且减少事故风险。至此，已描述了根据示例性实施方式的用于从图像数据中去除雨纹的图像处理装置和图像处理方法。尽管关于示例性实施方式描述了详细说明和附图并且已经使用专用名词，但这些仅用于易于描述本发明的目的，而 不是用于限制本发明的范围。对于本领域技术人员而言显而易见的是除了本文中描述的示例性实施方式，在不背离本发明的范围的情况下可进行各种修改。 

Claims (18)

1.一种用于从图像数据中去除雨纹的图像处理装置，所述图像处理装置包括：

存储器，被配置为存储程序指令；以及

处理器，被配置为执行所述程序指令，所述程序指令在被执行时被配置为：

操作成像装置以获取图像数据；

检测并去除所述图像数据中的雨纹；以及

恢复去除的雨纹所在区域处的图像数据以将恢复后的图像数据输出。

2.根据权利要求1所述的图像处理装置，其中，所述程序指令在被执行时被进一步配置为检测所述图像数据中的像素的亮度并且检测与所述像素相邻的像素的亮度。

3.根据权利要求2所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为从所检测的像素中选择最亮的像素作为所述雨纹的候选区域，并且连接选择作为所述雨纹的候选区域的像素以创建单个雨纹。

4.根据权利要求3所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为测量所述单个雨纹的角度和长度以选择所述雨纹的最终候选区域，并将雨纹区域扩展到所述雨纹的所述最终候选区域周围的像素。

5.根据权利要求4所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为将与所述雨纹区域相对应的像素的数据删除。

6.根据权利要求5所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为创建关于去除了数据的像素的图像块并且提取至少一个在前帧至当前帧以从所述在前帧中提取候选块。

7.根据权利要求6所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为检测所述图像块和所述候选块之间的相似性以使用所述候选块恢复去除了数据的像素。

8.根据权利要求1所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为当在所述图像数据中检测到所述雨纹时自动运行车辆的雨刮器。

9.根据权利要求1所述的图像处理装置，其中，所述程序指令在被执行时进一步被配置为当在所述图像数据中检测到所述雨纹时自动打开包括车辆的前灯和尾灯的灯。

10.根据权利要求1所述的图像处理装置，还包括：

传感器，被配置为感测车辆外部的降雨情况。

11.一种用于去除图像数据中的雨纹的图像处理方法，所述图像处理方法包括：

通过控制器获取图像数据；

通过所述控制器检测获取的所述图像数据中的所述雨纹；

通过所述控制器将检测到的所述雨纹从所述图像数据中去除；

通过所述控制器恢复去除的雨纹所在区域处的图像数据；以及

通过所述控制器输出恢复后的图像数据。

12.根据权利要求11所述的图像处理方法，其中，所述雨纹的检测包括：

通过所述控制器检测所述图像数据中的像素的亮度；

通过所述控制器检测与所述像素相邻的像素的亮度；

通过所述控制器选择最亮的像素作为所述雨纹的候选区域；

通过所述控制器将选择作为所述雨纹的候选区域的像素连接以创建单个雨纹；

通过所述控制器测量所述单个雨纹的角度和长度；以及

通过所述控制器设置所述雨纹的最终候选区域以将雨纹区域扩展到雨纹的所述最终候选区域周围的像素。

13.根据权利要求12所述的图像处理方法，其中，所检测到的雨纹的去除包括通过所述控制器将与所述雨纹区域相对应的像素的数据删除。

14.根据权利要求13所述的图像处理方法，其中，所述图像数据的恢复包括：

通过所述控制器创建关于移除了数据的像素的图像块；

通过所述控制器提取至少一个在前帧至当前帧；

通过所述控制器从所述在前帧中提取候选块；以及

通过所述控制器检测所述图像块和所述候选块之间的相似性以便使用所述候选块恢复去除了数据的像素。

15.一种包含由控制器执行的程序指令的非临时性计算机可读介质，所述计算机可读介质包括：

获取图像数据的程序指令；

在所获取的图像数据中检测雨纹的程序指令；

将所检测的雨纹从所述图像数据中去除的程序指令；

恢复去除的雨纹所在的区域处的图像数据的程序指令；以及

输出恢复后的图像数据的程序指令。

16.根据权利要求15所述的非临时性计算机可读介质，其中，所述雨纹的检测还包括：

检测所述图像数据中的像素的亮度的程序指令；

检测与所述像素相邻的像素的亮度的程序指令；

选择最亮的像素作为所述雨纹的候选区域的程序指令；

将选择作为所述雨纹的候选区域连接以创建单个雨纹的程序指令；

测量所述单个雨纹的角度和长度的程序指令；以及

设置所述雨纹的最终候选区域以将雨纹区域扩展到雨纹的所述最终候选区域周围的像素的程序指令。

17.根据权利要求16所述的非临时性计算机可读介质，其中，所述检测雨纹的去除包括将与所述雨纹区域相对应的像素的数据删除的程序指令。

18.根据权利要求17所述的非临时性计算机可读介质，其中，所述图像数据的修复包括：

创建关于去除了数据的所述像素的图像块的程序指令；

提取至少一个在前帧至当前帧的程序指令；

从所述在前帧中提取候选块的程序指令；以及

检测所述图像块和所述候选块之间的相似性以便使用所述候选块恢复去除了数据的像素的程序指令。