CN105389781A - 一种基于显著性检测和Criminisi算法的车辆光照修复方法 - Google Patents

Abstract

本发明涉及图像处理领域，具体涉及一种基于显著性检测和Criminisi算法的车辆光照修复方法。本发明包括：采集受光照影响的车辆图像；将获取的车辆图像从RGB空间转换到YUV空间，在YUV空间进行亮度显著性检测；同时提取原图像的轮廓边缘特征，找到车辆的边缘信息；利用车辆的边缘信息和Criminisi算法对待修复区域完成光照修复；原图像与修复后的图像在lab空间做差值运算。本发明采用轮廓边缘信息和Criminisi算法相结合可以减少轮廓边缘处信息跳变对修复的影响，采用lab空间原图像和修复图像差值运算，可以使修复效果更准确。本发明具有很大的实际应用性，对车辆的颜色特征识别有很大的帮助。

Description

一种基于显著性检测和Criminisi算法的车辆光照修复方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于显著性检测和Criminisi算法的车辆光照修复方法。

背景技术

对于现在车辆的日益剧增，更多的车辆管理技术随之应运而生，车牌识别管理已不能满足现在复杂多变的发展趋势，因此像车辆轮廓和颜色等特征的提取出现在人们的研究范围内。但是在实际生活中的车辆图像，会受到强光、弱光等各种光照的影响，使采集的车辆颜色产生失真而不能准确的提取出车辆的颜色特征，这给车辆管理系统带来很大的阻碍。

目前数字图像破损的修复算法有很多，但是对于车辆受高光影响的颜色修复算法还很不成熟，有待提高。本发明就是在这种情况下，首先利用显著性方法检测出受光照影响的车辆图片的高光区域，然后利用车辆轮廓边缘和Criminisi算法对高光区域进行颜色修复，最后设定阈值判断修复是否结束。本发明对车辆的高光区域有很好的修复作用，实用性强。

发明内容

针对现有车辆颜色识别中光照的影响，本发明的目的在于提供一种鲁棒性好，可以准确恢复出车辆颜色信息的基于显著性检测和Criminisi算法的车辆光照修复方法。

本发明的目的是这样实现的：

一种基于显著性检测和Criminisi算法的车辆光照修复方法，包括如下步骤：

(1)采集受光照影响的车辆图像，光照区域在10％-50％范围内，并做统一大小处理；

(2)将获取的车辆图像从RGB空间转换到YUV空间，在YUV空间进行亮度显著性检测，检测出光照的区域并标记为待修复区域；

(3)同时提取原图像的轮廓边缘特征，找到车辆的边缘信息；

(4)利用车辆的边缘信息和Criminisi算法对待修复区域完成光照修复；

(5)原图像与修复后的图像在lab空间做差值运算，设定阈值进行判断，若计算结果大于阈值，转到步骤(4)继续修复，否则退出，修复完成。

所述YUV空间亮度显著性检测，其步骤包括：

(2.1)将车辆图像从RGB空间转换到YUV空间；

(2.2)在YUV空间计算像素点的显著值；

(2.3)计算显著性阈值；

(2.4)根据像素点的显著值和阈值判断高光区域，并标记。

利用车辆的边缘信息和Criminisi算法对待修复区域进行修复，其步骤包括：

(4.1)对待修复区域预处理，转化为二值图；

(4.2)计算图像的非零像素值的个数，如果为零则退出本次修复程序进入到步骤(5)做lab差值运算，否则执行下一步骤(4.3)；

(4.3)计算所有待修复区域内像素点的置信度值、数据项和优先级值；

(4.4)判断若像素点位于车辆轮廓边缘，则将该点的优先级设置为0，否则执行下一步骤(4.5)；

(4.6)找到优先级最大的点，创建矩形领域，同时创建已知区域，找最佳匹配块进行矩形块填充，同时将该点的灰度值设置为0，转到步骤(4.2)。

将修复后的图像与原图像在lab空间做差值运算，判断修复是否结束，其步骤包括：

(5.1)将原图像和修复后的图像转换到lab空间中，进行相减运算；

(5.2)统计差值灰度图像非零像素值的像素点的个数；

(5.3)设置阈值，若统计结果大于阈值，则转到步骤(4)继续修复，否则修复完成，退出程序。

本发明的有益效果在于：本发明采用轮廓边缘信息和Criminisi算法相结合可以减少轮廓边缘处信息跳变对修复的影响，采用lab空间原图像和修复图像差值运算，可以使修复效果更准确。本发明具有很大的实际应用性，对车辆的颜色特征识别有很大的帮助。

附图说明

图1为本发明实施例提供的一车辆光照修复方法构成方框图；

图2为本发明实施例提供的一亮度空间显著性检测流程图；

图3为本发明实施例提供的一高光区域颜色修复方法流程图；

图4为本发明实施例提供的一车辆光照修复前后对比图；

图5为本发明实施例提供的一车辆光照修复方法框架结构图。

具体实施方式

下面结合附图对本发明做进一步描述。

为了使本发明的目的、技术、优点和实用价值易于明白理解，以下结合附图和具体实施例对本申请进行详细描述。应当理解，所描述的实施例仅用于解释说明本发明，而不是全部的实施例并且并不限制本发明。

本发明主要针对实际应用中采集的受光照影响10％-50％的车辆彩色图像，为了实现上述的技术问题，本申请所述的修复方法包括以下步骤：

(1)采集受光照影响的车辆彩色图像，统一成标准图像大小，作为输入；

(2)将获取的车辆图像从RGB空间转换到YUV空间，在YUV空间进行亮度显著性检测,检测出光照的区域并标记为待修复区域；

(3)同时提取原图像的轮廓边缘特征，找到车辆的边缘信息；

(4)利用车辆的边缘信息和Criminisi算法对待修复区域进行颜色修复；

(5)原图像与修复后的图像在lab空间做差值运算，同时设定阈值进行判断，若计算结果大于阈值，转到步骤(4)，否则退出，修复完成。

进一步对于步骤(2)中的YUV空间亮度显著性检测所采取的方法是：

(2-a)将输入的图像转换到YUV空间；

(2-b)利用亮度值Y计算显著值和阈值；

(2-c)根据亮度的显著值和设定的阈值找到车辆的高光区域并标记。

进一步对于步骤(3)中的原图像轮廓边缘信息提取，这一过程是基于自适应阈值二值化实现的，所采取的方法是将原图像灰度化、二值化，统计图像的灰度信息，然后根据自适应阈值提取出车辆的轮廓边缘信息。

进一步对于步骤(4)中利用边缘信息和Criminisi算法对高光区域进行颜色信息修复，所采取的方法是：

(4-a)对待修复高光区域预处理，并转化为二值图像；

(4-b)计算图像非零像素值的像素点的个数，如果为零则转到步骤(5)在lab空间做差值运算，否则执行下一步骤(4-c)；

(4-c)计算所有待修复区域内像素点的置信度值、数据项值，然后利用公式计算每一像素的优先级值；

(4-d)判断若像素点位于车辆轮廓边缘，则将该点的优先级；

(4-e)最后找到优先级最大的像素点，创建矩形块，同时创建已知区域，找最佳匹配块进行矩形块填充，同时将该点的灰度值设置为0，然后转到步骤(4-b)中继续修复其他的点。

进一步对于步骤(5)中的原图像与修复后的图像lab空间做差，设置判断修复是否结束的条件，其所采取的方法是：将原图像和修复后的图像都转换到lab空间中，并做相减运算，然后统计差值灰度图像像素值非零的点的个数，设置阈值，非零像素点的个数大于阈值，则转到步骤(4)继续进行修复，否则修复完成，退出程序。

本发明采集的车辆图像受光照的区域在10％-50％范围内，可以根据已知的颜色信息对高光部分进行修复，适合本申请的车辆光照修复技术，图1所示是本发明的整体构成框图，具体的实施步骤如下：

1、先用摄像机采集车辆图像，要求图片中车辆受光照影响的区域在指定范围内，传到PC机上，将采集的图像统一成308*206大小，作为输入；

2、将输入图像转换到亮度信号和色度信号分离的YUV空间，然后检测图像的高光区域，具体的流程如图2所示，Y代表亮度，从RGB空间转换到YUV空间的转换公式为：

Y＝0.299R+0.587G+0.114B(1)

U＝-0.147R-0.289G+0.436B(2)

V＝0.615R-0.515G-0.100B(3)

然后统计每个亮度值的像素个数，计算出亮度为k的像素在图像中出现的频率f_k,利用亮度通道Y的灰度距离来计算亮度的显著值，定义显著值用s(p)表示，其定义公式为：

$s\left(p\right)={\Σ}_{k=0}^{255}{f}_k\left|\right|Y_p-k\left|\right|----\left(4\right)$

通过该式可以计算出图像中每一个像素的显著值，显著值越大，表示该像素视觉上越突出，因此可以将全图的平均亮度作为阈值，

$Yavg=\frac{\ΣY_q}{N}---\left(5\right)$

当像素的显著值大于阈值时，认为该像素为高光像素，并标记，至此就能找到图像的高光区域也即待修复区域。

3、由于车辆的轮廓边缘信息较丰富，会影响到接下来的车辆颜色信息的修复，因此在进行修复时要考虑到车辆的轮廓边缘信息，首先将图像灰度化、二值化，然后查找图像轮廓，统计图像的灰度像素，并根据自适应阈值找到图像的边缘。

4、利用原图像和检测出高光区域的图像做差，提取出待修复区域，然后将待修复区域灰度化、二值化，然后计算待修复区域非零像素点的个数，这也是判定是否继续执行的依据，如果不存在非零像素点，说明该图像不存在高光区域，不用修复，直接退出，修复结束，否则进入下一步，我们假定I表示车辆图像，O表示待修复区域，D＝I-O表示原图像已知区域，p为任意像素点，计算任意像素的优先级P(p),本发明中采用自适应加权的优先级计算公式，

$P\left(p\right)=(w_1^0+\frac{w_1^{fin}-w_1^0}{T}\×i)\×C\left(p\right)+\left(w_2^0+\frac{w_2^{fin}-w_2^0}{T}\×i\right)\×D\left(p\right)---\left(6\right)$

其中C(p)是置信度项，表示以像素点p为中心的邻域S内包含的已知信息，

D(p)是数据项，用来度量点p是否在强边缘处，

$D\left(p\right)=\frac{\left|\▿I_p^{\⊥}\·n_p\right|}{\mathrm{\α}}---\left(8\right)$

n_p表示像素点p在边界上的单位法向量，和是控制邻域信息的惯性权重值，和是控制边缘信息的惯性权重值，T是最大迭代次数。然后结合图像的边缘信息，如果点p位于边缘附近，则将该点的优先级值设置为零，让该点最后填充以减少边缘对颜色修复的影响。计算完所有像素的优先级值后，找到优先级最大的点最先填充，同时找到以p为中心的邻域S内的已知信息，在所有的已知区域内找到与S最为相似的样本块，即满足两个块中对应像素值之差的平方和最小，并且物理距离也最小，作为最佳匹配快，然后用最佳匹配块填充待修复图像块S的未知区域，最后将该像素点的灰度值置零。当像素中不存在非零像素点时，修复结束，步骤流程图如图3所示。

5、在修复过程中不可避免的会受到各种信息的干扰，会导致修复图像产生失真，为了减少失真，本发明采用修复图像和原图像在lab空间做差值运算来检测修复的效果，将差值图像灰度化、二值化，并统计非零像素点的个数，当该值超过设定阈值时，进行循环修复，否则修复结束。至此完成了车辆光照的修复，修复效果前后对比图如图4所示。

该算法在软件上思路清晰，框架结构如附图5所示，首先输入图像，再对图像进行高光检测，然后进行修复阶段，最后在PC机上显示出来，再进行下一图像的操作。

由上可知，整个车辆光照的修复方法适合于外界光照的环境，实际应用性很强，所述的颜色修复方法，可以很好的修复出车辆的颜色信息，对车辆颜色特征的提取有很大的帮助。

以上显示和描述了本实用车辆光照修复方法的基本原理、主要特征和本实用的优点，本行业的技术人员应该了解，以上实施例的说明只是用于帮助理解本发明的方法技术和核心思想，并不限制本发明，同时，根据本申请的思想，在具体实施方式和应用范围上均会有改变之处，这些改变都落入本发明的保护范围内。

Claims (4)

1.一种基于显著性检测和Criminisi算法的车辆光照修复方法，其特征在于，包括如下步骤：

(1)采集受光照影响的车辆图像，光照区域在10％-50％范围内，并做统一大小处理；

(2)将获取的车辆图像从RGB空间转换到YUV空间，在YUV空间进行亮度显著性检测，检测出光照的区域并标记为待修复区域；

(3)同时提取原图像的轮廓边缘特征，找到车辆的边缘信息；

(4)利用车辆的边缘信息和Criminisi算法对待修复区域完成光照修复；

(5)原图像与修复后的图像在lab空间做差值运算，设定阈值进行判断，若计算结果大于阈值，转到步骤(4)继续修复，否则退出，修复完成。

2.根据权利要求1所述的一种基于显著性检测和Criminisi算法的车辆光照修复方法，其特征在于，所述YUV空间亮度显著性检测，其步骤包括：

(2.1)将车辆图像从RGB空间转换到YUV空间；

(2.2)在YUV空间计算像素点的显著值；

(2.3)计算显著性阈值；

(2.4)根据像素点的显著值和阈值判断高光区域，并标记。

3.根据权利要求1所述的一种基于显著性检测和Criminisi算法的车辆光照修复方法，其特征在于，利用车辆的边缘信息和Criminisi算法对待修复区域进行修复，其步骤包括：

(4.1)对待修复区域预处理，转化为二值图；

(4.2)计算图像的非零像素值的个数，如果为零则退出本次修复程序进入到步骤(5)做lab差值运算，否则执行下一步骤(4.3)；

(4.3)计算所有待修复区域内像素点的置信度值、数据项和优先级值；

(4.4)判断若像素点位于车辆轮廓边缘，则将该点的优先级设置为0，否则执行下一步骤(4.5)；

(4.6)找到优先级最大的点，创建矩形领域，同时创建已知区域，找最佳匹配块进行矩形块填充，同时将该点的灰度值设置为0，转到步骤(4.2)。

4.根据权利要求1所述的一种基于显著性检测和Criminisi算法的车辆光照修复方法，其特征在于，将修复后的图像与原图像在lab空间做差值运算，判断修复是否结束，其步骤包括：

(5.1)将原图像和修复后的图像转换到lab空间中，进行相减运算；

(5.2)统计差值灰度图像非零像素值的像素点的个数；

(5.3)设置阈值，若统计结果大于阈值，则转到步骤(4)继续修复，否则修复完成，退出程序。