CN111080686A - 用于自然场景中图像高光去除的方法 - Google Patents

Abstract

本发明公开了一种用于自然场景中图像高光去除的方法，包括：利用鲁棒稀疏分解的方法对原始图像进行分解，获得表示图像亮度变化与颜色变化的低频信息；将原始图像由色彩空间转换至色度空间，并利用低频信息，估计色度空间中的镜面反射系数；利用估计到的镜面反射系数计算出镜面反射分量，并在原始图像中去除计算出的镜面反射分量，再转换回色彩空间，得到去高光后的图像。该方法可以准确地分离镜面反射，并且在高光消除期间不会引入任何伪影，图像也不会变得模糊，在自然场景中实现了最佳高光去除效果，此外，在包含复杂纹理或饱和像素的一些具有挑战性的场景中极大地保留了原始图像的细节和结构信息。

Description

用于自然场景中图像高光去除的方法

技术领域

本发明涉及图像质量恢复与提升技术领域，尤其涉及一种用于自然场景中图像高光去除的方法。

背景技术

图像在拍摄的过程中往往会因为场景中物体表面的反射特性和不均匀照明因素形成高光现象，即在某处发生较为强烈的镜面反射，使得图像的原始信息丢失，从而影响后续的边缘检测、轨迹追踪等机器视觉算法的进行，因此探索在图像中准确地将高光去除或者将像素处的镜面反射与漫反射成分分离的有效方法具有十分重要的研究意义。

针对图像的高光去除方法包括硬件和软件两类，硬件方法如在相机外部添加偏振装置等，此类方法的缺失是导致严重的测量失真。因此目前的研究倾向于使用图像处理算法直接从单个图像去除高光，无需额外硬件的辅助，同时最小化外部干扰条件。现有的基于图像处理算法的高光去除方法主要包括三种：

第一种是基于偏微分方程和偏振的方法，利用偏振分离反射分量，但是其实验过程较复杂，不仅需要获得多个不同偏振方向的图像，还需要额外的偏振器辅助，而且这种方法只适用于物体表面变化不明显的情况。

第二种是基于色度图和直方图的方法，研究者提出SF(无镜面)图像的概念，通过比较高光区域和相邻区域的像素值，转换像素的最大值以匹配相邻像素值，不断地进行迭代以去除高光，然而这种方法的主要缺点是存在许多自然图像中的色调饱和度模糊。

第三种是基于双色反射模型的方法，也是目前使用最广泛的方法，充分考虑了场景的物理特性，将某处像素的强度分解为表示物体表面信息的漫反射分量和表示光源信息的镜面反射分量。最新的研究方法将色线约束引入到模型当中，但它仅适用于深色表面物体，无法实现像素的精确聚类。此外，现有的基于双色反射模型的方法往往假设高光部分在图像中是稀疏的，将反射分离转换为低秩和稀疏矩阵的解，然而这些方法往往只能对在实验场景下拍摄的图像起到作用，因为这是人为布置环境、添加光源的场景，然而自然图像中的高光通常不会表现出稀疏的特性，导致现有的方法在自然图像中的处理效果不佳。

发明内容

本发明的目的是提供一种用于自然场景中图像高光去除的方法，可以准确地分离镜面反射，并且在高光消除期间不会引入任何伪影，图像也不会变得模糊，在自然场景中实现了最佳高光去除效果，此外，在包含复杂纹理或饱和像素的一些具有挑战性的场景中极大地保留了原始图像的细节和结构信息。

在自然图像中的表现优于现有最先进的方法，并且在存在饱和像素和复杂纹理的挑战性场景中表现出良好的效果。

本发明的目的是通过以下技术方案实现的：

一种用于自然场景中图像高光去除的方法，包括：

利用鲁棒稀疏分解的方法对原始图像进行分解，获得表示图像亮度变化与颜色变化的低频信息；

将原始图像由色彩空间转换至色度空间，并利用低频信息，估计色度空间中的镜面反射系数；

利用估计到的镜面反射系数计算出镜面反射分量，并在原始图像中去除计算出的镜面反射分量，再转换回色彩空间，得到去高光后的图像。

由上述本发明提供的技术方案可以看出，充分考虑自然场景中图像的特征，图像中的每个位置都存在镜面反射和漫反射分量，像素强度反映了镜面反射的强度。在照明色度基于现有方法已经能够精确估计的基础上，只需要关注将镜面反射系数准确估计，便可获得镜面反射分量从而去除。镜面反射的强度主要与物体表面的颜色和光滑度有关，物体越平滑，镜面反射越强，物体颜色越深，镜面反射越弱。根据这个规律，基于稀疏分解的方法获取图像的低频信息以估计镜面反射系数，在自然图像中的表现优于现有最先进的方法，并且在存在饱和像素和复杂纹理的挑战性场景中表现出良好的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的实验场景和自然场景图像中环境照明图及其强度直方图；

图2为本发明实施例提供的一种用于自然场景中图像高光去除的方法的流程图；

图3为本发明实施例提供的将亮度通道分解为低频分量和高频分量的示意图；

图4为本发明实例提供的本发明提供方法和现有最先进方法的处理效果对比图；

图5为本发明实施例提供的本发明提供方法和现有最先进方法的处理效果对比图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种用于自然场景中图像高光去除的方法，能够适用于自然图像不同场景，在去除高光的同时，实现图像原有结构和纹理信息的最大限度保存。

在本发明实施例提供的方法中，首先基于Retinex理论将图像表示为反射和光照的乘积，前者代表图像的细节信息，后者代表环境光信息，其可以简单地表示为：

I_c(x,y)＝R_c(x,y)·L_c(x,y)

其中，I_c(x,y)是坐标为(x,y)处的像素强度值，c代表三个颜色通道R、G或B。R_c(x,y)和L_c(x,y)分别代表通道c的反射率和照明量，通常用高斯滤波器来计算L_c(x,y)，然后选取实验场景和自然场景中的图像显示光照图L_c(x,y)和它的亮度直方图。如图1所示，(a)～(b)两部分中，左侧为实验场景图像中环境照明图，右侧为对应的强度直方图；(c)～(d)两部分中，左侧为自然场景图像中环境照明图，右侧为对应的强度直方图。从图中可以明显看出两者间的差异，自然场景中图像的光照分布明显是不均匀的，并且整体亮度要高于实验场景，这是因为实验场景限制了环境光的分布及形状，且通常采用纯黑色背景，这在自然光照条件下是不存在的情况。因此本发明提供的方法充分考虑现实场景中高光分布的特点，更倾向于解决实际问题，比现有最先进的方法在现实场景中的表现都更好。

本发明实施例提供的一种用于自然场景中图像高光去除的方法的流程图如图2所示，其主要包括：

步骤1、利用鲁棒稀疏分解的方法对原始图像进行分解，获得表示图像亮度变化与颜色变化的低频信息。

从双色反射模型开始，将图像表示为漫反射分量和镜面反射分量的叠加：

I(p)＝D(p)+S(p)＝m_d(p)Λ(p)+m_s(p)Γ(p)

其中，I(p)代表像素p处的强度，D(p)和S(p)分别代表漫反射分量和镜面反射分量，m_d(p)和m_s(p)分别是物体表面几何形状相关的漫反射和镜面反射系数。Λ(p)＝[Λ_r(p),Λ_g(p),Λ_b(p)]^T是漫反射色度，通常认为其在相同颜色的连续表面中保持相同，但是真实场景中物体表面有时是粗糙且不规则的，该假设并非适用所有情况。相反照明色度Γ(p)＝[Γ_r(p),Γ_g(p),Γ_b(p)]^T可以用颜色恒常算法进行准确估计，因此只需要估计出镜面反射系数就能计算出镜面反射分量从而去除。

通常，镜面反射的强度主要与物体表面的平滑度和颜色深度有关，物体表面越光滑，镜面反射越强，颜色越浅，镜面反射越强，而镜面反射系数m_s(p)精确编码镜面反射的位置和强度。首先考虑平滑因素，图像可以分解为表示图像整体强度变化的低频信息和表示边缘纹理细节的高频信息。低频信息即可以看作是图像的平滑部分。对于特定位置处的低频图像，亮度值越大，其镜面反射越强，它能准确表示镜面反射的强度，因此，使用低频分量估计镜面反射系数。

为了实现低频和高频部分的精确分离，引入一种鲁棒稀疏分解方法，提高对非高斯噪声的鲁棒性，分解方法可以作用于亮度通道，也可以作用于颜色通道，但是，如果只在亮度通道进行，没有包含任何颜色信息，当仅使用它估计镜面反射系数时会在分离后引起漫反射部分的颜色失真，这也是影响镜面反射的一个因素。

为了保真输入图像的原始颜色，将分解过程在亮度通道与三个颜色通道中实现，获得亮度、以及三个颜色通道的低频分量，然后将四个通道的信息通过加权的方式组合为最终的低频信息，为三个颜色通道的低频信息分配权重，充分考虑每个像素处不同颜色的贡献，这也得益于对镜面反射系数的估计基于全局信息，最终的低频信息表示为：

其中，D_UX_U、D_RX_R、D_GX_G、D_BX_B依次表示亮度通道U、R通道、G通道、B通道的低频分量；ω_R、ω_G、ω_B依次为R通道、G通道、B通道的权重。

鲁棒稀疏分解的方法作用于四个通道的原理是相同的，下面以分解K通道的方式来进行介绍，K＝U,R,G,B。

鲁棒稀疏分解的方法对于原始图像的K通道进行分解，表示为Y_K＝L_K+E_K,K＝U,R,G,B；其中，L_K＝D_KX_K表示K通道的低频分量，D_K为构造的字典，主要包含提取的K通道信息(例如，亮度信息、R、G、B颜色信息)，X_K为稀疏矩阵；E_K表示K通道边缘纹理细节的高频分量。

在构造字典D_K时，在输入图像的K通道上以固定步长滑动一个窗口来获得图像块，然后矢量化每个图像块形成矩阵，最后通过归一化矩阵获得字典D_K。

稀疏分解问题可以通过等式约束转换为以下优化问题：

其中，·₀，·_2,0表示矩阵的l₀范数和l₂范数，参数λ用于调整两个分量包含信息的多少；然而上述优化问题是高度非凸问题难以解决，为了使其易于处理，用矩阵的l₁范数对上式进行替换：

计算过程为：

其中，(x,y)表示图像中的坐标；

对于凸优化问题已经开发出了许多有效算法，本发明实施例中，使用具有自适应惩罚因子的线性化交替方向法将下述增广朗格朗日函数L(X_K,E_K,Y₁,μ)的最小化分解为若干子问题，从而计算出K通道的低频分量；

其中，Y₁表示拉格朗日乘数，μ＞0表示惩罚因子，·_F表示矩阵的Frobenius范数。图3示意性的给出了亮度通道分解为低频分量和高频分量的示意图，Y_U＝L_U+E_U。

步骤2、将原始图像由色彩空间转换至色度空间，并利用低频信息，估计色度空间中的镜面反射系数。

对于某一位置处的低频信息，其值越大则表明镜面反射越强，反射系数也就越大。因此他们之间是正比关系m_s(p)∝DX(p)，但是很难确定系数的具体范围区间，所以难以实现估计。我们利用色度空间的定义来解决这个问题。

原始图像由色彩空间转换至色度空间后，色度矩阵表示为：

其中，p表示图像中的任一像素，I(p)表示像素p处的强度，I_c(p)表示c通道中像素p处的强度。

基于双色反射模型实现反射系数的归一化，结合双色反射模型的性质将上式表示为：

其中，m_d(p)、m_s(p)分别为像素p处的漫反射系数和镜面反射系数；Λ(p)、Γ(p)分别为像素p处的漫反射色度和照明色度；

Λ(p)和Γ(p)已经被归一化，即∑_c∈{R,G,B}Λ_c(p)＝1，∑_c∈{R,G,B}Γ_c(p)＝1；

经过演算可以得到三个通道像素值的加和为：

∑_c∈{R,G,B}I_c(p)＝m_d(p)+m_s(p)

则色度重新表示为：

上述过程可以看作是将反射系数进行了归一化处理，根据Retinex理论和双色反射模型的描述，图像的低频信息和镜面反射分量都反映的是环境光照信息，而照明色度在场景中又是恒定的，所以经过归一化处理后的低频信息DX就是色度空间中归一化镜面反射系数的最佳估计。

由于镜面反射系数的取值范围难以确定，因此其归一化过程需要依托双色反射模型和亮度色度的转换来进行公式推导。而在图像中提取的低频信息也可以看作一幅图像，像素取值范围在0-255之间，所以对图像的归一化处理便可以采用通用的方式，比如线性函数转换或者图像灰度化处理，使像素值范围在0-1之间。此外，根据Retinex理论和双色反射模型的描述，图像的低频信息和镜面反射分量都反映的是环境光照信息，而照明色度在场景中又是恒定的，所以经过归一化处理后，可以将低频信息直接作为镜面反射系数的估计。

在实际计算当中，通常进行如下替换来避免镜面反射的过度分离：

步骤3、利用估计到的镜面反射系数计算出镜面反射分量，并在原始图像中去除计算出的镜面反射分量，再转换回色彩空间，得到去高光后的图像。

本发明实施例中，可以利用颜色恒常算法估计照明色度Γ(p)，再结合镜面反射系数m_s(p)，计算镜面反射分量：S(p)＝m_s(p)Γ(p)。

之后，使用色度矩阵减去色度空间中的镜面反射分量矩阵便得到色度空间中的漫反射分量矩阵，即

然后沿着上述的推导过程逆推回原始颜色空间，两边同时乘上m_d(p)+m_s(p)得到D(p)＝I(p)-S(p)，即最终的去除高光后的图像。

本发明实施例上述方案，主要获得如下有益效果：

1)提出了一个自然场景图像高光去除方法，以准确地分离镜面反射。该方法不基于任何假设，而是充分考虑环境光的分布特征和与镜面反射相关的两个主要因素，光滑度和颜色。

2)镜面反射分量在自然场景中通常是不规则的且普遍存在的，不会表现出稀疏性，使用照度图像并基于Retinex理论来解释自然场景图像和实验场景图像的区别。

3)图像的平滑特征分量是镜面反射的真实反映。使用本本发明提供的方法在高光消除期间不会引入任何伪影，并且图像不会变得模糊，在自然场景中实现了最佳高光去除效果。它在包含复杂纹理或饱和像素的一些具有挑战性的场景中极大地保留了原始图像的细节和结构信息。

为了说明本发明上述方法的效果，还与现有最先进的几种方法进行比较。

实验表明，在实验场景中本发明提供的方法也能够取得一定的效果，但是并不能达到最优，这也源于我们的方法是基于自然场景图像的特征出发，与实验场景图像的特征有一定的出入。而在若干幅自然场景的图像当中，本发明提供的方法明显优于其他的所有方法，除了进行量化指标峰值信噪比(PSNR)和结构相似性指数(SSIM)的数值比较，还进行了图像视觉效果的对比，两方面的结果均表明，本发明提供的方法在自然场景单幅图像的高光去除效果是最优的。

表1和图4分别展示了四幅在实验室环境中获得的较为接近自然场景的图像，以及它们在四种不同方法下的量化指标和视觉上的比较结果。图5中的四幅图像从上到下依次为Woodlego、Vase、Wire、Key。(a)是输入图像。(b)是ground truth图像。(c)是方法bilateral filtering(BF)的去高光结果，该方法提出一种快速双边滤波器，用于估计图像局部块中的最大漫反射色度值，从而使漫反射像素传播到镜面像素。(d)是方法intensityratio(IR)的去高光结果，该方法提出像素强度比的概念，构造了一个伪色度空间来解决纹理表面的问题，将像素聚类并稳健地估计每个聚类的强度比。(e)是方法color-linesconstraint(CLC)的去高光结果，该方法在双色反射模型中引入了色线约束，通过像素聚类计算照明色度并估计镜面反射系数。(f)是本发明提供的方法的去高光结果。从图5出可以看出，其他方法都会不可避免地引入大量黑白噪声点，使图像变得模糊，并且会破坏图像的原始结构。而本发明提供的方法不会引入任何伪像，对图像边缘细节的恢复效果清晰可见，因此本发明提供的方法取得的量化指标结果也远超过其他方法。

表1不同自然场景中本发明提供的方法与最先进方法的PSNR和SSIM指标比较

图5显示了若干幅自然场景图像在不同方法中去除高光的效果。(a)是输入的高光图像。(b)是方法BF的去高光结果。(c)是方法IR的去高光结果。(d)是方法CLC的去高光结果。(e)基于高光在图像中表现出稀疏性的假设，提出了一种稀疏低秩模型去除高光。红色矩形框突出显示了其他方法处理结果中引入的伪影、噪声，以及高光去除不充分、不自然的具体表现。对比可见，本发明提供的方法不会引入额外的伪影、噪声，且能够最佳地恢复背景中的纹理细节信息，不会造成多余的信息丢失，高光区域与非高光区域间的过渡更平滑自然。对于具有复杂纹理和饱和像素的场景，本发明提供的方法也取得了非常好的处理效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种用于自然场景中图像高光去除的方法，其特征在于，包括：

利用鲁棒稀疏分解的方法对原始图像进行分解，获得表示图像亮度变化与颜色变化的低频信息；

将原始图像由色彩空间转换至色度空间，并利用低频信息，估计色度空间中的镜面反射系数；

利用估计到的镜面反射系数计算出镜面反射分量，并在原始图像中去除计算出的镜面反射分量，再转换回色彩空间，得到去高光后的图像。

2.根据权利要求1所述的一种用于自然场景中图像高光去除的方法，其特征在于，利用鲁棒稀疏分解的方法对原始图像进行分解，获得亮度、以及三个颜色通道的低频分量，再通过加权组合的方式，获得低频信息DX：

其中，D_UX_U、D_RX_R、D_GX_G、D_BX_B依次表示亮度通道U、R通道、G通道、B通道的低频分量；ω_R、ω_G、ω_B依次为R通道、G通道、B通道的权重。

3.根据权利要求1或2所述的一种用于自然场景中图像高光去除的方法，其特征在于，鲁棒稀疏分解的方法对于原始图像的K通道进行分解，表示为Y_K＝L_K+E_K,K＝U,R,G,B；其中，L_K＝D_KX_K表示K通道的低频分量，D_K为构造的字典，X_K为稀疏矩阵；E_K表示K通道边缘纹理细节的高频分量；

在构造字典D_K时，在输入图像的K通道上以固定步长滑动一个窗口来获得图像块，然后矢量化每个图像块形成矩阵，最后通过归一化矩阵获得字典D_K。

4.根据权利要求3所述的一种用于自然场景中图像高光去除的方法，其特征在于，稀疏分解问题通过等式约束转换为以下优化问题：

s.t.Y＝D_KX_K+E_K

其中，||·||₀，||·||_2,0表示矩阵的l₀范数和l₂范数，参数λ用于调整两个分量包含信息的多少；

用矩阵的l₁范数对上式进行替换：

s.t.Y＝D_KX_K+E_K

计算过程为：

||X_K||₁＝∑_y∑_x|X_K(x,y)|

其中，(x,y)表示图像中的坐标；

使用具有自适应惩罚因子的线性化交替方向法将下述增广朗格朗日函数L(X_K,E_K,Y₁,μ)的最小化分解为若干子问题，从而计算出K通道的低频分量；

其中，Y₁表示拉格朗日乘数，μ＞0表示惩罚因子，||·||_F表示矩阵的Frobenius范数。

5.根据权利要求1所述的一种用于自然场景中图像高光去除的方法，其特征在于，原始图像由色彩空间转换至色度空间后，色度矩阵表示为：

其中，p表示图像中的任一像素，I(p)表示像素p处的强度，I_c(p)表示c通道中像素p处的强度；

基于双色反射模型实现反射系数的归一化，结合双色反射模型的性质将上式表示为：

其中，m_d(p)、m_s(p)分别为像素p处的漫反射系数和镜面反射系数；Λ(p)、Γ(p)分别为像素p处的漫反射色度和照明色度；

Λ(p)和Γ(p)已经被归一化，即∑_c∈{R,G,B}Λ_c(p)＝1，∑_c∈{R,G,B}Γ_c(p)＝1；

三个通道像素值的加和为：

∑_c∈{R,G,B}I_c(p)＝m_d(p)+m_s(p)

则色度重新表示为：

再利用低频信息，估计色度空间中的镜面反射系数。

6.根据权利要求1所述的一种用于自然场景中图像高光去除的方法，其特征在于，利用估计到的镜面反射系数计算出镜面反射分量包括：

利用颜色恒常算法估计照明色度Γ(p)，再结合镜面反射系数m_s(p)，计算镜面反射分量：S(p)＝m_s(p)Γ(p)。

Images