CN112801896A - 基于前景提取的逆光图像增强方法 - Google Patents

Abstract

本发明公开了一种基于前景提取的逆光图像增强方法，具体按照以下步骤实施：输入逆光图像，将图中的逆光区域视为待增强的前景，标记出图像的已知前景部分和未知像素区域，获取图像对应的trimap图；根据原始图像和得到的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版；根据前景蒙版提取出图像前景，利用对数变换对提取出的前景进行增强，得到增强后的前景图；将得到的增强后的前景图与原始图像进行合成，逆光区域被增强后的前景替代，得到最终的增强图像。与现有的增强方法相比，不仅没有过度曝光图像中光照正常的区域，且有效的保留了图像的细节与颜色，提高了逆光图像的质量。

Description

基于前景提取的逆光图像增强方法

技术领域

本发明属于逆光图像增强技术领域，涉及基于前景提取的逆光图像增强方法。

背景技术

近年来，图像识别因其广泛应用而备受关注，图像增强算法成为图像识别技术研究的重要课题之一。现有的许多图像识别算法都适用于正常光照条件，然而在很多情况下，不同的天气和光照角度都会导致拍摄出的图像质量较低，如可见度差的逆光图像。目前许多研究者都致力于改善图像亮度的鲁棒性，但图像中的曝光正常区域往往会被增强过度，从而导致图像的颜色与对比度失真的问题。对增强后过度曝光部分进行分析，研究抑制局部区域过度增强的方法将有助于提高逆光图像增强算法的性能，从而有利于获得高质量的、视觉效果更加自然的增强图像。因此，对逆光图像中如何有效地增强低照度部分并避免其余区域曝光过度的问题具有重要的研究意义。

目前，逆光图像增强的研究方法大致可分为两类：全局增强技术与局部增强技术。全局增强技术可以提高逆光图像的对比度，在一定程度上消除图像因逆光导致的部分区域不可见问题。但若图像的灰度分布不均匀，则会导致局部细节丢失，出现增强效果不足。局部增强算法是基于Retinex理论发展而来的，可使逆光图像中低照度部分的亮度得到有效提升，但无法同时保留细节和颜色，还会在图像边缘产生光晕现象。

发明内容

本发明的目的是提供一种基于前景提取的逆光图像增强方法，解决了现有技术中存在的增强不足、细节丢失和颜色与对比度失真问题。

本发明所采用的技术方案是一种基于前景提取的逆光图像增强方法，具体按照以下步骤实施：

步骤1、输入逆光图像，将图中的逆光区域视为待增强的前景，标记出图像的已知前景部分和未知像素区域，获取图像对应的trimap图；

步骤2、根据原始图像和步骤1得到的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版；

步骤3、根据步骤2得到的前景蒙版提取出图像前景，利用对数变换对提取出的前景进行增强，得到增强后的前景图；

步骤4、将步骤3得到的增强后的前景图与原始图像进行合成，逆光区域被增强后的前景替代，得到最终的增强图像。

步骤1中，逆光图像可视为由前景层和背景层构成，因此可用线性组合下的图像合成方程进行表示：

I＝αF+(1-α)B (1)

其中，I是给定像素的颜色，F是未知的前景色，B为未知背景色，α为未知的透明度。

步骤1中通过人机交互方式获取图像对应的trimap图，划分出所有的低照度区域作为前景，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示未知像素，像素透明度待求解，黑色区域表示确定的背景部分，像素透明度均为0。

步骤2具体为：

步骤2.1、计算特征向量

X(i)＝(cos(h)，sin(h)，s，v，x，y) (6)

其中h、s和v为像素i在HSV颜色空间下的坐标值，x和y是像素i的空间坐标；

步骤2.2、根据步骤2.1得到的特征向量计算内核函数

其中，||·||表示1范数，即两向量差的绝对值之和，C为权值调节系数，取值为特征向量X(i)的维数，为保证k(i，j)∈[0，1]；

步骤2.3、根据步骤2.2得到的内核函数，亲和力矩阵A＝[k(I，j)]_N×N，对角矩阵

再计算得拉普拉斯矩阵L＝D-A；

当用户输入trimap图，根据

得到提取n≥2层的闭合形式，其中M＝diag(m)，m为输入图像中所有被标记区域像素的二进制向量，λ为用户对标记的约束系数，取值1000；

步骤2.4、根据

得到优化函数的闭合形式；其中，v是给定层被标记像素的二进制向量，g(x)可通过

表示，其中λ|v|为常数，g(α)关于α求微分并使其结果为0，如下式

因此，最终α＝H^-1c＝L+λM^-1(λv) (12)，即获得获得前景蒙版。

步骤3中，对数变换表达式为：

s＝c·log_v+1(1+v·r) (13)

其中，c为尺度比例常数，v+1为底数。

底数v取值为1，10，30，100，200，可根据亮度差异进行选择。

本发明的有益效果是：

本发明对逆光图像中的曝光不足部分进行的提取与增强，与现有的增强方法相比，不仅没有过度曝光图像中光照正常的区域，且有效的保留了图像的细节与颜色，提高了逆光图像的质量。

附图说明

图1是本发明基于前景提取的逆光图像增强方法的流程图；

图2是本发明基于前景提取的逆光图像增强方法中输入的三个逆光图像；

图3是本发明基于前景提取的逆光图像增强方法中输入逆光图像后用户标记的三元图；

图4是本发明基于前景提取的逆光图像增强方法中利用KNN抠图算法计算获得的前景蒙版；

图5是本发明基于前景提取的逆光图像增强方法中根据前景蒙版提取出的图像前景；

图6是本发明基于前景提取的逆光图像增强方法中对数变换所对应不同底数的变换曲线；

图7是本发明基于前景提取的逆光图像增强方法中利用不同底数对提取出的前景进行灰度变换的结果；

图8是本发明基于前景提取的逆光图像增强方法的增强效果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于前景提取的逆光图像增强方法，以人机交互方式，标记出图像中确定的待增强前景以及未知像素区域，以获取逆光图像的trimap图，再利用KNN抠图算法计算出图像的前景蒙版，提取出图像的前景；使用对数变换对前景区域进行增强，并根据原始图像背景亮度选取合适的底数来进行变换，使合成后的图像整体视觉效果更加自然。

如图1所示，具体按照以下步骤实施：

步骤1：输入逆光图像，如图2所示。图像可被分解为前景层和背景层，因此可用线性组合下的图像合成方程进行表示。

I＝αF+(1-α)B (1)

其中，I是给定像素的颜色，F是未知的前景色，B为未知的背景色，α为未知的透明度。

通过人机交互方式获取图像对应的trimap图，划分出所有的低照度区域作为前景，如图3所示，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示未知像素，像素透明度待求解，黑色区域表示确定的背景部分，像素透明度均为0。

步骤2：根据输入的逆光图像及其对应的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版，如图4所示。

KNN抠图是在非局部抠图的基础上衍生而来的。在非局部抠图中，相似的特征由颜色、距离和纹理的相似性来定义，然而非局部像素间的比较计算量非常高。KNN抠图通过使用K个最邻近像素，且只考虑颜色和特征空间中位置的相似性来减少计算。该算法的核心在于使用了非局部原理，非局部原理如下：

其中是像素i的特征向量，dij是像素i和j的距离,||·||_g是一个高斯范数，h1和h2是常量，即一个去噪像素i可以用与它具有类似特征的像素j和内核函数k(i，j)权重的加权和来近似表示。

类比上式，可得α的期望值如式(5)所示。

其中，α是输入图像上所有α值组成的向量。非局部原理也同样适用于α，当条件分布E[α_i|X(i)＝X(j)]＝α_i成立时，意味着有相同特征的像素将共享同样的α值。

推导可得

其中

是一个N×N的亲和力矩阵，

是一个N×N的对角矩阵，N为像素总数。因此

或α^TL_cα≈0，其中

称为集群拉普拉斯算子。虽然这个聚类有利于形成良好的簇，但

的聚类更稀疏，运行速度比L_c更快，且不影响结果，因此使用L。KNN抠图是基于拉普拉斯矩阵L的计算方法，对α进行求解。

具体按照以下步骤实施：

步骤2.1、计算特征向量

X(i)＝(cos(h)，sin(h)，s，v，x，y) (6)

其中h、s和v为像素i在HSV颜色空间下的坐标值，x和y是像素i的空间坐标；

步骤2.2、根据步骤2.1得到的特征向量计算内核函数

其中，||·||表示1范数，即两向量差的绝对值之和，C为权值调节系数，取值为特征向量X(i)的维数，为保证k(i，j)∈[0，1]；

步骤2.3、根据步骤2.2得到的内核函数，亲和力矩阵A＝[k(I，j)]_N×N，对角矩阵

再计算得拉普拉斯矩阵L＝D-A；

当用户输入trimap图，根据

得到提取n≥2层的闭合形式，其中M＝diag(m)，m为输入图像中所有被标记区域像素的二进制向量，λ为用户对标记的约束系数，取值1000；

步骤2.4、根据

得到优化函数的闭合形式；其中，v是给定层被标记像素的二进制向量，g(x)可通过

表示，其中λ|v|为常数，g(α)关于α求微分并使其结果为0，如下式

因此，最终α＝H^-1c＝L+λM^-1(λv) (12)，即获得获得前景蒙版。

步骤3：根据前景蒙版可直接提取出图像前景，如图5所示。利用灰度变换中的对数变换对提取出的前景进行增强。灰度变换是按不同的函数公式改变图像中每个像素的灰度值，借此增强画质，使图像更清晰。通常假设源图像像素的灰度值D＝f(x，y)，处理后图像像素的灰度值为D′＝g(x，y)，则灰度变换可表示为：g(x，y)＝T[f(x，y)]，函数T为灰度变换函数。

采用对数变换对图像进行增强，对数变换通过表达式(13)对图像的动态范围进行调节，扩展低灰度部分，压缩高灰度部分。借此强调图像低灰度值部分，使细节得以显示，来达到增强图像的目的。

s＝c·log_v+1(1+v·r) (13)

其中，c为尺度比例常数，v+1为底数；底数v取值为1，10，30，100，200，对不同的底数，其对应的变换曲线如图6所示。

从中可以很直观地看出，由于对数本身上凸的性质，可以把低灰度部分的亮度提高，底数越大，灰度提高越明显，图像越来越亮，对高灰度部分的压缩也越明显。

自然条件下拍摄出的多样逆光图像，前、背景的亮度差异程度不同，只对提取出的图像前景进行增强后，易出现与背景相比增强过度或不足的问题，因此选取对数变换处理对其进行增强，并根据亮度差异选择最适用的底数，避免上述问题的产生，使得增强后的图像效果更自然。图7位逆光图像中提取出的低照度部分利用不同底数进行灰度变换的效果。

步骤4：将增强后的前景图与原始图像进行合成，逆光区域将被增强后的前景替代，得到最终的增强图像，如图8所示。由于只对逆光图像中的暗区进行增强，因此在消除逆光的同时保持了非逆光区域不失真，恢复图像的细节特征，最终提高了图像整体质量。

Claims (6)

1.基于前景提取的逆光图像增强方法，其特征在于，具体按照以下步骤实施：

步骤1、输入逆光图像，将图中的逆光区域视为待增强的前景，标记出图像的已知前景部分和未知像素区域，获取图像对应的trimap图；

步骤2、根据原始图像和步骤1得到的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版；

步骤3、根据步骤2得到的前景蒙版提取出图像前景，利用对数变换对提取出的前景进行增强，得到增强后的前景图；

步骤4、将步骤3得到的增强后的前景图与原始图像进行合成，逆光区域被增强后的前景替代，得到最终的增强图像。

2.根据权利要求1所述的基于前景提取的逆光图像增强方法，其特征在于，所述步骤1中，逆光图像可视为由前景层和背景层构成，因此可用线性组合下的图像合成方程进行表示：

I＝αF+(1-α)B (1)

其中，I是给定像素的颜色，F是未知的前景色，B为未知背景色，α为未知的透明度。

3.根据权利要求1所述的基于前景提取的逆光图像增强方法，其特征在于，所述步骤1中通过人机交互方式获取图像对应的trimap图，划分出所有的低照度区域作为前景，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示未知像素，像素透明度待求解，黑色区域表示确定的背景部分，像素透明度均为0。

4.根据权利要求1所述的基于前景提取的逆光图像增强方法，其特征在于，所述步骤2具体为：

步骤2.1、计算特征向量

X(i)＝(cos(h)，sin(h)，s，v，x，y) (6)

其中h、s和v为像素i在HSV颜色空间下的坐标值，x和y是像素i的空间坐标；

步骤2.2、根据步骤2.1得到的特征向量计算内核函数

其中，||·||表示1范数，即两向量差的绝对值之和，C为权值调节系数，取值为特征向量X(i)的维数，为保证k(i，j)∈[0，1]；

步骤2.3、根据步骤2.2得到的内核函数，亲和力矩阵A＝[k(I，j)]_N×N，对角矩阵

再计算得拉普拉斯矩阵L＝D-A；

当用户输入trimap图，根据

得到提取n≥2层的闭合形式，其中M＝diag(m)，m为输入图像中所有被标记区域像素的二进制向量，λ为用户对标记的约束系数，取值1000；

步骤2.4、根据

得到优化函数的闭合形式；其中，v是给定层被标记像素的二进制向量，g(x)可通过

表示，其中λ|v|为常数，g(α)关于α求微分并使其结果为0，如下式

因此，最终α＝H^-1c＝L+λM^-1(λv) (12)，即获得前景蒙版。

5.根据权利要求1所述的基于前景提取的逆光图像增强方法，其特征在于，所述步骤3中，对数变换表达式为：

s＝c·log_v+1(1+v·r) (13)

其中，c为尺度比例常数，v+1为底数。

6.根据权利要求5所述的基于前景提取的逆光图像增强方法，其特征在于，所述底数v取值为1，10，30，100，200,可根据亮度差异进行选择。

Images