CN112801896B - 基于前景提取的逆光图像增强方法 - Google Patents

基于前景提取的逆光图像增强方法 Download PDF

Info

Publication number
CN112801896B
CN112801896B CN202110069644.6A CN202110069644A CN112801896B CN 112801896 B CN112801896 B CN 112801896B CN 202110069644 A CN202110069644 A CN 202110069644A CN 112801896 B CN112801896 B CN 112801896B
Authority
CN
China
Prior art keywords
image
foreground
backlight
enhanced
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110069644.6A
Other languages
English (en)
Other versions
CN112801896A (zh
Inventor
赵明华
程丹妮
都双丽
胡静
王理
李鹏
石争浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110069644.6A priority Critical patent/CN112801896B/zh
Publication of CN112801896A publication Critical patent/CN112801896A/zh
Application granted granted Critical
Publication of CN112801896B publication Critical patent/CN112801896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于前景提取的逆光图像增强方法，具体按照以下步骤实施：输入逆光图像，将图中的逆光区域视为待增强的前景，标记出图像的已知前景部分和未知像素区域，获取图像对应的trimap图；根据原始图像和得到的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版；根据前景蒙版提取出图像前景，利用对数变换对提取出的前景进行增强，得到增强后的前景图；将得到的增强后的前景图与原始图像进行合成，逆光区域被增强后的前景替代，得到最终的增强图像。与现有的增强方法相比，不仅没有过度曝光图像中光照正常的区域，且有效的保留了图像的细节与颜色，提高了逆光图像的质量。

Description

基于前景提取的逆光图像增强方法
技术领域
本发明属于逆光图像增强技术领域，涉及基于前景提取的逆光图像增强方法。
背景技术
近年来，图像识别因其广泛应用而备受关注，图像增强算法成为图像识别技术研究的重要课题之一。现有的许多图像识别算法都适用于正常光照条件，然而在很多情况下，不同的天气和光照角度都会导致拍摄出的图像质量较低，如可见度差的逆光图像。目前许多研究者都致力于改善图像亮度的鲁棒性，但图像中的曝光正常区域往往会被增强过度，从而导致图像的颜色与对比度失真的问题。对增强后过度曝光部分进行分析，研究抑制局部区域过度增强的方法将有助于提高逆光图像增强算法的性能，从而有利于获得高质量的、视觉效果更加自然的增强图像。因此，对逆光图像中如何有效地增强低照度部分并避免其余区域曝光过度的问题具有重要的研究意义。
目前，逆光图像增强的研究方法大致可分为两类：全局增强技术与局部增强技术。全局增强技术可以提高逆光图像的对比度，在一定程度上消除图像因逆光导致的部分区域不可见问题。但若图像的灰度分布不均匀，则会导致局部细节丢失，出现增强效果不足。局部增强算法是基于Retinex理论发展而来的，可使逆光图像中低照度部分的亮度得到有效提升，但无法同时保留细节和颜色，还会在图像边缘产生光晕现象。
发明内容
本发明的目的是提供一种基于前景提取的逆光图像增强方法，解决了现有技术中存在的增强不足、细节丢失和颜色与对比度失真问题。
本发明所采用的技术方案是一种基于前景提取的逆光图像增强方法，具体按照以下步骤实施：
步骤1、输入逆光图像，将图中的逆光区域视为待增强的前景，标记出图像的已知前景部分和未知像素区域，获取图像对应的trimap图；
步骤2、根据原始图像和步骤1得到的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版；
步骤3、根据步骤2得到的前景蒙版提取出图像前景，利用对数变换对提取出的前景进行增强，得到增强后的前景图；
步骤4、将步骤3得到的增强后的前景图与原始图像进行合成，逆光区域被增强后的前景替代，得到最终的增强图像。
步骤1中，逆光图像可视为由前景层和背景层构成，因此可用线性组合下的图像合成方程进行表示：
I＝αF十(1-α)B (1)
其中，I是给定像素的颜色，F是未知的前景色，B为未知背景色，α为未知的透明度。
步骤1中通过人机交互方式获取图像对应的trimap图，划分出所有的低照度区域作为前景，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示未知像素，像素透明度待求解，黑色区域表示确定的背景部分，像素透明度均为0。
步骤2具体为：
步骤2.1、计算特征向量
X(i)＝(cos(h)，sin(h)，s，v，x，y) (6)
其中h、s和v为像素i在HSV颜色空间下的坐标值，x和y是像素i的空间坐标；
步骤2.2、根据步骤2.1得到的特征向量计算内核函数
其中，||·||表示1范数，即两向量差的绝对值之和，C为权值调节系数，取值为特征向量X(i)的维数，为保证k(i，j)∈[0，1]；
步骤2.3、根据步骤2.2得到的内核函数，亲和力矩阵A＝[k(I，j)]N×N，对角矩阵再计算得拉普拉斯矩阵L＝D-A；
当用户输入trimap图，根据
得到提取n≥2层的闭合形式，其中M＝diag(m)，m为输入图像中所有被标记区域像素的二进制向量，λ为用户对标记的约束系数，取值1000；
步骤2.4、根据
得到优化函数的闭合形式；其中，v是给定层被标记像素的二进制向量，g(x)可通过
表示，其中λ|v|为常数，g(α)关于α求微分并使其结果为0，如下式
因此，最终α＝H-1c＝L+λM-1(λv) (12)，即获得获得前景蒙版。
步骤3中，对数变换表达式为：
s＝c·logv+1(1+v·r) (13)
其中，c为尺度比例常数，v+1为底数。
底数v取值为1，10，30，100，200，可根据亮度差异进行选择。
本发明的有益效果是：
本发明对逆光图像中的曝光不足部分进行的提取与增强，与现有的增强方法相比，不仅没有过度曝光图像中光照正常的区域，且有效的保留了图像的细节与颜色，提高了逆光图像的质量。
附图说明
图1是本发明基于前景提取的逆光图像增强方法的流程图；
图2是本发明基于前景提取的逆光图像增强方法中输入的三个逆光图像；
图3是本发明基于前景提取的逆光图像增强方法中输入逆光图像后用户标记的三元图；
图4是本发明基于前景提取的逆光图像增强方法中利用KNN抠图算法计算获得的前景蒙版；
图5是本发明基于前景提取的逆光图像增强方法中根据前景蒙版提取出的图像前景；
图6是本发明基于前景提取的逆光图像增强方法中对数变换所对应不同底数的变换曲线；
图7是本发明基于前景提取的逆光图像增强方法中利用不同底数对提取出的前景进行灰度变换的结果；
图8是本发明基于前景提取的逆光图像增强方法的增强效果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于前景提取的逆光图像增强方法，以人机交互方式，标记出图像中确定的待增强前景以及未知像素区域，以获取逆光图像的trimap图，再利用KNN抠图算法计算出图像的前景蒙版，提取出图像的前景；使用对数变换对前景区域进行增强，并根据原始图像背景亮度选取合适的底数来进行变换，使合成后的图像整体视觉效果更加自然。
如图1所示，具体按照以下步骤实施：
步骤1：输入逆光图像，如图2所示。图像可被分解为前景层和背景层，因此可用线性组合下的图像合成方程进行表示。
I＝αF十(1-α)B (1)
其中，I是给定像素的颜色，F是未知的前景色，B为未知的背景色，α为未知的透明度。
通过人机交互方式获取图像对应的trimap图，划分出所有的低照度区域作为前景，如图3所示，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示未知像素，像素透明度待求解，黑色区域表示确定的背景部分，像素透明度均为0。
步骤2：根据输入的逆光图像及其对应的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版，如图4所示。
KNN抠图是在非局部抠图的基础上衍生而来的。在非局部抠图中，相似的特征由颜色、距离和纹理的相似性来定义，然而非局部像素间的比较计算量非常高。KNN抠图通过使用K个最邻近像素，且只考虑颜色和特征空间中位置的相似性来减少计算。该算法的核心在于使用了非局部原理，非局部原理如下：
其中是像素i的特征向量，dij是像素i和j的距离,||·||g是一个高斯范数，h1和h2是常量，即一个去噪像素i可以用与它具有类似特征的像素j和内核函数k(i，j)权重的加权和来近似表示。
类比上式，可得α的期望值如式(5)所示。
其中，α是输入图像上所有α值组成的向量。非局部原理也同样适用于α，当条件分布E[αi|X(i)＝X(j)]＝αi成立时，意味着有相同特征的像素将共享同样的α值。
推导可得其中/>是一个N×N的亲和力矩阵，/>是一个N×N的对角矩阵，N为像素总数。因此/>或αTLcα≈0，其中/>称为集群拉普拉斯算子。虽然这个聚类有利于形成良好的簇，但/>的聚类更稀疏，运行速度比Lc更快，且不影响结果，因此使用L。KNN抠图是基于拉普拉斯矩阵L的计算方法，对α进行求解。
具体按照以下步骤实施：
步骤2.1、计算特征向量
X(i)＝(cos(h)，sin(h)，s，v，x，y) (6)
其中h、s和v为像素i在HSV颜色空间下的坐标值，x和y是像素i的空间坐标；
步骤2.2、根据步骤2.1得到的特征向量计算内核函数
其中，||·||表示1范数，即两向量差的绝对值之和，C为权值调节系数，取值为特征向量X(i)的维数，为保证k(i，j)∈[0，1]；
步骤2.3、根据步骤2.2得到的内核函数，亲和力矩阵A＝[k(I，j)]N×N，对角矩阵再计算得拉普拉斯矩阵L＝D-A；
当用户输入trimap图，根据
得到提取n≥2层的闭合形式，其中M＝diag(m)，m为输入图像中所有被标记区域像素的二进制向量，λ为用户对标记的约束系数，取值1000；
步骤2.4、根据
得到优化函数的闭合形式；其中，v是给定层被标记像素的二进制向量，g(x)可通过
表示，其中λ|v|为常数，g(α)关于α求微分并使其结果为0，如下式
因此，最终α＝H-1c＝L+λM-1(λv) (12)，即获得获得前景蒙版。
步骤3：根据前景蒙版可直接提取出图像前景，如图5所示。利用灰度变换中的对数变换对提取出的前景进行增强。灰度变换是按不同的函数公式改变图像中每个像素的灰度值，借此增强画质，使图像更清晰。通常假设源图像像素的灰度值D＝f(x，y)，处理后图像像素的灰度值为D′＝g(x，y)，则灰度变换可表示为：g(x，y)＝T[f(x，y)]，函数T为灰度变换函数。
采用对数变换对图像进行增强，对数变换通过表达式(13)对图像的动态范围进行调节，扩展低灰度部分，压缩高灰度部分。借此强调图像低灰度值部分，使细节得以显示，来达到增强图像的目的。
s＝c·logv+1(1+v·r) (13)
其中，c为尺度比例常数，v+1为底数；底数v取值为1，10，30，100，200，对不同的底数，其对应的变换曲线如图6所示。
从中可以很直观地看出，由于对数本身上凸的性质，可以把低灰度部分的亮度提高，底数越大，灰度提高越明显，图像越来越亮，对高灰度部分的压缩也越明显。
自然条件下拍摄出的多样逆光图像，前、背景的亮度差异程度不同，只对提取出的图像前景进行增强后，易出现与背景相比增强过度或不足的问题，因此选取对数变换处理对其进行增强，并根据亮度差异选择最适用的底数，避免上述问题的产生，使得增强后的图像效果更自然。图7位逆光图像中提取出的低照度部分利用不同底数进行灰度变换的效果。
步骤4：将增强后的前景图与原始图像进行合成，逆光区域将被增强后的前景替代，得到最终的增强图像，如图8所示。由于只对逆光图像中的暗区进行增强，因此在消除逆光的同时保持了非逆光区域不失真，恢复图像的细节特征，最终提高了图像整体质量。

Claims (2)

1.基于前景提取的逆光图像增强方法，其特征在于，具体按照以下步骤实施：
步骤1、输入逆光图像，将图中的逆光区域视为待增强的前景，标记出图像的已知前景部分和未知像素区域，获取图像对应的trimap图；
所述步骤1中，逆光图像可视为由前景层和背景层构成，因此可用线性组合下的图像合成方程进行表示：
I＝αF+(1-α)B (1)
其中，I是给定像素的颜色，F是未知的前景色，B为未知背景色，α为未知的透明度；
所述步骤1中通过人机交互方式获取图像对应的trimap图，划分出所有的低照度区域作为前景，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示未知像素，像素透明度待求解，黑色区域表示确定的背景部分，像素透明度均为0；
步骤2、根据原始图像和步骤1得到的trimap图，利用KNN抠图算法计算其透明度掩膜值，获得前景蒙版；
所述步骤2具体为：
步骤2.1、计算特征向量
X(i)＝(cos(h)，sin(h)，s，v，x，y) (6)
其中h、s和v为像素i在HSV颜色空间下的坐标值，x和y是像素i的空间坐标；
步骤2.2、根据步骤2.1得到的特征向量计算内核函数
其中，||·||表示1范数，即两向量差的绝对值之和，C为权值调节系数，取值为特征向量X(i)的维数，为保证k(i，j)∈[0，1]；
步骤2.3、根据步骤2.2得到的内核函数，亲和力矩阵A＝[k(I，j)]N×N，对角矩阵再计算得拉普拉斯矩阵L＝D-A；
当用户输入trimap图，根据
得到提取n≥2层的闭合形式，其中M＝diag(m)，m为输入图像中所有被标记区域像素的二进制向量，λ为用户对标记的约束系数，取值1000；
步骤2.4、根据
得到优化函数的闭合形式；其中，v是给定层被标记像素的二进制向量，g(x)可通过
表示，其中λ|v|为常数，g(α)关于α求微分并使其结果为0，如下式
因此，最终α＝H-1c＝L+λM-1(λv) (12)，即获得获得前景蒙版；
步骤3、根据步骤2得到的前景蒙版提取出图像前景，利用对数变换对提取出的前景进行增强，得到增强后的前景图；
所述步骤3中，对数变换表达式为：
s＝c·logv+1(1+v·r) (13)
其中，c为尺度比例常数，v+1为底数；
步骤4、将步骤3得到的增强后的前景图与原始图像进行合成，逆光区域被增强后的前景替代，得到最终的增强图像。
2.根据权利要求1所述的基于前景提取的逆光图像增强方法，其特征在于，所述底数v取值为1，10，30，100，200，可根据亮度差异进行选择。
CN202110069644.6A 2021-01-19 2021-01-19 基于前景提取的逆光图像增强方法 Active CN112801896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110069644.6A CN112801896B (zh) 2021-01-19 2021-01-19 基于前景提取的逆光图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110069644.6A CN112801896B (zh) 2021-01-19 2021-01-19 基于前景提取的逆光图像增强方法

Publications (2)

Publication Number Publication Date
CN112801896A CN112801896A (zh) 2021-05-14
CN112801896B true CN112801896B (zh) 2024-02-09

Family

ID=75810439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110069644.6A Active CN112801896B (zh) 2021-01-19 2021-01-19 基于前景提取的逆光图像增强方法

Country Status (1)

Country Link
CN (1) CN112801896B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379649A (zh) * 2021-07-09 2021-09-10 浙江大学 一种图像增强方法、装置、设备及存储介质
CN113409224B (zh) * 2021-07-09 2023-07-04 浙江大学 一种图像目标针对性增强方法、装置、设备及存储介质
CN113870439A (zh) * 2021-09-29 2021-12-31 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN117455780B (zh) * 2023-12-26 2024-04-09 广东欧谱曼迪科技股份有限公司 内镜暗场图像的增强方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257623A (ja) * 2006-03-24 2007-10-04 Mitsubishi Electric Research Laboratories Inc あるシーンについて取得されたビデオのアルファマットを求める方法およびシステム
CN103473780A (zh) * 2013-09-22 2013-12-25 广州市幸福网络技术有限公司 一种人像背景抠图的方法
CN107452010A (zh) * 2017-07-31 2017-12-08 中国科学院长春光学精密机械与物理研究所 一种自动抠图算法和装置
WO2018107825A1 (zh) * 2016-12-13 2018-06-21 华为技术有限公司 抠图方法及装置
CN110264417A (zh) * 2019-05-31 2019-09-20 西安理工大学 基于分层模型的局部运动模糊区域自动检测提取方法
CN110728690A (zh) * 2019-09-25 2020-01-24 山东工商学院 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257623A (ja) * 2006-03-24 2007-10-04 Mitsubishi Electric Research Laboratories Inc あるシーンについて取得されたビデオのアルファマットを求める方法およびシステム
CN103473780A (zh) * 2013-09-22 2013-12-25 广州市幸福网络技术有限公司 一种人像背景抠图的方法
WO2018107825A1 (zh) * 2016-12-13 2018-06-21 华为技术有限公司 抠图方法及装置
CN107452010A (zh) * 2017-07-31 2017-12-08 中国科学院长春光学精密机械与物理研究所 一种自动抠图算法和装置
CN110264417A (zh) * 2019-05-31 2019-09-20 西安理工大学 基于分层模型的局部运动模糊区域自动检测提取方法
CN110728690A (zh) * 2019-09-25 2020-01-24 山东工商学院 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
白杨 ; 姚桂林 ; .一种基于KNN后处理的鲁棒性抠图方法.计算机应用与软件.2020,(第09期),全文. *
郭倩 ; 朱振峰 ; 常冬霞 ; 赵耀 ; .融合全局与局部区域亮度的逆光图像增强算法.信号处理.2018,(第02期),全文. *
黄睿 ; 王翔 ; .改进的自然图像鲁棒抠图算法.计算机工程与应用.2013,(第12期),全文. *

Also Published As

Publication number Publication date
CN112801896A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112801896B (zh) 基于前景提取的逆光图像增强方法
Wang et al. Single image dehazing based on the physical model and MSRCR algorithm
CN109872285B (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
Kandhway et al. An optimal adaptive thresholding based sub-histogram equalization for brightness preserving image contrast enhancement
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
Bhandari et al. A novel fuzzy clustering-based histogram model for image contrast enhancement
CN111968041A (zh) 一种自适应图像增强方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
Yang et al. Visibility restoration of single image captured in dust and haze weather conditions
CN113191956B (zh) 基于深度抠图的逆光图像增强方法
CN113222875B (zh) 一种基于色彩恒常性的图像和谐化合成方法
Wu et al. A weighting mean-separated sub-histogram equalization for contrast enhancement
Srinivas et al. Remote sensing image segmentation using OTSU algorithm
CN111340692A (zh) 一种红外图像动态范围压缩以及对比度增强算法
CN112435184A (zh) 一种基于Retinex和四元数的雾霾天图像识别方法
Tan et al. Image haze removal based on superpixels and Markov random field
Han et al. Low contrast image enhancement using convolutional neural network with simple reflection model
Kim Image enhancement using patch-based principal energy analysis
CN110728690A (zh) 一种利用小波变换对图像进行边缘平滑处理的抠图方法
CN108550124B (zh) 一种基于仿生螺线的光照补偿及图像增强方法
Cheng et al. Image quality analysis of a novel histogram equalization method for image contrast enhancement
CN112365517A (zh) 一种基于图像颜色和密度特征的超像素分割方法
CN114429426B (zh) 一种基于Retinex模型的低照度图像质量改善方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant