CN107492075B - 一种基于细节增强的单张ldr图像曝光校正的方法 - Google Patents

一种基于细节增强的单张ldr图像曝光校正的方法 Download PDF

Info

Publication number
CN107492075B
CN107492075B CN201710633747.4A CN201710633747A CN107492075B CN 107492075 B CN107492075 B CN 107492075B CN 201710633747 A CN201710633747 A CN 201710633747A CN 107492075 B CN107492075 B CN 107492075B
Authority
CN
China
Prior art keywords
image
correction
intensity
area
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710633747.4A
Other languages
English (en)
Other versions
CN107492075A (zh
Inventor
冯华君
常猛
徐之海
李奇
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710633747.4A priority Critical patent/CN107492075B/zh
Publication of CN107492075A publication Critical patent/CN107492075A/zh
Application granted granted Critical
Publication of CN107492075B publication Critical patent/CN107492075B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Abstract

本发明公开了一种基于细节增强的单张LDR图像曝光校正的方法。针对单张LDR(低动态范围)图像同时存在过曝光和欠曝光区域的情况，对传统的Retinex算法进行改进和扩展，分别对过曝光区域与欠曝光区域进行校正，然后将校正后的图像进行融合。本发明方法可以同时增强单张LDR图像的过曝光与欠曝光区域的细节，且处理结果保持良好的视觉效果，而不会出现过增强(饱和度过度，偏色，伪信息等)现象。

Description

一种基于细节增强的单张LDR图像曝光校正的方法
技术领域
本发明属于数字图像处理领域，涉及一种基于细节增强的单张LDR图像曝光校正的方法。
背景技术
消费级传感器不能捕捉真实世界的高动态范围，如当暗场景出现强光时，获取的低动态图像(LDR)会出现错误曝光(过曝光或欠曝光)的区域。这种图像视觉质量差，且在错误曝光区域的细节也被压缩，甚至丢失。许多校正方法被提出用于图像过曝光或欠曝光区域的恢复。常用的如直方图均衡化或gamma校正方法可以增强图像整体对比度，但这些方法不能自适应于图像不同区域。改进的自适应直方图均衡化可以很好的增强图像各区域细节，但其存在过增强(即饱和度过度，偏色，伪信息等)以及区域过渡不自然现象。也有专门处理过曝光区域或欠曝光增强的方法，但当单张LDR(Low Dynamic Range)图像同时存在过曝光与欠曝光区域时，往往不能得到很好的校正结果。
对于同时处理过曝光区域与欠曝光区域，也有基于图像修复的方法和自适应的S曲线曝光校正等方法被提出，其可以得到比较好的视觉效果，但对于曝光错误区域的细节却不能很好的恢复。有很多HDR压缩的方法可以将多张LDR图像融合得到正确曝光的图像，但其需要多张LDR图像或者针对HDR图像，对于单张LDR图像无能为力。
发明内容
本发明的目的是对单张LDR图像的曝光不正确区域，分别进行过曝光校正和欠曝光校正，以增强这些曝光不正确区域的细节，使其便于观察与后续的图像信息处理。
为达到以上目的，本发明采用以下技术方案：一种基于细节增强的单张LDR图像曝光校正的方法，该方法包括以下步骤：
1.欠曝光区域校正
1-1初始估计光照强度
其中，c表示RGB颜色通道。
1-2采用WLS方法，确定光照强度L，可以得到：
其中，Dx,Dy为水平和竖直方向的梯度，λ控制平滑程度，ax和ay是依赖于的平滑权重：
其中，α取1～1.2，∈是一个小常数，防止分母为零。
1-3依据Retinex模型，利用下式恢复场景反射强度Ru
其中，γ用来控制图像增强强度。
2.过曝光区域校正
2-1提出暗亮度概念，其可以用来指示可能出现的过曝光区域。初始估计暗亮度为：
其中，c表示RGB颜色通道。
2-2用WLS算法进行平滑：
2-3利用下式恢复过曝光场景的反射强度Ro
3.图像融合
3-1对于欠曝光校正图像的权重为：
对于过曝光校正图像的权重为：
3-2对上述权重进行显著性检测，将检测的结果作为权重，并做归一化，得到最终的权重。
此处，采用了LC显著性检测方法，其计算方法为：
3-3通过下式将校正图像融合起来
4.多尺度处理
4-1取不同的WLS滤波权重λ，重复上述步骤，得到多尺度处理结果。
4-2最后将多尺度处理的结果加权叠加起来
其中，k为归一化因子，N为尺度数，w0为原图像I对应的权重，wi为采用WLS滤波权重λi时图像对应的权重。
本发明的有益效果：本发明对单张LDR图像中同时存在过曝光与欠曝光区域有很好的处理效果，不仅增强这些区域的细节，而且有着好的视觉效果。本发明方法也可以用于只存在过曝光或欠曝光的图像。本发明方法可实现自动化处理，只需要设定好初始参数，就可以实现自动曝光校正，而不需要人工干预。
附图说明
图1为单张LDR图像的错误曝光示例；
图2为本发明方法主要框架流程示意图；
图3为本发明方法细节流程示意图；
图4为本发明方法的结果示意图；
图5为本发明方法与其他方法的比较。
具体实施方式
以下结合附图和具体实施例对本发明作进一步说明。
本发明针对单张LDR图像同时存在过曝光和欠曝光区域的情形，利用改进和扩展的Retinex方法，对过曝光和欠曝光区域分别进行校正和增强。本发明的流程如附图2和图3所示，主要包括欠曝光区域校正、过曝光区域的校正，以及将两者的校正结果做图像融合，多尺度处理等几个步骤。
步骤1.欠曝光区域校正
1-1选择单张待校正的LDR图像，通过下式初始估计光照强度
其中，c表示图像的RGB颜色通道,I为原图像；
1-2设定初始参数λ＝1.0，利用L是缓慢变换的先验条件，采用WLS方法，确定光照强度L，可以得到
其中，Dx,Dy为水平和竖直方向的梯度，ax和ay计算如下
其中，α＝1.2，∈是一个小常数，防止分母为零，一般取0.0001。
1-3利用下式恢复场景反射强度
其中，γ用来控制图像增强强度，一般取为0.4～0.8，本实施例取0.6。
步骤2.过曝光区域校正
2-1利用暗亮度来指示可能出现的过曝光区域，初始估计暗亮度为
其中，c表示RGB颜色通道，越大，该区域越可能出现过曝光现象。
2-2Ld是满足缓慢变换的条件，故也对其用WLS算法进行平滑。
其参数可以与欠曝光区域增强过程中设置的相同。
2-3利用下式恢复过曝光场景的反射强度
为了使得过曝光区域不过增强，本实施例取γ＝0.5。
步骤3.图像融合
3-1为了使得各自的增强的细节保留下来，需要给其相应增强的区域更大的权重。对于欠曝光的区域，重点增强的区域是那些光照强度L比较小的区域，而对于过曝光的区域，重点增强的区域是那些暗亮度Ld比较大的区域，所以定义两幅图像的权重如下，对于欠曝光校正图像的权重为：
对于过曝光校正图像的权重为：
3-2为了使得对比度不过于强烈，使得图像看起来不真实，对上述权重进行显著性检测，将检测的结果作为权重，并做归一化，得到最终的权重。
此处，采用了LC显著性检测方法，其计算方法为：
3-3通过下式将校正图像融合起来
步骤4.多尺度处理
4-1为了使得结果看起来更加自然，并消除融合可能出现的halo现象，我们对图像在多尺度上进行处理，然后将图像叠加起来。多尺度图像的获得可以通过调整WLS算法里面的平滑权重λ，λ越大，照明分量越平滑，计算得到的反射分量细节增强的越强烈。取WLS滤波权重λ为0.125、1.0、8.0，重复上述步骤，得到多尺度处理结果。
4-2将多尺度增强的结果加权叠加起来。
其中，k为归一化因子，一般情况下，可取wi＝w01。
本实施例的相关处理结果如图4所。图5将本实施例的结果与限制对比度自适应直方图均衡化(CLAHE)结果进行比较，可以看出，本发明方法在增强细节的同时保持了良好的视觉效果，避免了过增强现象。

Claims (5)

1.一种基于细节增强的单张LDR图像曝光校正的方法，其特征在于，该方法包括以下步骤：
(1)欠曝光区域校正，具体是：
(1.1)初始估计光照强度为图像RGB三通道的最大值；
(1.2)利用光照强度是缓慢变化的先验条件，采用WLS滤波，确定光照强度L；
(1.3)利用步骤(1.2)得到的光照强度，基于Retinex理论模型，恢复场景反射强度，即欠曝光校正图像；
(2)过曝光区域校正，具体是：
(2.1)初始估计暗亮度为图像RGB三通道的最小值；
(2.2)利用光照强度是缓慢变化的先验条件，采用WLS滤波，确定暗亮度强度Ld；
(2.3)利用步骤(2.2)得到暗亮度，基于改进的Retinex理论模型，恢复场景反射强度，即过曝光校正图像；所述改进的Retinex理论模型定义如下：
(1-I)＝(1-Ro)×(1-Ld)
其中，Ro为过曝光区域反射强度；
(3)基于显著性的图像融合，具体是：
(3.1)定义欠曝光校正图像的融合权重过曝光校正图像的权重为
(3.2)利用LC显著性对上述权重进行显著性检测，并做归一化，作为各自的最终权重；
(3.3)将欠曝光和过曝光校正的结果分别与各自的权重相乘，叠加起来，作为最终的校正图像；
(4)多尺度处理，具体是：
(4.1)对于WLS滤波取不同的权重，得到不同尺度的校正图像；
(4.2)将不同尺度的校正图像叠加起来，得到多尺度融合图像。
2.根据权利要求1所述的基于细节增强的单张LDR图像曝光校正的方法，其特征在于，所述步骤(1.3)中，恢复场景反射强度Ru的公式如下：
其中，γ用来控制图像增强强度，L为步骤(1.2)得到的光照强度，∈是一个小常数，防止分母为零。
3.根据权利要求1所述的基于细节增强的单张LDR图像曝光校正的方法，其特征在于，所述步骤(2.2)中，采用WLS滤波，对初始估计的暗亮度进行平滑滤波，确定暗亮度。
4.根据权利要求1所述的基于细节增强的单张LDR图像曝光校正的方法，其特征在于，所述步骤(2.3)中，通过下式恢复过曝光区域反射强度Ro：
其中，γ用来控制图像增强强度，Ld为步骤(2.2)得到的暗亮度强度，∈是一个小常数，防止分母为零。
5.根据权利要求1所述的基于细节增强的单张LDR图像曝光校正的方法，其特征在于，所述步骤(3.2)中，归一化公式如下：
其中：
CN201710633747.4A 2017-07-28 2017-07-28 一种基于细节增强的单张ldr图像曝光校正的方法 Expired - Fee Related CN107492075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710633747.4A CN107492075B (zh) 2017-07-28 2017-07-28 一种基于细节增强的单张ldr图像曝光校正的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710633747.4A CN107492075B (zh) 2017-07-28 2017-07-28 一种基于细节增强的单张ldr图像曝光校正的方法

Publications (2)

Publication Number Publication Date
CN107492075A CN107492075A (zh) 2017-12-19
CN107492075B true CN107492075B (zh) 2019-12-10

Family

ID=60644998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710633747.4A Expired - Fee Related CN107492075B (zh) 2017-07-28 2017-07-28 一种基于细节增强的单张ldr图像曝光校正的方法

Country Status (1)

Country Link
CN (1) CN107492075B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120860A (zh) * 2018-09-11 2019-01-01 昆山星际舟智能科技有限公司 微观自适应图像处理方法
WO2020199141A1 (zh) * 2019-04-02 2020-10-08 深圳市大疆创新科技有限公司 过曝恢复处理方法、设备及计算机可读存储介质
CN112819699A (zh) * 2019-11-15 2021-05-18 北京金山云网络技术有限公司 视频处理方法、装置及电子设备
CN112819702B (zh) * 2019-11-15 2024-02-20 北京金山云网络技术有限公司 图像增强方法、装置、电子设备及计算机可读存储介质
CN111353960B (zh) * 2020-03-02 2022-04-26 浙江大学 一种基于区域生长与交叉通道信息的图像紫边校正方法
CN112468737B (zh) * 2020-11-25 2022-04-29 上海摩象网络科技有限公司 自动曝光区域曝光量权重矩阵处理方法和装置
CN115601267B (zh) * 2022-10-31 2023-04-07 哈尔滨理工大学 一种具有局部细节补偿能力的全局色阶映射方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN106971379A (zh) * 2017-03-02 2017-07-21 天津大学 一种基于分层加权融合的水下图像增强方法
CN106981052A (zh) * 2017-01-12 2017-07-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于变分框架的自适应亮度不均变分校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836643B2 (en) * 2015-09-11 2017-12-05 EyeVerify Inc. Image and feature quality for ocular-vascular and facial recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN106981052A (zh) * 2017-01-12 2017-07-25 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于变分框架的自适应亮度不均变分校正方法
CN106971379A (zh) * 2017-03-02 2017-07-21 天津大学 一种基于分层加权融合的水下图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A retinex-based enhancing approach for single underwater image;Xueyang Fu等;《IEEE》;20141030;论文正文 *
基于WLS的Retinex单幅夜间彩色图像增强方法;赵宏宇等;《北京工业大学学报》;20140331;论文正文 *

Also Published As

Publication number Publication date
CN107492075A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN107492075B (zh) 一种基于细节增强的单张ldr图像曝光校正的方法
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
Raman et al. Bilateral Filter Based Compositing for Variable Exposure Photography.
US8447132B1 (en) Dynamic range correction based on image content
CN104700376B (zh) 基于伽马校正和平滑滤波的图像直方图均衡化增强方法
CN105046658B (zh) 一种低照度图像处理方法和装置
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN109785240B (zh) 一种低照度图像增强方法、装置及图像处理设备
CN111915535B (zh) 一种图像去噪的方法及装置
CN104954696B (zh) 一种emccd增益自动调节方法
CN109146826A (zh) 一种图像增强方法及装置
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
JP6097588B2 (ja) 画像処理装置及び画像処理方法
CN114331873B (zh) 一种基于区域划分的非均匀光照彩色图像校正方法
CN110232670B (zh) 一种基于高低频分离的图像视觉效果增强的方法
JP6432399B2 (ja) 画像処理装置および画像処理方法
CN110852956A (zh) 一种高动态范围图像的增强方法
CN109934787B (zh) 一种基于高动态范围的图像拼接方法
WO2011067755A1 (en) Method and system for automatically recovering chromaticity and image variation of colour clipped image regions
CN114155173A (zh) 一种图像去雾方法、设备及非易失性存储介质
JP4635975B2 (ja) 画像処理装置及び画像処理方法
WO2020107646A1 (zh) 图像处理方法
CN113191986A (zh) 一种图像处理方法及装置
JP3870796B2 (ja) 画像処理装置及び画像処理方法
CN111476732B (zh) 一种图像融合及去噪的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191210

Termination date: 20210728