CN106981052A

CN106981052A - 基于变分框架的自适应亮度不均变分校正方法

Info

Publication number: CN106981052A
Application number: CN201710022683.4A
Authority: CN
Inventors: 左芝勇; 康荣雷; 兰霞; 杨少帅; 熊杰; 李阳; 安毅
Original assignee: Southwest Electronic Technology Institute No 10 Institute of Cetc
Current assignee: Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority date: 2017-01-12
Filing date: 2017-01-12
Publication date: 2017-07-25
Anticipated expiration: 2037-01-12
Also published as: CN106981052B

Abstract

本发明公开的一种基于Retinex变分框架的自适应亮度不均变分校正方法，旨在提供一种无需经过对数变换，在消除图像亮度不均匀现象的同时，有效保持图像色彩和细节信息的自适应校正方法。本发明通过下述技术予以实现：利用光学成像探测系统获取不均匀退化图像作为观测图像；根据观测图像空间特征构建自适应权重函数；运用原始Retinex理论构造变分校正模型，通过权重函数自适应控制变分校正模型中反射分量在不同像素点的全变差正则化约束的强度，采用反射分量均值逼近灰度中值约束防止局部曝光过度；然后利用分裂Bregman迭代法和交替最小化方法求解上述变分校正模型得到光照分量和反射分量，最后对反射分量取整得到校正图像。

Description

基于变分框架的自适应亮度不均变分校正方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于Retinex变分框架的自适应亮度不均变分校正方法。其中，Retinex变分框架是利用变分法求解Retinex理论的意思，在匀光变分图像处理中是常用说法。

背景技术

随着计算机技术和图像处理技术的迅速发展，基于图像/视频的工作系统目前己经渗透到各行各业之中，例如目标识别、自动导航、智能监控、地形勘测、自动驾驶和民用拍摄等领域，在国民经济和社会发展中发挥了不可忽视的作用。但是在传感器成像过程中，由于受到大气、光照等环境因素以及传感器系统内部因素的影响，图像往往呈现亮度、色调以及反差分布不均匀的现象。这不仅影响图像的目视效果，更会影响与图像有关的一些后续处理，如特征提取、目标识别、分类、解释等。利用不均匀性校正方法对降质图像进行后续处理，提高图像质量、增强图像细节信息，可以提高图像中有效信息的提取，提升基于图像/视频的系统性能，即匀光处理。因此，深入研究图像匀光处理方法具有重要的理论与实际应用价值。

迄今为止，国内外学者提出了许多校正图像亮度不均的方法，如直方图均衡、同态滤波、Mask匀光法和Retinex变分框架模型等。直方图均衡化的基本思想是把原始图像的直方图变换成均匀分布的形式，以增强像素灰度值的动态范围，达到提高图像整体对比度的效果，但直方图均衡化仅涉及像素亮度，而与像素方位无关，因此仅对部分特殊图像效果较好，适用性不强。同态滤波是在频率域的运算，它同时对图像的低频和高频部分进行处理，突出高频削弱低频，对图像亮度不均匀性有很好的平衡作用，但其滤波函数设计及参数选定需要有一定的技巧和经验。Mask匀光法假设图像中的不均匀现象为加性噪声，此加法模型可能会导致局部模糊和色彩失真，并且随着图像幅度的变大，该方法中的高斯模糊窗口就要越大，运算量就会成比例增加。Retinex理论指出图像可以分解成反射分量与光照分量两部分，两者的乘积即为图像本身，该理论的实质就是从已知的观测图像中求解反射分量和光照分量。Retinex理论本质上是一个病态问题，可以通过增加正则化先验来进行求解，全变差(Gilles Aubert and Pierre Kornprobst,Mathematical Problems in ImageProcessing:Partial Differential Equations and the Calculus of Variations(Second Edition).Springer.2009.)是最常用的正则化先验。Kimmel等人(Kimmel Ron,Elad Michael,and et al.A variational framework for retinex.InternationalJournal of Computer Vision,2003,52(1):7-23)基于合理的假设提出Retinex变分框架，先估计光照分量再求取反射分量，具体流程如图2所示，该模型具有较好的性能，而且能够融合各种先验约束，因此引起了国内外学者们的广泛关注。Michael等人(Michael K.Ngand Wang Wei.A total variation model for Retinex.Siam Journal on Imaging Sciences,2011,4(1):345-365.)在Retinex变分框架下用全变差的思想来描述反射分量的性质，并将其带入到求解模型中，从而提出一个能分离光照分量和反射分量的全变差变分校正模型(TVRE)。兰霞等人(Lan Xia,Zhang Liangpei,and et al.,A spatially adaptiveretinex varaitional model for the uneven intensity correction of remotesensing images,Signal Processing,2014,101:19-34.)利用图像的空间信息构建自适应权重函数控制反射分量的全变差正则化约束的强度，并采用反射分量均值逼近灰度中值约束即GW准则防止局部曝光过度，从而构造出一个基于空间信息的自适应变分校正模型来分离光照分量和反射分量(SARV)。

分裂Bregman迭代法(Tom Goldstein and Stanley Osher.The split Bregmanmethod for L1-regularized problems.Siam Journal on Imaging Sciences.2009(2):323-343.)是求解非线性变分校正模型最有效的方法，其基本思想是引入辅助变量，替换原变分校正模型中较难处理部分，如不可分离项、非光滑项、非线性项等，从而简化变分校正模型的求解，再通过添加惩罚项替换等式约束，保证新线性变分校正模型与原非线性变分校正模型同解，最后采用交替最小方法(Tony F.Chan and Chiu-Kwong Wong.TotalVariation Blind Deconvolution.IEEE Transactions Image Processing.1998(7):370-375.)求解新线性变分校正模型。

目前Retinex变分校正模型都是基于对数变换将Retinex理论的乘法模型转变成加法模型建立的变分校正模型。由于对数变换的性质是对数值较低的部分进行拉伸，而对于数值较高的部分则有压缩的效果，如图3所示。此性质反映到图像中，即是提高暗区域像素值之间的差值，提升对比度，增强边缘信息，同时对亮区域起着相反的效果。因此对观测图像进行对数变换后，会模糊和损失亮区域的边缘和细节信息，而图像反射率所包含的一项重要信息正是图像中的边缘信息，因此基于对数变换建立的Retinex变分校正模型计算出的匀光校正图像会存在边缘模糊和细节丢失的现象，如Michael等人提出的TVRE方法和兰霞等人提出的SARV方法，虽然相对其它方法能够获得较好的匀光校正图像，但由于观测图像对数变换后会模糊和损失亮区域的边缘和细节信息，从而导致匀光校正图像也存在边缘模糊和细节丢失的现象(图4c，4d，图5c，5d，图6c，6d，图7b，7c，图8b，8c，图9b，9c，图10b，10c)。

发明内容

本发明针对现有技术存在的不足之处，提供一种无需经过对数变换，在消除图像亮度不均匀现象的同时，有效保持图像本身的色彩和细节信息的自适应亮度不均变分校正方法。

本发明的上述目的可以通过以下措施来达到，一种基于变分框架的自适应亮度不均变分校正方法，具有如下技术特征：

利用光学成像探测系统获取不均匀退化图像S作为观测图像，且大小为M*N；根据观测图像空间特征构建自适应权重函数w(x,y)；运用原始Retinex理论构造关于光照分量L和反射分量R的变分校正模型E(R,L)，通过自适应权重函数w(x,y)自适应控制变分校正模型E(R,L)中反射分量R在不同像素点的全变差正则化约束||▽R||的强度，在反射分量边缘处施加较小的全变差正则化约束||▽R||，保持反射分量R的边缘特征，而在反射分量R平坦区域施加较大的全变差正则化约束||▽R||；并采用反射分量R均值逼近灰度中值约束，即GW准则防止局部曝光过度；再根据分裂Bregman迭代法引入辅助变量d，将非线性的变分校正模型E(R,L)转化成线性的变分校正模型E′(R,L)，然后利用交替最小化方法求解上述线性变分校正模型E′(R,L)得到光照分量L和反射分量R，最后对反射分量R取整得到匀光校正图像g，其中M和N为自然数。

本发明相比于现有技术具有如下有益效果：

本发明针对传统Retinex方法的不足，采用原始Retinex理论，无需经过对数变换，消除传统模型中对数变换导致的边缘模糊和细节丢失现象；然后利用差分特征值作为边缘指示算子构建自适应权重函数，自适应控制变分校正模型中反射分量的全变差正则化约束的强度，在边缘处施加较小的全变差正则化约束保持图像的边缘特征，而在平坦区域施加较大的全变差正则化约束；其次采用反射分量均值逼近灰度中值约束即GW准则防止局部曝光过度；最后采用分裂Bregman迭代方法和交替最小化方法快速求解该模型获得较好的校正结果(图4e，图5e，图6e，图7d，图8d，图9d，图10d)，从而克服传统基于对数变换建立的Retinex变分校正模型计算出的匀光校正图像存在边缘模糊和细节丢失的不足。

本发明引入峰值信噪比(PSNR)和结构相似法(SSIM)两个评价因子对模拟实验进行客观定量评价。表1是实验图4，图5，图6的客观评估结果。

表1

本发明能够更好的保持边缘特征，并且校正图像与原始图像的强度更加地接近，这是因为：

1)本发明采用原始Retinex理论，无需经过对数变换，消除传统模型中对数变换导致的边缘模糊和细节丢失现象；

2)利用性能优良的差分特征值作为边缘指示算子构建自适应权重函数，自适应控制变分校正模型中反射分量在在不同像素点的全变差正则化约束的强度，在边缘处施加较小的全变差正则化约束，保持反射分量的边缘特征，而在平坦区域施加较大的全变差正则化约束；

3)采用反射分量均值逼近灰度中值约束即GW准则防止局部曝光过度，能够获得最好的结果(图4e，图5e，图6e，图7d，图8d，图9d，图10d)。

此外，从表1展示的客观评价可以看出，本发明获得较高的PSNR和SSIM值，这说明无论是在灰度信息还是结构特征方面，获得的结果都能够较好地表示原始的清晰图像，这与视觉对比结果是一致的。总之，在视觉效果和量化评估的比较中，具有明显优势。

附图说明

图1是本发明基于变分框架的自适应亮度不均变分校正方法流程图。

图2是Retinex变分校正模型计算流程示意图。

图3是对数变换示意图。

图4a、4b、4c、4d和4e是武汉图像水平模拟退化匀光校正实验对比示意图。

图5a、5b、5c、5d和5e是武汉图像垂直模拟退化匀光校正实验对比示意图。

图6a、6b、6c、6d和6e是武汉图像高斯模拟退化匀光校正实验对比示意图。

图7a、7b、7c和7d是第一幅真实退化图像匀光校正实验对比示意图。

图8是图7中抠出部分区域的放大结果比较。

图9a、9b、9c和9d是第二幅真实退化图像匀光校正实验对比示意图。

图10是图9中抠出部分区域的放大结果比较。

具体实施方式

参阅图1。根据本发明，利用光学成像探测系统获取不均匀退化图像S作为观测图像，且大小为M*N；根据观测图像空间特征构建自适应权重函数w(x,y)；运用原始Retinex理论构造关于光照分量L和反射分量R的变分校正模型E(R,L)，通过自适应权重函数w(x,y)自适应控制变分校正模型E(R,L)中反射分量R在不同像素点的全变差正则化约束||▽R||的强度，在反射分量边缘处施加较小的全变差正则化约束||▽R||，保持反射分量R的边缘特征，而在反射分量R平坦区域施加较大的全变差正则化约束||▽R||；并采用反射分量R均值逼近灰度中值约束，即GW准则防止局部曝光过度；再根据分裂Bregman迭代法引入辅助变量d，将非线性的变分校正模型E(R,L)转化成线性的变分校正模型E′(R,L)，然后利用交替最小化方法求解上述线性变分校正模型E′(R,L)得到光照分量L和反射分量R，最后对反射分量R取整得到匀光校正图像g，其中M和N为自然数。具体过程包括：

(1)根据观测图像空间特征构建自适应权重函数w(x,y),1≤x≤M,1≤y≤N，x和y分别为给定像素在x轴和y轴的坐标值，均为自然数,包括以下过程：

(1.1)计算差分特征值D(x,y),1≤x≤M,1≤y≤N；

差分特征值D(x,y)定义为：

D(x,y)＝(λ₁-λ₂)λ₁w(S(x,y))

其中λ₁表示Hessian矩阵最大的特征值，λ₂表示另外一个特征值，w(S(x,y))是平衡因子，计算公式如下:

式中，S(x,y)表示观测图像S在(x,y)坐标处的像素值；max(σ)和min(σ)分别是观测图像S的最大和最小灰度级变化值。对于一个给定的坐标为(x,y)的像素，其灰度级变化σ(x,y)从它的3×3邻域计算得到：

其中，i和j是整数；

(1.2)构建自适应权重函数其中k是一个控制空间信息参与程度的非负参数，D(x,y)为差分特征值。

(2)利用自适应权重函数w(x,y)构造关于光照分量L和反射分量R的变分校正模型E(R,L)：

s.t.L≥S,and 0≤R≤1

其中，α，β和μ都是非负正则化参数，L是光照分量，R是反射分量，▽表示梯度算子，w是自适应权重函数。

(3)利用分裂Bregman迭代法计算变分校正模型E(R,L)得到光照分量和反射分量,包括以下过程:

(3.1)由于全变差正则化约束||▽R||是非平滑和不可分离的，引入辅助变量d，将变分校正模型E(R,L)转化为如下有约束的变分校正模型：

s.t.L≥S,0≤R≤1,and d＝▽R

(3.2)增加一个惩罚项，将有约束的变分校正模型E(R,L)转化为无约束的变分校正模型E′(R,L)：

s.t.L≥S,and 0≤R≤1

式中，λ是一个非负参数。

(3.3)通过交替最小化方法求解变分校正模型E′(R,L)，具体步骤如下：

(3.3.1)初始化α,β,μ,λ,L⁰＝S,R⁰＝1,b⁰＝(b_x,b_y)＝0,k＝0，其中b是Bregman辅助参数，k为计数参数；

(3.3.2)计算辅助变量d^k+1：

其中max()表示两数中值较大的数；

(3.3.3)计算反射分量

F和F^-1分别表示傅里叶变换和傅里叶逆变换，F^*表示F的共轭，▽_x表示x轴方向的梯度，▽_y表示y轴方向的梯度；

(3.3.4)利用反射分量更新反射分量R^k+1：其中min()表示两数中值较小的数；

(3.3.5)利用辅助变量d^k+1和反射分量R^k+1更新辅助变量b^k+1：b^k+1＝b^k-(d^k+1-▽R^k+1)；

(3.3.6)计算光照分量其中▽_x表示x轴方向的梯度，▽_y表示y轴方向的梯度；

(3.3.7)利用光照分量更新光照分量L^k+1：

(3.3.8)直到终止条件(||R^k+1-R^k||/||R^k+1||≤ε_R and||L^k+1-L^k||/||L^k+1||≤ε_L)满足，否则，令计数参数k＝k+1，继续执行(3.3.2)。

(4)对反射分量取整得到匀光校正图像g＝uint(R^k+1)，灰度图像uint()表示8位取整运算，彩色图像uint()表示对R、G和B三通道8位取整运算。

实例：

图4是武汉图像水平模拟退化匀光校正实验对比示意图；图4a是获取的武汉图像，图4b是水平模拟退化图像；图4c是Michael等人提出的TVRE方法匀光校正图像；图4d是兰霞等人提出的SARV方法匀光校正图像；图4e是本发明自适应亮度不均变分校正图像。

图5是武汉图像垂直模拟退化匀光校正实验对比示意图；图5a是获取的武汉图像，图5b是垂直模拟退化图像；图5c是Michael等人提出的TVRE方法匀光校正图像；图5d是兰霞等人提出的SARV方法匀光校正图像；图5e是本发明自适应亮度不均变分校正图像。

图6是武汉图像高斯模拟退化匀光校正实验对比示意图；图6a是获取的武汉图像，图6b是高斯模拟退化图像；图6c是Michael等人提出的TVRE方法匀光校正图像；图6d是兰霞等人提出的SARV方法匀光校正图像；图6e是本发明自适应亮度不均变分校正图像。

图7是第一幅真实退化图像匀光校正实验对比示意图；图7a是获取的真实退化图像；图7b是Michael等人提出的TVRE方法匀光校正图像；图7c是兰霞等人提出的SARV方法匀光校正图像；图7d是本发明自适应亮度不均变分校正图像。

图8是图7中抠出部分区域的放大结果比较；图8a是图7a真实退化图像截取部分区域放大图像；图8b是图7bTVRE方法匀光校正图像截取部分区域放大图像；图8c是图7cSARV方法匀光校正图像截取部分区域放大图像；图8d是图7d本发明自适应亮度不均变分校正图像截取部分区域放大图像。

图9是第二幅真实退化图像匀光校正实验对比示意图；图9a是获取的真实退化图像；图9b是Michael等人提出的TVRE方法匀光校正图像；图9c是兰霞等人提出的SARV方法匀光校正图像；图9d是本发明自适应亮度不均变分校正图像。

图10是图9中抠出部分区域的放大结果比较；图10a是图9a真实退化图像截取部分区域放大图像；图10b是图9bTVRE方法匀光校正图像截取部分区域放大图像；图10c是图9cSARV方法匀光校正图像截取部分区域放大图像；图10d是图9d本发明自适应亮度不均变分校正图像截取部分区域放大图像。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims

1.一种基于变分框架的自适应亮度不均变分校正方法，具有如下技术特征：

2.如权利要求1所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，根据观测图像空间特征构建自适应权重函数w(x,y),1≤x≤M,1≤y≤N，包括以下过程：

(1.1)计算观测图像的差分特征值D(x,y),1≤x≤M,1≤y≤N；

差分特征值D(x,y)定义为：

D(x,y)＝(λ₁-λ₂)λ₁w(S(x,y))

计算平衡因子w(S(x,y))：

式中，x和y分别为给定像素在x轴和y轴的坐标值，S(x,y)表示观测图像S在(x,y)坐标处的像素值，λ₁表示Hessian矩阵最大的特征值，λ₂表示另外一个特征值，max(σ)和min(σ)分别是观测图像S的最大和最小灰度级变化值。

3.如权利要求2所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，对于一个给定坐标为(x,y)的像素，其灰度级变化σ(x,y)从它的3×3邻域计算得到：

其中i和j是整数。

4.如权利要求2所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，构建的自适应权重函数其中，k是一个控制空间信息参与程度的非负参数，D(x,y)为差分特征值。

5.如权利要求1所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，利用自适应权重函数w(x,y)构造关于光照分量L和反射分量R的变分校正模型E(R,L)：

s.t.L≥S,and 0≤R≤1

其中，α，β和μ都是非负正则化参数，▽表示梯度算子，L是光照分量，R是反射分量，w为自适应权重函数。

6.如权利要求1所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，利用分裂Bregman迭代法将非线性变分校正模型E(R,L)转化成线性变分校正模型E′(R,L)，包括以下过程：

(3.1)根据全变差正则化约束||▽R||是非平滑和不可分离的，引入辅助变量d，将变分校正模型E(R,L)转化成如下有约束的变分校正模型：

s.t.L≥S,0≤R≤1,and d＝▽R

(3.2)增加一个惩罚项，将有约束的变分校正模型E(R,L)转化成无约束的变分校正模型E′(R,L)：

s.t.L≥S,and 0≤R≤1

式中，λ是一个非负参数。

7.如权利要求1或6所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，通过交替最小化方法求解变分校正模型E′(R,L)，具体步骤如下：

(3.3.1)初始化α,β,μ,λ,L⁰＝S,R⁰＝1,b⁰＝(b_x,b_y)＝0,k＝0；

(3.3.2)计算辅助变量d^k+1：

(3.3.3)计算反射分量

(3.3.4)利用反射分量更新反射分量R^k+1：

(3.3.6)计算光照分量

(3.3.7)利用光照分量更新光照分量L^k+1：

(3.3.8)直到终止条件(||R^k+1-R^k||/||R^k+1||≤ε_R and||L^k+1-L^k||/||L^k+1||≤ε_L)满足，否则，令计数参数k＝k+1，继续执行(3.3.2),在上述公式中，b是Bregman辅助参数，k为计数参数；▽_x表示x轴方向的梯度，▽_y表示y轴方向的梯度；F和F^-1分别表示傅里叶变换和傅里叶逆变换，F^*表示F的共轭；max()和min()分别表示两数中值较大和较小的数。

8.如权利要求1所述的基于变分框架的自适应亮度不均变分校正方法，其特征在于，对反射分量取整得到匀光校正图像g＝uint(R^k+1)，灰度图像uint()表示取整运算，彩色图像uint()表示对R、G和B三通道取整运算。