CN105405110A - 非均匀光照补偿方法 - Google Patents

Abstract

本发明涉及一种非均匀光照补偿方法。它是根据光照补偿结构图，对图像非均匀光照进行自动补偿。采用对数直方图均衡化，利用局部环境光估计，获取光照补偿结构图，通过对比度调整，进行光照补偿，获取光照均匀分布图像。

Description

非均匀光照补偿方法

技术领域

本发明涉及一种非均匀光照补偿方法，用于公共安全与防范以及视频分析与理解。属于智能信息处理技术领域。

背景技术

随着监控摄像机的日益普及，基于视觉的场景目标检测与识别研究十分活跃。但由于在非限制条件下，光照变化多样且复杂，导致由摄像机获取的图像质量难有效应用于公共安全与防范以及视频分析与理解。

非均匀光照图像的光照补偿，迄今为止仍是一项极具挑战性的工作，一直受到国内外研究人员的广泛关注。目前主要可分为如下两类：多光谱传感器图像融合和单传感器图像光照增强。其中，多光谱传感器图像融合对硬件设备要求高，不适用于普通视觉电子产品；而单传感器图像光照增强，包括：频域增强和空域增强。其中，频域增强虽可获得较好的亮度动态特性，但算法复杂、实时性差、亮度变化大；空域增强虽可通过全局增强方法对直方图进行调整，提高图像的对比度和调节图像的亮度，但却不利于非均匀光照情形；为克服全局增强方法的不足，采用区域增强方法，虽可调节和恢复图像中暗区域的亮度，但往往会抑制图像的对比度和亮度动态范围。因此，目前如何在恢复非均匀光照图像的亮度的同时，使图像具有良好的对比度和亮度动态范围，并有效应用于公共安全与防范以及视频分析与理解，仍是智能信息处理技术领域中亟待解决的挑战性难题。

发明内容

本发明的目的在于针对目前非均匀光照补偿方法存在的局限与不足，提供一种非均匀光照补偿方法，利用局部环境光估计，获取光照补偿结构图，通过对比度调整，进行光照补偿，获取光照均匀分布图像。

为达到上述目的，本发明的构思是：根据图像光谱特性分布，采用光照补偿结构图及对数直方图均衡化，调整图像灰度强度值的对比度，进行光照补偿，获取光照均匀分布图像。

根据上述发明构思，本发明采用下述技术方案：

一种非均匀光照补偿方法，其特征在于：根据图像光谱特性分布，采用光照补偿结构图及对数直方图均衡化，调整图像灰度强度值的对比度，进行光照补偿，获取光照均匀分布图像；具体步骤如下：

1)启动视频采集系统：采集视频彩色图像序列；

2)色彩空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中， $\mathrm{\θ}=arccos\left\{\frac{\[(R-G)+(R-B)\]}{2{\[{(R-G)}^2+(R-G)(G-B)\]}^2}\right\},$

$S=1-3\frac{\min (R,G,B)}{(R+G+B)},$

V＝max(R,G,B)；

3)保持H分量和S分量不变，对V分量进行对数直方图均衡化；

4)局部环境光估计，获取光照补偿结构图；

5)对比度调整；

6)将HSV色彩空间，转换至RGB色彩空间。

上述步骤3)的具体操作步骤如下：

(1)V分量直方图概率统计：

$p\left(k\right)=\frac{n_k}{n},k=0,1,2,\mathrm{...},255$

其中，n为图像像素总数，n_k为第k个灰度级的像素数；

(2)直方图概率归一化：

$T_n\left(p\right(k\left)\right)=255\×\frac{p\left(k\right)-p_{\min }}{p_{max}-p_{\min }}$

其中，p_max，p_min分别代表直方图概率p(k)的最大值和最小值；

(3)直方图对数变换：

H_g＝ln(T_n(p(k))+ξ)，其中，ln为自然对数运算符，ξ为常数；

(4)直方图均衡化变换：

$P_g\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(H_g\right(i)/\underset{j=0}{\overset{255}{\Σ}}{H}_g(j\left)\right),k=0,1,2,\mathrm{...},255;$

(5)根据步骤(4)，获取直方图均衡分布的V分量I；

上述步骤4)的具体操作步骤如下：

(1)对步骤3)的V分量I，进行对数变换：

Q＝lnI＝lnI_r+lnI_i

其中，I_r为I的反射分量强度，I_i为I的照射分量强度；

(2)提取I的反射分量Q_r：Q_r＝T_n(Q)；

(3)获取光照补偿结构图I_ics： $I_{ics}=\frac{1}{{255}^2}(255-I)\×(255-h_n\⊗I)$

其中，h_n为二维高斯滤波器，为卷积运算符；

上述步骤5)的具体操作步骤如下：

(1)光照补偿：

L_ics＝I+(Q_r×I_ic)^γ

其中，γ为常数；

(2)直方图均衡化变换： $I_{en}\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(L_{ics}\right(i)/\underset{j=0}{\overset{255}{\Σ}}{L}_{ics}(j\left)\right),k=0,1,2,\mathrm{...},255;$

(3)根据步骤(2)，获取直方图均衡分布的亮度V_F；

上述步骤6)的具体操作步骤如下：

(1)结合步骤2)确定的H分量、S分量和步骤5)获取的V_F分量，分别计算H_i：其中，mod为模除运算符，为向下取整运算符，

Temp₁：Temp₁＝V_F(1-S)，

${\mathrm{Temp}}_2:{\mathrm{Temp}}_2=V_F(1-S(\frac{H}{60}-H_i\left)\right),$

${\mathrm{Temp}}_3:{\mathrm{Temp}}_3=V_F(1-S(1+H_i-\frac{H}{60}\left)\right);$

(2)根据步骤(1)，计算RGB色彩空间中的R、G、B分量，获取RGB彩色图像：

本发明的原理如下：

根据Retinex理论，人类感知某点的颜色和亮度，并不仅仅取决于该点进入人眼的绝对光线，还和其周围的颜色和亮度有关，即物体的颜色由物体对长波(红)、中波(绿)和短波(蓝)光线的反射特性决定，而不由反射光强度的绝对值决定，且物体的色彩不受非均匀性光照的影响，一致性强。因此，可通过彩色空间转换，将由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V，保持H分量和S分量不变，仅对V分量进行相关后续处理。

由Retinex理论知：原始图像I的亮度分量，亦称为灰度强度分量，由反射分量Ir和照射分量Ii按如下形式组合：I＝I_r×I_i。

根据图像反射分量Ir和照射分量Ii特点：当照明光源远离物体时，照射分量Ii的变化较小，取对数后可近似为常数；反射分量Ir的变化较大，其对数变化后的结果分布在曲率近似常数的直线部分范围。因此，可通过提取反射分量并对其后续处理，消除光照不均匀变化影响。

为从原始图像I中提取出反射分量I_r，将图像I转换至对数域，从而将上述乘积关系转换为和的关系，即：Q＝lnI＝lnI_r+lnI_i

根据归一化运算：其中，p_max，p_min分别代表p的最大值和最小值。

由归一化运算知：T_n(p)＝T_n(a×p+b)，其中a和b均为常数，因此，可得反射分量的估计值Q_r：Q_r＝T_n(Q)。

根据人类视觉感知空间某点的亮度，不仅与该点本身亮度I有关，且与周围邻近的亮度相关，获取光照补偿结构图I_is： $I_{ic}=\frac{1}{{255}^2}(255-I)\×(255-h_n\⊗I)$

其中，h_n为二维高斯滤波器，为卷积运算符。

通过光照补偿结构图I_ic，结合光照反射分量估计值Q_r，并通过亮度特征控制参数γ，还原图像I的亮度：L_ics＝I+(Q_r×I_ics)^γ，其中，γ为常数。

为使其亮度范围最大化并增强对比度，对L_ics进行如下对数直方图均衡化：

$I_{en}\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(L_{ics}\right(i)/\underset{j=0}{\overset{255}{\Σ}}{L}_{ics}(j\left)\right),k=0,1,2,\mathrm{...},255$

根据上述直方图均衡化映射，获取直方图均衡分布的亮度V_F。

在此基础上，通过彩色空间转换，由HSV彩色空间的色调分量H、饱和度分量S以及上述所确定的亮度分量V_F，确定RGB色彩空间中的红R、绿G、蓝B三分量。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明根据图像光谱特性分布，利用光照补偿结构图，将图像全局增强和图像的反射分量估计进行融合，在仅对需要光照补偿的暗亮度区域进行光照补偿的同时，进行图像全局增强，有效融合了图像光照全局增强方法和局部光照增强方法的各自优点。本发明的方法简便、灵活、易实现。

附图说明

图1是本发明方法的操作程序框图。

图2是本发明一个实施例的原始彩色图像。

图3是图2示例的HSV色彩空间中H、S、V三分量图像。

图4是对图3中的V分量进行对数直方图均衡化图像。

图5是基于图4的反射分量Q_r图像。

图6是基于图4的光照补偿结构图I_ics图像。

图7是经光照补偿和直方图均衡化后的亮度V_F图像。

图8是对图2经非均匀光照补偿后的RGB色彩空间彩色图像。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：

操作流程参见图1，本非均匀光照补偿方法，其特征在于：根据图像光谱特性分布，采用光照补偿结构图及对数直方图均衡化，调整图像灰度强度值的对比度，进行光照补偿，获取光照均匀分布图像；具体步骤如下：

1)启动视频采集系统：采集视频彩色图像序列；

2)色彩空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中， $\mathrm{\θ}=arccos\left\{\frac{\[(R-G)+(R-B)\]}{2{\[{(R-G)}^2+(R-G)(G-B)\]}^2}\right\},$

$S=1-3\frac{\min (R,G,B)}{(R+G+B)},$

V＝max(R,G,B)；

3)保持H分量和S分量不变，对V分量进行对数直方图均衡化；

4)局部环境光估计，获取光照补偿结构图；

5)对比度调整；

6)将HSV色彩空间，转换至RGB色彩空间。

实施例二：

本例的原始图像如图2所示，利用本发明对如图2所示的非均匀光照图像进行光照补偿；具体操作步骤如下：

1)启动视频采集系统：采集视频彩色图像序列；

2)色彩空间转换：对由摄像机采集的如图2的当前帧图像，由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中， $\mathrm{\θ}=arccos\left\{\frac{\[(R-G)+(R-B)\]}{2{\[{(R-G)}^2+(R-G)(G-B)\]}^2}\right\},$

$S=1-3\frac{\min (R,G,B)}{(R+G+B)},$

V＝max(R,G,B)，

图3自左至右分别为HSV色彩空间中的H、S、V图像；

3)保持H分量和S分量不变，对V分量进行对数直方图均衡化

具体操作步骤如下：

(1)V分量直方图概率统计：

$p\left(k\right)=\frac{n_k}{530432},k=0,1,2,\mathrm{...},255$

其中，n_k为第k个灰度级的像素数；

(2)直方图概率归一化：

$T_n\left(p\right(k\left)\right)=255\×\frac{p\left(k\right)-0.0000396}{0.128-0.0000396};$

(3)直方图对数变换：

H_g＝ln(T_n(p(k))+1)；

(4)直方图均衡化变换：

$P_g\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(H_g\right(i)/\underset{j=0}{\overset{255}{\Σ}}{H}_g(j\left)\right),k=0,1,2,\mathrm{...},255;$

(5)根据步骤(4)，获取直方图均衡分布的V分量I，如图4；

4)局部环境光估计，获取光照补偿结构图

具体操作步骤如下：

(1)对步骤3)的V分量I(如图4)，进行对数变换：

Q＝lnI＝lnI_r+lnI_i

其中，I_r为I(如图4)的反射分量强度，I_i为I(如图4)的照射分量强度；

(2)提取I的反射分量Q_r：Q_r＝T_n(Q)，如图5；

(3)获取光照补偿结构图I_is： $I_{ic}=\frac{1}{{255}^2}(255-I)\×(255-h_n\⊗I),$ 结果如图6；

其中，为卷积运算符，h_n：

$h_n=\left[\begin{array}{ccccccccccc}0.0094& 0.0094& 0.0094& 0.0093& 0.0093& 0.0093& 0.0093& 0.0093& 0.0094& 0.0094& 0.0094\\ 0.0094& 0.0093& 0.0093& 0.0092& 0.0091& 0.0091& 0.0091& 0.0092& 0.0093& 0.0093& 0.0094\\ 0.0094& 0.0093& 0.0092& 0.0088& 0.0083& 0.0081& 0.0083& 0.0088& 0.0092& 0.0093& 0.0094\\ 0.0093& 0.0092& 0.0088& 0.0078& 0.0063& 0.0055& 0.0063& 0.0078& 0.0088& 0.0092& 0.0093\\ 0.0093& 0.0091& 0.0083& 0.0063& 0.0034& 0.0019& 0.0034& 0.0063& 0.0083& 0.0091& 0.0093\\ 0.0093& 0.0091& 0.0081& 0.0055& 0.0019& 0& 0.0019& 0.0055& 0.0081& 0.0091& 0.0093\\ 0.0093& 0.0091& 0.0083& 0.0063& 0.0034& 0.0019& 0.0034& 0.0063& 0.0083& 0.0091& 0.0093\\ 0.0093& 0.0092& 0.0088& 0.0078& 0.0063& 0.0055& 0.0063& 0.0078& 0.0088& 0.0092& 0.0093\\ 0.0094& 0.0093& 0.0092& 0.0088& 0.0083& 0.0081& 0.0083& 0.0088& 0.0092& 0.0093& 0.0094\\ 0.0094& 0.0093& 0.0093& 0.0092& 0.0091& 0.0091& 0.0091& 0.0092& 0.0093& 0.0093& 0.0094\\ 0.0094& 0.0094& 0.0094& 0.0093& 0.0093& 0.0093& 0.0093& 0.0093& 0.0094& 0.0094& 0.0094\end{array}\right];$

5)对比度调整

具体操作步骤如下：

(1)光照补偿：

L_ics＝I+(Q_r×I_ic)^1.1215；

(2)直方图均衡化变换： $I_{en}\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(L_{ics}\right(i)/\underset{j=0}{\overset{255}{\Σ}}{L}_{ics}(j\left)\right),k=0,1,2,\mathrm{...},255;$

(3)根据步骤(2)，获取直方图均衡分布的亮度V_F，如图7；

6)将HSV色彩空间，转换至RGB色彩空间

具体操作步骤如下：

(1)结合图3中的H分量、S分量(分别为图3左边的二幅图像)和图7的V_F图像，分别计算H_i：其中，mod为模除运算符，为向下取整运算符，

Temp₁：Temp₁＝V_F(1-S)，

Temp₂： ${\mathrm{Temp}}_2=V_F(1-S(\frac{H}{60}-H_i\left)\right),$

Temp₃： ${\mathrm{Temp}}_3=V_F(1-S(1+H_i-\frac{H}{60}\left)\right);$

(2)根据步骤(1)，计算RGB色彩空间中的R、G、B分量，获取RGB彩色图像：

RGB彩色图像如图8所示。

Claims (5)

1.一种非均匀光照补偿方法，其特征在于：根据图像光谱特性分布，采用光照补偿结构图及对数直方图均衡化，调整图像灰度强度值的对比度，进行光照补偿，获取光照均匀分布图像；具体步骤如下：

1)启动视频采集系统：采集视频彩色图像序列；

2)色彩空间转换：由RGB彩色空间的红R、绿G、蓝B三分量，确定HSV色彩空间的色调分量H、饱和度分量S以及亮度分量V：

其中， $\mathrm{\θ}=\arccos \left\{\frac{\[(R-G)+(R-B)\]}{2{\[{(R-G)}^2+(R-G)(G-B)\]}^2}\right\},$

$S=1-3\frac{\min (R,G,B)}{(R+G+B)},$

V＝max(R,G,B)；

3)保持H分量和S分量不变，对V分量进行对数直方图均衡化；

4)局部环境光估计，获取光照补偿结构图；

5)对比度调整；

6)将HSV色彩空间，转换至RGB色彩空间。

2.根据权利要求1所述的非均匀光照补偿方法，其特征在于：所述步骤3)保持H分量和S分量不变，对V分量进行对数直方图均衡化的具体操作步骤为：

(1)V分量直方图概率统计：

$p\left(k\right)=\frac{n_k}{n},k=0,1,2,...,255$

其中，n为图像像素总数，n_k为第k个灰度级的像素数；

(2)直方图概率归一化：

$T_n\left(p\right(k\left)\right)=255\×\frac{p\left(k\right)-p_{\min }}{p_{max}-p_{\min }}$

其中，p_max，p_min分别代表直方图概率p(k)的最大值和最小值；

(3)直方图对数变换：

H_g＝ln(T_n(p(k))+ξ)，其中，ln为自然对数运算符，ξ为常数；

(4)直方图均衡化变换：

$P_g\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(H_g\right(i)/\underset{j=0}{\overset{255}{\Σ}}{H}_g(j\left)\right),k=0,1,2,...,255;$

(5)根据步骤(4)，获取直方图均衡分布的V分量I。

3.根据权利要求1所述的非均匀光照补偿方法，其特征在于：所述步骤4)局部环境光估计，获取光照补偿结构图的具体操作步骤为：

(1)对步骤3)的V分量I，进行对数变换：

Q＝lnI＝lnI_r+lnI_i

其中，I_r为I的反射分量强度，I_i为I的照射分量强度；

(2)提取I的反射分量Q_r：Q_r＝T_n(Q)；

(3)获取光照补偿结构图I_is： $I_{ic}=\frac{1}{{255}^2}(255-I)\×(255-h_n\⊗I)$

其中，h_n为二维高斯滤波器，为卷积运算符。

4.根据权利要求1所述的非均匀光照补偿方法，其特征在于：所述步骤5)对比度调整的具体操作步骤为：

(1)光照补偿：

L_ics＝I+(Q_r×I_ic)^γ

其中，γ为常数；

(2)直方图均衡化变换： $I_{en}\left(k\right)=255\×\underset{i=0}{\overset{k}{\Σ}}\left(L_{ics}\right(i)/\underset{j=0}{\overset{255}{\Σ}}{L}_{ics}(j\left)\right),k=0,1,2,...,255;$

(3)根据步骤(2)，获取直方图均衡分布的亮度V_F。

5.根据权利要求1所述的非均匀光照补偿方法，其特征在于：所述步骤6)将HSV色彩空间，转换至RGB色彩空间的具体操作步骤为：

(1)结合步骤2)确定的H分量、S分量和步骤5)获取的V_F分量，分别计算H_i：

其中，mod为模除运算符，为向下取整运算符，

Temp₁：Temp₁＝V_F(1-S)，

${\mathrm{Temp}}_2:{\mathrm{Temp}}_2=V_F(1-S(\frac{H}{60}-H_i\left)\right),$

${\mathrm{Temp}}_3:{\mathrm{Temp}}_3=V_F(1-S(1+H_i-\frac{H}{60}\left)\right);$

(2)根据步骤(1)，计算RGB色彩空间中的R、G、B分量，获取RGB彩色图像：