CN110992287B - 一种非均匀光照视频的清晰化方法 - Google Patents

Abstract

本发明提供了一种非均匀光照视频的清晰化方法，包括：获取待处理视频序列，并提取第t帧图像；对该图像中各像素的R、G、B三个通道取最大值，得到最大通道图；对最大通道图进行最大值滤波计算，获得第一光照分量；将最大通道图作为引导图像，对第一光照分量进行内容自适应的图像引导滤波，以恢复图像边缘，获得第二光照分量；对第二光照分量进行Gamma变换调整，得到第三光照分量，并分解第t帧图像获得反射分量；对第三光照分量进行曲线函数的重映射变换，得到第四光照分量；将第四光照分量和反射分量相乘，合成最终匀光后的第t帧图像。该方法简单有效，通过对光照分量的分布进行调整，完成细节的突出显示，可以实现非均匀光照视频匀光处理。

Description

一种非均匀光照视频的清晰化方法

技术领域

本发明涉及一种图像处理技术领域，具体涉及一种非均匀光照视频的清晰化方法。

背景技术

随着社会和经济的快速发展，安防行业受到越来越重要的影响和作用，尤其是平安城市、科技强警、校园安防等政府示范性建设工程的推广和应用，使得以视频监控为主的安防产品呈现规模化的发展势头。随着物联网的应用推广，智能物联网监控将成为下一个视频监控发展的必然趋势。物联网监控利用传感器网络对视频直观、准确、及时的信息内容进行联动反应。然而，当前的监控系统对光照变化非常敏感，监控设备拍摄到的画面难免存在光照不均匀、动态范围较小等问题，造成画面亮度偏暗区域的细节信息不够清晰、可见度降低。因此，为了提高物联网监控系统对光线条件的适应性，有必要对物联网非均匀光照视频进行清晰化处理，以提升目标的能见度。

目前，非均匀光照图像的清晰化方法可归结为灰度变换法、梯度域增强方法和基于Retinex理论的方法。

灰度变换法是指利用某些变换函数对图像进行操作，扩大或压缩图像的动态范围，以达到增强对比度的目的。其中，直方图均衡化是一种最为简单、常见的图像增强算法。雾天图像的灰度值在某个灰度级范围内过度集中，景物的层次较难分清，从而导致图像能见度下降，因此，直方图均衡化方法通过灰度映射来调整图像的直方图，使其均衡分布，实现对比度的增强。直方图均衡化方法容易出现邻近的灰阶合并现象，造成图像的细节信息丢失甚至改变图像的原始信息量。梯度域增强方法利用扩宽图像的梯度范围来调整图像动态范围，从而实现图像细节、亮度的增强。梯度域增强方法对于图像细节和场景深度的保持较好，但在梯度域中重新获取图像数据时计算复杂度较大，难以满足实际应用的要求。目前的单尺度Retinex算法主要利用当前像素点邻域内的像素值通过高斯加权平均来计算照射分量，分解出反射分量作为清晰化的结果，该算法的缺点在于容易使得图像的边缘存在光晕、和存在色彩保真度不足的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种非均匀光照视频的清晰化方法。

本发明提供一种非均匀光照视频的清晰化方法，包括：获取待处理的视频序列，并提取所述视频序列中的第t帧图像，其中，t为大于等于1的正整数；

对所述第t帧图像中各像素的R、G、B三个通道取最大值，得到最大通道图；

对所述最大通道图进行最大值滤波计算，获得第一光照分量；

将所述最大通道图作为引导图像，采用联合保边缘滤波器对所述第一光照分量进行内容自适应的图像滤波，以恢复图像边缘，获得第二光照分量；

对所述第二光照分量进行Gamma变换调整，得到第三光照分量，并分解所述第t帧图像获得反射分量；

对所述第三光照分量进行曲线函数的重映射变换，得到匀光后的第四光照分量；

将所述第四光照分量和所述反射分量相乘，合成最终匀光后的第t帧图像。

可选的，对所述第t帧图像中各像素的R、G、B三个通道取最大值，得到最大通道图，包括：

采用下述关系式(1)计算所述最大通道图：

I_max(x,y)＝max(I_R(x,y),I_G(x,y),I_B(x,y)) (1)

式中，(x,y)表示所述第t帧图像中像素的坐标；

I_max(x,y)表示所述第t帧图像中最大通道图在(x,y)位置的像素值；

I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示所述第t帧图像中R、G、B颜色通道在(x,y)位置的像素值。

可选的，所述对所述最大通道图进行最大值滤波计算，获得第一光照分量，包括：

采用Max-RGB方法计算所述最大通道图中预定的局部区域反射率最大的物体所反射的光，以此作为所述第一光照分量，具体采用下述关系式(2)：

式中，L_coarse(x,y)表示所述第一光照分量在(x,y)位置的像素值；

I_max(i,j)表示所述第t帧图像中最大通道图在(i,j)位置的像素值；

Ω表示以(x,y)为左顶点，半径为R的局部窗口。

可选的，所述联合保边缘滤波器包括图像引导滤波器、联合双边滤波器和联合递归双边滤波器中任意一者。

可选的，所述引导图像是与第t帧图像具有一致边缘的图像。

可选的，所述将所述最大通道图作为引导图像，采用图像引导滤波器对所述第一光照分量进行内容自适应的图像引导滤波，以恢复图像边缘，获得第二光照分量，包括：

设以k为中心的窗口w_k中存在下述关系式(3)：

式中，q_i表示所述第二光照分量的输出图像像素值；

O_i表示所述引导图像值；

w_k表示半径为r的方形窗口；

a_k与b_k表示所述窗口中的线性因子，且在所述窗口中为固定值；

其中，在所述窗口中，w_k的代价函数表示为下述关系式(4)：

式中：p_i表示所述窗口中所述第一光照分量输入图像值；

ε表示防止a_k取值过大的调整参数；

通过所述图像引导滤波计算出所述线性因子的最优解，具体采用下述关系式(5)和关系式(6)：

式中，|w|表示所述窗口w_k的像素数；

与μ_k分别表示所述窗口中所述引导图像的方差与均值；

表示所述窗口中所述第一光照分量输入图像的均值；

通过所述线性因子最优解与所述线性关系式得出所述第二光照分量输出图像值，具体采用下述关系式(7)：

式中，

与

分别表示以点i为中心的所述窗口内a_k与b_k的平均值。

可选的，所述对所述第二光照分量进行Gamma变换调整，得到第三光照分量，并分解第t帧图像获得反射分量，包括：

采用Gamma对所述第二光照分量进行变换调整，得到所述第三光照分量，具体采用下述关系式(8)：

L＝(L_edge/255)^γ (8)

式中，L表示获得边缘的所述第三光照分量；

L_edge为所述第二光照分量；

γ为大于1的补偿系数；

根据Retinex理论，计算所述反射分量，具体采用下述关系式(9)：

R＝I/L (9)

式中：R表示所述反射分量；

I表示所述第t帧图像；

L表示所述第三光照分量。

可选的，所述反射分量在[0,1]范围。

可选的，所述对第三光照分量进行曲线函数的重映射变换，得到匀光后的第四光照分量，包括：

采用曲线函数对所述第三光照分量进行重映射变换，以像素值127为中心，设置像素变换表，其变换值公式为(10)：

式中，L_map(x,y)表示所述第四光照分量的在(x,y)位置的像素值；

L(x,y)表示所述第三光照分量在(x,y)位置的像素值。

可选的，将所述第四光照分量和所述反射分量相乘，合成最终匀光后的第t帧图像，具体采用下述关系式(11)得到匀光后的第t帧图像：

E(x,y)＝R(x,y)L_map(x,y) (11)

式中，E(x,y)表示所述匀光后第t帧图像在(x,y)位置的像素值；

R(x,y)表示所述反射分量在(x,y)位置的像素值；

L_map(x,y)表示所述第四光照分量在(x,y)位置的像素值。

本发明提供的一种面向物联网非均匀光照视频的清晰化方法，通过从视频帧图像中估计光照分量，进而分解该视频帧图像的光照分量和反射分量，然后，对光照分量进行重映射，从而使得光照分量更均匀；最后，将重映射的光照分量和反射分量相乘，合成为匀光后的图像，该方法保持了图像的自然度，并有效抑制光晕。本发明提供的方法简单有效，通过分离图像的照射分量和反射分量，然后移除照射分量，调整反射分量动态范围，通过对反射分量的放大，来完成细节的突出显示，可以实现非均匀光照视频的匀光处理。此外，该方法可以在灰度动态范围压缩、边缘增强和颜色恒定三方面达到平衡，因而对各种场景的图像都适用。

附图说明

图1：本发明实施例中非均匀光照视频的清晰化方法流程图；

图2：本发明实施例中光照分量重映射函数图；

图3(a)：本发明实施例中受非均匀光照影响结果图；

图3(b)：本发明实施例中匀光处理结果图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

如图1所示，本发明提供一种非均匀光照视频的清晰化方法，包括：

第一步、获取待处理的视频序列，并提取所述视频序列中的第t帧图像，其中，t为大于等于1的正整数，对第t帧图像中各像素的R、G、B三个通道取最大值，得到最大通道图I_max。

具体地，视频的每一帧是由R、G、B三个通道形成的三维矩阵，每个通道是一个二维的矩阵，因此，本实施例对第t帧图像中任意位置(x,y)的各像素R、G、B三个通道取最大值，得到最大通道图，采用下述关系式公式(1)计算最大通道图：

I_max(x,y)＝max(I_R(x,y),I_G(x,y),I_B(x,y)) (1)

式中，(x,y)表示第t帧图像中像素的坐标；

I_max(x,y)表示第t帧图像最大通道图在(x,y)位置的像素值；I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示第t帧图像中R、G、B颜色通道在(x,y)位置的像素值。

第二步、对第t帧图像的最大通道图I_max进行最大值滤波计算，获得第一光照分量L_coarse。

需要说明的是，本实施例中的第一光照分量L_coarse也就是获得的粗糙估计的光照分量。其次，光照分量准确估计需遵循的条件为：第一光照分量应不小于反射光，使得反射分量恒在[0,1]范围内，从而能够在消除光照影响后尽可能多的保留场景细节信息。

进一步需要说明的是，在Retinex理论中，许多中心/环绕方法通过对图像最大通道进行低通滤波获取光照分量。但是，最大通道只是光照分量的一个下限值，用它作为光照的初始估计值缺乏物理解释。因此，基于图像中的高亮度区域是白色表面或者光源高亮度点的假设，采用Max-RGB算法将3个通道的最大值作为光照分量的估计，但是在实际中存在场景光辐射很容易有不均匀的情况。为了使得估计方法具有鲁棒性，本发明将Max-RGB方法推广到局部区域，也就是说，本发明认为光照分量具有局部恒常特性，且每个局部区域反射率最大的物体所反射的光更接近于光照分量。

具体地，假设I为成像设备传感器接收到的图像，采用Max-RGB方法计算上述最大通道图I_max中预定的局部区域反射率最大的物体所反射的光，以此作为第一光照分量L_coarse，具体采用下述关系式(2)：

式中，(x,y)表示第t帧图像中像素的坐标；

L_coarse(x,y)表示第一光照分量在(x,y)位置的像素值；

I_max(i,j)表示第t帧图像最大通道图在(i,j)位置的像素值；

Ω表示以(x,y)为左顶点，半径为R的局部窗口。

需要说明的是，图像中高亮度区域主要来自于反射率较高的物体表面，比如：建筑墙体，白车等。在户外五彩缤纷的场景中，该假设的物理基础较强，确实能够比较好的逼近光照分量。然而，与其他假设局部恒常的方法相似，在光辐射明暗交界的地方，这种方法估计的光照分量会存在块效应和伪边缘，因此，需要对它进行进一步的优化。

第三步、将最大通道图I_max作为引导图像，采用联合保边缘滤波器对第一光照分量L_coarse进行内容自适应的图像滤波，以恢复图像边缘，获得第二光照分量L_edge。

需要说明的是，上述采用的联合保边缘滤波器包括图像引导滤波器、联合双边滤波器和联合递归双边滤波器中任意一者，在此不做具体限定。

进一步需要说明的是，获得的第二光照分量L_edge也就是恢复边缘的光照分量L_edge。此外，本实施例中由于将局部最大值作为初始的光照分量估计，会使得初始光照估计具有比输入图像更宽的边缘，这意味着它具有明显的块效应。但是，光照分量在大部分区域应该是平滑的但应保留明暗交替边缘，为了恢复它的边缘，本发明引入一幅与第t帧具有一致边缘的图像I_max作为引导图像，采用图像引导滤波器将引导图像的邻里关系赋予初始的第一光照分量L_coarse进行平滑，从而可以将引导图像I_max的边缘转移到第一光照分量L_coarse上，同时还能保持第一光照分量L_coarse的灰度值范围。

具体地，将最大通道图I_max作为引导图像，对第一光照分量L_coarse进行内容自适应的图像引导滤波，以恢复图像边缘，获得第二光照分量L_edge，包括：

设以k为中心的窗口w_k中存在下述关系式(3)：

式中，q_i表示第二光照分量L_edge的输出图像像素值；

O_i表示引导图像值；

w_k表示半径为r的方形窗口；

a_k与b_k表示窗口中的线性因子，且在窗口中为固定值；

需要说明的是，本实施例中将第一光照分量L_coarse的输入图像标记为p，第二光照分量L_edge的输出图像标记为q，引导图像I_max标记为O。由上述关系时可以看出，线性模型保证了窗口中O有边缘时，q才会产生相应的边缘，因为

具体地，在窗口中，w_k的代价函数表示为下述关系式(4)：

式中：p_i表示窗口中第一光照分量输入图像值；

ε表示防止a_k取值过大的调整参数；

其次，通过引导滤波搜索出线性因子(a_k,b_k)的最优解，使输入图像p与输出图像q之间的差值最小化，具体采用下述关系式(5)和(6)计算线性因子的最优解：

式中，|w|表示窗口w_k的像素数；

与μ_k分别表示所述窗口中引导图像的方差与均值；

表示窗口中第一光照分量输入图像的均值；

通过上述线性因子最优解与线性关系式得出第二光照分量L_edge输出图像值，具体采用下述关系式(7)：

式中，

与

分别表示以点i为中心的窗口内a_k与b_k的平均值。

第四步、对第二光照分量L_edge进行Gamma变换调整，即第三光照分量L，并分解第t帧图像获得反射分量。

需要说明的是，根据上述记载第一光照分量应不小于反射光，使得反射分量恒在[0,1]范围内，从而能够在消除光照影响后尽可能多的保留场景细节信息。然而，经过第三步局部像素加权平均平滑后，会有部分值受到影响，不满足该约束，为了使这部分值得到修正，应适当放大第二光照分量L_edge的值。由于人眼对亮度变化的响应是非线性，考虑到人眼这一视觉特征，本发明采用Gamma变换调整得到第三光照分量。

具体地，采用Gamma对第二光照分量进行变换调整，得到最终的光照分量，即获得边缘的第三光照分量L，具体采用下述关系式(8)：

L＝(L_edge/255)^γ (8)

式中，L表示获得边缘的第三光照分量；

L_edge表示第二光照分量；

γ表示大于1的补偿系数；

基于上述得到的第三光照分量以及视频帧图像，再根据Retinex理论计算反射分量，具体采用下述关系式(9)：

R＝I/L (9)

式中：R表示反射分量；

I表示第t帧图像；

L表示第三光照分量。

第五步、对第三光照分量L进行曲线函数的重映射变换，得到匀光后的第四光照分量L_map。

为了保持图像的自然度，变换后的光照应满足：局部区域的光照足够亮，以便于图像细节的展示，局部区域的亮度分布与变换前一致，因此，本发明采用曲线函数对第三光照分量L进行重映射变换，以像素值127为中心，设置像素变换表，其变换值公式为(10)：

式中，L_map(x,y)表示第四光照分量在(x,y)位置的像素值；

L(x,y)表示第三光照分量在(x,y)位置的像素值。

具体地，如图2所示，本发明采用的曲线函数是单调递增函数，不会改变图像的亮暗顺序，同时，能够将高亮度和低亮度区域进行图像动态范围，当光照分量低于127时，重映射函数可令光照分量提高，当光照分量高于127时，重映射函数可令光照分量降低，从而使得光照分布不均匀的光照分量得到压缩，起到视频匀光的效果。当像素值在127(图像归一化到[0,255]时)附近的像素更适合人眼观察，可视性最佳。因此，本发明以像素值127为中心，设置像素变换表，对光照分量L进行曲线函数的重映射变换，得到匀光后的光照分量L_map，使得图像过高和过低的区域能够向适合人眼观察的亮度范围内压缩，也更有利于场景显示。

第六步、将第四光照分量L和反射分量相乘，合成最终匀光后的第t帧图像。

具体地，将第四光照分量L_map作用到场景反射分量，将第四光照分量L_map和反射分量相乘，得到最终匀光后的第t帧图像，具体采用下述关系式(11)：

E(x,y)＝R(x,y)L_map(x,y) (11)

式中，E(x,y)表示匀光后第t帧图像(x,y)位置的像素值坐标值；

R(x,y)表示反射分量R在(x,y)位置的像素值；

L_map(x,y)表示第四光照分量L_map在(x,y)位置的像素值。

具体地，如图3所示，图3(a)为受非均匀光照影响的图像，该图像画面亮度偏暗，并且这些区域的细节信息不够清晰、可见度较低，图3(b)为经过本发明方法匀光处理后的图像，该图像亮度较一致，且细节清晰，保持了图像自然度。

本发明提供的一种面向物联网非均匀光照视频的清晰化方法，通过从视频帧图像中估计光照分量，进而分解该视频帧图像的光照分量和反射分量，然后，对光照分量进行重映射，从而使得光照分量更均匀；最后，将重映射的光照分量和反射分量相乘，合成为匀光后的图像，该方法保持了图像的自然度，并有效抑制光晕。本发明提供的方法简单有效，通过分离图像的照射分量和反射分量，然后移除照射分量，调整反射分量动态范围，通过对反射分量的放大，来完成细节的突出显示，可以实现非均匀光照视频的匀光处理。此外，该方法可以在灰度动态范围压缩、边缘增强和颜色恒定三方面达到平衡，因而对各种场景的图像都适用。

可以理解的是，以上实施方式仅仅是为了说明本发明而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种非均匀光照视频的清晰化方法，其特征在于，包括：

获取待处理的视频序列，并提取所述视频序列中的第t帧图像，其中，t为大于等于1的正整数；

对所述第t帧图像中各像素的R、G、B三个通道取最大值，得到最大通道图；

对所述最大通道图进行最大值滤波计算，获得第一光照分量；

将所述最大通道图作为引导图像，采用联合保边缘滤波器对所述第一光照分量进行内容自适应的图像滤波，以恢复图像边缘，获得第二光照分量；

对所述第二光照分量进行Gamma变换调整，得到第三光照分量，并分解所述第t帧图像获得反射分量；

对所述第三光照分量进行曲线函数的重映射变换，得到匀光后的第四光照分量；

将所述第四光照分量和所述反射分量相乘，合成最终匀光后的第t帧图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第t帧图像中各像素的R、G、B三个通道取最大值，得到最大通道图，包括：

采用下述关系式(1)计算所述最大通道图：

I_max(x,y)＝max(I_R(x,y),I_G(x,y),I_B(x,y)) (1)

式中，(x,y)表示所述第t帧图像中像素的坐标；

I_max(x,y)表示所述第t帧图像最大通道图在(x,y)位置的像素值；

I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示所述第t帧图像中R、G、B颜色通道在(x,y)位置的像素值。

3.根据权利要求1所述的方法，其特征在于，所述对所述最大通道图进行最大值滤波计算，获得第一光照分量，包括：

采用Max-RGB方法计算所述最大通道图中预定的局部区域反射率最大的物体所反射的光，以此作为所述第一光照分量，具体采用下述关系式(2)：

式中，(x,y)表示所述第t帧图像中像素的坐标；

L_coarse(x,y)表示所述第一光照分量在(x,y)位置的像素值；

I_max(i,j)表示所述第t帧图像中最大通道图在(i,j)位置的像素值；

Ω表示以(x,y)为左顶点，半径为R的局部窗口。

4.根据权利要求1所述的方法，其特征在于，所述联合保边缘滤波器包括图像引导滤波器、联合双边滤波器和联合递归双边滤波器中任意一者。

5.根据权利要求4所述的方法，其特征在于，所述引导图像是与所述第t帧图像具有一致边缘的图像。

6.根据权利要求4或5所述的方法，其特征在于，所述将所述最大通道图作为引导图像，采用所述图像引导滤波器对所述第一光照分量进行内容自适应的图像引导滤波，以恢复图像边缘，获得第二光照分量，包括：

设以k为中心的窗口w_k中存在下述关系式(3)：

式中，q_i表示所述第二光照分量的输出图像像素值；

O_i表示所述引导图像值；

w_k表示半径为r的方形窗口；

a_k与b_k表示所述窗口中的线性因子，且在所述窗口中为固定值；

其中，在所述窗口中，w_k的代价函数表示为下述关系式(4)：

式中：p_i表示所述窗口中所述第一光照分量输入图像值；

ε表示防止a_k取值过大的调整参数；

通过所述图像引导滤波计算出所述线性因子的最优解，具体采用下述关系式(5)和关系式(6)：

式中，|w|表示所述窗口w_k的像素数；

与μ_k分别表示所述窗口中引导图像的方差与均值；

表示所述窗口中所述第一光照分量输入图像的均值；

通过所述线性因子最优解与所述线性关系式得出所述第二光照分量输出图像值，具体采用下述关系式(7)：

式中，

与

分别表示以点i为中心的所述窗口内a_k与b_k的平均值。

7.根据权利要求1～3任一项所述的方法，其特征在于，所述对所述第二光照分量进行Gamma变换调整，得到第三光照分量，并分解所述第t帧图像获得反射分量，包括：

采用Gamma对所述第二光照分量进行变换调整，得到所述第三光照分量，具体采用下述关系式(8)：

L＝(L_edge/255)^γ (8)

式中，L表示所述第三光照分量；

L_edge表示所述第二光照分量；

γ表示大于1的补偿系数；

根据Retinex理论，计算所述反射分量，具体采用下述关系式(9)：

R＝I/L (9)

式中：R表示所述反射分量；

I表示所述第t帧图像；

L表示所述第三光照分量。

8.根据权利要求7所述的方法，其特征在于，所述反射分量在[0,1]范围。

9.根据权利要求1～3任一项所述的方法，其特征在于，所述对第三光照分量进行曲线函数的重映射变换，得到匀光后的第四光照分量，包括：

采用曲线函数对所述第三光照分量进行重映射变换，以像素值127为中心，设置像素变换表，其变换值公式为(10)：

式中，L_map(x,y)表示所述第四光照分量在(x,y)位置的像素值；

L(x,y)表示所述第三光照分量在(x,y)位置的像素值。

10.根据权利要求1～3任一项所述的方法，其特征在于，所述将所述第四光照分量和所述反射分量相乘，合成最终匀光后的第t帧图像，包括：

具体采用下述关系式(11)得到所述匀光后的第t帧图像：

E(x,y)＝R(x,y)L_map(x,y) (11)

式中，E(x,y)表示所述匀光后的第t帧图像(x,y)位置的像素值；

R(x,y)表示所述反射分量在(x,y)位置的像素值；

L_map(x,y)表示所述第四光照分量在(x,y)位置的像素值。

Images