CN107481211A

CN107481211A - 一种基于梯度域融合的夜间交通监控增强方法

Info

Publication number: CN107481211A
Application number: CN201710697133.2A
Authority: CN
Inventors: 李晓光; 王思敏; 张辉; 卓力
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-08-15
Filing date: 2017-08-15
Publication date: 2017-12-15
Anticipated expiration: 2037-08-15
Also published as: CN107481211B

Abstract

一种基于梯度域融合的夜间交通监控增强方法涉及数字图像处理方法。夜晚，由于车灯、路灯、建筑物灯等活跃光源的存在，会产生大量的光晕，以至于它们附近的物体无法被看见。特别是在高速路上，来往车辆的车灯所产生的强光晕，严重影响了交通标志标牌的视觉效果，导致它们的质量退化严重。本发明将图像融合与图像去光晕相结合，在梯度域对图像进行处理，并利用视频的帧间互补信息，使得最终的结果图像中交通标志更加容易辨识。

Description

一种基于梯度域融合的夜间交通监控增强方法

技术领域

本发明涉及数字图像处理方法，特别涉及一种基于梯度域融合的夜间交通监控视频图像增强方法。

背景技术

随着多媒体信息技术的发展，视频和图像被广泛应用于社会生产和生活的各个方面。高质量图像能够提供丰富的信息和真实的视觉感受，是很多多媒体应用的基础。但是，由于受到监控距离、光照环境、雨雪雾霾、运动模糊及噪声等因素的影响，交通监控视频的质量通常较差。

光照和运动模糊问题是影响图像质量的较为重要的两个因素。现有的研究已经分别针对导致图像质量下降的不同因素开展了相关研究：针对光照问题，提出了低照度图像增强算法、高动态范围图像融合技术；针对图像运动模糊问题提出了图像去模糊方法。但是，现有的研究工作通常处理的是自然图像，而交通标志等文本图像与自然图像又具有独特的区别，以至于现有的方法在处理交通图像方面，效果并不理想。而交通视频中的关键信息如车牌、车体文字标志、车型等内容的可辨识性是最为重要的图像质量问题。同时，图像质量直接影响场景中的重要信息是否可被有效辨识，进而决定图像在后续应用中的价值。因此，围绕交通监控视频评估及高质量图像重建技术开展研究，具有重要的理论意义的应用价值。

夜晚，由于车灯、路灯、建筑物灯等活跃光源的存在，会产生大量的光晕，以至于它们附近的物体无法被看见。特别是在高速路上，来往车辆的车灯所产生的强光晕，严重影响了交通标志标牌的视觉效果，导致它们的质量退化严重。因此，本发明提出了一种新的基于梯度域的夜间交通监控质量增强方法，将图像融合与图像去光晕相结合，在梯度域对图像进行处理，并利用视频的帧间互补信息，使得最终的结果图像中交通标志更加容易辨识。

发明内容

本发明的目的在于提高夜间交通监控中交通标志标牌的可辨识度，同时使得交通标志标牌中的文字拥有更丰富的细节信息。

为了达到上述目的，本发明采用基于梯度域的夜间交通监控增强方法。其特征在于，不但考虑了场景中活跃光源产生的光晕信息，同时考虑了交通标志标牌本身的特点，在梯度域对图像进行处理，同时利用视频的帧间信息进行互补，使得交通标志标牌的可辨识性得到极大提高，并拥有丰富的细节信息。

算法主要分为三个部分：图像分解、计算内容权值、梯度域融合。具体包括以下步骤：

1)图像分解

对输入的N幅视频序列，间隔时间较短或静态场景，分解为光晕层和场景层。根据本征图像分解原理，每幅输入图像I均可表示为光晕层I_G和场景层I_S的叠加，如下：

I＝I_G+I_S (1)

基于以上，我们用于图像分解的目标函数为：

ρ(m)＝min(m²,10^-16)是一鲁棒性函数，使得光晕层较与场景层更平滑。β控制光晕层的平滑度。是文本图像先验，是梯度算子，γ是文本图像先验的系数，为一常数。

图像分解的算法流程如下：

我们的输入包含：输入图像I；平滑参数β；初始值β₀；迭代次数i_max；变化率η；归一化参数γ。

首先，对各参数进行初始化，如下：将I赋给I_N，将β₀赋给β。

然后，执行如下循环：根据方程(2)得I_N，并对I_N进行归一化，将β的值更新为

β*η，迭代次数i加1，直到i小于i_max。

最后，得到输出I_N。

本发明将去光晕干扰和文本图像先验相结合，使得结果图像细节信息更加突出。

2)计算融合权值

对每幅图像分解的内容层的贡献进行评估，计算融合权重。融合权重由亮度、色度、显著度三个因素确定，具体计算公式为：

亮度权值计算公式为：

{R,G,B}是颜色通道，(x,y)是像素位置，k是输入图像的下标。

色度权值计算公式如下：

P_x，y，k为饱和度值，σ是标准方差。

显著度权值计算公式如下：

为输入图像I_x，y，k的均值，是同一输入图像的模糊版本。

融合权值为以上三种权值的相乘，则：

W_x，y，k＝C_x，y，k×S_x，y，k×E_x，y，k (7)

对融合权值进行归一化得：

3)梯度域融合

根据以上求得的融合权值，我们对输入图像进行梯度域融合，则融合图像的梯度值为：

表示第k幅输入图像在(x,y)处的梯度值，F_x，y是融合图像的梯度值。

梯度场应当是可积的(旋度为零)。但是，融合的梯度公式(9)可能是不可积的。因此，梯度融合的问题可以通过以下的最小值求解解决：

其中Ω表示图像的空间域。在(10)中，我们寻找一幅梯度接近F的图像I。

根据变分原理，(10)是泊松方程(9)的唯一解,将式(10)最小值求解问题可转化为一个PDE方程，如式(11)。

ΔI＝div(F) (11)

其中是拉普拉斯算子，div(F)是场F的散度。这个泊松方程将把不可积的输入场映射成一个零旋度的可积梯度场。

4)质量评价

对于算法增强前后图像质量的评价，我们既有主观评价，又有客观评价。只有主观评价去证实我们发明的有效性，显然不够，我们同时需要对结果图像进行相应的客观评价。我们所用的客观评价矩阵涉及两个评价指标γ₁和γ₂。γ₁反映了算法复原边缘的能力，那些原图像中没有而复原图像中有的边缘。γ₂表示可见边缘的梯度的平均比率，说明了所提出方法的对比度复原的质量效果。当γ₁为正值且值越高以及γ₂值越高时，说明实验结果很好，也证明了所提出算法的有效性。

γ₁，γ₂的计算公式分别如下：

n_o和n_r分别是原图像I_o和复原图像I_r中可见边缘的基数。

r_i是I_r的可见级别与I_o的可见级别的比率，ε是I_r的可见边缘的集合。

本发明有益的技术效果是：提供了基于梯度域融合的夜间交通监控增强方法。该方法可以提高图像的对比度，并保持较好的细节信息。

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。

附图说明：

图1、本发明方法整体框图；

图2、光晕块的梯度直方图

图3、文本图像的统计分析

图4、本方法与其他方法的实验结果(场景一)

图5、本方法与其他方法的实验结果(场景二)

图6、本方法与其他方法的实验结果(场景三)

图4-图6中(a)输入图像(b)不同方法的结果图,依次为基于金字塔融合算法、基于块合成算法、本发明算法。

具体实施方式：

以下结合说明书附图，以N＝3幅输入图像为例，对本发明的实施实例加以说明：

本发明提出方法整体流程图如附图1所示。算法分为图像分解、计算融合权值、梯度域融合三部分。输入图像均来自真实场景中的夜间高速交通监控，图像大小为1920×1080。

1)图像分解

I＝I_G+Ix (1)

基于以上，我们用于图像分解的目标函数为：

图像分解的算法流程如下：

β*η，迭代次数i加1，直到i小于i_max。

最后，得到输出I_N。

2)计算融合权值

亮度权值计算公式为：

{R,G,B}是颜色通道，(x,y)是像素位置，k是输入图像的下标。

色度权值计算公式如下：

P_x，y，k为饱和度值，σ是标准方差。

显著度权值计算公式如下：

为输入图像的均值，是同一输入图像的模糊版本。

融合权值为以上三种权值的相乘，则：

W_x，y，k＝C_x，y，k×S_x，y，k×E_x，y，k (7)

对融合权值进行归一化得：

3)梯度域融合

ΔI＝div(F) (11)

4)质量评价

γ₁，γ₂的计算公式分别如下：

n_o和n_r分别是原图像I_o和复原图像I_r中可见边缘的基数。

表I不同方法的客观评价指标

(图4、图5、图6中三个场景)

表II 15个真实场景的客观评价指标的平均统计数据

方法	γ₁	γ₂
			基于金字塔融合算法	0.3733	1.1333
基于块合成算法	-0.227	0.9722
			我们的算法	2.6353	1.7858

我们的实验结果分别与基于金字塔的融合算法、基于块合成的算法两种方法进行比较，通过表I，我们可知，我们的算法得到的结果γ₁为正值，且在三种算法中，我们的算法得到的γ₂是三种方法中最好的。表II是我们对15个真实场景、不同的光照环境得到的客观指标的平均统计数据，根据表II，我们可知，较于另外两种比较算法，我们的结果更具有鲁棒性。本发明创新处在于将文本图像先验与图像分解相结合进行去光晕，并进而利用视频多帧间的信息互补进行图像融合，使得结果图像拥有更丰富的细节信息，并且视觉效果得到进一步提高。本发明应用范围广泛，可为提高北京市交通监控信息的有效利用提供技术支撑，提高交通事故取证、违章检测的效率，同时还可以为面向识别的图像质量增强研究提供理论和技术积累。

Claims

1.一种基于梯度域融合的夜间交通监控增强方法，其特征在于分为三个部分：图像分解、计算内容权值、梯度域融合，具体包括以下步骤：

1)图像分解

对输入的N幅视频序列，将它们均分解为光晕层和场景层；根据本征图像分解原理，每幅输入图像I均可表示为光晕层I_G和场景层I_N的叠加，如下：

I＝I_G+I_N (1)

用于图像分解的目标函数为：

<mrow> <munder> <mi>min</mi> <msub> <mi>I</mi> <mi>N</mi> </msub> </munder> <munder> <mi>&Sigma;</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </munder> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <mrow> <mi>&rho;</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>I</mi> <msub> <mi>N</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> </msub> <mo>*</mo> <msub> <mi>f</mi> <mrow> <mn>1</mn> <mo>,</mo> <mn>2</mn> </mrow> </msub> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <mi>&beta;</mi> <mo>.</mo> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mo>-</mo> <msub> <mi>I</mi> <msub> <mi>N</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> </msub> </mrow> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mi>f</mi> <mn>3</mn> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>)</mo> <mo>+</mo> <mi>&gamma;</mi> <mo>.</mo> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>I</mi> <msub> <mi>N</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> <mo>+</mo> <mi>&mu;</mi> <mo>.</mo> <mo>|</mo> <mo>|</mo> <mo>&dtri;</mo> <msub> <mi>I</mi> <msub> <mi>N</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </msub> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow>

s.t.0≤I_N≤I (2)

ρ(m)＝min(m²,10^-16)是一鲁棒性函数，f_1，2是两个方向的一阶微分滤波器，f₁＝[-1,1],f₂＝[-1,1]^T；f₃是二阶拉普拉斯滤波器，Β为控制光晕层的平滑度；文本先验的数学公式为：表示非零亮度值，表示非零梯度值，μ是非零梯度值的权值，取值为1；是梯度算子，γ是文本图像先验的系数，取值为0.004；(x,y)是像素位置，I是输入图像，是(x,y)处的场景层。

具体过程如下：

首先，对各参数进行初始化，如下：将I赋给I_N，将β₀赋给β，迭代次数i初始值为0；

然后，执行如下循环：根据公式(2)得I_N，并对I_N进行归一化，将β的值更新为β*η，同时迭代次数i加1，直到i大于或等于i_max时，退出循环；变化率η的范围为(1,2]；

最后，得到输出I_N；

2)计算融合权值

对每幅图像分解的场景层的贡献进行评估，计算融合权重；融合权重由亮度、色度、显著度三个因素确定，具体计算公式为：

亮度权值计算公式为：

{R,G,B}是颜色通道，(x,y)是像素位置，k是输入图像的下标。

色度权值计算公式如下：

<mrow> <msub> <mi>C</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>-</mo> <mn>0.5</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msup> <mi>&sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

P_x，y，k为饱和度值，σ是标准方差；

显著度权值计算公式如下：

为输入图像I_x，y，k的均值，是同一输入图像的模糊版本；

融合权值为以上三种权值的相乘，即：

W_x，y，k＝C_x，y，k×S_x，y，k×E_x，y，k (7)

对融合权值进行归一化得：

<mrow> <msub> <mi>W</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>S</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </mrow> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msub> <mi>C</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>S</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

3)梯度域融合

根据以上求得的融合权值，对输入图像进行梯度域融合，则融合图像的梯度值为：

<mrow> <msub> <mi>F</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> <mo>=</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mo>&dtri;</mo> <msub> <mi>I</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>W</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>

表示第k幅输入图像在(x,y)处的梯度值，F_x，y是融合图像的梯度值；

梯度融合的问题可以通过求解最小值解决，如下：

<mrow> <mi>I</mi> <mo>=</mo> <msub> <mi>&Sigma;</mi> <mi>I</mi> </msub> <mo>&Integral;</mo> <msubsup> <mo>&Integral;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&Element;</mo> <mi>&Omega;</mi> </mrow> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&Element;</mo> <mi>&Omega;</mi> </mrow> </msubsup> <msup> <mrow> <mo>|</mo> <mrow> <mo>&dtri;</mo> <mi>I</mi> <mo>-</mo> <mi>F</mi> </mrow> <mo>|</mo> </mrow> <mn>2</mn> </msup> <mi>d</mi> <mi>x</mi> <mi>d</mi> <mi>y</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>

其中Ω表示图像的空间域；在(10)中，寻找一幅梯度接近F的图像l；

根据变分原理，(10)是泊松方程(9)的唯一解,将式(10)中最小值求解问题转化为一个PDE方程，如式(11):

ΔI＝div(F) (11)

其中是拉普拉斯算子，div(F)是场F的散度；这个泊松方程将把不可积的输入场映射成一个零旋度的可积梯度场。

2.根据权利要求1所述的方法，其特征在于：

输入包含：输入图像I；参数β₀＝0.008；迭代次数i_max＝5；归一化参数γ＝0.004，变化率η的范围为(1,2]；

然后，执行如下循环：根据方程(2)得I_N，并对I_N进行归一化，将β的值更新为β*η，同时迭代次数i加1，直到i大于或等于i_max时，退出循环；

最后，得到输出I_N。