CN107481211B - 一种基于梯度域融合的夜间交通监控增强方法 - Google Patents
一种基于梯度域融合的夜间交通监控增强方法 Download PDFInfo
- Publication number
- CN107481211B CN107481211B CN201710697133.2A CN201710697133A CN107481211B CN 107481211 B CN107481211 B CN 107481211B CN 201710697133 A CN201710697133 A CN 201710697133A CN 107481211 B CN107481211 B CN 107481211B
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- fusion
- value
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012544 monitoring process Methods 0.000 title claims abstract description 14
- 125000001475 halogen functional group Chemical group 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000011156 evaluation Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种基于梯度域融合的夜间交通监控增强方法涉及数字图像处理方法。夜晚,由于车灯、路灯、建筑物灯等活跃光源的存在,会产生大量的光晕,以至于它们附近的物体无法被看见。特别是在高速路上,来往车辆的车灯所产生的强光晕,严重影响了交通标志标牌的视觉效果,导致它们的质量退化严重。本发明将图像融合与图像去光晕相结合,在梯度域对图像进行处理,并利用视频的帧间互补信息,使得最终的结果图像中交通标志更加容易辨识。
Description
技术领域
本发明涉及数字图像处理方法,特别涉及一种基于梯度域融合的夜间交通监控视频图像增强方法。
背景技术
随着多媒体信息技术的发展,视频和图像被广泛应用于社会生产和生活的各个方面。高质量图像能够提供丰富的信息和真实的视觉感受,是很多多媒体应用的基础。但是,由于受到监控距离、光照环境、雨雪雾霾、运动模糊及噪声等因素的影响,交通监控视频的质量通常较差。
光照和运动模糊问题是影响图像质量的较为重要的两个因素。现有的研究已经分别针对导致图像质量下降的不同因素开展了相关研究:针对光照问题,提出了低照度图像增强算法、高动态范围图像融合技术;针对图像运动模糊问题提出了图像去模糊方法。但是,现有的研究工作通常处理的是自然图像,而交通标志等文本图像与自然图像又具有独特的区别,以至于现有的方法在处理交通图像方面,效果并不理想。而交通视频中的关键信息如车牌、车体文字标志、车型等内容的可辨识性是最为重要的图像质量问题。同时,图像质量直接影响场景中的重要信息是否可被有效辨识,进而决定图像在后续应用中的价值。因此,围绕交通监控视频评估及高质量图像重建技术开展研究,具有重要的理论意义的应用价值。
夜晚,由于车灯、路灯、建筑物灯等活跃光源的存在,会产生大量的光晕,以至于它们附近的物体无法被看见。特别是在高速路上,来往车辆的车灯所产生的强光晕,严重影响了交通标志标牌的视觉效果,导致它们的质量退化严重。因此,本发明提出了一种新的基于梯度域的夜间交通监控质量增强方法,将图像融合与图像去光晕相结合,在梯度域对图像进行处理,并利用视频的帧间互补信息,使得最终的结果图像中交通标志更加容易辨识。
发明内容
本发明的目的在于提高夜间交通监控中交通标志标牌的可辨识度,同时使得交通标志标牌中的文字拥有更丰富的细节信息。
为了达到上述目的,本发明采用基于梯度域的夜间交通监控增强方法。其特征在于,不但考虑了场景中活跃光源产生的光晕信息,同时考虑了交通标志标牌本身的特点,在梯度域对图像进行处理,同时利用视频的帧间信息进行互补,使得交通标志标牌的可辨识性得到极大提高,并拥有丰富的细节信息。
算法主要分为三个部分:图像分解、计算融合权值、梯度域融合。具体包括以下步骤:
1)图像分解
对输入的M幅视频序列,间隔时间较短或静态场景,分解为光晕层和场景层。根据本征图像分解原理,每幅输入图像I均可表示为光晕层IG和场景层IN的叠加,如下:
I=IG+IN (1)
基于以上,我们用于图像分解的目标函数为:
IN的约束范围是0<=IN<=I (2)
ρ(m)=min(m2,10-16)是一鲁棒性函数,使得光晕层较场景层更平滑。f1,2是f1和f2两个方向的一阶微分滤波器,f3是二阶拉普拉斯滤波器;β控制光晕层的平滑度。是文本图像先验,是梯度算子,γ是文本图像先验的系数,为一常数。其中“*”为卷积运算,“·”为乘法运算。
图像分解的算法流程如下:
我们的输入包含:输入图像I;平滑参数β;初始值β0;迭代次数imax;变化率η;归一化参数γ。
首先,对各参数进行初始化,如下:将I赋给IN,将β0赋给β。
然后,执行如下循环:根据方程(2)得IN,并对IN进行归一化,将β的值更新为
β*η,迭代次数i加1,直到i小于imax。
最后,得到输出IN。
本发明将去光晕干扰和文本图像先验相结合,使得结果图像细节信息更加突出。
2)计算融合权值
对每幅图像分解的内容层的贡献进行评估,计算融合权重。融合权重由亮度、色度、显著度三个因素确定,具体计算公式为:
亮度权值计算公式为:
{R,G,B}是颜色通道,(x,y)是像素位置,k是输入图像的下标。
色度权值计算公式如下:
Px,y,k为饱和度值,σ是标准方差。
显著度权值计算公式如下:
融合权值为以上三种权值的相乘,则:
Wx,y,k=Cx,y,k×Sx,y,k×Ex,y,k (7)
对融合权值进行归一化得:
3)梯度域融合
根据以上求得的融合权值,我们对输入图像进行梯度域融合,则融合图像的梯度值为:
梯度场应当是可积的(旋度为零)。但是,融合的梯度公式(9)可能是不可积的。因此,梯度融合的问题可以通过以下的最小值求解解决:
根据变分原理,(10)是泊松方程(9)的唯一解,将式(10)最小值求解问题可转化为一个PDE方程,如式(11)。
ΔOUT=div(F) (11)
4)质量评价
对于算法增强前后图像质量的评价,我们既有主观评价,又有客观评价。只有主观评价去证实我们发明的有效性,显然不够,我们同时需要对结果图像进行相应的客观评价。我们所用的客观评价矩阵涉及两个评价指标γ1和γ2。γ1反映了算法复原边缘的能力,那些原图像中没有而复原图像中有的边缘。γ2表示可见边缘的梯度的平均比率,说明了所提出方法的对比度复原的质量效果。当γ1为正值且值越高以及γ2值越高时,说明实验结果很好,也证明了所提出算法的有效性。
γ1,γ2的计算公式分别如下:
no和nr分别是原图像Io和复原图像Ir中可见边缘的基数。
ri是Ir的可见级别与Io的可见级别的比率,ε是Ir的可见边缘的集合。
本发明有益的技术效果是:提供了基于梯度域融合的夜间交通监控增强方法。该方法可以提高图像的对比度,并保持较好的细节信息。
下面结合实例参照附图进行详细说明,以求对本发明的目的、特征和优点得到更深入的理解。
附图说明:
图1、本发明方法整体框图;
图2、光晕块的梯度直方图
图3、文本图像的统计分析
图4、本方法与其他方法的实验结果(场景一)
图5、本方法与其他方法的实验结果(场景二)
图6、本方法与其他方法的实验结果(场景三)
图4-图6中(a)输入图像(b)不同方法的结果图,依次为基于金字塔融合算法、基于块合成算法、本发明算法。
具体实施方式:
以下结合说明书附图,以N=3幅输入图像为例,对本发明的实施实例加以说明:
本发明提出方法整体流程图如附图1所示。算法分为图像分解、计算融合权值、梯度域融合三部分。输入图像均来自真实场景中的夜间高速交通监控,图像大小为1920×1080。
1)图像分解
对输入的N幅视频序列,间隔时间较短或静态场景,分解为光晕层和场景层。根据本征图像分解原理,每幅输入图像I均可表示为光晕层IG和场景层IS的叠加,如下:
I=IG+IN (1)
基于以上,我们用于图像分解的目标函数为:
ρ(m)=min(m2,10-16)是一鲁棒性函数,使得光晕层较与场景层更平滑,f1,2是水平和垂直两个方向的一阶微分滤波器;f3是二阶拉普拉斯滤波器;β控制光晕层的平滑度。是文本图像先验,是梯度算子,γ是文本图像先验的系数,为一常数。
图像分解的算法流程如下:
我们的输入包含:输入图像I;平滑参数β;初始值β0;迭代次数imax;变化率η归一化参数γ。
首先,对各参数进行初始化,如下:将I赋给IN,将β0赋给β。
然后,执行如下循环:根据方程(2)得IN,并对IN进行归一化,将β的值更新为β*η,迭代次数i加1,直到i小于imax。
最后,得到输出IN。
本发明将去光晕干扰和文本图像先验相结合,使得结果图像细节信息更加突出。
2)计算融合权值
对每幅图像分解的内容层的贡献进行评估,计算融合权重。融合权重由亮度、色度、显著度三个因素确定,具体计算公式为:
亮度权值计算公式为:
{R,G,B}是颜色通道,(x,y)是像素位置,k是输入图像的下标。
色度权值计算公式如下:
Px,y,k为饱和度值,σ是标准方差。
显著度权值计算公式如下:
融合权值为以上三种权值的相乘,则:
Wx,y,k=Cx,y,k×Sx,y,k×Ex,y,k (7)
对融合权值进行归一化得:
3)梯度域融合
根据以上求得的融合权值,我们对输入图像进行梯度域融合,则融合图像的梯度值为:
梯度场应当是可积的(旋度为零)。但是,融合的梯度公式(9)可能是不可积的。因此,梯度融合的问题可以通过以下的最小值求解解决:
根据变分原理,(10)是泊松方程(9)的唯一解,将式(10)最小值求解问题可转化为一个PDE方程,如式(11)。
ΔOUT=div(F) (11)
4)质量评价
对于算法增强前后图像质量的评价,我们既有主观评价,又有客观评价。只有主观评价去证实我们发明的有效性,显然不够,我们同时需要对结果图像进行相应的客观评价。我们所用的客观评价矩阵涉及两个评价指标γ1和γ2。γ1反映了算法复原边缘的能力,那些原图像中没有而复原图像中有的边缘。γ2表示可见边缘的梯度的平均比率,说明了所提出方法的对比度复原的质量效果。当γ1为正值且值越高以及γ2值越高时,说明实验结果很好,也证明了所提出算法的有效性。
γ1,γ2的计算公式分别如下:
no和nr分别是原图像Io和复原图像Ir中可见边缘的基数。
ri是Ir的可见级别与Io的可见级别的比率,ε是Ir的可见边缘的集合。
表I不同方法的客观评价指标
(图4、图5、图6中三个场景)
表II 15个真实场景的客观评价指标的平均统计数据
方法 | γ<sub>1</sub> | γ<sub>2</sub> |
基于金字塔融合算法 | 0.3733 | 1.1333 |
基于块合成算法 | -0.227 | 0.9722 |
我们的算法 | 2.6353 | 1.7858 |
我们的实验结果分别与基于金字塔的融合算法、基于块合成的算法两种方法进行比较,通过表I,我们可知,我们的算法得到的结果γ1为正值,且在三种算法中,我们的算法得到的γ2是三种方法中最好的。表II是我们对15个真实场景、不同的光照环境得到的客观指标的平均统计数据,根据表II,我们可知,较于另外两种比较算法,我们的结果更具有鲁棒性。本发明创新处在于将文本图像先验与图像分解相结合进行去光晕,并进而利用视频多帧间的信息互补进行图像融合,使得结果图像拥有更丰富的细节信息,并且视觉效果得到进一步提高。本发明应用范围广泛,可为提高北京市交通监控信息的有效利用提供技术支撑,提高交通事故取证、违章检测的效率,同时还可以为面向识别的图像质量增强研究提供理论和技术积累。
Claims (2)
1.一种基于梯度域融合的夜间交通监控增强方法,其特征在于分为三个部分:图像分解、计算融合权值、梯度域融合,具体包括以下步骤:
1)图像分解
对输入的M幅视频序列,将它们均分解为光晕层和场景层;根据本征图像分解原理,每幅输入图像I均可表示为光晕层IG和场景层IN的叠加,如下:
I=IG+IN (1)
用于图像分解的目标函数为:
其中“*”为卷积运算,“·”为乘法运算。
ρ(m)=min(m2,10-16)是一鲁棒性函数,f1,2是f1和f2两个方向的一阶微分滤波器;f1=[-1,1],f2=[-1,1]T;β为用于控制光晕层平滑度的参数,f3是二阶拉普拉斯滤波器,文本先验的数学公式为: 表示非零亮度值,表示非零梯度值,μ是非零梯度值的权值,取值为1;是梯度算子,γ是文本图像先验的系数,取值为0.004;(x,y)是像素位置,I是输入图像,IN(x,y)是(x,y)处的场景层;
具体过程如下:
首先,对各参数进行初始化,如下:将I赋给IN,将β0赋给β,迭代次数i初始值为0;
然后,执行如下循环:根据公式(2)得IN,并对IN进行归一化,将β的值更新为β*η,同时迭代次数i加1,直到i大于或等于imax时,退出循环;变化率η的范围为(1,2];
最后,得到输出IN;
2)计算融合权值
对每幅图像分解的场景层的贡献进行评估,计算融合权重;融合权重由亮度、色度、显著度三个因素确定,具体计算公式为:
亮度权值计算公式为:
{R,G,B}是颜色通道,(x,y)是像素位置,k是输入图像的下标;
色度权值计算公式如下:
Px,y,k为饱和度值,σ是标准方差;
显著度权值计算公式如下:
融合权值为:
3)梯度域融合
根据以上求得的融合权值,对输入图像进行梯度域融合,则融合图像的梯度值为:
梯度融合的问题可以通过求解最小值解决,如下:
其中Ω表示图像的空间域;在(10)中,寻找一幅梯度接近F的图像OUT;
根据变分原理,(10)是泊松方程(9)的唯一解,将式(10)中最小值求解问题转化为一个PDE方程,如式(11):
ΔOUT=div(F) (11)
2.根据权利要求1所述的方法,其特征在于:
输入包含:输入图像I;参数β0=0.008;迭代次数imax=5;归一化参数γ=0.004,变化率η的范围为(1,2];
首先,对各参数进行初始化,如下:将I赋给IN,将β0赋给β,迭代次数i初始值为0;
然后,执行如下循环:根据方程(2)可推导求得IN,并对IN进行归一化,将β的值更新为β*η,同时迭代次数i加1,直到i大于或等于imax时,退出循环;
最后,得到输出IN。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710697133.2A CN107481211B (zh) | 2017-08-15 | 2017-08-15 | 一种基于梯度域融合的夜间交通监控增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710697133.2A CN107481211B (zh) | 2017-08-15 | 2017-08-15 | 一种基于梯度域融合的夜间交通监控增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107481211A CN107481211A (zh) | 2017-12-15 |
CN107481211B true CN107481211B (zh) | 2021-01-05 |
Family
ID=60599575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710697133.2A Active CN107481211B (zh) | 2017-08-15 | 2017-08-15 | 一种基于梯度域融合的夜间交通监控增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107481211B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470362A (zh) * | 2018-01-29 | 2018-08-31 | 北京奇虎科技有限公司 | 一种实现视频调色的方法和装置 |
CN108416805B (zh) * | 2018-03-12 | 2021-09-24 | 中山大学 | 一种基于深度学习的本征图像分解方法及装置 |
CN110517211B (zh) * | 2019-07-31 | 2023-06-13 | 茂莱(南京)仪器有限公司 | 一种基于梯度域映射的图像融合方法 |
CN114782422B (zh) * | 2022-06-17 | 2022-10-14 | 电子科技大学 | 一种svr特征融合的无参考jpeg图像质量评价方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
CN103413275B (zh) * | 2013-07-26 | 2016-05-18 | 北京工业大学 | 基于梯度零范数最小化的Retinex夜间图像增强方法 |
CN104700365B (zh) * | 2015-02-02 | 2018-05-18 | 电子科技大学 | 一种图像对比度增强方法 |
CN106296626B (zh) * | 2016-08-11 | 2019-06-04 | 上海大学 | 一种基于梯度融合的夜间视频增强方法 |
-
2017
- 2017-08-15 CN CN201710697133.2A patent/CN107481211B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107481211A (zh) | 2017-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107481211B (zh) | 一种基于梯度域融合的夜间交通监控增强方法 | |
CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
CN107240084B (zh) | 一种单幅图像去雨方法及装置 | |
Wang et al. | Dehazing for images with large sky region | |
CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及系统 | |
CN105023256B (zh) | 一种图像去雾方法及系统 | |
CN102231791B (zh) | 一种基于图像亮度分层的视频图像去雾方法 | |
Luan et al. | Fast single image dehazing based on a regression model | |
CN112669242A (zh) | 基于改进图像增强算法与生成对抗网络的夜景复原方法 | |
CN104867121B (zh) | 基于暗原色先验和Retinex理论的图像快速去雾法 | |
CN106530240B (zh) | 一种基于多尺度融合和全变分优化的图像去雾方法 | |
CN108416745B (zh) | 一种具有色彩恒常性的图像自适应去雾增强方法 | |
CN103020914B (zh) | 基于空间连续性原理的快速图像去雾方法 | |
CN106846263A (zh) | 基于融合通道且对天空免疫的图像去雾方法 | |
CN105913392A (zh) | 复杂环境下退化图像综合质量提升方法 | |
CN106886985A (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
Gao et al. | Detail preserved single image dehazing algorithm based on airlight refinement | |
CN106780380A (zh) | 一种图像去雾方法及系统 | |
CN105931208A (zh) | 基于物理模型的低照度图像增强算法 | |
CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
CN109118440B (zh) | 基于透射率融合与自适应大气光估计的单幅图像去雾方法 | |
CN113362375A (zh) | 用于车辆的运动目标检测方法 | |
CN104253994B (zh) | 一种基于稀疏编码融合的夜间监控视频实时增强方法 | |
CN106971377A (zh) | 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 | |
CN103778605A (zh) | 一种雾天图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |