CN112991197B - 一种基于暗通道的细节保留的低照度视频增强方法及装置 - Google Patents

一种基于暗通道的细节保留的低照度视频增强方法及装置 Download PDF

Info

Publication number
CN112991197B
CN112991197B CN202110170716.6A CN202110170716A CN112991197B CN 112991197 B CN112991197 B CN 112991197B CN 202110170716 A CN202110170716 A CN 202110170716A CN 112991197 B CN112991197 B CN 112991197B
Authority
CN
China
Prior art keywords
image
initial
low
dark channel
enhanced image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110170716.6A
Other languages
English (en)
Other versions
CN112991197A (zh
Inventor
贾振红
郭伶俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang University
Original Assignee
Xinjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang University filed Critical Xinjiang University
Priority to CN202110170716.6A priority Critical patent/CN112991197B/zh
Publication of CN112991197A publication Critical patent/CN112991197A/zh
Application granted granted Critical
Publication of CN112991197B publication Critical patent/CN112991197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于暗通道的细节保留的低照度视频增强方法及装置,方法包括:对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频。装置包括:细化与选择模块、获取与滤波模块、反转模块、细节增强模块及输出模块。

Description

一种基于暗通道的细节保留的低照度视频增强方法及装置
技术领域
本发明涉及低照度视频增强技术,属于图像处理领域,尤其涉及一种基于暗通道的细节保留的低照度视频增强方法及装置。
背景技术
在夜间环境光照较差的情况下,因为照明的亮度严重不足,经常会导致进入视频采集设备的光线不足,影响采集到的视频的视觉效果,从而使得到的视频图像发生严重的失真,具体表现为亮度偏低、对比度偏暗、色彩失真严重、细节信息大量不可见等不乐观情形。为了更好地利用这些质量严重下降的监控视频,不得不对其进行增强。
视频是由单帧图像按照时间的排序,因此可以通过增强每一帧低照度图像从而达到视频增强的效果。根据低照度图像的特性,研究者们已经提出了许多有效的增强算法,但是现有方法也存在着不足。由于低照度图像可能含有明亮区域和光源,现有算法如Retinex算法及其变体,对这类图像可能会存在对暗区增强不足、对亮区过度增强的问题,而过度增强和增强不足都会导致细节损失,无法突出图像中的车牌等关键信息。现有的视频大部分是彩色的,有些算法,如基于直方图均衡的增强算法所得到的增强图像可能会产生色彩失真,从而影响视觉效果。
发明内容
针对低照度视频亮度和对比度低,视觉效果差,本发明提出了一种基于暗通道的细节保留的低照度视频增强方法及装置,通过本发明处理后的低照度视频,亮度和对比度得到了有效的提升,细节和清晰度也得到了很好的增强,且在亮区和光源处不会出现过曝光,边缘保持效果好,可以有效地应用于监控视频增强,详见下文描述:
第一方面,一种基于暗通道的细节保留的低照度视频增强方法,所述方法包括:
对初始暗通道强加一个结构先验进行细化,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;
根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;
将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;
对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;
将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频。
在一种实现方式中,所述对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值具体为:
对细化的暗通道图按亮度大小取前预设值的像素,在筛选的像素中选择低照度反转图像中亮度最高的像素作为大气光值。
第二方面,一种基于暗通道的细节保留的低照度视频增强装置,所述装置包括:
细化与选择模块,用于对初始暗通道强加一个结构先验进行细化,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;
获取与滤波模块,用于根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;
反转模块,用于将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;
细节增强模块,用于对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;
输出模块,用于将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频并输出。
在一种实现方式中,细化与选择模块包括:
选择子模块,用于对细化的暗通道图按亮度大小取前预设值的像素,在筛选的像素中选择低照度反转图像中亮度最高的像素作为大气光值。
第三方面,一种基于暗通道的细节保留的低照度视频增强装置,所述装置包括:
处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
第四方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是:
1、本方法能够很好地提升低照度视频的亮度和对比度,对边缘和细节的保留和增强效果尤为显著,能够适用于不同环境下的低照度视频,包括:整体黑暗的视频、含有局部明亮区域的视频以及含有光源的视频,有效提升了低照度视频的可视性;
2、本方法能够很好地应用于彩色视频增强,可以有效地保留原始视频的颜色,不会出现色彩失真;且本方法能够在一定程度上抑制过曝光,从而保留更多可用信息;
3、本算法的处理时间较快,对于一幅576×432的单帧图像,本算法的运行时间为1.67s。
附图说明
图1为一种基于暗通道的细节保留的低照度视频增强方法的流程图;
图2为一种基于暗通道的细节保留的低照度视频增强方法的另一流程图;
图3为整体较暗的低照度单帧图像实验结果示意图;
其中,(a)为原始低照度单帧图像;(b)为增强后的单帧图像。
图4为含有光源的低照度单帧图像实验结果示意图;
其中,(a)为原始低照度单帧图像;(b)为增强后的单帧图像。
图5为含有局部亮区的低照度单帧图像实验结果示意图;
其中,(a)为原始低照度单帧图像;(b)为增强后的单帧图像。
图6为一种基于暗通道的细节保留的低照度视频增强装置的结构示意图;
图7为细化与选择模块的结构示意图;
图8为一种基于暗通道的细节保留的低照度视频增强装置的另一结构示意图。
表1为图3中增强后的单帧图像的客观评价指标;
表2为图4中增强后的单帧图像的客观评价指标;
表3为图5中增强后的单帧图像的客观评价指标。
表4为运用50幅单帧图像将本方法与现有算法进行对比得到的客观评价指标。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种基于暗通道的细节保留的低照度视频增强方法,参见图1,该方法包括以下步骤:
步骤101:将低照度视频逐帧分解得到多个单帧图像,并将每一帧图像写入磁盘中;
步骤102:读取磁盘中的图像并对其进行反转,求取反转图像的RGB三通道的最小值进而得到初始暗通道,由于初始暗通道的局限性使得增强图像的亮度不足,因此本发明实施例提出了暗通道细化处理。本发明实施例提出了一个先验结构(先验知识理论),认为暗通道图应该在保留低照度反转图像整体结构的同时平滑纹理细节,根据这一先验结构,本发明实施例提出了细化方程,通过对方程的求解得到具有良好结构的细化的暗通道图,从而更好地提升低照度图像的亮度。。
步骤103:对细化的暗通道图按照亮度大小取前1%的像素,在选择的像素中选择低照度反转图像中亮度最高的像素作为大气光值,根据大气光值归一化大气散射模型,求取归一化大气散射模型两侧的最小通道从而消除乘法项,得到初始透射率,采用各向异性引导滤波器对初始透射率进行细化,消除块效应的同时减少了时间复杂度;
其中,上述取前1%的像素可以根据实际应用中的需要进行设定,本发明实施例对此不做赘述。
步骤104:将以上步骤所得到的大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像,反转清晰图像得到初始增强图像;
步骤105:对初始增强图像进行细节优化,根据低照度图像亮度越暗的区域所包含的细节越少的特性,用可见度函数定义了一个S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到细节更为突出的最终增强图像;
步骤106:新建一个视频文件,将每一帧的最终增强图像按顺序以30帧/s的速率写入视频中,得到增强后的视频。
其中,上述30帧/s的速率可以根据实际应用中的需要进行设定,本发明实施例对此不做赘述。
综上所述,本发明实施例通过上述步骤101-步骤106得到增强后的视频,在亮度和对比度方面得到了有效的提升,细节和清晰度也得到了很好的增强,且在亮区和光源处不会出现过曝光,边缘保持效果好,可以有效地应用于监控视频增强。
下面结合图2、具体的计算公式,对上述实施例中的一种基于暗通道的细节保留的低照度视频增强方法进行详细地细化和扩展,该方法包括以下步骤:
本发明实施例采用的实验对象为不同场景下的低照度视频,针对低照度视频中亮度、对比度低,可见度差等问题。
步骤201:利用MATLAB函数将低照度视频分解为多个单帧低照度图像,并按顺序写入固定的文件夹中;
步骤202:读取单帧低照度图像并对其进行反转,对于输入图像M(x),其反转图像I(x) 定义如下:
I(x)=1-M(x) (1)
通过求取反转图像的RGB三通道的最小值得到初始暗通道,可表示为如下形式:
Figure RE-GDA0003018639430000051
其中,Idark为初始暗通道;Ic(y)为低照度反转图像的颜色通道;y为像素位置,c为颜色通道,Ω(x)为以x为中心的局部图像块。
通过对初始暗通道强加一个结构来细化暗通道,得到具有良好结构的暗通道图。暗通道的细化方程如下:
Figure RE-GDA0003018639430000052
其中,
Figure RE-GDA0003018639430000053
为细化后的暗通道,W为权重矩阵,
Figure RE-GDA0003018639430000057
为一阶梯度算子,包括水平方向和垂直方向的梯度,α为平衡系数。
受相对总变分(RTV)的启发,对于每个位置,其权重定义如下:
Figure RE-GDA0003018639430000054
Figure RE-GDA0003018639430000055
其中,Wh(x)为水平方向权重,Wv(x)为垂直方向权重,Gσ(x,y)为具有标准偏差σ的高斯核函数,h为水平方向,v为垂直方向,ε为较小的参数以防止分母为零,←为赋值符号。Gσ(x,y)是由具有标准偏差σ的高斯核函数产生的。Gσ(x,y)表示为以下形式:
Figure RE-GDA0003018639430000056
其中,dist(x,y)函数用于测量x和y之间的空间欧几里得距离,∝为正比例符号。
步骤203:对于任意一幅图像,先提取其暗通道图然后对暗通道图进行细化,从细化的暗通道图中按照亮度大小取前1%的像素,在这些像素中,选择低照度反转图像中亮度最高的像素作为大气光值;
即大气光值A是一个三元素向量,每一个元素对应于每一个颜色通道。
假设给出了大气光A,首先通过A对大气散射模型进行归一化:
Figure RE-GDA0003018639430000061
其中,Ic(x)为低照度反转图像的颜色通道,Jc(x)为去雾后的清晰图像的颜色通道,t(x) 为透射率。
求等式(7)两侧的最小通道进一步假设局部块Ω(x)中的传输是恒定的。将初始透射率表示为
Figure RE-GDA0003018639430000062
然后,计算式(7)两侧的暗通道,在等式(7)两侧分别做最小运算,得到下式:
Figure RE-GDA0003018639430000063
其中,Ic(y)为低照度反转图像的颜色通道,Jc(y)为去雾后的清晰图像的颜色通道。
消除乘法项,得到初始透射率估计如下:
Figure RE-GDA0003018639430000064
然后采用各向异性引导滤波器对初始透射率进行细化,其关键是不同于引导滤波,各向异性引导滤波引入了权重因子,将各向异性集成到滤波公式中,表达式如下:
Figure RE-GDA0003018639430000065
Figure RE-GDA0003018639430000066
其中,
Figure RE-GDA0003018639430000067
为加权后的缩放因子,
Figure RE-GDA0003018639430000068
为加权后的偏差因子,aj为缩放因子,bj为偏差因子,
Figure RE-GDA0003018639430000069
为像素i的邻域。ωi,j定义为分配给位于中心像素i周围的像素j的权重。设计权重以达到最大扩散,同时保留引导图像中的强边缘边界,由ai→0时扩散最大,得出以下目标函数:
Figure RE-GDA00030186394300000610
其中,wi是一个以像素i为中心的所有邻域的权重向量,而
Figure RE-GDA00030186394300000611
是包含在引导图像中位于j的邻域的梯度向量,μ为平衡参数,
Figure RE-GDA00030186394300000612
为加权缩放因子的平方。
为了减少算法的运算复杂度,可以将式(12)简化为以下形式:
Figure RE-GDA00030186394300000613
其中,
Figure RE-GDA00030186394300000614
为指数加权的标准方差,∈为平衡参数,ωi,j为权重。
通过对目标函数(13)求解得到权重的封闭解如下:
Figure RE-GDA0003018639430000071
其中,∈为平衡参数,ωj为权重,
Figure RE-GDA0003018639430000072
为中间参数(经过简化得到式(13),求解(13)得到结果(14))。
对于上述公式(13)即各向异性引导滤波器(AnisGF)的一个重要说明是,即使权重不是空间自适应的,中心像素的权重总和也会发生变化,并且必须归一化为1才能得出最终的加权参数和输出:
Figure RE-GDA0003018639430000073
Figure RE-GDA0003018639430000074
Figure RE-GDA0003018639430000075
其中,gi是引导图像,
Figure RE-GDA0003018639430000076
是滤波输出图像,
Figure RE-GDA0003018639430000077
为归一化后的缩放因子,
Figure RE-GDA0003018639430000078
为归一化后的偏差因子。
在本方法中,输入图像是透射率,引导图像为低照度反转图像的灰度图,输出为细化的透射率。
步骤204:利用大气光值和透射率,根据大气散射模型可得到去雾后的清晰图像。但是,当透射率t(x)趋于0时,J(x)t(x)→0,直接恢复的J(x)容易产生噪声。因此,将透射率t(x)限制在一个较低的t0范围内,得到的去雾后的图像的表达式如下:
Figure RE-GDA0003018639430000079
得到的初步增强的图像为清晰图像J(x)的反转,公式如下:
N(x)=1-J(x) (19)
其中,N(x)为初步增强图像。
步骤205:对初步增强图像进行细节优化,根据低照度图像特性可知,图像中越暗的区域所含的细节信息的可见度越差,而细节信息一般反映在图像的高频部分,因此可以提取图像高频部分并将其叠加在细节信息不足的图像中。
考虑到图像亮区细节较为丰富,可见度较高,直接叠加可能会造成细节过多,因此利用可见度函数定义了一个S型函数作为叠加高频的系数,系数函数的定义如下:
Figure RE-GDA00030186394300000710
式中,vism为可见度函数的均值,k为自定义系数,用来控制函数的斜率,本发明实施例取0.01,A(x,y)为系数函数。
其中,vis是可见度函数,定义如下:
Figure RE-GDA0003018639430000081
式中,L(x,y)是将初步增强图像从RGB颜色空间转换到HSV空间中提取的亮度分量, LB(x,y)是对亮度分量做高斯滤波的得到的结果,称为背景亮度分量。
高频部分是先利用高斯滤波器与初步增强图像进行卷积得到该图像的低频部分,然后再用初步增强的图像减去低频部分得到高频部分。高频部分的表达式如下:
Hig(x,y)=N(x,y)-h(x,y)*N(x,y) (22)
其中,
Figure RE-GDA0003018639430000082
*为卷积运算符号,N(x,y)为初始增强图像,Hig(x,y)为初始增强图像的高频部分,σ为高斯函数的标准差。
最终增强图像表达式如下:
R(x,y)=N(x,y)+A(x,y)Hig(x,y) (23)
步骤206:新建一个视频文件,将每一帧增强结果图像按顺序以30帧/s的速率写入视频,得到增强的视频。
下面结合具体的实验数据对上述方法部分进行可行性验证,详见下文描述:
由于低照度情况下捕获到的视频可能包含亮区和光源,因此对不同情况下的视频进行实验。图3(a)显示了在整体照度都较低的情况下捕获的单帧低照度图像,图3(b)显示了与之对应的增强后的视觉效果良好的单帧图像;图4(a)显示了含有光源的低照度情况下捕获的单帧低照度图像,图4(b)显示了与之对应的增强后的视觉效果良好的单帧图像;图5(a) 显示了在部分区域明亮的低照度情况下捕获的单帧低照度图像,图5(b)显示了与之对应的增强后的视觉效果良好的单帧图像;由三幅图可以看出,本方法可以很好地提升低照度图像的视觉效果,使原本不清楚的信息(如车牌等)变得清晰可见。对图像的评价不仅需要考虑主观的视觉效果,还需要考虑客观评价指标,本方法的客观指标包括无参考图像评价指标、全参考图像评价指标和算法运行时间(t)。无参考图像评价指标包括清晰度(AG)、信息熵(H)、基于块的对比度(PCQI);全参考图像评价指标包括峰值信噪比(PSNR)、结构相似度(SSIM),参考图像为单帧低照度图像。表1、表2和表3分别对应于图3、图4和图5 的客观评价结果。
表1
Figure RE-GDA0003018639430000091
表2
Figure RE-GDA0003018639430000092
表3
Figure RE-GDA0003018639430000093
为了进一步验证本发明方法的普适性,运用50幅现场采集的单帧图像将本发明方法与多种先进算法进行了比较,求得50组单帧图像的清晰度、信息熵、基于块的对比度、峰值信噪比、结构相似度和运行时间的均值如下:
表4
Figure RE-GDA0003018639430000101
综上,结合主观分析和客观分析,可以得出这样一个结论,本方法能够有效地增强低照度图像的亮度和对比度,对于细节和边缘区域也能有效地保留,并且能够在一定程度上抑制过曝光,视觉效果好的同时客观指标也优于对比算法。
基于同一发明构思,作为上述方法的实现,参见图6,本发明实施例还提供了一种基于暗通道的细节保留的低照度视频增强装置,该装置包括:
在一种实现方式中,参见图7,该装置包括:
细化与选择模块1,用于对初始暗通道强加一个结构先验进行细化,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;
获取与滤波模块2,用于根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;
反转模块3,用于将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;
细节增强模块4,用于对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;
输出模块5,用于将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频并输出。
参见图8,该细化与选择模块1包括:
细化子模块11,用于对初始暗通道强加一个结构先验进行细化;
选择子模块12,用于对细化的暗通道图按亮度大小取前预设值的像素,在筛选的像素中选择低照度反转图像中亮度最高的像素作为大气光值。
这里需要指出的是,以上实施例中的装置描述是与上述方法实施例描述相对应的,本发明实施例在此不做赘述。
上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件,具体实现时,本发明实施例对执行主体不做限制,根据实际应用中的需要进行选择。
基于同一发明构思,本发明实施例还提供了一种基于暗通道的细节保留的低照度视频增强装置,参见图8,该装置包括:处理器6和存储器7,存储器7中存储有程序指令,处理器6调用存储器7中存储的程序指令以使装置执行实施例中的以下方法步骤:
对初始暗通道强加一个结构先验进行细化,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;
根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;
将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;
对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;
将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频。
在一种实现方式中,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值具体为:
对细化的暗通道图按亮度大小取前预设值的像素,在筛选的像素中选择低照度反转图像中亮度最高的像素作为大气光值。
这里需要指出的是,以上实施例中的装置描述是与实施例中的方法描述相对应的,本发明实施例在此不做赘述。
上述的处理器和存储器的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件,具体实现时,本发明实施例对执行主体不做限制,根据实际应用中的需要进行选择。
存储器7和处理器6之间通过总线8传输数据信号,本发明实施例对此不做赘述。
基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,存储介质包括存储的程序,在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是,以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的,本发明实施例在此不做赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于暗通道的细节保留的低照度视频增强方法,其特征在于,所述方法包括:
对初始暗通道强加一个先验结构进行细化,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;
根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;
将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;
对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;
将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频;
其中,所述对初始暗通道强加一个先验结构进行细化具体为:
将低照度视频分解为多个单帧低照度图像,并对其进行反转,通过求取反转图像的RGB三通道的最小值得到初始暗通道,表示为:
Figure FDA0003579601950000011
其中,Idark为初始暗通道;Ic(y)为低照度反转图像的颜色通道;y为像素位置,c为颜色通道,Ω(x)为以x为中心的局部图像块;
通过对初始暗通道强加一个结构来细化暗通道,暗通道的细化方程如下:
Figure FDA0003579601950000012
其中,
Figure FDA0003579601950000013
为细化后的暗通道,W为权重矩阵,
Figure FDA0003579601950000014
为一阶梯度算子,包括水平方向和垂直方向的梯度,α为平衡系数;
其中,所述根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化具体为:
通过大气光值A对大气散射模型进行归一化,
Figure FDA0003579601950000015
其中,Ic(x)为低照度反转图像的颜色通道,Jc(x)为去雾后的清晰图像的颜色通道,t(x)为透射率;
假设局部块Ω(x)中的传输是恒定的,在归一化式两侧分别做最小运算,得到下式:
Figure FDA0003579601950000016
其中,Ic(y)为低照度反转图像的颜色通道,Jc(y)为去雾后的清晰图像的颜色通道;
消除乘法项,得到初始透射率如下:
Figure FDA0003579601950000021
采用各向异性引导滤波器对初始透射率进行细化,其关键是不同于引导滤波,各向异性引导滤波引入了权重因子,将各向异性集成到滤波公式中,表达式如下:
Figure FDA0003579601950000022
Figure FDA0003579601950000023
其中,
Figure FDA0003579601950000024
为加权后的缩放因子,
Figure FDA0003579601950000025
为加权后的偏差因子,aj为缩放因子,bj为偏差因子,
Figure FDA0003579601950000026
为像素i的邻域;ωi,j定义为分配给位于中心像素i周围的像素j的权重;
由ai→0时扩散最大,得出以下目标函数:
Figure FDA0003579601950000027
其中,wi是一个以像素i为中心的所有邻域的权重向量,而
Figure FDA0003579601950000028
是包含在引导图像中位于j的邻域的梯度向量,μ为平衡参数,
Figure FDA0003579601950000029
为加权缩放因子的平方,对目标函数求解得到权重的封闭解如下:
Figure FDA00035796019500000210
其中,ωj为权重,
Figure FDA00035796019500000211
为中间参数,∈为平衡参数;将权重总和归一化为1得出最终的加权参数和输出:
Figure FDA00035796019500000212
Figure FDA00035796019500000213
Figure FDA00035796019500000214
其中,gi是引导图像,
Figure FDA00035796019500000215
是滤波输出图像,
Figure FDA00035796019500000216
为归一化后的缩放因子,
Figure FDA00035796019500000217
为归一化后的偏差因子;
输入图像是透射率,引导图像为低照度反转图像的灰度图,输出为细化的透射率;
其中,对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像具体为:
利用可见度函数定义了一个S型函数作为叠加高频的系数,如下:
Figure FDA0003579601950000031
式中,vism为可见度函数的均值,k为自定义系数,用来控制函数的斜率;A(x,y)为系数函数;
vis是可见度函数,定义如下:
Figure FDA0003579601950000032
式中,L(x,y)是将初步增强图像从RGB颜色空间转换到HSV空间中提取的亮度分量,LB(x,y)是对亮度分量做高斯滤波的得到的结果,称为背景亮度分量;
高频部分先利用高斯滤波器与初步增强图像进行卷积得到该图像的低频部分,然后再用初步增强的图像减去低频部分得到高频部分,高频部分的表达式如下:
Hig(x,y)=N(x,y)-h(x,y)*N(x,y)
其中,
Figure FDA0003579601950000033
*为卷积运算符号,N(x,y)为初始增强图像,Hig(x,y)为初始增强图像的高频部分,σ为高斯函数的标准差;
最终增强图像表达式如下:
R(x,y)=N(x,y)+A(x,y)Hig(x,y)。
2.根据权利要求1所述的一种基于暗通道的细节保留的低照度视频增强方法,其特征在于,所述对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值具体为:
对细化的暗通道图按亮度大小取前预设值的像素,在筛选的像素中选择低照度反转图像中亮度最高的像素作为大气光值。
3.一种基于暗通道的细节保留的低照度视频增强装置,其特征在于,所述装置用于执行权利要求1或2中的任一项所述的方法步骤,所述装置包括:
细化与选择模块,用于对初始暗通道强加一个先验结构进行细化,对细化的暗通道图按照预设标准选择亮度最高像素作为大气光值;
获取与滤波模块,用于根据大气光值归一化散射模型,根据模型两侧的最小通道得到初始透射率,并采用各向异性引导滤波器进行细化;
反转模块,用于将大气光值和细化后的透射率代入到初始大气散射模型中,得到清晰图像并反转获取初始增强图像;
细节增强模块,用于对初始增强图像进行细节优化,用可见度函数定义S型函数作为高频叠加的系数,将高频信息与初始增强图像相叠加得到最终增强图像;
输出模块,用于将每一帧的最终增强图像按顺序以预设的速率写入新建视频中,得到增强后的视频并输出。
4.根据权利要求3所述的一种基于暗通道的细节保留的低照度视频增强装置,其特征在于,细化与选择模块包括:
选择子模块,用于对细化的暗通道图按亮度大小取前预设值的像素,在筛选的像素中选择低照度反转图像中亮度最高的像素作为大气光值。
5.一种基于暗通道的细节保留的低照度视频增强装置,其特征在于,所述装置包括:
处理器和存储器,所述存储器中存储有程序指令,所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-2中的任一项所述的方法步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时使所述处理器执行权利要求1-2中的任一项所述的方法步骤。
CN202110170716.6A 2021-02-08 2021-02-08 一种基于暗通道的细节保留的低照度视频增强方法及装置 Active CN112991197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170716.6A CN112991197B (zh) 2021-02-08 2021-02-08 一种基于暗通道的细节保留的低照度视频增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170716.6A CN112991197B (zh) 2021-02-08 2021-02-08 一种基于暗通道的细节保留的低照度视频增强方法及装置

Publications (2)

Publication Number Publication Date
CN112991197A CN112991197A (zh) 2021-06-18
CN112991197B true CN112991197B (zh) 2022-05-17

Family

ID=76349168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170716.6A Active CN112991197B (zh) 2021-02-08 2021-02-08 一种基于暗通道的细节保留的低照度视频增强方法及装置

Country Status (1)

Country Link
CN (1) CN112991197B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387772B (zh) * 2021-12-15 2022-11-25 深圳市东峰盛科技有限公司 一种安防监控用具有警报结构的摄像头
CN116631038B (zh) * 2023-06-06 2024-05-28 湖南三湘银行股份有限公司 基于图像验证银行用户身份的方法及系统
CN116739608B (zh) * 2023-08-16 2023-12-26 湖南三湘银行股份有限公司 基于人脸识别方式的银行用户身份验证方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345733A (zh) * 2013-07-31 2013-10-09 哈尔滨工业大学 基于改进暗通道先验的快速低照度图像增强方法
CN104392417A (zh) * 2014-11-28 2015-03-04 嘉应学院 基于像素暗通道和各向异性扩散滤波的图像去雾方法
KR101547059B1 (ko) * 2014-02-24 2015-08-25 창원대학교 산학협력단 영상의 안개 제거 방법 및 장치
CN106157270A (zh) * 2016-08-29 2016-11-23 潍坊学院 一种单幅图像快速去雾方法及系统
CN109118441A (zh) * 2018-07-17 2019-01-01 厦门理工学院 一种低照度图像及视频增强方法、计算机装置及存储介质
CN111968062A (zh) * 2020-09-07 2020-11-20 新疆大学 基于暗通道先验镜面高光图像增强方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345733A (zh) * 2013-07-31 2013-10-09 哈尔滨工业大学 基于改进暗通道先验的快速低照度图像增强方法
KR101547059B1 (ko) * 2014-02-24 2015-08-25 창원대학교 산학협력단 영상의 안개 제거 방법 및 장치
CN104392417A (zh) * 2014-11-28 2015-03-04 嘉应学院 基于像素暗通道和各向异性扩散滤波的图像去雾方法
CN106157270A (zh) * 2016-08-29 2016-11-23 潍坊学院 一种单幅图像快速去雾方法及系统
CN109118441A (zh) * 2018-07-17 2019-01-01 厦门理工学院 一种低照度图像及视频增强方法、计算机装置及存储介质
CN111968062A (zh) * 2020-09-07 2020-11-20 新疆大学 基于暗通道先验镜面高光图像增强方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast image dehazing using improved dark channel prior;Haoran Xu 等;《2012 IEEE International Conference on Information Science and Technology》;IEEE;20120621;第663-667页 *
改进暗通道先验的低光照缝隙图像增强算法;孙小凯 等;《计算机辅助设计与图形学学报》;20180415;第30卷(第4期);第618-625页 *

Also Published As

Publication number Publication date
CN112991197A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Shi et al. Normalised gamma transformation‐based contrast‐limited adaptive histogram equalisation with colour correction for sand–dust image enhancement
CN112991197B (zh) 一种基于暗通道的细节保留的低照度视频增强方法及装置
Ju et al. Single image dehazing via an improved atmospheric scattering model
Kim et al. Optimized contrast enhancement for real-time image and video dehazing
Shiau et al. Weighted haze removal method with halo prevention
Cheng et al. Efficient histogram modification using bilateral Bezier curve for the contrast enhancement
Ma et al. An effective fusion defogging approach for single sea fog image
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
US20170109873A1 (en) Image enhancement using self-examples and external examples
Gao et al. Detail preserved single image dehazing algorithm based on airlight refinement
CN111968062B (zh) 基于暗通道先验镜面高光图像增强方法、装置及存储介质
CN114240789B (zh) 一种基于优化的保持亮度的红外图像直方图均衡增强方法
US11257187B2 (en) Image processing method, image processing device and computer storage medium
Ling et al. Perception oriented transmission estimation for high quality image dehazing
Xue et al. Video image dehazing algorithm based on multi-scale retinex with color restoration
Wen et al. Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment
Kaur et al. Image enhancement techniques: A selected review
WO2023215371A1 (en) System and method for perceptually optimized image denoising and restoration
CN115239653A (zh) 支持多分屏的黑屏检测方法、装置、电子设备及可读存储介质
CN110298796B (zh) 基于改进Retinex与对数图像处理的低照度图像增强方法
Li et al. Laplace dark channel attenuation-based single image defogging in ocean scenes
Sun et al. Fast single-image dehazing method for visible-light systems
Geethu et al. Weighted guided image filtering and haze removal in single image
CN117876233A (zh) 一种基于无人机遥感技术的测绘图像增强方法
CN111652821A (zh) 基于梯度信息的微光视频图像降噪处理方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant