CN107862672B - 图像去雾的方法及装置 - Google Patents
图像去雾的方法及装置 Download PDFInfo
- Publication number
- CN107862672B CN107862672B CN201711381059.XA CN201711381059A CN107862672B CN 107862672 B CN107862672 B CN 107862672B CN 201711381059 A CN201711381059 A CN 201711381059A CN 107862672 B CN107862672 B CN 107862672B
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- transmittance
- gray
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000002834 transmittance Methods 0.000 claims abstract description 137
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 11
- 238000007689 inspection Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 230000035699 permeability Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像去雾的方法及装置,该方法包括如下步骤:获取Bayer格式的Bayer图像;将Bayer图像转换为灰度图;选取Bayer图像中的最大像素值作为大气光强度值;根据灰度图和所述大气光强度值,基于透射率估计模型计算得出透射率;以及利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像转换的YUV域中的Y上进行去雾处理而得到无雾的RGB图像。利用Bayer域代替在RGB域上进行去雾参数统计,统计量小,将Bayer图像转换成灰度图代替最小值滤波得到的暗通道图,相当于做了下采样,运算量小。解决了现有的RGB域上统计去雾参数带来的统计量大和最小值滤波带来的运算量大的问题。
Description
技术领域
本发明涉及视频图像处理领域,特指一种图像去雾的方法及装置。
背景技术
在进行图像视频拍摄时,由于环境中大气受浑浊媒介如雾霾等的影响,会导致拍摄的目标景物细节特征不清晰和对比度降低。近年来我国的大气污染越来越严重,因此运用简单高效的图像去雾技术进行去雾处理显得意义重大。
目前常用的图像去雾方法中,大多基于暗通道先验(dark channel prior)理论。暗通道先验是通过对户外无雾图像数据进行统计得出的,即绝大多数户外无雾图像的每个局部区域中都存在某个像素,其至少一个颜色通道的灰度值很低。通过对RGB图像计算每个像素点局部区域的最小值可以得到暗通道图,结合大气光强度值可以估计出粗略透射率,然后运用软抠图算法或导向滤波等方式对透射率图实现边缘平滑或细化,再运用去雾模型就可以在RGB有雾图像上复原出去除雾气干扰后的图像。
然而上述方法直接在RGB图像上统计去雾参数大气光强度值和透射率,统计较复杂;计算暗通道时需要对每个像素点的局部区域块进行两次最小值计算,运算量较大。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种图像去雾的方法及装置,解决现有的基于暗通道先验算法中RGB域上统计去雾参数带来的统计量大和最小值滤波带来的运算量大的问题。
实现上述目的的技术方案是:
本发明提供了一种图像去雾的方法,包括如下步骤:
获取Bayer格式的Bayer图像;
将Bayer图像转换为灰度图;
选取所述Bayer图像中的最大像素值作为大气光强度值;
根据所述灰度图和所述大气光强度值,基于透射率估计模型计算得出透射率;以及
利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理,进而得到无雾的RGB图像。
本发明的去雾方法在Bayer格式上统计去雾参数,利用Bayer域代替在RGB域上进行去雾参数统计,统计量小,该去雾参数为大气光强度值和透射率;将Bayer图像转换成灰度图代替最小值滤波得到的暗通道图,相当于对Bayer图做了下采样,运算量小。本发明的去雾方法有效解决了现有的暗通道先验算法中RGB域上统计去雾参数带来的统计量大和最小值滤波带来的运算量大的问题。
本发明图像去雾的方法的进一步改进在于,基于透射率估计模型计算得出透射率,包括:
利用透射率计算公式计算透射率,所述透射率计算公式为:
t(x)=1-cw*gray/A (式一)
式一中:t(x)为透射率,cw为去雾程度系数,取值范围为0~1,gray为灰度图中每一像素点的灰度值,A为所述大气光强度值。
本发明图像去雾的方法的进一步改进在于,在利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理之前,还包括:
对所述透射率进行细化处理;
对经细化处理的透射率进行上采样至所述Bayer图像的大小;
对经上采样的透射率进行亮度增强处理以实现透射率的校正。
本发明图像去雾的方法的进一步改进在于,利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理,包括:
利用所述透气率和所述大气光强度值对所述RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理;
对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理。
本发明图像去雾的方法的进一步改进在于,利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理,包括:
将所述RGB图像转换到YUV域,得到YUV域的亮度Y、色度U和色度V分量;
利用所述透气率和所述大气光强度值对所述亮度Y分量通过暗通道先验算法的去雾模型进行去雾处理;
对经去雾处理的亮度Y分量进行亮度增强处理;
对所述色度U分量和所述色度V分量进行饱和度增强处理;
将经亮度增强处理的亮度Y分量和经饱和度增强处理的色度U与V分量转换到RGB域从而获得无雾的RGB图像。
本发明还提供了一种图像去雾的装置,包括:
图像输入单元,用于输入Bayer格式的Bayer图像;
与所述图像输入单元连接的透射率计算单元,用于将所述图像输入单元输入的Bayer图像转换为灰度图,还用于获取所述Bayer图像中的最大像素值作为大气光强度值,并根据所述灰度图和所述大气光强度值基于透射率估计模型计算得出透射率;以及
与所述图像输入单元和所述透射率计算单元连接的去雾单元,用于利用所述透射率和所述大气光强度值对所述Bayer图像对应的RGB图像进行去雾处理,进而得到无雾的RGB图像。
本发明图像去雾的装置的进一步改进在于,所述透射率计算单元包括计算模块和存储所述透射率估计模型的存储模块,所述计算模块与所述存储模块连接;
所述透射率估计模型包括透射率计算公式,所述透射率计算公式为:
t(x)=1-cw*gray/A (式一)
式一中:t(x)为透射率,cw为去雾程度系数,取值范围为0~1,gray为灰度图中每一像素点的灰度值,A为所述大气光强度值;
所述计算模块将所述大气光强度值和所述灰度图中的灰度值代入所述透射率计算公式中并计算得出所述透射率。
本发明图像去雾的装置的进一步改进在于,还包括与所述透射率计算单元连接的细化处理单元、上采样单元以及透射率校正单元;
所述细化处理单元用于对所述透射率计算单元计算得出的透射率进行细化处理,得到经细化处理的透射率;
所述上采样单元与所述细化处理单元连接,用于对经细化处理的透射率进行上采样至所述Bayer图像的大小,得到经上采样的透射率;
所述透射率校正单元与所述上采样单元连接,用于对经上采样的透射率进行亮度增强处理以得到经校正的透射率,并将经校正的透射率发送给所述去雾单元。
本发明图像去雾的装置的进一步改进在于,所述去雾单元包括第一RGB图像输入模块、第一去雾模块以及第一亮度增强模块;
所述第一RGB图像输入模块与所述图像输入单元连接,用于获取与所述Bayer图像对应的RGB图像;
所述第一去雾模块与所述第一RGB图像输入模块连接,用于对所述RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理,得到无雾的RGB图像的R、G、B通道;
所述第一亮度增强模块与所述第一去雾模块连接,用于对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理,进而得到无雾的RGB图像。
本发明图像去雾的装置的进一步改进在于,所述去雾单元包括第二RGB图像输入模块、YUV域转换模块、第二去雾模块、第二亮度增强模块、饱和度增强模块以及RGB域转换模块;
所述第二RGB图像输入模块与所述图像输入单元连接,用于获取与所述Bayer图像对应的RGB图像;
所述YUV域转换模块与所述第二RGB图像输入模块连接,用于将所述RGB图像转换到YUV域,得到YUV域的亮度Y、色度U和色度V分量;
所述第二去雾模块与所述YUV域转换模块连接,用于利用所述透气率和所述大气光强度值对所述亮度Y分量通过暗通道先验算法的去雾模型进行去雾处理;
所述第二亮度增强模块与所述第二去雾模块连接,用于对经去雾处理的亮度Y分量进行亮度增强处理,得到经亮度增强处理的亮度Y分量;
所述饱和度增强模块与所述YUV域转换模块连接,用于对所述色度U分量和所述色度V分量进行饱和度增强处理,得到经饱和度增强处理的色度U分量和色度V分量;
所述RGB域转换模块与所述第二亮度增强模块和所述饱和度增强模块连接,用于将经亮度增强处理的亮度Y分量和经饱和度增强处理的色度U与V分量转换到RGB域从而获得无雾的RGB图像。
附图说明
图1为本发明图像去雾的方法的流程图。
图2为本发明图像去雾的方法中去雾处理步骤的一较佳实施方式的流程图。
图3为本发明图像去雾的方法中去雾处理步骤的另一较佳实施方式的流程图。
图4为本发明图像去雾的装置的模块示意图。
图5为本发明图像去雾的装置中去雾单元的一较佳实施方式的模块示意图。
图6为本发明图像去雾的装置中去雾单元的另一较佳实施方式的模块示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
参阅图1,本发明提供了一种图像去雾的方法及装置,用于解决现有去雾方法中RGB域上统计去雾参数带来的统计量大,最小值滤波带来的运算量大,以及RGB域上运用去雾模型带来的色彩失真和光晕的问题。本发明的方法及装置具有实现简单且效果好的特点。本发明在Bayer域上统计去雾参数(包括大气光强度值和透射率),利用Bayer格式的Bayer图像进行去雾参数的获取,由于Bayer格式的图像数据能够将采用频率降低60%以上,其本身的图像数据总量要比RGB图像数据的总量少,所以整体上就能够降低去雾参数的统计量及运算量,本发明的大气光强度值选取Bayer图像中最亮点的像素值(也即最大像素值),从而使得本发明的统计量小;本发明采用将Bayer图像转换为灰度图来代替最小值滤波得到的暗通道图,Bayer图像转灰度图相当于做了下采样,远算量较小,从而本发明较好地解决了现有方法中的统计量大和运算量大的问题。另外在进行去雾处理时,本发明采用了只在亮度Y分量上进行去雾处理代替了现有的在RGB通道进行去雾,可消除色彩失真及天空区域光晕现象。下面结合附图对本发明的图像去雾的方法及装置进行说明。
参阅图4,显示了本发明图像去雾的装置的模块示意图。下面结合图4,对本发明提供的图像去雾的装置进行说明。
如图4所示,本发明提供的图像去雾的装置30包括图像输入单元31、透射率计算单元32、以及去雾单元33,透射率计算单元32与图像输入单元31连接,去雾单元33与图像输入单元31和透射率计算单元32连接;其中的图像输入单元31用于输入Bayer格式的Bayer图像,透射率计算单元用于将图像输入单元31输入的Bayer图像转换为灰度图,还用于获取该Bayer图像中的最大像素值作为大气光强度值,并根据灰度图和大气光强度值基于透射率估计模型计算得出透射率;去雾单元33用于利用透射率和大气光强度值对Bayer图像对应的RGB图像进行去雾处理,进而得到无雾的RGB图像。
本发明的图像去雾的装置在Bayer域上代替在RGB域上统计去雾参数大气光强度值和透射率,统计量较小,用Bayer图转换成的灰度图代替最小滤波得到的暗通道图,且Bayer图转换灰度图相当于做了下采样,运算量较小,能够很好地解决现有的暗通道先验算法中RGB域上统计去雾参数带来的统计量大,最小值滤波带来的运算量大的问题。
作为本发明的一较佳实施方式,图像输入单元31可将输入的有雾的RGB图像转换为Bayer格式的Bayer图像,还可以直接输入用摄像机采集到的Bayer格式的RAW数据。本发明中的Bayer格式有四种常用格式:GRBG格式、GBRG格式、RGGB格式以及BGGR格式,本发明的Bayer图像可以为上述四种常用格式中的任一种。
作为本发明的另一较佳实施方式,透射率计算单元32包括计算模块和存储透射率估计模型的存储模块,该计算模块与存储模块连接,透射率估计模型包括透射率计算公式,该透射率计算公式为:
t(x)=1-cw*gray/A (式一)
式一中:t(x)为透射率,cw为去雾程度系数,取值范围为0~1,gray为灰度图中每一像素点的灰度值,A为大气光强度值;去雾程度系数cw通常选择大于等于0.8,可取0.9,还可以取0.8,该去雾程度系数越大去雾越多,在实际操作中可由用户进行修改指定。
计算模块将透射率计算单元31得到的大气光强度值和灰度图中的灰度值代入透射率计算公式中并计算得出透射率。
较佳地,在透射率计算单元32中还包括有灰度图转换模块和大气光值取值模块,灰度图转换模块与图像输入单元31和存储模块连接,灰度图转换模块用于获取Bayer图像并将Bayer图像转换为灰度图,该灰度图转换模块的转换公式为:
gray=(R+Gr+Gb+B)/4 (式二)
式二中,gray为灰度图中每一像素点的灰度值,R、Gr、Gb、B代表Bayer图中四个像素点的值。
灰度图转换模块利用式二将Bayer图中的四个像素点转换为一个灰度值点(也即灰度图中的一个像素点),相当于对Bayer图像做了下采样,所获得的灰度图中的像素点的数量相当于Bayer图像中像素点数量的四分之一,灰度图转换模块将获得的灰度图的像素点的灰度值存储在存储模块内。大气光值取值模块与图像输入单元31和存储模块连接,该大气光值取值模块用于获取Bayer图像并遍历该Bayer图像中的各个像素点的值,选择最亮的像素点也即最大的像素值作为大气光强度值,并将该大气光强度值存储在存储模块内。
计算模块在利用式一计算透射率时,从存储模块内读取大气光强度值和灰度图中所有像素点的灰度值,该计算模块计算得出的透射率的数量与灰度图中的像素点的数量相同,计算模块计算得到的透射率存储在存储模块内。
作为本发明的又一较佳实施方式,本发明的图像去雾的装置30还包括有与透射率计算单元32连接的细化处理单元、上采样单元以及透射率校正单元。
其中的细化处理单元用于对透射率计算单元32计算得出的透射率进行细化处理,得到经细化处理的透射率,利用细化处理单元对透射率计算单元32中存储模块内存储的所有的透射率进行细化和平滑,该细化处理单元可以用导向滤波的方式进行细化处理,还可以利用软抠图算法或者双边滤波的方式进行。
上采样单元与细化处理单元连接,用于对经细化处理的透射率进行上采样至Bayer图像的大小,由于将Bayer图像转换为灰度图时进行了下采样,利用上采样单元将细化后的透射率上采样回到原图像大小,也即经过上采样后的透射率的数量与Bayer图像中的像素点的数量相同。
透射率校正单元与上采样单元连接,用于对经上采样的透射率进行亮度增强处理以得到经校正的透射率,并将该经校正的透射率发送给去雾单元33。由于用Bayer图转成灰度图来代替最小值滤波求得暗通道图,透射率偏小直接恢复出的无雾图像会过暗,故而在进行去雾处理之前对透射率进行亮度增强处理,以解决透射率偏小而导致的图像过暗的问题。透射率校正单元通过如下亮度增强公式进行亮度增强处理,该亮度增强公式为:
L1=L+(1-L)*L*m (式三)
式三中,L1为亮度增强处理后的透射率,L为经上采样后的透射率,m为亮度增强系数,取值范围为0~1,一般去0.8,该m的取值越大恢复出的图像越亮。
较佳地,本发明的图像去雾的装置30还包括有存储单元,该存储单元与图像输入单元31、透射率计算单元32以及去雾单元33均连接,存储单元用于存储图像输入单元31输入的Bayer图像,还用于存储透射率计算单元32计算得出的透射率和大气光强度值。该存储单元还与细化处理单元、上采样单元以及透射率校正单元均连接,并对细化处理单元处理过的透射率、上采样单元进行上采样后的透射率以及透射率校正单元进行亮度增强处理后的透射率均进行对应的存储,以便于后续步骤及单元模块使用时进行对应地读取。
作为本发明的再一较佳实施方式,如图5所示,去雾单元33包括第一RGB图像输入模块331'、第一去雾模块332'以及第一亮度增强模块333'。
第一RGB图像输入模块331'与图像输入单元31连接,用于获取与Bayer图像对应的RGB图像,较佳地,该第一RGB图像输入模块331'与装置30中的存储单元连接,从存储单元内读取Bayer图像;若图像输入单元31输入的直接为Bayer图像,该第一RGB图像输入模块331'读取该Bayer图像并将该Bayer图像内插出RGB图像;若图像输入单元31输入的为RGB图像,则该RGB图像会被存储在存储单元内,第一RGB图像输入模块331'可直接读取存储单元内的RGB图像。
第一去雾模块332'与第一RGB图像输入模块331'连接,用于对RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理,得到无雾的RGB图像的R、G、B通道。暗通道先验算法的去雾模型通过如下去雾公式进行去雾处理,该去雾公式为:
J(c)=(I(c)-A)/max(t4,t0)+1 (式四)
式四中:J(c)为无雾的RGB图像的R、G、B通道,I(c)为RGB图像的R、G、B通道,A为大气光强度值,t0为透射率的限制最小值,t0=0.1,t4为透射率,较佳该透射率t4为经透射率校正单元校正后的透射率。
第一亮度增强模块333'与第一去雾模块332'连接,用于对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理,进而得到无雾的RGB图像。该第一亮度增强模块333'的亮度增强处理所用的公式与透射率校正单元中的亮度增强公式(式三)相同,由于一般去雾后的图像比原图像偏暗,故而对去雾后的图像进行亮度增强处理,得到无雾的RGB图像,该无雾的RGB图像存储在装置30的存储单元内并输出。
作为本发明的再又一较佳实施方式,如图6所示,去雾单元33包括第二RGB图像输入模块331、YUV域转换模块332、第二去雾模块333、第二亮度增强模块334、饱和度增强模块335以及RGB域转换模块336。
第二RGB图像输入模块331与图像输入单元31连接,用于获取与Bayer图像对应的RGB图像。较佳地,该第二RGB图像输入模块331与装置30中的存储单元连接,从存储单元内读取Bayer图像;若图像输入单元31输入的直接为Bayer图像,该第二RGB图像输入模块331读取该Bayer图像并将该Bayer图像内插出RGB图像;若图像输入单元31输入的为RGB图像,则该RGB图像会被存储在存储单元内,第二RGB图像输入模块331可直接读取存储单元内的RGB图像。
YUV域转换模块332与第二RGB图像输入模块331连接,用于将RGB图像转换到YUV域,得到YUV域的亮度Y、色度U和色度V分量。
第二去雾模块333与YUV域转换模块332连接,用于利用透气率和大气光强度值对亮度Y分量通过暗通道先验算法的去雾模型进行去雾处理,该去雾模型的去雾公式为:
y1=(y0-A)/max(t0,t4)+A (式五)
式五中,y1为无雾的亮度Y分量,y0为去雾前的亮度Y分量,A为大气光强度值,t0为透射率的限制最小值,t0=0.1,t4为透射率,较佳该透射率t4为经透射率校正单元校正后的透射率。
第二亮度增强模块334与第二去雾模块333连接,用于对经去雾处理的亮度Y分量进行亮度增强处理,得到经亮度增强处理的亮度Y分量。该第二亮度增强模块334对去雾后的亮度Y分量进行自适应亮度增强处理,自适应亮度增强处理公式为:
y2=y1+(1-y1)*y1*(1-meanlum) (式六)
式六中,y2为经亮度增强处理后的亮度Y分量,y1为式五中得到的无雾的亮度Y分量,meanlum为式五中得到的无雾的亮度Y分量的平均值。
饱和度增强模块335与YUV域转换模块332连接,用于对色度U分量和色度V分量进行饱和度增强处理,得到经饱和度增强处理的色度U分量和色度V分量,由于将亮度Y分量进行去雾和亮度增强后,会降低转换后图像的饱和度,故而利用饱和度增强模块335对色度U分量和色度V分量进行饱和度增强,能够使得图像看起来更自然。饱和度增强处理通过饱和度增强公式来实现,该饱和度增强公式为:
u1=128/255+(u0-128/255)*s
v1=128/255+(v0-128/255)*s (式七)
式七中,u1为经饱和度增强处理的色度U分量,u0为YUV域转换模块332得到的色度U分量,s为饱和度增强系数,一般为大于等于1小于等于2,较佳地该s=1.3,v1为经饱和度增强处理的色度V分量,v0为YUV域转换模块332得到的色度V分量。
RGB域转换模块336与第二亮度增强模块334和饱和度增强模块335连接,用于将将亮度增强处理的亮度Y分量和经饱和度增强处理的色度U分量和色度V分量转换到RGB域从而获得无雾的RGB图像。即利用式六和式七中的y2、u1和v1转为RGB图像,就得到了无雾的彩色图像,该无雾的RGB图像存储在装置30的存储单元内并输出。
在本实施方式中,对YUV域中的亮度Y分量进行了去雾处理,代替了对RGB三通道进行去雾处理,可消除色彩失真及天空区域光晕现象。
下面对本发明提供的图像去雾的方法进行说明。
如图1所示,本发明提供的一种图像去雾的方法,包括如下步骤:
执行步骤S21,获取Bayer格式的Bayer图像;接着执行步骤S22。
执行步骤S22,将Bayer图像转换为灰度图;接着执行步骤S23。
执行步骤S23,选取Bayer图像中的最大像素值作为大气光强度值;接着执行步骤S24。
执行步骤S24,基于透射率估计模型计算得出透射率,根据灰度图和大气光强度值,基于透射率估计模型计算得出透射率;接着执行步骤S25。
执行步骤S25,对RGB图像进行去雾处理,利用透射率和大气光强度值对与Bayer图像对应的RGB图像进行去雾处理,进而得到无雾的RGB图像。
本发明的去雾方法在Bayer格式上统计去雾参数,利用Bayer域代替在RGB域上进行去雾参数统计,统计量小,该去雾参数为大气光强度值和透射率;将Bayer图像转换成灰度图代替最小值滤波得到的暗通道图,相当于对Bayer图做了下采样,运算量小。本发明的去雾方法有效解决了现有的暗通道先验算法中RGB域上统计去雾参数带来的统计量大和最小值滤波带来的运算量大的问题。
作为本发明的一较佳实施方式,获取Bayer格式的Bayer图像的步骤包括:
将输入的有雾的RGB图像转换为Bayer格式的Bayer图像;或者
直接输入用摄像机采集到的Bayer格式的RAW数据。
本发明中的Bayer格式有四种常用格式:GRBG格式、GBRG格式、RGGB格式以及BGGR格式,本发明的Bayer图像可以为上述四种常用格式中的任一种。
作为本发明的另一较佳实施方式,基于透射率估计模型计算得出透射率的步骤S24,包括:
利用透射率计算公式计算透射率,透射率计算公式为:
t(x)=1-cw*gray/A (式一)
式一中:t(x)为透射率,cw为去雾程度系数,取值范围为0~1,gray为灰度图中每一像素点的灰度值,A为大气光强度值,去雾程度系数cw通常选择大于等于0.8,可取0.9,还可以取0.8,该去雾程度系数越大去雾越多,在实际操作中可由用户进行修改指定。
计算时将步骤S23得到的大气光强度值和步骤S22得到的灰度图中的灰度值代入透射率计算公式(即式一)中并计算得出透射率t1。
较佳地,将Bayer图像转换为灰度图的步骤S22通过灰度图转换公式来实现,灰度图转换模块的转换公式为:
gray=(R+Gr+Gb+B)/4 (式二)
式二中,gray为灰度图中每一像素点的灰度值,R、Gr、Gb、B代表Bayer图中四个像素点的值。
利用式二将Bayer图中的四个像素点转换为一个灰度值点(也即灰度图中的一个像素点),相当于对Bayer图像做了下采样,所获得的灰度图中的像素点的数量相当于Bayer图像中像素点数量的四分之一,对得到灰度图的像素点的灰度值可进行存储以备后续步骤读取使用。
步骤23中得到大气光强度值的步骤包括:获取Bayer图像并遍历该Bayer图像中的各个像素点的值,选择最亮的像素点也即最大的像素值作为大气光强度值,并将该大气光强度值进行存储以备后续步骤读取使用。
利用式一计算得出的透射率的数量与灰度图中的像素点的数量相同,可对得到的透射率进行存储。
作为本发明的又一较佳实施方式,在对RGB图像即行去雾处理的步骤S25之前还包括:
对步骤S24得到的透射率t1进行细化处理,得到经细化处理的透射率t2,通过该步骤对所有的透射率进行细化和平滑,该细化处理可以用导向滤波的方式进行,还可以利用软抠图算法或者双边滤波的方式进行。
对经细化处理的透射率t2进行上采样至Bayer图像的大小,得到经上采样的透射率t3;由于将Bayer图像转换为灰度图时进行了下采样,利用上采样单元将细化后的透射率上采样回到原图像大小,也即经过上采样后的透射率的数量与Bayer图像中的像素点的数量相同。
对经上采样的透射率t3进行亮度增强处理以实现透射率的校正,得到亮度增强的透射率t4。由于用Bayer图转成灰度图来代替最小值滤波求得暗通道图,透射率偏小直接恢复出的无雾图像会过暗,故而在进行去雾处理之前对透射率进行亮度增强处理,以解决透射率偏小而导致的图像过暗的问题。透射率通过如下亮度增强公式进行亮度增强处理,该亮度增强公式为:
L1=L+(1-L)*L*m (式三)
式三中,L1为亮度增强处理后的透射率t4,L为经上采样后的透射率t3,m为亮度增强系数,取值范围为0~1,一般去0.8,该m的取值越大恢复出的图像越亮。
作为本发明的再一较佳实施方式,利用透射率和大气光强度值对与Bayer图像对应的RGB图像进行去雾处理的步骤S25,包括:
如图2所示,执行步骤S251',对RGB图像的R、G、B通道进行去雾处理;利用透气率和大气光强度值对RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理,得到无雾的R、G、B通道;接着执行步骤S252'。
执行步骤S252',对无雾的R、G、B通道进行亮度增强处理,对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理。
在步骤S251'中,先获取与Bayer图像对应的RGB图像,较佳地,若步骤S21输入的直接为Bayer图像,则将该Bayer图像内插出RGB图像;若步骤S21输入的为RGB图像,则直接获得该RGB图像。
对RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理,得到无雾的RGB图像的R、G、B通道。暗通道先验算法的去雾模型通过如下去雾公式进行去雾处理,该去雾公式为:
J(c)=(I(c)-A)/max(t4,t0)+1 (式四)
式四中:J(c)为无雾的RGB图像的R、G、B通道,I(c)为RGB图像的R、G、B通道,A为大气光强度值,t0为透射率的限制最小值,t0=0.1,t4为透射率,较佳该透射率t4为亮度增强的透射率t4。
在步骤S252'中,对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理,进而得到无雾的RGB图像。该亮度增强处理所用的公式与上述的亮度增强公式(式三)相同,由于一般去雾后的图像比原图像偏暗,故而对去雾后的图像进行亮度增强处理,得到无雾的RGB图像,对该无雾的RGB图像进行存储并输出。
作为本发明的再又一较佳实施方式,利用透射率和大气光强度值对与Bayer图像对应的RGB图像进行去雾处理的步骤S25,包括:
如图3所示,执行步骤S251,将RGB图像转换到YUV域,得到YUV域的亮度Y、色度U和色度V分量;先获取与Bayer图像对应的RGB图像,较佳地,若步骤S21输入的直接为Bayer图像,则将该Bayer图像内插出RGB图像;若步骤S21输入的为RGB图像,则直接获得该RGB图像。接着执行步骤S252。
执行步骤S252,对亮度Y分量进行去雾处理,利用透气率和大气光强度值对亮度Y分量通过暗通道先验算法的去雾模型进行去雾处理;该去雾模型的去雾公式为:
y1=(y0-A)/max(t0,t4)+A (式五)
式五中,y1为无雾的亮度Y分量,y0为去雾前的亮度Y分量,A为大气光强度值,t0为透射率的限制最小值,t0=0.1,t4为透射率,较佳该透射率t4为亮度增强的透射率t4。接着执行步骤S253。
执行步骤S253,对经去雾处理的亮度Y分量进行亮度增强处理,得到经亮度增强处理的亮度Y分量。对去雾后的亮度Y分量进行自适应亮度增强处理,自适应亮度增强处理公式为:
y2=y1+(1-y1)*y1*(1-meanlum) (式六)
式六中,y2为经亮度增强处理后的亮度Y分量,y1为式五中得到的无雾的亮度Y分量,meanlum为式五中得到的无雾的亮度Y分量的平均值。接着执行步骤S254。
执行步骤S254,对色度U分量和色度V分量进行饱和度增强处理;由于将亮度Y分量进行去雾和亮度增强后,会降低转换后图像的饱和度,故而对色度U分量和色度V分量进行饱和度增强,能够使得图像看起来更自然。饱和度增强处理通过饱和度增强公式来实现,该饱和度增强公式为:
u1=128/255+(u0-128/255)*s
v1=128/255+(v0-128/255)*s (式七)
式七中,u1为经饱和度增强处理的色度U分量,u0为YUV域转换模块332得到的色度U分量,s为饱和度增强系数,一般为大于等于1小于等于2,较佳地该s=1.3,v1为经饱和度增强处理的色度V分量,v0为YUV域转换模块332得到的色度V分量。接着执行步骤S255。
执行步骤S255,将经亮度增强处理的亮度Y分量和经饱和度增强处理的色度U与V分量转换到RGB域从而获得无雾的RGB图像。。即利用式六和式七中的y2、u1和v1转为RGB图像,就得到了无雾的彩色图像,将该无雾的RGB图像进行并输出。
在本实施方式中,对YUV域中的亮度Y分量进行了去雾处理,代替了对RGB三通道进行去雾处理,可消除色彩失真及天空区域光晕现象。
以上结合附图实施例对本发明进行了详细说明,本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而,实施例中的某些细节不应构成对本发明的限定,本发明将以所附权利要求书界定的范围作为本发明的保护范围。
Claims (8)
1.一种图像去雾的方法,其特征在于,包括如下步骤:
获取Bayer格式的Bayer图像;
通过灰度图转换公式将Bayer图像转换为灰度图,所述灰度图转换公式为:
gray=(R+Gr+Gb+B)/4(式二)
式二中,gray为灰度图中每一像素点的灰度值,R、Gr、Gb、B代表Bayer图中四个像素点的值;
选取所述Bayer图像中的最大像素值作为大气光强度值;
根据所述灰度图和所述大气光强度值,基于透射率估计模型计算得出透射率;以及
利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理,进而得到无雾的RGB图像;
基于透射率估计模型计算得出透射率,包括:
利用透射率计算公式计算透射率,所述透射率计算公式为:
t(x)=1-cw*gray/A(式一)
式一中:t(x)为透射率,cw为去雾程度系数,取值范围为0~1,gray为灰度图中每一像素点的灰度值,A为所述大气光强度值。
2.如权利要求1所述的图像去雾的方法,其特征在于,在利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理之前,还包括:
对所述透射率进行细化处理;
对经细化处理的透射率进行上采样至所述Bayer图像的大小;
对经上采样的透射率进行亮度增强处理以实现透射率的校正。
3.如权利要求1所述的图像去雾的方法,其特征在于,利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理,包括:
利用所述透射率和所述大气光强度值对所述RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理;
对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理。
4.如权利要求1所述的图像去雾的方法,其特征在于,利用所述透射率和所述大气光强度值对与所述Bayer图像对应的RGB图像进行去雾处理,包括:
将所述RGB图像转换到YUV域,得到YUV域的亮度Y、色度U和色度V分量;
利用所述透射率和所述大气光强度值对所述亮度Y分量通过暗通道先验算法的去雾模型进行去雾处理;
对经去雾处理的亮度Y分量进行亮度增强处理;
对所述色度U分量和所述色度V分量进行饱和度增强处理;
将经亮度增强处理的亮度Y分量和经饱和度增强处理的色度U与V分量转换到RGB域从而获得无雾的RGB图像。
5.一种图像去雾的装置,其特征在于,包括:
图像输入单元,用于输入Bayer格式的Bayer图像;
与所述图像输入单元连接的透射率计算单元,用于通过灰度图转换公式将所述图像输入单元输入的Bayer图像转换为灰度图,所述灰度图转换公式为:
gray=(R+Gr+Gb+B)/4(式二)
式二中,gray为灰度图中每一像素点的灰度值,R、Gr、Gb、B代表Bayer图中四个像素点的值,还用于获取所述Bayer图像中的最大像素值作为大气光强度值,并根据所述灰度图和所述大气光强度值基于透射率估计模型计算得出透射率;以及
与所述图像输入单元和所述透射率计算单元连接的去雾单元,用于利用所述透射率和所述大气光强度值对所述Bayer图像对应的RGB图像进行去雾处理,进而得到无雾的RGB图像;
所述透射率计算单元包括计算模块和存储所述透射率估计模型的存储模块,所述计算模块与所述存储模块连接;
所述透射率估计模型包括透射率计算公式,所述透射率计算公式为:
t(x)=1-cw*gray/A(式一)
式一中:t(x)为透射率,cw为去雾程度系数,取值范围为0~1,gray为灰度图中每一像素点的灰度值,A为所述大气光强度值;
所述计算模块将所述大气光强度值和所述灰度图中的灰度值代入所述透射率计算公式中并计算得出所述透射率。
6.如权利要求5所述的图像去雾的装置,其特征在于,还包括与所述透射率计算单元连接的细化处理单元、上采样单元以及透射率校正单元;
所述细化处理单元用于对所述透射率计算单元计算得出的透射率进行细化处理,得到经细化处理的透射率;
所述上采样单元与所述细化处理单元连接,用于对经细化处理的透射率进行上采样至所述Bayer图像的大小,得到经上采样的透射率;
所述透射率校正单元与所述上采样单元连接,用于对经上采样的透射率进行亮度增强处理以得到经校正的透射率,并将经校正的透射率发送给所述去雾单元。
7.如权利要求5所述的图像去雾的装置,其特征在于,所述去雾单元包括第一RGB图像输入模块、第一去雾模块以及第一亮度增强模块;
所述第一RGB图像输入模块与所述图像输入单元连接,用于获取与所述Bayer图像对应的RGB图像;
所述第一去雾模块与所述第一RGB图像输入模块连接,用于对所述RGB图像的R、G、B通道通过暗通道先验算法的去雾模型进行去雾处理,得到无雾的RGB图像的R、G、B通道;
所述第一亮度增强模块与所述第一去雾模块连接,用于对所获得的无雾的RGB图像的R、G、B通道进行亮度增强处理,进而得到无雾的RGB图像。
8.如权利要求5所述的图像去雾的装置,其特征在于,所述去雾单元包括第二RGB图像输入模块、YUV域转换模块、第二去雾模块、第二亮度增强模块、饱和度增强模块以及RGB域转换模块;
所述第二RGB图像输入模块与所述图像输入单元连接,用于获取与所述Bayer图像对应的RGB图像;
所述YUV域转换模块与所述第二RGB图像输入模块连接,用于将所述RGB图像转换到YUV域,得到YUV域的亮度Y、色度U和色度V分量;
所述第二去雾模块与所述YUV域转换模块连接,用于利用所述透射率和所述大气光强度值对所述亮度Y分量通过暗通道先验算法的去雾模型进行去雾处理;
所述第二亮度增强模块与所述第二去雾模块连接,用于对经去雾处理的亮度Y分量进行亮度增强处理,得到经亮度增强处理的亮度Y分量;
所述饱和度增强模块与所述YUV域转换模块连接,用于对所述色度U分量和所述色度V分量进行饱和度增强处理,得到经饱和度增强处理的色度U分量和色度V分量;
所述RGB域转换模块与所述第二亮度增强模块和所述饱和度增强模块连接,用于将经亮度增强处理的亮度Y分量和经饱和度增强处理的色度U与V分量转换到RGB域从而获得无雾的RGB图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711381059.XA CN107862672B (zh) | 2017-12-20 | 2017-12-20 | 图像去雾的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711381059.XA CN107862672B (zh) | 2017-12-20 | 2017-12-20 | 图像去雾的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107862672A CN107862672A (zh) | 2018-03-30 |
CN107862672B true CN107862672B (zh) | 2020-06-09 |
Family
ID=61707217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711381059.XA Active CN107862672B (zh) | 2017-12-20 | 2017-12-20 | 图像去雾的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107862672B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522941B (zh) * | 2018-10-28 | 2022-11-29 | 北京工业大学 | 一种基于图像的大气光强估计方法 |
CN109961412A (zh) * | 2019-03-18 | 2019-07-02 | 浙江大华技术股份有限公司 | 一种视频帧图像去雾方法及设备 |
CN111738928B (zh) * | 2020-04-30 | 2021-04-13 | 南京图格医疗科技有限公司 | 一种基于概率优化和神经网络的内窥镜去雾方法 |
US11803942B2 (en) | 2021-11-19 | 2023-10-31 | Stmicroelectronics (Research & Development) Limited | Blended gray image enhancement |
CN116912132B (zh) * | 2023-09-11 | 2023-12-26 | 归芯科技(深圳)有限公司 | Bayer域3DNR图像去噪方法及其装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101190286B1 (ko) * | 2011-01-05 | 2012-10-12 | 중앙대학교 산학협력단 | 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법 |
CN102938136A (zh) * | 2012-07-19 | 2013-02-20 | 中国人民解放军国防科学技术大学 | 基于Bayer格式的单幅图像快速去雾方法 |
CN102930514B (zh) * | 2012-09-27 | 2015-04-08 | 西安电子科技大学 | 基于大气物理散射模型的快速图像去雾方法 |
CN106657948A (zh) * | 2017-01-18 | 2017-05-10 | 聚龙智瞳科技有限公司 | 低照度Bayer图像的增强方法及增强装置 |
CN107451966B (zh) * | 2017-07-25 | 2021-05-11 | 四川大学 | 一种采用灰度图引导滤波实现的实时视频去雾方法 |
-
2017
- 2017-12-20 CN CN201711381059.XA patent/CN107862672B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107862672A (zh) | 2018-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107862672B (zh) | 图像去雾的方法及装置 | |
CN110148095B (zh) | 一种水下图像增强方法及增强装置 | |
CN105850114B (zh) | 用于图像的逆色调映射的方法 | |
CN101340511B (zh) | 一种基于亮度检测的自适应视频图像增强方法 | |
JP5144202B2 (ja) | 画像処理装置およびプログラム | |
KR101007101B1 (ko) | 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템 | |
CN106897981A (zh) | 一种基于引导滤波的低照度图像增强方法 | |
CN101626454B (zh) | 一种增强视频可视性的方法 | |
CN106454014B (zh) | 一种提高逆光场景车辆抓拍图像质量的方法及装置 | |
CN109816608B (zh) | 一种基于噪声抑制的低照度图像自适应亮度增强方法 | |
CN111429370A (zh) | 一种煤矿井下的图像增强方法、系统及计算机存储介质 | |
CN111127340B (zh) | 一种图像去雾方法 | |
CN103702116B (zh) | 一种图像的宽动态压缩方法和装置 | |
CN109886906B (zh) | 一种细节敏感的实时弱光视频增强方法和系统 | |
CN105809643A (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
CN110891138A (zh) | 黑光全彩实现方法和黑光全彩摄像机 | |
CN108093175A (zh) | 一种实时高清视频自适应去雾方法及装置 | |
CN116823628A (zh) | 一种图像处理方法和图像处理装置 | |
CN113658043A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
CN110580690B (zh) | 一种识别峰值变换非线性曲线的图像增强方法 | |
CN107358592B (zh) | 一种迭代式全局自适应图像增强方法 | |
CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 | |
CN115330621A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN111028184B (zh) | 一种图像增强方法及系统 | |
CN111031301A (zh) | 一种色域空间调整的方法、存储设备及显示终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |