CN107895357A - 一种基于fpga的实时水面浓雾场景图像增强方法 - Google Patents

Abstract

本发明涉及一种基于FPGA的实时水面浓雾场景图像增强方法，包括以下步骤：第一，对输入图像进行自动白平衡校正；第二，对白平衡校正之后的数据进行色彩空间变换；第三，利用暗原色先验理论，估计大气光强A与透射率t(x)；第四，对RGB三个通道数据分别进行去雾处理；第五，对去雾之后的RGB通道进行亮度校正；第六，对自动白平衡校正之后的图像进行细节保持的对比度增强；第七，对第五步和第六步得到的图像进行图像融合；第八，对融合之后的图像进行色彩空间逆变换，由RGB色彩空间变为原始输入的色彩空间。本发明具有针对水面浓雾场景的去雾效果，可以显著增强图像细节和对比度，增强了在水面浓雾的情况下发现和识别目标的能力，使视频更适宜人眼观看。

Description

一种基于FPGA的实时水面浓雾场景图像增强方法

技术领域

本发明涉及一种基于FPGA的实时水面浓雾场景图像增强方法，针对水面水雾浓度大，图像降质严重的问题，通过融合求解大气散射物理模型方法与对比度增强方法实现对图像的清晰化处理，属于图像处理、机器视觉领域。

背景技术

随着计算机视觉系统的发展及其在军事、交通以及安全监控等领域的应用，图像增强已成为计算机视觉的重要研究方向。在海面或者水面成像时，因为水雾比较严重，图像会由于大气散射的作用而被严重降质，使图像颜色偏灰白色，对比度降低，物体特征难以辨认，不仅使视觉效果变差，图像观赏性降低，还会影响图像后期的处理，更会影响各类依赖于光学成像仪器的系统工作，如卫星遥感系统、航拍系统和目标识别系统等。

目前，浓雾降质图像的清晰化算法所采取的方法主要有两类，一类是基于物理模型的雾天退化图像复原方法，从物理成因的角度对大气散射作用进行建模分析，从而实现场景复原。大气散射模型是雾天图像呈现模糊、低对比度等特点的理论基础，是了解雾天图像的成像机理、还原大气退化图像的主要依据。另一类是从图像呈现的低亮度和低对比度的特征考虑，从图像处理角度对雾天降质图像实现对比度增强的方法。图像增强处理则不考虑退化原因，按照特定需要突出图像中的某些信息，同时削弱或去除某些不需要的信息，使信息熵达到最大，实现整个图像的对比度增强。

去雾方法的研究是目前机器视觉领域的热点之一，吸引了国内外多家研究机构的关注；2009年发表于国际顶级会议CVPR的文献《Single Image Haze Removal Using DarkChannel Prior》对去雾方法进行了研究，取得了较好的实际效果，但是由于天空区域不满足暗原色先验，该方法对于存在大面积天空的雾化图像处理时，出现失真，同时文章提出的计算透射率的soft matting方法虽然能够得到较为精细的透射率图，但是计算复杂，无法满足实时性的要求。

专利CN106023118A提出一种图像去雾方法及其在FPGA上的实现方法，虽然实现了有雾场景的实时去雾功能，但是并没有对图像的对比度与目标边缘进行处理，图像仍然会存在对比度低，目标边缘模糊的问题。本发明在去除浓雾的同时，增强图像的对比度，增强目标的边缘信息，使得处理后的图像更加清晰，更加适于人眼观看。

发明内容

本发明解决的技术问题是：针对水面水雾浓度大，图像降质严重的问题，提供一种基于 FPGA的实时水面浓雾场景图像增强方法，具有针对水面浓雾的去雾效果，可以显著增强图像细节和对比度，可以增强在水面浓雾的情况下发现和识别目标的能力，也使视频更适宜人眼观看。

本发明的技术解决方案：一种基于FPGA的实时水面浓雾场景图像增强方法，包括以下步骤：

步骤一：对输入图像进行自动白平衡校正，防止因颜色偏差导致增强失败；

步骤二：对白平衡校正之后的数据进行色彩空间变换，由其他色彩空间转换到RGB色彩空间，方便后面对图像进行处理；

步骤三：将色彩空间转换之后的数据分为四个部分，第一部分进行保持细节的对比度增强；第二部分为RGB三个通道的原始数据，用于后面去雾处理；第三部分计算暗通道先验信息，用于估计大气光强和透射率；第四部分计算亮通道信息，用于进行亮度校正；

步骤四：利用步骤三中的暗通道先验信息，估计大气光强A与透射率t(x)；

步骤五：根据步骤四计算的大气光强A与透射率t(x)，对RGB三个通道数据分别进行去雾处理；

步骤六：利用步骤三中的亮度通道信息计算亮度均值，对去雾之后的RGB通道进行亮度校正，抑制高亮度区域亮度，提升低亮度区域亮度；

步骤七：对步骤二的自动白平衡校正之后的图像进行细节保持的对比度增强，可使图像的细节部分变得明显，突出物体的轮廓，并整体提升图像增强的效果；

步骤八：对经过步骤六、步骤七处理的图像进行图像融合，在有效去除水面浓雾的情况下避免了Halo的出现和损失细节，得到的结果图像同时具有亮暗区域增强与细节增强的自然效果；

步骤九：最后对步骤八处理之后的图像进行色彩空间逆变换，由RGB色彩空间变为原始输入的色彩空间，完成对图像的增强操作。

所述步骤六中，具体实现为：

选定图像块亮度均值为：

其中R，G，B分别表示图像红色通道，绿色通道，蓝色通道的亮度值，m表示选定图像块横坐标方向像素个数，n表示选定图像块纵坐标方向像素个数；

统计校正前图像亮度均值L_{mean_curr}，目标亮度均值L_{mean_targ}设为128，亮度校正增益即gain＝L_{mean_targ}/L_{mean_curr}，将gain乘以RGB通道的各像素上，完成RGB通道的亮度校正：

I_gain＝I*_gain

其中I_gain为校正之后的图像数据，I表示校正之前的图像数据。

所述步骤七中，对自动白平衡校正之后的图像进行细节保持的对比度增强的具体过程为：

(1)在每个像素点p，测量有用细节的细节增益因子为：

其中std(i,j)是以为(i,j)中心的5×5邻域内的标准方差，(i,j)为像素点p的坐标；

(2)图像高频细节的场景反射率为：

R＝I/(L+c)

其中L为图像照度分量，c取0.01，避免分母为0；

(3)结合步骤(1)与(2)中的计算结果，高频细节分量通过下式进行增强：

D_en＝R^p

其中D_en为图像增强之后的高频细节分量，R为步骤(2)中计算的图像高频细节的场景反射率，p为步骤(1)中计算的图像细节增益因子；

(4)采用以步骤(3)中D_en为因子的灰调映射方法来改善亮度区域的对比度：

其中I_{bright_en}为改善对比度之后的图像。

所述步骤八中，图像融合的过程为：

通过如下式加权融合方法，得到符合视觉感受且对比度得到增强的图像，

I_en＝a·I_{bright_en}+(1-a)·I_gain

其中I_en表示融合之后的图像，I_{bright_en}改善对比度之后的图像，I_gain为图像亮度校正之后的图像，a参数，取值范围0～1，用来控制融合图像的细节与明暗比例，a的值越大细节越丰富，a的值越小，图像的亮度越适中。

本发明与现有技术相比的优点在于：

(1)本发明综合两种主流的图像增强方法，提出的一种基于FPGA的实时水面浓雾场景图像增强方法，能够有效去除水面浓雾的影响，达到在细节增强的同时又能避免产生Halo、细节损失和过增强等不良效果，使结果图像保持视觉自然感。

(2)本发明具有针对水面浓雾的去雾效果，可以显著增强图像细节和对比度，增强了在水面浓雾的情况下发现和识别目标的能力，也使视频更适宜人眼观看。

附图说明

图1为本发明一种基于FPGA的实时水面浓雾场景图像增强方法算法流程图；

图2为本发明一种基于FPGA的实时水面浓雾场景图像增强方法的仿真效果图，其中，a图为增强之前的有雾图像，b图为a图增强之后的效果图。

具体实施方式

下面结合附图及实例对本发明进行详细说明。

如图1所示，本发明具体实现步骤如下(以下以飞行器吊舱电视电子组件为例来说明方法的具体实现)：

(1)对输入图像进行自动白平衡校正，防止因颜色偏差导致后端增强失败；本发明采用灰度世界和完美反射理论正交组合算法QCGP(Quadratic Combining GW&PR)。步骤如下：

首先找出图像的三种颜色分量的均值(R_mean、G_mean、B_mean)和最大值(R_max、G_max、B_max)。然后建立下式的二次方程，以下为R分量的方程：

求出满足上式的方程的μ、ν的值，然后按下式进行自动白平衡：

μ、ν表示参数，R_B表示原像素值，R_A表示白平衡之后的像素值，K_mean表示三种颜色分量均值的均值，K_max表示三种颜色分量最大值的均值，G和B的公式类似得到。

(2)进行色彩空间的转换，由YCbCr色彩空间转换到RGB色彩空间，方便后面对图像进行处理，转换公式如下：

B＝1.164(Y-16)+2.018(Cb-128)

G＝1.164(Y-16)-0.813(Cr-128)-0.391(Cb-128)

R＝1.164(Y-16)+1.596(Cr-128)

R表示红色通道信息，G表示绿色通道信息，B表示蓝色通道信息，Y表示RGB信号亮度信息，Cr表示RGB输入信号红色部分与RGB信号亮度值之间的差异，Cb表示RGB 输入信号蓝色部分与RGB信号亮度值之间的差异。

(3)利用暗原色先验理论，估计大气光强A与透射率t(x)；

第一步，对于像素点x，原始图像J(x)的降质模型为：

I(x)＝J(x)t(x)+A(1-t(x))

其中I(x)表示有雾图像，J(x)表示原始无雾图像，t(x)表示透射率，A表示大气光强度。图像降质程度与距离有关，远距离降质图像可以看成是在原始清晰图像上不同局部区域都掩盖了一层了均匀的雾，因此图像去雾算法通常假设图像局部景深相同，即t(x)通过局部图像块求取，而大气光强度A为常量。

第二步，可对每个像素点处J(x)的求解过程进行简化：

其中C＝A(1-t(x))。

第三步，利用暗通道先验算法，计算暗通道图像，并且通过选取暗通道中亮度最高的0.1％的像素值对应位置原始图像亮度值作为大气光强度A的估计值；

其中I^dark(x)表示暗通道图像，I^c(y)表示彩色图像的每个通道，Ω(x)表示以像素x为中心的图像块，c表示图像的r,g,b三个彩色通道。表示暗通道中亮度最高的0.1％的像素值，I(x)表示原始输入图像，A^c与A均表示大气光强度；

第四步，通过上述计算的大气光强A，则透射率t(x)的估计公式为：

其中ω＝0.95，在现实生活中，即使是晴天，空气中也存在着一些颗粒，因此，有必要在去雾的时候保留一定程度的雾，这可以引入一个在[0,1]之间的因子ω。

(4)利用(3)求得的大气光强A与透射率t(x)，对RGB三个通道数据分别进行去雾处理；通过上述计算求得t(x)、A，对图像进行去雾处理，具体为：

其中，x表示图像上像素点位置坐标，I(x)表示带雾图像，t(x)表示透射率，t₀表示透射率下限，J(x)表示要恢复的无雾图像，A表示大气光强度，A₀表示大气光强上限；当透射率图t(x)的值很小时，会导致J(x)的值偏大，从而使得图像整体偏白，为了避免这一问题，设置一个阈值t₀，当t(x)值小于t₀时，采用t₀进行运算；当大气光强度A的值很大时，会导致处理后的图像偏色并且出现大量色斑，为了避免这一问题，设置一个阈值A₀，当A值大于A₀时，采用A₀进行运算。t₀选取0.1，A₀为220。

(5)用图像亮度通道信息计算的亮度均值对去雾之后的RGB通道进行亮度校正，抑制高亮度区域亮度，提升低亮度区域亮度；选定图像块的亮度均值为：

其中R，G，B分别表示图像红色通道，绿色通道，蓝色通道的亮度值，m表示选定图像块横坐标方向像素个数，n表示选定图像块纵坐标方向像素个数；

统计校正前图像亮度均值L_{mean_curr}，目标亮度均值L_{mean_targ}设为128，亮度校正增益即gain＝L_{mean_targ}/L_{mean_curr}，将gain乘以RGB通道的各像素上，完成RGB通道的亮度校正：

I_gain＝I*_gain

其中I_gain为亮度校正之后的图像数据，I表示亮度校正之前的图像数据。

(6)对自动白平衡校正之后的图像进行细节保持的对比度增强，可使图像的细节部分变得明显，突出物体的轮廓，并整体提升图像增强的效果。通常亮区域具有如下的特性：含有大部分光照良好的显著细节；过饱和区域一般很难恢复出细节；细节受噪声的干扰极小。

(a)首先，为了保护亮区域细节，在每个像素点p，测量有用细节的细节增益因子为：

其中std(i,j)是以为(i,j)中心的5×5邻域内的标准方差，(i,j)为像素点p的坐标；

(b)图像高频细节的场景反射率为：

R＝I/(L+c)

其中L为图像照度分量，c取0.01，避免分母为0；

(c)结合(a)与(b)中的计算结果，高频细节分量通过下式进行增强：

D_en＝R^p

其中D_en为图像增强之后的高频细节分量，R为(b)中计算的图像高频细节的场景反射率，p为(a)中计算的图像细节增益因子；

(d)采用以(c)中D_en为因子的灰调映射方法来改善亮度区域的对比度：

其中I_{bright_en}为改善对比度之后的图像。

(7)对(5)和(6)得到的图像进行图像融合，在有效去除水面的浓雾的同时避免了Halo的出现和损失细节，使结果图像同时具有亮暗区域都得到增强的自然效果。对于不同的应用，亮区域包含了比较良好的细节，为视觉显著区域，而暗区域则需要通过调整动态范围来突显细节，视觉显著性弱。图像融合的过程为：

通过如下式简单的加权融合方法，得到符合视觉感受且对比度得到增强的图像，

I_en＝a·I_{bright_en}+(1-a)·I_gain

其中I_en表示融合之后的图像，I_{bright_en}改善对比度之后的图像，I_gain为亮度校正之后的图像，a参数，取值范围0～1，用来控制融合图像的细节与明暗比例，a的值越大细节越丰富，a的值越小，图像的亮度越适中。

(8)最后对(7)处理之后的图像进行色彩空间逆变换，由RGB色彩空间变为原始输入的色彩空间，完成基于FPGA的实时水面浓雾场景图像增强功能。

图2即为仿真测试图，a图为增强前图像，有浓雾，对比度低，建筑物轮廓模糊不清，b 图为本发明增强后的图像，对比度高，建筑物轮廓清晰，更适合人眼观看。可见，本发明具有针对水面浓雾的去雾效果，显著增强图像细节和对比度，增强在水面浓雾的情况下发现和识别目标的能力。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于FPGA的实时水面浓雾场景图像增强方法，其特征在于：包括以下步骤：

步骤一：对输入图像进行自动白平衡校正；

步骤二：对白平衡校正之后的数据进行色彩空间变换，由其他色彩空间转换到RGB色彩空间；

步骤三：将色彩空间转换之后的数据分为四个部分，第一部分进行保持细节的对比度增强；第二部分为RGB三个通道的原始数据，用于后面去雾处理；第三部分计算暗通道先验信息，用于估计大气光强和透射率；第四部分计算亮通道信息，用于进行亮度校正；

步骤四：利用步骤三中的暗通道先验信息，估计大气光强A与透射率t(x)；

步骤五：根据步骤四计算的大气光强A与透射率t(x)，对RGB三个通道数据分别进行去雾处理；

步骤六：利用步骤三中的亮度通道信息计算亮度均值，对去雾之后的RGB通道进行亮度校正，抑制高亮度区域亮度，提升低亮度区域亮度；

步骤七：对步骤二的自动白平衡校正之后的图像进行细节保持的对比度增强，可使图像的细节部分变得明显，突出物体的轮廓；

步骤八：对经过步骤六、步骤七处理的图像进行图像融合，得到的结果图像同时具有亮暗区域增强与细节增强的自然效果；

步骤九：最后对步骤八处理之后的图像进行色彩空间逆变换，由RGB色彩空间变为原始输入的色彩空间。

2.根据权利要求1所述的基于FPGA的实时水面浓雾场景图像增强方法，其特征在于：所述步骤六中，具体实现为：

选定图像块亮度均值为：

<mrow> <msub> <mi>L</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mo>_</mo> <mi>c</mi> <mi>u</mi> <mi>r</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </munder> <mfrac> <mrow> <mo>(</mo> <mi>R</mi> <mo>+</mo> <mi>B</mi> <mo>+</mo> <mi>G</mi> <mo>)</mo> </mrow> <mn>3</mn> </mfrac> </mrow>

其中R，G，B分别表示图像红色通道，绿色通道，蓝色通道的亮度值，m表示选定图像块横坐标方向像素个数，n表示选定图像块纵坐标方向像素个数；

统计校正前图像亮度均值L_{mean_curr}，目标亮度均值L_{mean_targ}设为128，亮度校正增益即gain＝L_{mean_targ}/L_{mean_curr}，将gain乘以RGB通道的各像素上，完成RGB通道的亮度校正：

I_gain＝I*gain

其中I_gain为校正之后的图像数据，I表示校正之前的图像数据。

3.根据权利要求1所述的基于FPGA的实时水面浓雾场景图像增强方法，其特征在于：所述步骤七中，对自动白平衡校正之后的图像进行细节保持的对比度增强的具体过程为：

(1)在每个像素点p，测量有用细节的细节增益因子为：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0.1</mn> <mo>*</mo> <msqrt> <mrow> <mi>s</mi> <mi>t</mi> <mi>d</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow>

其中std(i,j)是以为(i,j)中心的5×5邻域内的标准方差，(i,j)为像素点p的坐标；

(2)图像高频细节的场景反射率为：

R＝I/(L+c)

其中L为图像照度分量，c取0.01，避免分母为0；

(3)结合步骤(1)与(2)中的计算结果，高频细节分量通过下式进行增强：

D_en＝R^p

其中D_en为图像增强之后的高频细节分量，R为步骤(2)中计算的图像高频细节的场景反射率，p为步骤(1)中计算的图像细节增益因子；

(4)采用以步骤(3)中D_en为因子的灰调映射方法来改善亮度区域的对比度：

<mrow> <msub> <mi>I</mi> <mrow> <mi>bright</mi> <mo>_</mo> <mi>en</mi> </mrow> </msub> <mo>=</mo> <msup> <mi>I</mi> <msub> <mi>D</mi> <mi>en</mi> </msub> </msup> </mrow>

其中I_{bright_en}为改善对比度之后的图像。

4.根据权利要求1所述的基于FPGA的实时水面浓雾场景图像增强方法，其特征在于：所述步骤八中，图像融合的过程为：

通过如下式加权融合方法，得到符合主观视觉感受且对比度得到增强的图像，

I_en＝a·I_{bright_en}+(1-a)·I_gain

其中I_en表示融合之后的图像，I_{bright_en}改善对比度之后的图像，I_gain为图像亮度校正之后的图像，a参数，取值范围0～1，用来控制融合图像的细节与明暗比例，a的值越大细节越丰富，a的值越小，图像的亮度越适中。