CN109242805A - 一种基于独立分量分析的单幅图像雾霾快速去除方法 - Google Patents

Abstract

本发明公开了一种基于独立分量分析的单幅图像雾霾快速去除方法，对雾霾降质图像进行形态学腐蚀后，鉴于无雾图像应满足晴天图像的暗通道先验统计规律，根据暗通道图生成雾霾大气粒子传播特性曲面，然后基于独立分量分析将有雾图像的各颜色空间分量与雾霾传播特性曲面作为独立分量进行数据融合与解混分离，得到消除雾霾后的清晰图像。本发明以雾霾大气粒子散射模型为处理依据，生成雾霾大气粒子传播特性曲面进行雾霾去除，具有正确的理论模型基础；基于独立分量分析进行雾霾分量与无雾颜色空间分量的分离，无需进行精细化软抠图、图像分割处理等耗时操作，大幅提高了计算效率；针对雾霾降质图像去除雾霾的效果好、图像细节增强显著、颜色保真度高。

Description

一种基于独立分量分析的单幅图像雾霾快速去除方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于独立分量分析的单幅图像雾霾快速去除方法。

背景技术

雾霾天气下，由于大气粒子的散射作用，一方面部分表面的反射光因散射而损失，使得到达观测点的光强降低，并随着传播距离的增大而呈指数衰减；另一方面，大气粒子的散射作用还来自附加在目标图像上的大气光，使大气光表现出光源的特性，且环境光的强度随着传播距离的增加而逐渐增强；以上两方面的作用导致雾霾天图像的对比度、颜色等特征衰减明显。

现有的单幅图像去除雾霾研究成果主要分为两类，一是基于非模型的雾霾去除方法，又称为图像增强法，在雾霾去除处理时不考虑图像退化的原因和光学成像过程，只采用图像增强手段来改善视觉效果，这类方法缺乏理论模型的支撑；二是基于模型的雾霾去除方法，利用图像退化机理和大气传播先验知识，通过估算景物的反射率来推断反射光线在空气中传播时的透射率并采用软抠图等精细化算法实现图像雾霾去除，这类方法需要开展大规模稀疏矩阵运算，具有较高的时间复杂度和空间复杂度，不适用于自动驾驶，移动机器人导航与视觉伺服系统等对实时性要求高的领域。

发明内容

针对现有技术中的上述不足，本发明提供的基于独立分量分析的单幅图像雾霾快速去除方法解决了基于非模型的雾霾去除方法中缺乏理论模型支撑和基于模型的雾霾去除方法需要开展大规模稀疏矩阵运算，具有较高的时间复杂度和空间复杂度的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于独立分量分析的单幅图像雾霾快速去除方法，包括以下步骤；

S1、在雾霾天采集含有雾霾的雾霾降质图像，并对其进行形态学腐蚀处理；

S2、对形态学腐蚀处理后的图像计算生成暗通道图像；

S3、根据生成的暗通道图像进行径向基函数插值拟合，得到雾霾大气粒子传播特性曲面；

S4、将雾霾大气粒子传播曲面的数据和雾霾降质图像的各颜色空间分量数据分别转换为一维矢量；

S5、将雾霾大气粒子传播曲面的一维矢量与有雾图像各颜色空间分量的一维矢量进行线性组合，得到观测数据矩阵；

S6、基于独立分量分析对观测数据矩阵进行雾霾分量与无雾颜色空间分量的分离，得到各个颜色空间的雾霾分量一维矢量和无雾霾图像分量一维矢量；

S7、将各个颜色空间的无雾霾图像分量一维矢量进行维度变换与颜色空间融合，得到去除雾霾的清晰图像。

进一步地，所述步骤S1中；

对雾霾降质图像进行形态学腐蚀处理时，将雾霾降质图像I中的结构元素确定为并去掉尺寸小于的局部孤立亮点；

其中，进行形态学腐蚀处理的公式为：

其中，I’为形态学腐蚀处理后的图像；

为图像形态学腐蚀操作运算符。

进一步地，所述步骤S2中，计算生成的暗通道图像中各个像素点z的取值I^dark(z)为：

其中，I^c(q)为雾霾降质图像I在颜色通道c中坐标q处的取值；

c∈{r，g，b}，对应于雾霾降质图像的红、绿和蓝颜色空间；

Ω(z)为以z为中心的局部区域。

进一步地，所述步骤S3中进行径向基函数插值拟合的函数表达式为：

其中，h(z)为得到的雾霾大气粒子传播特性曲面；

c₀、c₁和λ_i为拟合系数；

z_i为观测的n个数据点集；

为径向基函数，且r为空间点z与z_i之间的距离。

进一步地，所述步骤S4中，雾霾大气粒子传播特性曲面的数据和雾霾降质图像各颜色空间分量数据均为二维矩阵的数据形式，将其转换为一维矢量的方法具体为：

按照各二维矩阵中数据顺序不变，下一行与上一行首尾相连的方式，将雾霾大气粒子传播特性曲面的数据和雾霾降质图像各颜色空间分量数据分别转换为一维矢量形式，生成一维矢量x_h、x_r、x_g和x_b。

进一步地，所述步骤S5中，对一维矢量x_r、x_g、x_b和x_h进行线性组合分别得到：

红色空间观测数据矩阵：X_r＝[x_r；x_h]；

绿色空间观测数据矩阵：X_g＝[x_g；x_h]；

蓝色空间观测数据矩阵：X_b＝[x_b；x_h]。

进一步地，所述步骤S6中采用自适应滑动平均方法实现独立分量分析，进行雾霾分量与无雾颜色空间分量的分离方法具体为；

S61、确定雾霾降质图像的行数为n，列数为m，滑动平均窗口长度为h；

S62、分别确定各颜色空间的代价函数，并对代价函数进行微分运算；

S63、令代价函数微分运算结果为零，得到使分离结果与独立源信号分量的估计误差最小的各颜色通道解混分离矩阵；

S64、根据数据观测矩阵和各颜色通道解混分离矩阵得到雾霾分量与无雾颜色空间分量的分离结果。

进一步地，所述步骤S62中：

代价函数为：

其中，W_x为解混分离矩阵，x为r，g或b，分别对应红色空间、绿色空间和蓝色空间；

C_x为第一中间过程矩阵，且C_x＝X_xX_x ^T；

B_x为第二中间过程矩阵，且

其中，为各颜色通道观测信号的滑动平均值，且X_r(t)、X_r(t-τ)分别为第t个、第t-τ个观测值；

上标T为转置操作运算符；

所述步骤S62中：

对代价函数进行微分运算的结果为：

所述步骤S63中：

令代价函数微分运算的结果为零，得到各颜色通道解混分离矩阵W_x；

所述步骤S64中，雾霾分量与无雾颜色空间分量的分离结果Y_x为：

Y_x＝W_xX_x＝[y_x；y_hx]

其中，红色空间中雾霾分量与无雾颜色空间分量的分离结果Y_r为：

Y_r＝W_rX_r＝[y_r；y_hr]

y_hr为红色空间雾霾分量一维矢量；

y_r为红色空间无雾图像分量一维矢量；

y_r＝[R₁₁R₁₂...R_1mR₂₁R₂₂...R_2m...R_n1R_n2...R_nm]

绿色空间中雾霾分量与无雾颜色空间分量的分离结果Y_g为：

Y_g＝W_gX_g＝[y_g；y_hg]

y_hg为绿色空间雾霾分量一维矢量；

y_g为绿色空间无雾图像分量一维矢量；

y_g＝[G₁₁G₁₂...G_1mG₂₁G₂₂...G_2m...G_n1G_n2...G_nm]

蓝色空间中雾霾分量与无雾颜色空间分量的分离结果Y_b为：

Y_b＝W_bX_b＝[y_b；y_hb]

y_hb为蓝色空间雾霾分量一维矢量；

y_b为蓝色空间无雾图像分量一维矢量；

y_b＝[B₁₁B₁₂...B_1mB₂₁B₂₂...B_2m...B_n1B_n2...B_nm]；

其中，R_nm、G_nm为和B_nm分别为图像在像素点(n，m)处的红、绿、蓝颜色刺激值。

进一步地，所述步骤S7具体为：

将r、g、b颜色空间的无雾图像分量一维矢量按照雾霾降质图像分别转换为二维矩阵R、G和B，并进行颜色空间融合，得到去除雾霾的清晰图像{R；G；B}；

其中，转换为二维矩阵R、G和B的表达式分别为：

本发明提供的基于独立分量分析的单幅图像雾霾快速处理方法具有以下优点：

(1)以雾霾大气粒子散射模型为图像处理依据，生成雾霾大气粒子传播特征曲面进行雾霾去除，具有正确的理论模型基础；

(2)基于独立分量分析进行雾霾分量与无雾霾颜色空间分量的分离，不需要进行精细化软抠图、图像分割处理等耗时操作，可以大幅提高计算效率；

(3)针对单幅图像去除雾霾效果好、图像细节增强显著、颜色保真度高。

附图说明

图1为本发明提供的实施例中基于独立分量分析的单幅图像雾霾去除方法实现流程图；

图2为本发明提供的实施例中雾霾降质图像示意图。

图3为本发明提供的实施例中生成的腐蚀化暗通道图像示意图。

图4为本发明提供的实施例中生成的雾霾大气粒子传播特性曲面示意图。

图5为本发明提供的实施例分离所得颜色空间雾霾分量与无雾图像分量示意图。

图6为本发明提供的实施例中去除雾霾后的清晰图像。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

理论上，雾霾天气的大气散射模型为：

I(z)＝t(z)J(z)+[1-t(z)]A(z)

其中I(z)为观测点z＝(x，y)接收到的光强，

t(z)为雾气传播图，

A(z)为大气光值，

J(z)为雾霾去除后的图像。

消除雾霾的目的在于通过对原有雾图像的处理得到近似于在晴朗环境下拍摄的图像，所以雾霾去除后的图像应满足一般晴天图像的暗通道先验统计规律。根据暗通道图生成雾霾大气粒子传播特性曲面，基于独立分量分析将有雾图像的各颜色空间分量与雾霾传播特性曲面作为独立分量进行数据融合与解混分离，得到消除雾霾后的清晰图像。

在本发明的一个实施例中，如图1所示，其具体实现方法为：

一种基于独立分量分析的单幅图像雾霾快速去除方法，包括以下步骤；

S1、在雾霾天采集含有雾霾的雾霾降质图像，并对其进行形态学腐蚀处理；

上述步骤S1中；

对雾霾降质图像进行形态学腐蚀处理时，将雾霾降质图像I中的结构元素确定为并去掉尺寸小于的局部孤立亮点；

其中，进行形态学腐蚀处理的公式为：

其中，I’为形态学腐蚀处理后的图像；

为图像形态学腐蚀操作运算符。

S2、对形态学腐蚀处理后的图像计算生成暗通道图像；

上述步骤S2中，计算生成的暗通道图像中各个像素点z的取值I^dark(z)为：

其中，I^c(q)为雾霾降质图像I在颜色通道c中坐标q处的取值；

c∈{r，g，b}，对应于雾霾降质图像的红、绿和蓝颜色空间；

Ω(z)为以z为中心的局部区域。

S3、根据生成的暗通道图像进行径向基函数插值拟合，得到雾霾大气粒子传播特性曲面；

上述步骤S3中进行径向基函数插值拟合的函数表达式为：

其中，h(z)为得到的雾霾大气粒子传播特性曲面；

c₀、c₁和λ_i为拟合系数；

z_i为观测的n个数据点集；

为径向基函数，且r为空间点z与z_i之间的距离。

S4、将雾霾大气粒子传播曲面的数据和雾霾降质图像的各颜色空间分量数据分别转换为一维矢量；

步骤S4中，雾霾大气粒子传播特性曲面的数据和雾霾降质图像各颜色空间分量数据均为二维矩阵的数据形式，将其转换为一维矢量的方法具体为：

按照各二维矩阵中数据顺序不变，下一行与上一行首尾相连的方式，将雾霾大气粒子传播特性曲面的数据和雾霾降质图像各颜色空间分量数据分别转换为一维矢量形式，生成一维矢量x_h、x_r、x_g和x_b；

其中，得到x_h、x_r、x_g和x_b方法分别为：

S5、将雾霾大气粒子传播曲面的一维矢量与有雾图像各颜色空间分量的一维矢量进行线性组合，得到观测数据矩阵；

上述步骤S5中，对一维矢量x_r、x_g、x_b和x_h进行线性组合分别得到：

红色空间观测数据矩阵：X_r＝[x_r；x_h]；

绿色空间观测数据矩阵：X_g＝[x_g；x_h]；

蓝色空间观测数据矩阵：X_b＝[x_b；x_h]。

S6、基于独立分量分析对观测数据矩阵进行雾霾分量与无雾颜色空间分量的分离，得到各个颜色空间的雾霾分量一维矢量和无雾霾图像分量一维矢量；

步骤S6中采用自适应滑动平均方法实现独立分量分析，进行雾霾分量与无雾颜色空间分量的分离方法具体为：

S61、确定雾霾降质图像的行数为n，列数为m，滑动平均窗口长度为h；

S62、分别确定各颜色空间的代价函数，并对代价函数进行微分运算；

上述步骤S62中，代价函数为：

其中，W_x为解混分离矩阵，x为r，g或b，分别对应红色空间、绿色空间和蓝色空间；

C_x为第一中间过程矩阵，且C_x＝X_xX_x ^T；

B_x为第二中间过程矩阵，且

其中，为各颜色通道观测信号的滑动平均值，且X_r(t)、X_r(t-τ)分别为第t个、第t-τ个观测值；

上标T为转置操作运算符；

对代价函数进行微分运算的结果为：

S63、令代价函数微分运算结果为零，得到使分离结果与独立源信号分量的估计误差最小的各颜色通道解混分离矩阵；

令代价函数微分运算的结果为零，

求得各颜色通道解混分离矩阵W_x。

S64、根据数据观测矩阵和各颜色通道解混分离矩阵得到雾霾分量与无雾颜色空间分量的分离结果。

上述步骤S64中，雾霾分量与无雾颜色空间分量的分离结果Y_x为：

Y_x＝W_xX_x＝[y_x；y_hx]

其中，红色空间中雾霾分量与无雾颜色空间分量的分离结果Y_r为：

Y_r＝W_rX_r＝[y_r；y_hr]

y_hr为红色空间雾霾分量一维矢量；

y_r为红色空间无雾图像分量一维矢量；

y_r＝[R₁₁R₁₂...R_1mR₂₁R₂₂...R_2m...R_n1R_n2...R_nm]

绿色空间中雾霾分量与无雾颜色空间分量的分离结果Y_g为：

Y_g＝W_gX_g＝[y_g；y_hg]

y_hg为绿色空间雾霾分量一维矢量；

y_g为绿色空间无雾图像分量一维矢量；

y_g＝[G₁₁G₁₂...G_1mG₂₁G₂₂...G_2m...G_n1G_n2...G_nm]

蓝色空间中雾霾分量与无雾颜色空间分量的分离结果Y_b为：

Y_b＝W_bX_b＝[y_b；y_hb]

y_hb为蓝色空间雾霾分量一维矢量；

y_b为蓝色空间无雾图像分量一维矢量；

y_b＝[B₁₁B₁₂...B_1mB₂₁B₂₂...B_2m...B_n1B_n2...B_nm]。

其中，R_nm、G_nm为和B_nm分别为图像在像素点(n，m)处的红、绿、蓝颜色刺激值。

S7、将各个颜色空间的无雾霾图像分量一维矢量进行维度变换与颜色空间融合，得到去除雾霾的清晰图像；

上述步骤S7具体为：

将r、g、b颜色空间的无雾图像分量一维矢量按照雾霾降质图像分别转换为二维矩阵R、G和B，并进行颜色空间融合，得到去除雾霾的清晰图像{R；G；B}；

其中，转换为二维矩阵R、G和B的表达式分别为：

在本发明的一个实施例中，提供了对如图2所示的未经处理的雾霾降质图像的处理过程，其步骤实现如图1所示；

其中，步骤S1中，在雾霾降质图像中定义7×7的菱形结构元素并进行形态学腐蚀处理；

步骤S2中生成的暗通道图像如图3所示；

步骤S3中，采用径向基函数为

定义自变量矩阵Z，拟合曲面函数值矩阵H，待定系数矩阵T；

其中，

根据公式T＝(Z′Z)^-1Z′H计算出待定系数，拟合生成的雨雾大气粒子调制传播曲面函数为图4；

经过步骤S4至步骤S7的信号处理后，得到如图5所示的颜色空间雾霾分量与无雾图像分量示意图；得到如图6所示的去除雾霾后的清晰图像。

本发明提供的基于独立分量分析的单幅图像雾霾快速处理方法具有以下优点：

(1)以雾霾大气粒子散射模型为图像处理依据，生成雾霾大气粒子传播特征曲面进行雾霾去除，具有正确的理论模型基础；

(2)基于独立分量分析进行雾霾分量与无雾霾颜色空间分量的分离，不需要进行精细化软抠图、图像分割处理等耗时操作，可以大幅提高计算效率；

(3)针对单幅图像去除雾霾效果好、图像细节增强显著、颜色保真度高。

Claims (9)

1.一种基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，包括以下步骤；

S1、在雾霾天采集含有雾霾的雾霾降质图像，并对其进行形态学腐蚀处理；

S2、对形态学腐蚀处理后的图像计算生成暗通道图像；

S3、根据生成的暗通道图像进行径向基函数插值拟合，得到雾霾大气粒子传播特性曲面；

S4、将雾霾大气粒子传播曲面的数据和雾霾降质图像的各颜色空间分量数据分别转换为一维矢量；

S5、将雾霾大气粒子传播曲面的一维矢量与有雾图像各颜色空间分量的一维矢量进行线性组合，得到观测数据矩阵；

S6、基于独立分量分析对观测数据矩阵进行雾霾分量与无雾颜色空间分量的分离，得到各个颜色空间的雾霾分量一维矢量和无雾霾图像分量一维矢量；

S7、将各个颜色空间的无雾霾图像分量一维矢量进行维度变换与颜色空间融合，得到去除雾霾的清晰图像。

2.根据权利要求1所述的基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，所述步骤S1中；

对雾霾降质图像进行形态学腐蚀处理时，将雾霾降质图像I中的结构元素确定为并去掉尺寸小于的局部孤立亮点；

其中，进行形态学腐蚀处理的公式为：

其中，I’为形态学腐蚀处理后的图像；

为图像形态学腐蚀操作运算符。

3.根据权利要求1所述的基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，所述步骤S2中，计算生成的暗通道图像中各个像素点z的取值I^dark(z)为：

其中，I^c(q)为雾霾降质图像I在颜色通道c中坐标q处的取值；

c∈{r,g,b}，对应于雾霾降质图像的红、绿和蓝颜色空间；

Ω(z)为以z为中心的局部区域。

4.根据权利要求3所述的基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，所述步骤S3中进行径向基函数插值拟合的函数表达式为：

其中，h(z)为得到的雾霾大气粒子传播特性曲面；

c₀、c₁和λ_i为拟合系数；

z_i为观测的n个数据点集；

为径向基函数，且r为空间点z与z_i之间的距离。

5.根据权利要求4所述的基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，所述步骤S4中，雾霾大气粒子传播特性曲面的数据和雾霾降质图像各颜色空间分量数据均为二维矩阵的数据形式，将其转换为一维矢量的方法具体为：

按照各二维矩阵中数据顺序不变，下一行与上一行首尾相连的方式，将雾霾大气粒子传播特性曲面的数据和雾霾降质图像各颜色空间分量数据分别转换为一维矢量形式，生成一维矢量x_h、x_r、x_g和x_b。

6.根据权利要求5所述的基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，所述步骤S5中，对一维矢量x_r、x_g、x_b和x_h进行线性组合分别得到：

红色空间观测数据矩阵：X_r＝[x_r；x_h]；

绿色空间观测数据矩阵：X_g＝[x_g；x_h]；

蓝色空间观测数据矩阵：X_b＝[x_b；x_h]。

7.根据权利要求6所述的基于独立分量分析的单幅图像雾霾快速去除方法，其特征在于，所述步骤S6中采用自适应滑动平均方法实现独立分量分析，进行雾霾分量与无雾颜色空间分量的分离方法具体为；

S61、确定雾霾降质图像的行数为n，列数为m，滑动平均窗口长度为h；

S62、分别确定各颜色空间的代价函数，并对代价函数进行微分运算；

S63、令代价函数微分运算结果为零，得到使分离结果与独立源信号分量的估计误差最小的各颜色通道解混分离矩阵；

S64、根据数据观测矩阵和各颜色通道解混分离矩阵得到雾霾分量与无雾颜色空间分量的分离结果。

8.根据权利要求7所述的基于独立分量分析的单幅图像快速雾霾去除方法，其特征在于，所述步骤S62中：

代价函数为：

其中，W_x为解混分离矩阵，x为r,g或b，分别对应红色空间、绿色空间和蓝色空间；

C_x为第一中间过程矩阵，且C_x＝X_xX_x ^T；

B_x为第二中间过程矩阵，且

其中，为各颜色通道观测信号的滑动平均值，且X_r(t)、X_r(t-τ)分别为第t个、第t-τ个观测值；

上标T为转置操作运算符；

所述步骤S62中：

对代价函数进行微分运算的结果为：

所述步骤S63中：

令代价函数微分运算的结果为零，得到各颜色通道解混分离矩阵W_x；

所述步骤S64中，雾霾分量与无雾颜色空间分量的分离结果Y_x为：

Y_x＝W_xX_x＝[y_x；y_hx]

其中，红色空间中雾霾分量与无雾颜色空间分量的分离结果Y_r为：

Y_r＝W_rX_r＝[y_r；y_hr]

y_hr为红色空间雾霾分量一维矢量；

y_r为红色空间无雾图像分量一维矢量；

y_r＝[R₁₁R₁₂…R_1mR₂₁R₂₂…R_2m…R_n1R_n2…R_nm]

绿色空间中雾霾分量与无雾颜色空间分量的分离结果Y_g为：

Y_g＝W_gX_g＝[y_g；y_hg]

y_hg为绿色空间雾霾分量一维矢量；

y_g为绿色空间无雾图像分量一维矢量；

y_g＝[G₁₁G₁₂…G_1mG₂₁G₂₂…G_2m…G_n1G_n2…G_nm]

蓝色空间中雾霾分量与无雾颜色空间分量的分离结果Y_b为：

Y_b＝W_bX_b＝[y_b；y_hb]

y_hb为蓝色空间雾霾分量一维矢量；

y_b为蓝色空间无雾图像分量一维矢量；

y_b＝[B₁₁B₁₂…B_1mB₂₁B₂₂…B_2m…B_n1B_n2…B_nm]；

其中，R_nm、G_nm为和B_nm分别为图像在像素点(n，m)处的红、绿、蓝颜色刺激值。

9.根据权利要求8所述的基于独立分量分析的单幅图像快速雾霾去除方法，其特征在于，所述步骤S7具体为：

将r、g、b颜色空间的无雾图像分量一维矢量按照雾霾降质图像分别转换为二维矩阵R、G和B，并进行颜色空间融合，得到去除雾霾的清晰图像{R；G；B}；

其中，转换为二维矩阵R、G和B的表达式分别为：