CN105898111A - 一种基于谱聚类的视频去雾方法 - Google Patents

Abstract

本发明公开了一种基于谱聚类的视频去雾方法，具体按照以下步骤实施：步骤1：摄像头采集有雾视频，步骤2：判断步骤1中采集到的当前帧图像I_k是否为视频的第一帧图像I₁，如果是，转入步骤3；否则转入步骤4；步骤3：对对第一帧图像I₁估计全局大气光A、类分割，并计算各个类的透射率；步骤4：对从第二帧开始的视频图像估计透射率；步骤5：根据估计到的全局大气光和透射率，恢复一帧图像。本发明一种基于谱聚类的视频去雾方法，更好地保证了视频帧内的空间一致性，减弱了去雾恢复后视频图像的块效应；并且，更好地保证了视频帧间的连续性，避免了视频帧间的闪烁效应。

Description

一种基于谱聚类的视频去雾方法

技术领域

本发明属于视频处理技术领域，具体涉及一种基于谱聚类的视频去雾方法。

背景技术

在视频监控行业，雾霾也已经成为高清监控的隐形杀手，透雾监控需求变得越来越迫切。就目前的发展来看，透雾技术主要体现在光学透雾和数字透雾两个方面。光学透雾主要采用针对红外波段成像特殊优化的镜头，利用雾气中的红外光进行成像。光学透雾只能得到黑白监控画面，并且镜头成本昂贵难以普及。数字透雾技术主要包括基于非模型的图像增强方法和基于模型的图像复原方法。通过图像增强方式的透雾处理方法适用范围广，能在一定程度上提高图像的对比度，但该方法未能从图像退化过程的原因入手进行补偿，从而不能获得很好的透雾效果。基于图像复原的方法研究雾天图像降质的物理过程，并建立雾天退化模型，反演退化过程，补偿退化过程造成的失真，以获得无雾图像的最优估计值从而改善雾天图像质量。这种方法针对性强，得到的去雾效果自然，一般不会有信息损失，但这种方法整体而言计算量较大。

基于暗原色先验的单一图像去雾方法有很好的去雾效果，但当场景中含有大面积明亮区域，且该区域亮度与大气光很相似时，暗原色先验就会失效，使这些区域在复原过程中造成失真。Kim等人提出了一种视频去雾方法，在透射率估计时引入时空一致性约束来改善视频去雾效果，但基于固定块划分的处理模式使得图像边缘会出现光晕和闪烁情况。

发明内容

本发明的目的是提供一种基于谱聚类的视频去雾方法，解决了现有视频去雾方法对于视频帧间时间连续性和视频帧内空间一致性考虑不足的问题。

本发明所采用的技术方案是，一种基于谱聚类的视频去雾方法，具体按照以下步骤实施：

步骤1：摄像头采集有雾视频，该视频序列作为去雾的输入，其中分别为图像I_k的RGB颜色空间三个通道值，图像大小为width×height；

步骤2：判断步骤1中采集到的当前帧图像I_k是否为视频的第一帧图像I₁，如果是，转入步骤3；否则转入步骤4；

步骤3：对第一帧图像I₁估计全局大气光A、谱聚类分割，并计算各个类的透射率；

步骤3.1：对第一帧图像I₁估计全局大气光A；

步骤3.2：对第一帧图像I₁进行谱聚类分割；

步骤3.3：计算各个类的透射率，根据像素所在的类别得到对应像素的透射率；

步骤4：对从第二帧开始的视频图像估计透射率；

步骤5：根据估计到的全局大气光和透射率，恢复一帧图像。

本发明的特点还在于，

步骤3.1具体为：

步骤3.1.1：输入视频图像Iⁱⁿ，初始值为第一帧图像I₁，即Iⁱⁿ＝I₁，计算该图像的面积Iⁱⁿ_Area，Iⁱⁿ_Area＝width*height，其中width和height分别表示图像的宽和高，设定面积阈值T，若Iⁱⁿ_Area＞T，则将当前图像均分成四个子区域Iⁱ,i＝1,2,3,4，转入步骤3.1.2，否则将当前图像记作I₁_end并转入步骤3.1.4；

步骤3.1.2：分别求出步骤3.1.1中四个子区域Iⁱ的三颜色通道的像素均值和标准差的差值的累加和R_Iⁱ：

$M\_I_c^i=mean\left(I_c^i\right)$

$S\_I_c^i=std\left(I_c^i\right)$

$R\_I^i=\underset{c\∈\{r,g,b\}}{\Σ}(M\_I_c^i-S\_I_c^i)$

其中，c∈{r,g,b}，为第i子区域中某个像素的某一颜色通道的值，mean(·)为某一颜色通道的像素均值，std(·)为某一颜色通道的像素标准差；

步骤3.1.3：选取R_Iⁱ中的最大值Iⁱ_max：

Iⁱ_max＝max(R_Iⁱ)

其中，max(·)代表求最大值；

将该最大值Iⁱ_max对应的子区域作为输入图像Iⁱⁿ，返回步骤3.1.1进行递归搜索；

步骤3.1.4：计算图像I₁_end中每个像素点的颜色向量(I₁_end_r，I₁_end_g，I₁_end_b)和白色向量(255,255,255)的距离I₁_end^Dis：

$I_1\_{\mathrm{end}}^{Dis}=\sqrt{\underset{c\∈\{r,g,b\}}{\Σ}{(I_1\_{\mathrm{end}}_c-255)}^2}$

其中，I₁_end_c为图像I₁_end中某一个像素点的某一个颜色通道的值；

将最接近白色的像素点也就是I₁_end^Dis值最小时对应的颜色向量(I₁_end'_r,I₁_end'_g,I₁_end'_b)作为全局大气光，即A＝(I₁_end'_r,I₁_end'_g,I₁_end'_b)。

步骤3.2具体为：

步骤3.2.1：对视频的第一帧图像I₁进行下采样，得到下采样图像I_1-，I_1-图像的宽和高分别为W_＝width/s₁，H_＝height/s₂，s₁和s₂为下采样率，对I_1-提取YUV颜色空间的Y分量图作为谱聚类的输入图像，聚类个数初始化为m；

步骤3.2.2：将图像映射为一幅带权无向图G(V,W)，该无向图中的每一个节点V_n，n＝1,2,…,W_×H_对应中的毎一个像素p_n,n＝1,2,…,W_×H_，无向图G(V,W)的N×N邻接矩阵记为W，其中N＝W_×H_，邻接矩阵W中的元素W_ij代表像素对(p_i,p_j)之间的相似度，该相似度W_ij定义为特征相似指数函数和空间邻近指数函数的乘积为：

$W_{ij}=e^{-\frac{-{||F\left(i\right)-F\left(j\right)||}_2^2}{{\mathrm{\σ}}_1^2}}=\left\{\begin{array}{cc}{e}^{-\frac{-{||X\left(i\right)-X\left(j\right)||}_2^2}{{\mathrm{\σ}}_X^2}}& i\≠j\\ 0& i=j\end{array}\right.$

其中，F(i)表示中像素p_i的亮度特征向量，X(i)表示像素p_i在图像中的空间位置，σ₁和σ_x分别用来调节两部分相似度函数所占的比例；

步骤3.2.3：由邻接矩阵W求对角矩阵D和拉普拉斯矩阵L：

$D_{ii}=\underset{j=i}{\overset{N}{\Σ}}{W}_{ij}$

L＝D-W

归一化L得到归一化的拉普拉斯矩阵L_nor：

L_nor＝D^-1/2LD^-1/2＝I-D^-1/2WD^-1/2

其中矩阵I、D、L和L_nor维数都为N×N，I为单位矩阵；

步骤3.2.4：将归一化后的拉普拉斯矩阵L_nor进行奇异值分解，选取前m

个特征值对应的特征向量H_i＝(h_1i,h_2i,…,h_Ni)′,i＝1,2,…,m，将m个特征向量H_i按列排列组成N×m特征矩阵H，该矩阵的每一行元素代表一个分类的样本，即对应中的一个像素；

步骤3.2.5：对特征矩阵H进行K-均值聚类，得到m个m维的聚类中心V_i＝(v₁,v₂,…v_m)，i＝1,2,…,m；

步骤3.2.6：把特征矩阵H的每一行元素按聚类中心V_i进行矢量量化，得到每一行元素所属的类，因为每一个像素对应一行元素，从而得到每一个像素所属的类别，由此得到图像的谱聚类分割矩阵S^m，矩阵的大小为W_×H_，各场景类别记为{C₁,C₂,…C_m}。

步骤3.3具体为：

步骤3.3.1：输入第一帧有雾视频图像I₁和谱聚类分割矩阵S^m；

步骤3.3.2：将图像I₁下采样，记为I_1-，I_1-图像的宽和高分别为W_＝width/s₁，H_＝height/s₂，s₁和s₂为下采样率，对I_1-提取YUV颜色空间的Y分量图

步骤3.3.3：初始化谱聚类类数计数器i＝0；

步骤3.3.4：构造中第i个场景C_i即第i类像素基于空间一致性的去雾总代价函数E^c：

E^c＝E_contrast+λ_LE_loss

其中：λ_L是一个常数，

E_contrast为去雾对比度代价函数为：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}$

E_loss为信息损失代价函数为：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}$

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A$

其中，A为大气光，k表示视频帧数，J_k(p)表示去雾后的图像，表示去雾后图像的Y分量值，I_k(p)表示有雾图像，表示有雾图像的Y分量值，表示图像的均值，表示图像的均值，像素p∈C_i，是C_i类中的像素点个数，t表示透射率；

步骤3.3.5：估计第i个场景C_i即第i类像素的透射率

步骤3.3.5.1：初始化透射率t＝0.3，初始化代价函数E^c的最小时值f cost_min＝FLT_MAX，FLT_MAX为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤3.3.5.2：计算当前t下，代价函数E^c的值f cost；

步骤3.3.5.3：判断f cost≤f cost_min是否为真，若为真，则令f cost_min＝f cost，fOptTrs＝t，然后进入步骤3.3.5.4，反之则直接进入步骤3.3.5.4；

步骤3.3.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤3.3.5.2，若为假，跳转至步骤3.3.5.5；

步骤3.3.5.5：得到f cost的最小值f cost_min对应的透射率fOptTrs，即得到静止场景类别C_i的透射率

步骤3.3.6：令i＝i+1，判断i＜m是否为真，若为真，返回步骤3.3.4，若为假，则得到各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率t¹(x,y)，其中(x,y)为像素所在图像位置。

步骤4具体为：

基于帧差法估计运动目标区域，首先，输入前后两帧视频图像I_k-1和I_k，计算它们的差值图D_k，然后设置阈值，将D_k二值化，得到D'_k，对D'_k进行形态学滤波处理，得到R_k，最后对R_k进行连通性分析，获取连通域的轮廓，根据轮廓个数NumOutline得到运动目标区域Obj_rh,rh＝1,2,…,NumOutline；

步骤4.1：对从第二帧开始的视频图像，根据其在第一帧图像对应位置的场景类别C_i,i＝1,2,…,m，建立时空一致性透射率模型，计算得到各个场景类别C_i的透射率根据像素所在的类别得到对应像素的透射率

步骤4.2：对从第二帧开始的视频图像的运动目标建立运动目标透射率模型，计算得到各个目标Obj_rh的透射率根据运动目标区域更新对应区域处的像素透射率，得到当前帧每个像素最终的透射率t^k(x,y)。

步骤4.1具体为：

步骤4.1.1：输入相邻两帧视频图像I_k-1和I_k，输入第k-1帧的透射率t^k-1(x,y)，输入谱聚类分割矩阵S^m；

步骤4.1.2：将图像I_k-1和I_k下采样，记为I_k-1-和I_k-，图像的宽和高分别为W_＝width/s₁，H_＝height/s₂，s₁和s₂为下采样率，对I_k-1-和I_k-提取YUV颜色空间的Y分量图和

步骤4.1.3：初始化谱聚类类数计数器i＝0；

步骤4.1.4：构造中第i个场景C_i即第i类像素基于时空一致性的静态背景透射率模型E^S：

$E^S=E_{contrast}+{\mathrm{\λ}}_L{E}_{loss}+{\mathrm{\λ}}_T{E}_{temporal}^s$

其中，λ_T为时间相关代价函数的权重系数，λ_L是一个常数，

为时间相关性代价函数为：

$E_{temporal}^s=\stackrel{\‾}{{\mathrm{\ω}}_k}{(t_k-\stackrel{\‾}{{\mathrm{\τ}}_k}{t}_{k-1})}^2$

E_contrast为去雾对比度代价函数为：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}$

E_loss为信息损失代价函数为：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}$

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A$

假设相邻两帧图像同一个场景点的亮度信息是相同的，则：

$J_{k-1}^Y\left(p\right)=J_k^Y\left(p\right)$

其中，为权重系数为

$\stackrel{\‾}{{\mathrm{\τ}}_k}=\frac{\underset{p\∈C_i}{\Σ}{\mathrm{\ω}}_k\left(p\right){\mathrm{\τ}}_k\left(p\right)}{\underset{p\∈C_i}{\Σ}{\mathrm{\ω}}_k\left(p\right)}$

${\mathrm{\ω}}_k\left(p\right)=\exp (-\frac{{\left(I_k^Y\right(p)-I_{k-1}^Y(p\left)\right)}^2}{{\mathrm{\σ}}^2})$

t_k(p)＝τ_k(p)t_k-1(p)

${\mathrm{\τ}}_k\left(p\right)=\frac{I_k^Y\left(p\right)-A^Y}{I_{k-1}^Y\left(p\right)-A^Y}$

其中，Y表示YUV色彩空间的Y分量，A为大气光，σ为常数，k表示视频帧数，t_k(p)为当前帧像素点p处的透射率，τ_k(p)是时间相关性参数，为图像一个谱聚类分割类C_i中的时间相关性参数，Ik(p)表示有雾图像，J_k(p)表示去雾后的图像，表示图像的均值，表示图像的均值，像素p∈C_i，是C_i类中的像素点个数，t表示透射率，ω_k(p)为表示相邻帧之间图像差异的概率值；

步骤4.1.5：估计对应的透射率

步骤4.1.5.1：初始化透射率t＝0.3，初始化代价函数E^S的最小值f cost_min＝FLT_MAX，FLT_MAX为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤4.1.5.2：计算在当前_t和前一帧透射率图t^k-1(x,y)条件下代价函数E^S的值f cost；

步骤4.1.5.3：判断f cost≤f cost_min是否为真，若为真，则令f cost_min＝f cost，fOptTrs＝t，然后进入步骤4.1.5.4，反之则直接进入步骤4.1.5.4；

步骤4.1.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤4.1.5.2，若为假，跳转至步骤4.1.5.5；

步骤4.1.5.5：得到f cost的最小值f cost_min对应的透射率fOptTrs，即得到静止场景类别C_i的透射率

步骤4.1.6：令i＝i+1，判断i＜m是否为真，若为真，返回步骤4.1.4，若为假，则得到各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率其中(x,y)为像素所在图像位置。

步骤4.2具体为：

步骤4.2.1：输入相邻两帧图像和第k-1帧的透射率t^k-1(x,y)、帧的运动目标集合rh＝1,2,…,NumOutline；

步骤4.2.2：初始化运动目标数目j＝0；

步骤4.2.3：利用块匹配算法，获取中第j个运动目标在前一帧图像中的对应区域

步骤4.2.4：构造中第j个运动目标基于时空一致性的透射率模型E^o：

$E^o=E_{contrast}+{\mathrm{\λ}}_L{E}_{loss}+{\mathrm{\λ}}_T{E}_{temporal}^o$

其中，λ_T为时间相关代价函数的权重系数，λ_L是一个常数，

为运动目标的时间连续性代价函数为：

$E_{temporal}^o=\stackrel{\‾}{{\mathrm{\ω}}_k^o}(t_k-\stackrel{\‾}{{\mathrm{\τ}}_k}{t}_{k-1}^o)$

E_contrast为去雾对比度代价函数为：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}$

E_loss为信息损失代价函数为：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}$

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A$

其中：A为大气光，k表示视频帧数，Y表示YUV色彩空间的Y分量，J_k(p)表示去雾后的图像，I_k(p)表示有雾图像，表示图像的均值，表示图像的均值，像素p∈C_i，是C_i类中的像素点个数，t表示透射率，t_k代表当前帧运动目标的透射率，代表运动目标在前一帧图像中对应区域的透射率，代表目标在相邻两帧图像中的亮度相似性；

步骤4.2.5：估计中运动目标区域对应的透射率

步骤4.2.5.1：初始化透射率t＝0.3，初始化代价函数E^o的最小值f cost_min＝FLT_MAX，FLT_MAX为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤4.2.5.2：计算在当前_t和前一帧透射率图t^k-1(x,y)条件下，代价函数E^o的值f cost；

步骤4.2.5.3：判断f cost≤f cost_min是否为真，若为真，则令f cost_min＝f cost，fOptTrs＝t，然后进入步骤4.2.5.4，反之则直接进入步骤4.2.5.4；

步骤4.2.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤4.2.5.2，若为假，跳转至步骤4.2.5.5；

步骤4.2.5.5：得到f cost的最小值f cost_min对应的透射率fOptTrs，即得到运动目标区域将的透射率，

步骤4.2.6：令j＝j+1，判断j＜NumOutline是否为真，若为真，返回步骤4.2.4，若为假，则得到每个运动目标rh＝1,2,…,NumOutline的透射率根据像素所在的运动目标区域，更新对应位置处的透射率，最终得到第k帧的透射率t^k(x,y)。

步骤5具体为：

步骤5.1：将得到的第k帧图像大小为W_×H_的透射率图t^k(x,y)进行上采样，得到大小为width×height的透射率图t^k+(x,y)，width＝W_×s₁,height＝H_×s₂，s₁和s₂为上采样率，再使用导向滤波方法将该透射率图进行细化，得到细化后的透射率图I_t^k(x,y)；

步骤5.2：利用得到的细化后的第k帧图像透射率图I_t^k(x,y)和估计到的大气光A＝(I_end'_r,I_end'_g,I_end'_b)，基于如下式所示的雾天图像退化模型，恢复一帧视频图像中每一个像素：

$J_c=\frac{I_c-A_c}{t}+A_c$

其中：c∈(r,g,b)，表示三颜色通道，透射率t则为I_t^k(x,y)中对应位置处的值。

步骤5.3：将恢复后的一帧图像写入视频文件，并判断视频是否结束，若没有，继续估计下一帧参数，恢复图像，反之则输出恢复后的视频序列。

本发明的有益效果是：

①本发明提出的一种基于谱聚类的视频去雾方法，能够将场景中的同一目标分割到同一类中，将不同的目标分割到不同的类中，从而克服将同一目标分在不同的块中或者将不同的目标分在同一个块中的固定块分割方法的缺陷，实现对静止场景更准确可靠的分割，提升后续透射率估计的精确度；

②本发明提出的一种基于谱聚类的视频去雾方法，根据谱分割的结果引入基于类的透射率估计模型，更好地维持了视频图像的空间一致性，减弱了去雾后视频图像的块效应；

③本发明提出的基于谱聚类的视频去雾方法，首先利用帧差法获取运动目标区域，再对运动目标采用块匹配算法获得其在上一帧图像中的对应位置，最后引入运动目标的透射率模型对运动目标进行透射率估计，更好地保证了视频系列帧间图像的连续性，避免了去雾后视频帧间的闪烁效应。

附图说明

图1是本发明视频去雾方法的流程图；

图2是本发明视频去雾方法中估计全局大气光的流程图；

图3是本发明视频去雾方法中谱聚类分割的流程图；

图4是本发明视频去雾方法中基于帧差法估计运动目标区域的流程图；

图5是本发明视频去雾方法中空间一致性估计透射率的流程图；

图6是本发明视频去雾方法中时空一致性估计透射率的流程图；

图7是本发明视频去雾方法中运动目标估计透射率的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于谱聚类的视频去雾方法，流程图如图1所示，具体按照以下步骤实施：

步骤1：摄像头采集有雾视频，该视频序列作为去雾的输入，其中分别为图像I_k的RGB颜色空间三个通道值，图像大小为width×height。

步骤2：判断步骤1中采集到的当前帧图像I_k是否为视频的第一帧图像I₁，如果是，转入步骤3；否则转入步骤4。

步骤3：对第一帧图像I₁估计全局大气光A，然后对第一帧图像I₁应用谱聚类算法进行类分割，得到m类场景目标{C₁,C₂,…C_m}，最后对m类场景目标{C₁,C₂,…C_m}建立空间一致性透射率模型，计算各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率t¹(x,y)，其中(x,y)为像素所在图像位置，具体为：

步骤3.1：根据最亮色值的四叉树细分的递归计算方法计算全局大气光A，流程如图2所示，具体为：

步骤3.1.1：输入视频图像Iⁱⁿ(初始值为第一帧图像I₁，即Iⁱⁿ＝I₁)，计算该图像的面积I₁_Area，I₁_Area＝width*height，其中width和height分别表示图像的宽和高。设定面积阈值T＝200，若I₁_Area＞T，则将当前图像均分成四个子区域Iⁱ,i＝1,2,3,4，转入步骤3.1.2，否则将当前图像记作I₁_end并转入步骤3.1.4；

步骤3.1.2：分别求出步骤3.1.1中四个子区域Iⁱ的三颜色通道的像素均值和标准差的差值的累加和R_Iⁱ：

$M\_I_c^i=mean\left(I_c^i\right)---\left(1\right)$

$S\_I_c^i=std\left(I_c^i\right)---\left(2\right)$

$R\_I^i=\underset{c\∈\{r,g,b\}}{\Σ}(M\_I_c^i-S\_I_c^i)---\left(3\right)$

其中，c∈{r,g,b}，为第i子区域中某个像素的某一颜色通道的值，mean(·)为某一颜色通道的像素均值，std(·)为某一颜色通道的像素标准差。

步骤3.1.3：选取R_Iⁱ中的最大值Iⁱ_max：

Iⁱ_max＝max(R_Iⁱ) (4)

其中，max(·)代表求最大值；

将该最大值Iⁱ_max对应的子区域作为输入图像Iⁱⁿ，返回步骤3.1.1进行递归搜索。

步骤3.1.4：计算图像I₁_end中每个像素点的颜色向量(I₁_end_r，I₁_end_g，I₁_end_b)和白色向量(255,255,255)的距离I₁_end^Dis：

$I_1\_{\mathrm{end}}^{Dis}=\sqrt{\underset{c\∈\{r,g,b\}}{\Σ}{(I_1\_{\mathrm{end}}_c-255)}^2}---\left(5\right)$

其中，I₁_end_c为图像I₁_end中某一个像素点的某一个颜色通道的值；

将最接近白色的像素点也就是I₁_end^Dis值最小时对应的颜色向量(I₁_end′_r,I₁_end'_g,I₁_end'_b)作为全局大气光，即A＝(I₁_end'_r,I₁_end'_g,I₁_end'_b)。

步骤3.2：谱聚类分割的流程图如图3所示，具体为：

步骤3.2.1：对视频的第一帧图像I₁进行下采样，得到下采样图像I_1-，I_1-图像的宽和高分别为W_＝width/s₁，H_＝height/s₂，s₁和s₂为下采样率，取s₁＝width/320,s₂＝height/240。对I_1-提取YUV颜色空间的Y分量图作为谱聚类的输入图像，聚类个数初始化为m，m的取值可根据场景内容调整。

步骤3.2.2：将图像映射为一幅带权无向图G(V,W)，该无向图中的每一个节点V_n，n＝1,2,…,W_×H_对应中的毎一个像素p_n,n＝1,2,…,W_×H_。无向图G(V,W)的N×N邻接矩阵记为W，其中N＝W_×H_。邻接矩阵W中的元素W_ij代表像素对(p_i,p_j)之间的相似度，该相似度W_ij定义为特征相似指数函数和空间邻近指数函数的乘积为：

$W_{ij}=e^{-\frac{-{||F\left(i\right)-F\left(j\right)||}_2^2}{{\mathrm{\σ}}_1^2}}=\left\{\begin{array}{cc}{e}^{-\frac{-{||X\left(i\right)-X\left(j\right)||}_2^2}{{\mathrm{\σ}}_X^2}}& i\≠j\\ 0& i=j\end{array}\right.---\left(6\right)$

其中，F(i)表示中像素p_i的亮度特征向量，X(i)表示像素p_i在图像中的空间位置，σ₁和σ_x分别用来调节两部分相似度函数所占的比例，一般σ₁＝0.3，σ_x＝0.7；

步骤3.2.3：由邻接矩阵W求对角矩阵D和拉普拉斯矩阵L：

$D_{ii}=\underset{j=1}{\overset{N}{\Σ}}{W}_{ij}---\left(7\right)$

L＝D-W (8)

归一化L得到归一化的拉普拉斯矩阵L_nor：

L_nor＝D^-1/2LD^-1/2＝I-D^-1/2WD^-1/2 (9)

其中矩阵I、D、L和L_nor维数都为N×N，I为单位矩阵。

步骤3.2.4：将归一化后的拉普拉斯矩阵L_nor进行奇异值分解，选取前m个特征值对应的特征向量H_i＝(h_1i,h_2i,…,h_Ni)′,i＝1,2,…,m，将m个特征向量H_i按列排列组成N×m特征矩阵H，该矩阵的每一行元素代表一个分类的样本，即对应中的一个像素。

步骤3.2.5：对特征矩阵H进行K-均值聚类，得到m个m维的聚类中心V_i＝(v₁,v₂,…v_m)，i＝1,2,…,m。

步骤3.2.6：把特征矩阵H的每一行元素按聚类中心V_i进行矢量量化，得到每一行元素所属的类，因为每一个像素对应一行元素，从而得到每一个像素所属的类别，由此得到图像的谱聚类分割矩阵S^m，矩阵的大小为W_×H_，各场景类别记为{C₁,C₂,…C_m}。

步骤3.3：对m类场景目标{C₁,C₂,…C_m}建立空间一致性透射率模型，计算各个类C_i,i＝1,2,…,m的透射率流程如图5所示，具体为：

步骤3.3.1：输入第一帧有雾视频图像I₁和谱聚类分割矩阵S^m；

步骤3.3.2：将图像I₁下采样，记为I_1-，I_1-图像的宽和高分别为W_＝width/s₁，H_＝height/s₂，s₁和s₂为下采样率，取s1＝width/320,s2＝height/240，对I_1-提取YUV颜色空间的Y分量图

步骤3.3.3：初始化谱聚类类数计数器i＝0；

步骤3.3.4：构造中第i个场景C_i(即第i类像素)基于空间一致性的去雾总代价函数：

步骤3.3.4.1：空间一致性透射率模型的建立

对视频序列中的一帧图像而言，去雾处理应该保证场景中各类目标(对象)的空间一致性，即同一目标的透射率取值应该相同，不同目标的透射率取值应该不同。故，根据谱聚类的结果，对中的m类场景目标{C₁,C₂,…C_m}，建立基于类的空间一致性透射模型，即要计算m个透射率，设置每个类对应的透射率初始值为0.3。为了方便起见，用t代替

步骤3.3.4.2：建立对比度代价函数

通常情况下，同一图像区域，相对无雾条件，在有雾条件下的颜色对比度更低。通过去雾处理可以提高图像的对比度，根据去雾模型：

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A---\left(10\right)$

建立如下的去雾对比度代价函数E_contrast：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}---\left(11\right)$

其中，A为大气光，k表示视频帧数，Y表示YUV色彩空间的Y分量，J_k(p)表示去雾后的图像，I_k(p)表示有雾图像，表示图像的均值，表示图像的均值，像素p∈C_i，是C_i类中的像素点个数，是MSE评价指标，在这里表示对比度。

步骤3.3.4.3：建立信息损失代价函数

步骤3.3.4.2中的去雾模型可看作斜率为1/t(t为透射率)的一条直线，输入I_k(p)的像素值范围为[0,255]，输出J_k(p)的像素值范围记为[α,β]，由于0≤t≤1，则1/t≥1，[α,β]可能会超出[0,255]的范围，在这种情况下，下溢像素值将被截断为0，上溢的像素值将被截断为255，这种强行截断会造成一定的信息损失。定义截断像素值的平方和为信息损失代价函数E_loss，如下式：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}---\left(12\right)$

步骤3.3.4.4：建立空间一致性的去雾总代价函数

去雾处理的目的不仅要提高对比度，也要最大限度地减少信息损失，故，建立总代价函数E^c：

E^c＝E_contrast+λ_LE_loss (13)

其中：λ_L是一个常数，用来调节代价函数中对比度代价函数和信息损失代价函数的比重。经验取值为λ_L＝5.0。

步骤3.3.5：估计第i个场景C_i(即第i类像素)的透射率

步骤3.3.5.1：初始化透射率t＝0.3，初始化代价函数E^c的最小时值f cost_min＝FLT_MAX，FLT_MAX＝3.402823466*10³⁸为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤3.3.5.2：计算当前t下，代价函数E^c的值f cost；

步骤3.3.5.3：判断f cost≤f cost_min是否为真，若为真，则令f cost_min＝f cost，fOptTrs＝t，然后进入步骤3.3.5.4，反之则直接进入步骤3.3.5.4；

步骤3.3.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤3.3.5.2，循环步骤3.3.5.2～3.3.5.4，直到t＜1为假，跳转至步骤3.3.5.5；

步骤3.3.5.5：得到f cost的最小值f cost_min对应的透射率fOptTrs，即得到静止场景类别C_i的透射率

步骤3.3.6：令i＝i+1，判断i＜m是否为真，若为真，返回步骤3.3.4，迭代法计算每一类像素对应的透射率，反之得到各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率t¹(x,y)，其中(x,y)为像素所在图像位置。

步骤4：基于帧差法估计运动目标区域，流程如图4所示，首先，输入前后两帧视频图像I_k-1和I_k，计算它们的差值图D_k，然后设置阈值为100，将D_k二值化，得到D'_k，对D'_k进行核大小为3×3的中值滤波和一次膨胀，消除小的噪声和不连续的孔洞，得到R_k，最后求取R_k的连通域的轮廓，并设定面积阈值为900，将小于该面积的轮廓剔除。最终得到NumOutline个轮廓，对应得到运动目标区域Obj_rh,rh＝1,2,…,NumOutline。对视频从第二帧开始的图像建立静态背景和运动目标透射率模型，估计透射率。

步骤4.1：对从第二帧开始的视频图像，根据其在第一帧图像对应位置的场景类别C_i,i＝1,2,…,m，建立时空一致性透射率模型，计算得到各个场景类别C_i的透射率根据像素所在的类别得到对应像素的透射率流程如图6所示，具体为：

步骤4.1.1：输入相邻两帧视频图像I_k-1和I_k，输入第k-1帧的透射率t^k-1(x,y)，输入谱聚类分割矩阵S^m；

步骤4.1.2：将图像I_k-1和I_k下采样，记为I_k-1-和I_k-，图像的宽和高分别为W_＝width/s₁，H_＝height/s₂，s₁和s₂为下采样率，取s1＝width/320，s2＝height/240，对I_k-1-和I_k-提取YUV颜色空间的Y分量图和

步骤4.1.3：初始化谱聚类类数计数器i＝0；

步骤4.1.4：构造中第i个场景C_i(即第i类像素)基于时空一致性的静态背景透射率模型：

步骤4.1.4.1：静态透射率模型的建立

在视频中，除了帧内的空间一致性之外，还具有帧间的时间连续性，即相邻两帧之间相同目标具有相似的透射率，反之不同。故，对I_k进行下采样，得到下采样图像I_k-，对I_k-提取YUV颜色空间的Y分量图根据谱聚类的结果，对中的m类场景目标{C₁,C₂,…C_m}，建立基于类的时空一致性透射模型，即要计算m个透射率，设置每个类对应的透射率初始值为0.3。为了方便起见，用t代替

步骤4.1.4.2：时间代价函数的建立

假设相邻两帧图像同一个场景点的亮度信息是相同的，则：

$J_{k-1}^Y\left(p\right)=J_k^Y\left(p\right)---\left(14\right)$

其中k表示视频帧数，表示去雾后图像的Y分量值，像素p∈C_i，假设当前帧透射率t_k(p)和前一帧相同位置的透射率t_k-1(p)之间的关系如下式：

t_k(p)＝τ_k(p)t_k-1(p) (15)

根据公式(10)和(14)可得公式(16)，τ_k(p)是时间相关性参数，随着雾大小的变化会影响透射率的取值，为：

${\mathrm{\τ}}_k\left(p\right)=\frac{I_k^Y\left(p\right)-A^Y}{I_{k-1}^Y\left(p\right)-A^Y}---\left(16\right)$

其中和表示前后两帧有雾图像的Y分量值，在公式(15)中比较了相邻两帧同一位置处的透射率关系，即便是静态背景，同一位置处的亮度也有可能发生一定的变化，用一个简单的概率模型来表示相邻帧之间图像的差异，如下式所示：

${\mathrm{\ω}}_k\left(p\right)=\exp (-f\frac{{\left(I_k^Y\right(p)-I_{k-1}^Y(p\left)\right)}^2}{{\mathrm{\σ}}^2})---\left(17\right)$

其中，σ控制着此概率模型的变化，我们按照经验σ＝10，然后定义图像一个谱聚类分割类C_i中的时间相关性参数为：

$\stackrel{\‾}{{\mathrm{\τ}}_k}=\frac{\underset{p\∈C_i}{\Σ}{\mathrm{\ω}}_k\left(p\right){\mathrm{\τ}}_k\left(p\right)}{\underset{p\∈C_i}{\Σ}{\mathrm{\ω}}_k\left(p\right)}---\left(18\right)$

对每一个图像类都定义一个时间相关性代价，这个代价为前一帧和当前帧的透射率的平方差，但前一帧的透射率t值，需要乘上一个相关性参数

最终，定义时间相关性代价函数为：

$E_{temporal}^s=\stackrel{\‾}{{\mathrm{\ω}}_k}{(t_k-\stackrel{\‾}{{\mathrm{\τ}}_k}{t}_{k-1})}^2---\left(19\right)$

其中， 为权重系数，代表两帧之间相同类的相似度。

步骤4.1.4.3：建立时空一致性的去雾总代价函数

对静态背景建立的透射率模型基于时空一致性的，即既要保证帧内图像的空间一致性，也要保证帧间图像的时间连续性，因而静态背景透射率模型E^S为：

$E^S=E_{contrast}+{\mathrm{\λ}}_L{E}_{loss}+{\mathrm{\λ}}_T{E}_{temporal}^s---\left(20\right)$

λ_T为时间相关代价函数的权重系数，同时考虑到三部分代价函数的数量级，一般设置λ_T＝255*255。

步骤4.1.5：估计对应的透射率，具体步骤如下：

步骤4.1.5.1：初始化透射率t＝0.3，初始化代价函数E^S的最小值f cost_min＝FLT_MAX，FLT_MAX＝3.402823466*10³⁸为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤4.1.5.2：计算在当前t和前一帧透射率图t^k-1(x,y)条件下，代价函数E^S的值f cost；

步骤4.1.5.3：判断f cost≤f cost_min是否为真，若为真，则令f cost_min＝f cost，fOptTrs＝t，然后进入步骤4.1.5.4，反之则直接进入步骤4.1.5.4；

步骤4.1.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤4.1.5.2，循环步骤4.1.5.2～步骤4.1.5.4，直到t＜1为假，跳转至步骤4.1.5.5；

步骤4.1.5.5：得到f cost的最小值f cost_min对应的透射率fOptTrs，即得到静止场景类别C_i的透射率

步骤4.1.6：令i＝i+1，判断i＜m是否为真，若为真，返回步骤4.1.4，迭代法计算每一类像素对应的透射率，反之得到各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率其中(x,y)为像素所在图像位置。

步骤4.2：对从第二帧开始的视频图像的运动目标建立运动目标透射率模型，计算得到各个目标Obj_rh的透射率根据运动目标区域更新对应区域处的像素透射率，得到当前帧每个像素最终的透射率t^k(x,y)，流程如图7所示，具体为：

步骤4.2.1：输入相邻两帧图像和第k-1帧的透射率t^k-1(x,y)、帧的运动目标集合rh＝1,2,…,NumOutline；

步骤4.2.2：初始化运动目标数目j＝0；

步骤4.2.3：采用经典的块匹配算法，获取中第j个运动目标在前一帧图像中的对应区域

步骤4.2.4：构造中第j个运动目标基于时空一致性的透射率模型

前面讨论的静态背景透射率模型，是基于相邻两帧之间相同类同一位置处的透射率是相似的这一假设的，但是这一假设对于运动目标是不成立的，因为运动目标在相邻帧之间并不在同一个类中，因此，基于帧差法获取毎帧图像运动目标的位置Obj_rh,rh＝1,2,…,NumOutline，Obj_rh＝(x,y,w,h)代表运动目标所在的矩形区域，进而定义运动目标的时间连续性代价函数为：

$E_{temporal}^o=\stackrel{\‾}{{\mathrm{\ω}}_k^o}(t_k-\stackrel{\‾}{{\mathrm{\τ}}_k}{t}_{k-1}^o)---\left(21\right)$

其中：t_k代表当前帧运动目标的透射率，代表运动目标在前一帧图像中对应区域的透射率，代表目标在相邻两帧图像中的亮度相似性；最后，定义运动目标的透射率模型为：

$E^o=E_{contrast}+{\mathrm{\λ}}_L{E}_{loss}+{\mathrm{\λ}}_T{E}_{temporal}^o---\left(22\right)$

步骤4.2.5：估计中运动目标区域对应的透射率，具体步骤如下：

步骤4.2.5.1：初始化透射率t＝0.3，初始化代价函数E^o的最小值f cost_min＝FLT_MAX，FLT_MAX＝3.402823466*10³⁸为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤4.2.5.2：计算在当前t和前一帧透射率图t^k-1(x,y)条件下，代价函数E^o的值f cost；

步骤4.2.5.3：判断f cost≤f cost_min是否为真，若为真，则令f cost_min＝f cost，fOptTrs＝t，然后进入步骤4.2.5.4，反之则直接进入步骤4.2.5.4；

步骤4.2.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤4.2.5.2，循环步骤4.2.5.2～步骤4.2.5.4，直到t＜1为假，跳转至步骤4.2.5.5；

步骤4.2.5.5：得到f cost的最小值f cost_min对应的透射率fOptTrs，即得到运动目标区域将的透射率，

步骤4.2.6：令j＝j+1，判断j＜NumOutline是否为真，若为真，返回步骤4.2.4，迭代法计算每一个运动目标对应的透射率，反之得到每个运动目标rh＝1,2,…,NumOutline的透射率根据像素所在的运动目标区域，更新对应位置处的透射率，最终得到第k帧的透射率t^k(x,y)。

步骤5：根据估计到的全局大气光和透射率，恢复一帧图像，具体操作如下：

步骤5.1：将得到的第k帧图像大小为W_×H_的透射率图t^k(x,y)进行上采样，得到大小为width×height的透射率图t^k+(x,y)，width＝W_×s₁,height＝H_×s₂，s₁和s₂为上采样率。再使用经典的导向滤波方法将该透射率图进行细化，得到细化后的透射率图I_t^k(x,y)；

步骤5.2：利用得到的细化后的第k帧图像透射率图I_t^k(x,y)和估计到的大气光A＝(I_end'_r,I_end'_g,I_end'_b)，基于如下式所示的雾天图像退化模型，恢复一帧视频图像中每一个像素：

$J_c=\frac{I_c-A_c}{t}+A_c---\left(23\right)$

其中：c∈(r,g,b)，表示三颜色通道，透射率_t则为I_t^k(x,y)中对应位置处的值。

步骤5.3：将恢复后的一帧图像写入视频文件，并判断视频是否结束，若没有，继续估计下一帧参数，恢复图像，反之则输出恢复后的视频序列。

Claims (8)

1.一种基于谱聚类的视频去雾方法，其特征在于，具体按照以下步骤实施：

步骤1：摄像头采集有雾视频，该视频序列作为去雾的输入，其中分别为图像I_k的RGB颜色空间三个通道值，图像大小为width×height；

步骤2：判断步骤1中采集到的当前帧图像I_k是否为视频的第一帧图像I₁，如果是，转入步骤3；否则转入步骤4；

步骤3：对对第一帧图像I₁估计全局大气光A、谱聚类分割，并计算各个类的透射率；

步骤3.1：对第一帧图像I₁估计全局大气光A；

步骤3.2：对第一帧图像I₁进行谱聚类分割；

步骤3.3：计算各个类的透射率，根据像素所在的类别得到对应像素的透射率；

步骤4：对从第二帧开始的视频图像估计透射率；

步骤5：根据估计到的全局大气光和透射率，恢复一帧图像。

2.根据权利要求1所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤3.1具体为：

步骤3.1.1：输入视频图像Iⁱⁿ，初始值为第一帧图像I₁，即Iⁱⁿ＝I₁，计算该图像的面积Iⁱⁿ_Area，Iⁱⁿ_Area＝width*height，其中width和height分别表示图像的宽和高，设定面积阈值T，若Iⁱⁿ_Area＞T，则将当前图像均分成四个子区域Iⁱ,i＝1,2,3,4，转入步骤3.1.2，否则将当前图像记作I₁_end并转入步骤3.1.4；

步骤3.1.2：分别求出步骤3.1.1中四个子区域Iⁱ的三颜色通道的像素均值和标准差的差值的累加和R_Iⁱ：

$M\_I_c^i=mean\left(I_c^i\right)$

$S\_I_c^i=std\left(I_c^i\right)$

$R\_I^i=\underset{c\∈\{r,g,b\}}{\Σ}(M\_I_c^i-S\_I_c^i)$

其中，c∈{r,g,b}，为第i子区域中某个像素的某一颜色通道的值，mean(·)为某一颜色通道的像素均值，std(·)为某一颜色通道的像素标准差；

步骤3.1.3：选取R_Iⁱ中的最大值Iⁱ_max：

Iⁱ_max＝max(R_Iⁱ)

其中，max(·)代表求最大值；

将该最大值Iⁱ_max对应的子区域作为输入图像Iⁱⁿ，返回步骤3.1.1进行递归搜索；

步骤3.1.4：计算图像I₁_end中每个像素点的颜色向量(I_l_end_r：I_l_end_g：I_l_end_b)和白色向量(255,255,255)的距离I₁_end^Dis：

$I_1\_{\mathrm{end}}^{Dis}=\sqrt{\underset{c\∈\{r,g,b\}}{\Σ}{(I_1\_{\mathrm{end}}_c-255)}^2}$

其中，I₁_end_c为图像I₁_end中某一个像素点的某一个颜色通道的值；

将最接近白色的像素点也就是I₁_end^Dis值最小时对应的颜色向量(I₁_end'_r,I₁_end'_g,I₁_end'_b)作为全局大气光，即A＝(I₁_end'_r,I₁_end'_g,I₁_end'_b)。

3.根据权利要求1所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤3.2具体为：

步骤3.2.1：对视频的第一帧图像I₁进行下采样，得到下采样图像I_1-，I_1-图像的宽和高分别为W_-＝width/s₁，H_-＝height/s₂，s₁和s₂为下采样率，对I_1-提取YUV颜色空间的Y分量图作为谱聚类的输入图像，聚类个数初始化为m；

步骤3.2.2：将图像映射为一幅带权无向图G(V,W)，该无向图中的每一个节点V_n，n＝1,2,…,W_-×H_-对应中的毎一个像素p_n,n＝1,2,…,W_-×H_-，无向图G(V,W)的N×N邻接矩阵记为W，其中N＝W_-×H_-，邻接矩阵W中的元素W_ij代表像素对(p_i,p_j)之间的相似度，该相似度W_ij定义为特征相似指数函数和空间邻近指数函数的乘积为：

$W_{ij}=e^{\frac{-\left|\right|F\left(i\right)-F\left(j\right)|{|}_2^2}{{\mathrm{\σ}}_1^2}}*\left\{\begin{array}{cc}{e}^{\frac{-\left|\right|X\left(i\right)-X\left(j\right)|{|}_2^2}{{\mathrm{\σ}}_X^2}}& i\≠j\\ 0& i=j\end{array}\right.$

其中，F(i)表示中像素p_i的亮度特征向量，X(i)表示像素p_i在图像中的空间位置，σ₁和σ_x分别用来调节两部分相似度函数所占的比例；

步骤3.2.3：由邻接矩阵W求对角矩阵D和拉普拉斯矩阵L：

$D_{ii}=\underset{j=i}{\overset{N}{\Σ}}{W}_{ij}$

L＝D-W

归一化L得到归一化的拉普拉斯矩阵L_nor：

L_nor＝D^-1/2LD^-1/2＝I-D^-1/2WD^-1/2

其中矩阵I、D、L和L_nor维数都为N×N，I为单位矩阵；

步骤3.2.4：将归一化后的拉普拉斯矩阵L_nor进行奇异值分解，选取前m个特征值对应的特征向量H_i＝(h_1i,h_2i,…,h_Ni)′,i＝1,2,…,m，将m个特征向量H_i按列排列组成N×m特征矩阵H，该矩阵的每一行元素代表一个分类的样本，即对应中的一个像素；

步骤3.2.5：对特征矩阵H进行K-均值聚类，得到m个m维的聚类中心V_i＝(v₁,v₂,…v_m)，i＝1,2,…,m；

步骤3.2.6：把特征矩阵H的每一行元素按聚类中心V_i进行矢量量化，得到每一行元素所属的类，因为每一个像素对应一行元素，从而得到每一个像素所属的类别，由此得到图像的谱聚类分割矩阵S^m，矩阵的大小为W_-×H_-，各场景类别记为{C₁,C₂,…C_m}。

4.根据权利要求3所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤3.3具体为：

步骤3.3.1：输入第一帧有雾视频图像I₁和谱聚类分割矩阵S^m；

步骤3.3.2：将图像I₁下采样，记为I_1-，I_1-图像的宽和高分别为W_-＝width/s₁，H_-＝height/s₂，s₁和s₂为下采样率，对I_1-提取YUV颜色空间的Y分量图

步骤3.3.3：初始化谱聚类类数计数器i＝0；

步骤3.3.4：构造中第i个场景C_i即第i类像素基于空间一致性的去雾总代价函数E^c：

E^c＝E_contrast+λ_LE_loss

其中：λ_L是一个常数，

E_contrast为去雾对比度代价函数为：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}$

E_loss为信息损失代价函数为：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}$

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A$

其中，A为大气光，k表示视频帧数，J_k(p)表示去雾后的图像，表示去雾后图像的Y分量值，I_k(p)表示有雾图像，表示有雾图像的Y分量值，表示图像的均值，表示图像的均值，像素p∈C_i，是C_i类中的像素点个数，t表示透射率；

步骤3.3.5：估计第i个场景C_i即第i类像素的透射率

步骤3.3.5.1：初始化透射率t＝0.3，初始化代价函数E^c的最小时值fcost_min＝FLT_MAX，FLT_MAX为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤3.3.5.2：计算当前t下，代价函数E^c的值fcost；

步骤3.3.5.3：判断fcost≤fcost_min是否为真，若为真，则令fcost_min＝fcost，fOptTrs＝t，然后进入步骤3.3.5.4，反之则直接进入步骤3.3.5.4；

步骤3.3.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤3.3.5.2，若为假，跳转至步骤3.3.5.5；

步骤3.3.5.5：得到fcost的最小值fcost_min对应的透射率fOptTrs，即得到静止场景类别C_i的透射率

步骤3.3.6：令i＝i+1，判断i＜m是否为真，若为真，返回步骤3.3.4，若为假，则得到各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率t¹(x,y)，其中(x,y)为像素所在图像位置。

5.根据权利要求3所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤4具体为：

基于帧差法估计运动目标区域，首先，输入前后两帧视频图像I_k-1和I_k，计算它们的差值图D_k，然后设置阈值，将D_k二值化，得到D'_k，对D'_k进行形态学滤波处理，得到R_k，最后对R_k进行连通性分析，获取连通域的轮廓，根据轮廓个数NumOutline得到运动目标区域Ob_jrh,rh＝1,2,…,NumOutline；

步骤4.1：对从第二帧开始的视频图像，根据其在第一帧图像对应位置的场景类别C_i,i＝1,2,…,m，建立时空一致性透射率模型，计算得到各个场景类别C_i的透射率根据像素所在的类别得到对应像素的透射率

步骤4.2：对从第二帧开始的视频图像的运动目标建立运动目标透射率模型，计算得到各个目标Ob_jrh的透射率根据运动目标区域更新对应区域处的像素透射率，得到当前帧每个像素最终的透射率t^k(x,y)。

6.根据权利要求5所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤4.1具体为：

步骤4.1.1：输入相邻两帧视频图像I_k-1和I_k，输入第k-1帧的透射率t^k-1(x,y)，输入谱聚类分割矩阵S^m；

步骤4.1.2：将图像I_k-1和I_k下采样，记为I_k-1-和I_k-，图像的宽和高分别为W_-＝width/s₁，H_-＝height/s₂，s₁和s₂为下采样率，对I_k-1-和I_k-提取YUV颜色空间的Y分量图和

步骤4.1.3：初始化谱聚类类数计数器i＝0；

步骤4.1.4：构造中第i个场景C_i即第i类像素基于时空一致性的静态背景透射率模型E^S：

$E^S=E_{contrast}+{\mathrm{\λ}}_L{E}_{loss}+{\mathrm{\λ}}_T{E}_{temporal}^s$

其中，λ_T为时间相关代价函数的权重系数，λ_L是一个常数，

为时间相关性代价函数为：

$E_{temporal}^s=\stackrel{\‾}{{\mathrm{\ω}}_k}{(t_k-\stackrel{\‾}{{\mathrm{\τ}}_k}{t}_{k-1})}^2$

E_contrast为去雾对比度代价函数为：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}$

E_loss为信息损失代价函数为：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}$

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A$

假设相邻两帧图像同一个场景点的亮度信息是相同的，则：

$J_{k-1}^Y\left(p\right)=J_k^Y\left(p\right)$

其中，为权重系数为

$\stackrel{\‾}{{\mathrm{\τ}}_k}=\frac{\underset{p\∈C_i}{\Σ}{\mathrm{\ω}}_k\left(p\right){\mathrm{\τ}}_k\left(p\right)}{\underset{p\∈C_i}{\Σ}{\mathrm{\ω}}_k\left(p\right)}$

${\mathrm{\ω}}_k\left(p\right)=\exp (-\frac{{\left(I_k^Y\right(p)-I_{k-1}^Y(p\left)\right)}^2}{{\mathrm{\σ}}^2})$

t_k(p)＝τ_k(p)t_k-1(p)

${\mathrm{\τ}}_k\left(p\right)=\frac{I_k^Y\left(p\right)-A^Y}{I_{k-1}^Y\left(p\right)-A^Y}$

其中，Y表示YUV色彩空间的Y分量，A为大气光，σ为常数，k表示视频帧数，t_k(p)为当前帧像素点p处的透射率，τ_k(p)是时间相关性参数，为图像一个谱聚类分割类C_i中的时间相关性参数，I_k(p)表示有雾图像，J_k(p)表示去雾后的图像，表示图像的均值，表示图像的均值，像素p∈C_i，是C_i类中的像素点个数，t表示透射率，ω_k(p)为表示相邻帧之间图像差异的概率值；

步骤4.1.5：估计对应的透射率

步骤4.1.5.1：初始化透射率t＝0.3，初始化代价函数E^S的最小值fcost_min＝FLT_MAX，FLT_MAX为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤4.1.5.2：计算在当前t和前一帧透射率图t^k-1(x,y)条件下代价函数E^S的值fcost；

步骤4.1.5.3：判断fcost≤fcost_min是否为真，若为真，则令fcost_min＝fcost，fOptTrs＝t，然后进入步骤4.1.5.4，反之则直接进入步骤4.1.5.4；

步骤4.1.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤4.1.5.2，若为假，跳转至步骤4.1.5.5；

步骤4.1.5.5：得到fcost的最小值fcost_min对应的透射率fOptTrs，即得到静止场景类别C_i的透射率

步骤4.1.6：令i＝i+1，判断i＜m是否为真，若为真，返回步骤4.1.4，若为假，则得到各个类C_i,i＝1,2,…,m的透射率根据像素所在的类别得到对应像素的透射率其中(x,y)为像素所在图像位置。

7.根据权利要求5所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤4.2具体为：

步骤4.2.1：输入相邻两帧图像和第k-1帧的透射率t^k-1(x,y)、帧的运动目标集合rh＝1,2,…,NumOutline；

步骤4.2.2：初始化运动目标数目j＝0；

步骤4.2.3：利用块匹配算法，获取中第j个运动目标在前一帧图像中的对应区域

步骤4.2.4：构造中第j个运动目标基于时空一致性的透射率模型E^o：

$E^o=E_{contrast}+{\mathrm{\λ}}_L{E}_{loss}+{\mathrm{\λ}}_T{E}_{temporal}^o$

其中，λ_T为时间相关代价函数的权重系数，λ_L是一个常数，

为运动目标的时间连续性代价函数为：

$E_{temporal}^o=\stackrel{\‾}{{\mathrm{\ω}}_k^o}(t_k-\stackrel{\‾}{{\mathrm{\τ}}_k}{t}_{k-1}^o)$

E_contrast为去雾对比度代价函数为：

$E_{contrast}=-\underset{p\∈C_i}{\Σ}\frac{{\left(J_k^Y\right(p)-\stackrel{\‾}{J_k^Y})}^2}{N_{C_i}}=-\underset{p\∈C_i}{\Σ}\frac{{\left(I_k^Y\right(p)-\stackrel{\‾}{I_k^Y})}^2}{t^2{N}_{C_i}}$

E_loss为信息损失代价函数为：

$\begin{array}{c}{E}_{loss}=\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,J_k^Y\left(p\right)\left\}\right)}^2+{\left(\max \right\{0,J_k^Y\left(p\right)-255\left\}\right)}^2\}\\ =\underset{p\∈C_i}{\Σ}\{{\left(\min \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A\left\}\right)}^2+{\left(\max \right\{0,\frac{I_k^Y\left(p\right)-A}{t}+A-255\left\}\right)}^2\}\end{array}$

$J_k\left(p\right)=\frac{1}{t}\left(I_k\right(p)-A)+A$

其中：A为大气光，k表示视频帧数，Y表示YUV色彩空间的Y分量，J_k(p)表示去雾后的图像，I_k(p)表示有雾图像，表示图像的均值，表示图像的均值，像素p∈C_i，是Ci类中的像素点个数，t表示透射率，t_k代表当前帧运动目标的透射率，代表运动目标在前一帧图像中对应区域的透射率，代表目标在相邻两帧图像中的亮度相似性；

步骤4.2.5：估计中运动目标区域对应的透射率

步骤4.2.5.1：初始化透射率t＝0.3，初始化代价函数E^o的最小值fcost_min＝FLT_MAX，FLT_MAX为float型数据的最大值，初始化理想透射率fOptTrs＝t；

步骤4.2.5.2：计算在当前t和前一帧透射率图t^k-1(x,y)条件下，代价函数E^o的值fcost；

步骤4.2.5.3：判断fcost≤fcost_min是否为真，若为真，则令fcost_min＝fcost，fOptTrs＝t，然后进入步骤4.2.5.4，反之则直接进入步骤4.2.5.4；

步骤4.2.5.4：令t＝t+0.1，判断t＜1是否为真，若为真，返回步骤4.2.5.2，若为假，跳转至步骤4.2.5.5；

步骤4.2.5.5：得到fcost的最小值fcost_min对应的透射率fOptTrs，即得到运动目标区域将的透射率，

步骤4.2.6：令j＝j+1，判断j＜NumOutline是否为真，若为真，返回步骤4.2.4，若为假，则得到每个运动目标rh＝1,2,…,NumOutline的透射率根据像素所在的运动目标区域，更新对应位置处的透射率，最终得到第k帧的透射率t^k(x,y)。

8.根据权利要求6或7所述的一种基于谱聚类的视频去雾方法，其特征在于，所述步骤5具体为：

步骤5.1：将得到的第k帧图像大小为W_-×H_-的透射率图t^k(x,y)进行上采样，得到大小为width×height的透射率图t^k+(x,y)，width＝W_-×s₁,height＝H_-×s₂，s₁和s₂为上采样率，再使用导向滤波方法将该透射率图进行细化，得到细化后的透射率图I_t^k(x,y)；

步骤5.2：利用得到的细化后的第k帧图像透射率图I_t^k(x,y)和估计到的大气光A＝(I_end'_r,I_end'_g,I_end'_b)，基于如下式所示的雾天图像退化模型，恢复一帧视频图像中每一个像素：

$J_c=\frac{I_c-A_c}{t}+A_c$

其中：c∈(r,g,b)，表示三颜色通道，透射率t则为I_t^k(x,y)中对应位置处的值；

步骤5.3：将恢复后的一帧图像写入视频文件，并判断视频是否结束，若没有，继续估计下一帧参数，恢复图像，反之则输出恢复后的视频序列。