CN101281642B - 基于自适应聚类颜色传递的雾天图像清晰化方法 - Google Patents

Abstract

本发明公开了一种基于自适应聚类颜色传递的雾天图像清晰化方法，该方法按照以下步骤实施：采集源图像和目标图像信息，通过颜色空间的转换分别进行解耦合处理；统计出源图像与目标图像的均值与方差，使源图像的统计特性尽可能地向目标图像“靠拢”；将所得到的在Lαβ颜色空间上的校正源图像再由Lαβ颜色空间变换还原到RGB颜色空间，得到一次颜色传递校正结果图；将一次颜色传递校正后的结果图像继续与目标图像进行颜色聚类；进行相似类别的查找与对应；进行二次颜色传递校正；人工调整二次校正的聚类个数，得到最终的校正结果图。本发明的方法实现了对大雾条件下所拍摄的图像进行清晰化处理，能够恢复出源图像中的有效信息。

Description

基于自适应聚类颜色传递的雾天图像清晰化方法

技术领域

本发明属于图像恢复技术领域，涉及一种在低对比度低信息量条件下对图像进行清晰化恢复的方法，具体涉及一种基于自适应聚类颜色传递的雾天图像清晰化方法。

背景技术

随着计算机图像处理技术的不断发展，以及监控，数码摄像等领域的迫切需要，人们在分析某些低对比度、低信息量照片的时候，要求能够对图像进行较大程度的清晰化处理，恢复图像中的一些关键信息。

在我国，大雾是一种时常出现的天气情况，在大雾天气下，无论应用于哪个领域的户外视频监视系统，所拍摄到的都是有着大雾干扰的低对比度的图像。图像信息量很低，其中存在着大量难以看清的画面信息和相当一部分根本就无法分辨的细节信息，而这些有时却正是一幅图像最需要的内容，所以，在通常情况下，大雾下图像的利用率相当低，甚至在一些情况下，不得不被当作废图像，不具有任何的使用和分析的价值。

一般情况下，对低对比度的图像进行清晰化处理，采用的是拉伸对比度的方法，可是由于实际场景中的雾况的不一致性，使得所需要拉伸的程度也大不相同，并且很难找到雾况与对比度之间的映射关系，因此在很多情况下，即使是对对比度进行手动的非线性拉伸，也很难取得较好的效果，这就使得大雾天气下的图像恢复成了一个很棘手的问题。

发明内容

本发明的目的是，提供一种基于自适应聚类颜色传递的雾天图像清晰化方法，来对大雾条件下所拍摄的雾天模糊图像进行清晰化处理，恢复出雾天模糊图像中的有效信息。

本发明采用的技术方案是，一种基于自适应聚类颜色传递的雾天图像清晰化方法，该方法按照以下步骤实施，

步骤1、采集源图像和目标图像信息，通过颜色空间的转换，对源图像以及目标图像分别进行解耦合处理；

步骤2、对步骤1所得的解耦合处理结果，在Lαβ颜色空间中，统计出其三个通道的源图像与目标图像的均值与方差，使源图像的统计特性尽可能地向目标图像“靠拢”，尽量使源图像与目标图像有相同的或尽量相似的统计特性；

步骤3、将步骤2所得到的在Lαβ颜色空间上的校正源图像再由Lαβ颜色空间变换还原到RGB颜色空间，得到一次颜色传递校正结果图像，

如果没有颜色失真，进行完步骤3之后，就完成了源图像的处理操作；

如果出现色偏失真，还需要通过以下步骤继续完成对图像颜色的校正；

步骤4、将步骤3所得到的一次颜色传递校正结果图像继续与目标图像进行颜色聚类；

步骤5、对步骤4所得到的结果进行源图像与目标图像的相似类别的查找与对应；

步骤6、根据步骤5所得到的结果，进行二次颜色传递校正；

步骤7、用户根据对颜色质量的主观判断，对步骤6所得的二次颜色传递校正图像，调整二次校正的聚类个数，得到最终的校正结果图。

本发明的有益效果是，实现了对大雾条件下所拍摄的图像进行清晰化处理，恢复出大部分的细节信息，恢复图像中的一些关键信息，恢复出图像中的景物色彩信息。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明的工作原理是，采用自适应聚类颜色传递的方法，设置一个晴天下拍摄的图像作为目标图像(可以是不同场景的图像)，该目标图像可以与待处理图像不是相同的景物，将待处理图像在解耦合后的颜色空间上，通过改变待处理图像的统计特性，使之与目标图像的统计特性趋于相似的方式进行颜色传递。以此达到对雾天图像的清晰化的处理效果，不在图像中留下明显的不平滑的人为处理过后的痕迹，使图像处于一种自然的状态。

本发明中，将有雾天气下拍摄到的图像称为源图像，将晴天天气下拍摄到的清晰度好的图像称为目标图像。也可以事先在处理之前，将目标图像存储于系统中，以备处理时使用。

本发明的雾天图像清晰化处理方法，按照以下步骤实施，

步骤1、采集源图像和目标图像信息，通过颜色空间的转换，对源图像以及目标图像的三个颜色通道RGB分别进行解耦合处理。

采用的方法是，将源图像和目标图像分别都从RGB颜色空间转换到Lαβ颜色空间，因为Lαβ颜色空间上三个通道间的耦合程度比较低，所以通过空间转换的方法，能够达到对RGB颜色空间上的图像三通道解耦合的目的。

RGB颜色空间到Lαβ颜色空间的转换，转换的过程共分两步：

a、先将RGB颜色空间转换到LMS颜色空间：

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.1967& 0.7244& 0.0782\\ 0.0241& 0.1288& 0.8444\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

b、将LMS颜色空间转换到Lαβ颜色空间：

$\left[\begin{array}{c}L\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1/\sqrt{3}& 0& 0\\ 0& 1/\sqrt{6}& 0\\ 0& 0& 1/\sqrt{2}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right]\left[\begin{array}{c}\log \left(L\right)\\ \log \left(M\right)\\ \log \left(S\right)\end{array}\right]---\left(2\right)$

步骤2、在Lαβ颜色空间中，统计出其三个通道的源图像与目标图像的均值与方差，使源图像的统计特性尽可能地向目标图像“靠拢”，尽量使源图像与目标图像有相同的或尽量相似的统计特性，具体的方法按照以下步骤实施：

a、将源图像和目标图像转换到Lαβ颜色空间后，在Lαβ颜色空间下计算各个通道的总体均值μ和标准差σ，即源图像的统计参数为：μ_s ^L，μ_s ^α，μ_s ^β，σ_s ^L，σ_s ^α，σ_s ^β；目标图像的统计参数为：μ_t ^L，μ_t ^α，μ_t ^β，σ_t ^L，σ_t ^α，σ_t ^β；参数的下标s，t分别代表源图和目标图。

均值和标准差的计算公式如下：

$\mathrm{\μ}=\frac{1}{m\·n}\·\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}f(i,j)---\left(3\right)$

$\mathrm{\σ}=\sqrt{\frac{1}{m\·n}\·\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{[f(i,j)-\mathrm{\μ}]}^2}---\left(4\right)$

其中，f(i，j)表示图像在(i，j)点上的灰度值，图像的大小为m×n。

b、在源图像中，按照下式每个像素点的各通道都减去该通道的总体均值，

$\left\{\begin{array}{c}{L}_s^{*}=L_s-{\mathrm{\μ}}_s^L\\ {\mathrm{\α}}_s^{*}={\mathrm{\α}}_s-{\mathrm{\μ}}_s^{\mathrm{\α}}\\ {\mathrm{\β}}_s^{*}={\mathrm{\β}}_s-{\mathrm{\μ}}_s^{\mathrm{\β}}\end{array}\right.---\left(5\right)$

c、对源图像中各个像素点按照下式进行像素值的缩放，

$\left\{\begin{array}{c}{L}_s^{*}=\frac{{\mathrm{\σ}}_t^L}{{\mathrm{\σ}}_s^L}\·L_s^{*}\\ {\mathrm{\α}}_s^{*}=\frac{{\mathrm{\σ}}_t^{\mathrm{\α}}}{{\mathrm{\σ}}_s^{\mathrm{\α}}}\·{\mathrm{\α}}_s^{*}\\ {\mathrm{\β}}_s^{*}=\frac{{\mathrm{\σ}}_t^{\mathrm{\β}}}{{\mathrm{\σ}}_s^{\mathrm{\β}}}\·{\mathrm{\β}}_s^{*}\end{array}\right.---\left(6\right)$

d、源图像的每个像素点各个通道值按照下式加上目标图像相应通道的均值，

$\left\{\begin{array}{c}{L}_s^{*}=L_s^{*}+{\mathrm{\μ}}_t^L\\ {\mathrm{\α}}_s^{*}={\mathrm{\α}}_s^{*}+{\mathrm{\μ}}_t^{\mathrm{\α}}\\ {\mathrm{\β}}_s^{*}={\mathrm{\β}}_s^{*}+{\mathrm{\μ}}_t^{\mathrm{\β}}\end{array}\right.---\left(7\right)$

步骤3、将所得到的在Lαβ颜色空间上的校正源图像再由Lαβ颜色空间变换到RGB颜色空间，得到的校正图像称为一次颜色传递校正结果图，

从Lαβ颜色空间到RGB颜色空间的转换，具体过程分为两步：

a、将图像画面从Lαβ空间转换到LMS颜色空间：

$\left[\begin{array}{c}\log \left(L\right)\\ \log \left(M\right)\\ \log \left(S\right)\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -1\\ 1& -2& 0\end{array}\right]\left[\begin{array}{ccc}1/\sqrt{3}& 0& 0\\ 0& 1/\sqrt{6}& 0\\ 0& 0& 1/\sqrt{2}\end{array}\right]\left[\begin{array}{c}L\\ \mathrm{\α}\\ \mathrm{\β}\end{array}\right]---\left(8\right)$

b、再将图像画面从LMS颜色空间转换到RGB颜色空间：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.46791& -3.5873& 0.1193\\ -1.2186& 2.3809& -0.1624\\ 0.0497& -0.2439& 1.2045\end{array}\right]\left[\begin{array}{c}\exp \left\{\log \left(L\right)\right\}\\ \exp \left\{\log \left(M\right)\right\}\\ \exp \left\{\log \left(S\right)\right\}\end{array}\right]---\left(9\right)$

经过这样的处理之后，画面的细节能够得到明显的增强，画面的整体清晰度得到了提高。

如果没有颜色失真，进行到第三步之后，就完成了源图像的处理过程。但是由于目标图像选择允许与源图像不是同一个季节拍摄的图像，因此，在经过了上述颜色传递之后，可能出现一定程度的色偏失真，这时，需要通过下面的步骤完成对颜色的校正。

步骤4、将一次颜色传递校正后的结果图像继续与目标图像进行颜色聚类。采用自组织特征映射神经元网络作为聚类器进行颜色的聚类，定义该聚类器的输入神经元个数为3，这三个输入神经元的含义分别为图像中像素的(R，G，B)值，即x₁＝R、x₂＝G、x₃＝B，输出神经元的个数表示所需要聚类的类别数，例如，当需要对图像的颜色聚类的类别数为8色时，n＝8。

该SOFM聚类器的学习过程如下：

a、初始化，

权值矩阵W是一个值为w_ij ∈[0，255]的随机数矩阵，学习速率η(t)＝η₀(＜1)，这里，η₀＝0.01，邻域Ng(t)＝3及总学习次数T＝100。

b、计算欧式(Euclid)距离，

d_j＝||X_j-W||₂         (j＝1，2，...，n)        (10)

c、确定获胜神经元，

d_g＝min{d_j}        (j＝1，2，...，N)     (11)

d、修正连接权值，

以g为中心，确定学习邻域Ng(t)，修正权值

e、返回步骤b直到完成所有输入模式，即遍历j＝1，2，...，n的训练，

f、更新学习速率η(t)

$\mathrm{\η}\left(t\right)={\mathrm{\η}}_0(1-\frac{t}{T})---\left(13\right)$

该聚类器收敛之后，权值阵W＝[w_ij]_3×n＝[w_1j，w_2j，w_3j]_{j＝1，2，...，n}表示的是各个类别的颜色中心，即属于第j类的颜色中心为

[R_j，G_j，B_j]＝[w_1j，w_2j，w_3j]，(j＝1，2，...，n)。

对照聚类中心就可以对一幅图像的颜色，按照“距离哪个颜色中心最近，就属于哪个颜色类别”的原则进行聚类，获得不同颜色类别所在的颜色区域。

步骤5、相似类别的查找与对应。

经过聚类之后，经过一次颜色传递校正后的源图像与目标图像之间类别所在区域不能一一对应，因此，需要进行相似类别的判断，具体步骤如下，

a、将图像由RGB颜色空间转换到HSV颜色空间，

V＝max(R，G，B)                          (14)

$S=\left\{\begin{array}{cc}[V-\min (R,G,B)]/V,& V>0\\ 0,& V=0\end{array}\right.---\left(15\right)$

$H=\left\{\begin{array}{cc}60(G-B)/\mathrm{SV}& V=R\\ 60[2+(B-R)/\mathrm{SV}]& V=G\\ 60[4+(R-G)/\mathrm{SV}]& V=B\\ 0& V=0\\ H+360& H<0\end{array}\right.---\left(16\right)$

b、对H、S分别进行m级量化，统计出各聚类后区域的归一化HS二维直方图，即H分量为 $p=[p_1,p_2,...,p_m],(\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_k=1),$

S分量为 $q=[q_1{,q}_2,...,q_m],(\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{q}_k=1).$

c、使用修正的Bhattacharyya系数作为二维直方图相似程度的评判，计算公式如下：

$D(p,q)=\sqrt{1-\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{p_k{q}_k}}---\left(17\right)$

通过分析D(p，q)可知两直方图颜色的不匹配程度，D(p，q)的值越小两直方图匹配度越高，表明两个区域越相似。

步骤6、进行二次颜色传递校正。

将在步骤4得到的每一个经过一次颜色传递校正图像的聚类区域校正至找到最相似的目标图像的聚类区域后，利用目标图像的聚类区域的统计特性，按照前述的一次颜色传递校正相同的方法，对一次校正结果图像中对应的聚类区域进行颜色传递校正，得到二次颜色传递校正图像。

步骤7、用户根据对颜色质量的主观判断，人工调整二次校正的聚类个数，得到最终的校正结果图。

如果用户对颜色的色差能够有比较大的容忍性，例如只关心清晰化后图像的细节部分，只采用一次校正就可以；如果用户对色差的要求比较苛刻，则需要进行这一步的操作。

由于图像的雾况不同，参照用的目标图像不同，聚类个数的多少会影响到图像清晰化过程中的颜色恢复效果。聚类经验值选为8个类别的聚类，可以根据图像效果的好坏在此基础上增减聚类类别数，以达到满意的效果图。

本发明的方法在进行图像清晰化时，所选择的自标图像允许与源图像的画面内容不一致，但是，为了尽可能地保证颜色的恢复效果，要求目标图像的画面色调尽量与源图像相似。此外，对于摄像头固定的视频监视系统，可以采集一帧晴好天气下的画面存储起来，作为目标图像，这样当系统训练得到了聚类类别数之后，存储起来，在系统投入运行之后，直接调用该训练得到的类别数进行处理，就可实现完全的自动化处理。

Claims (1)

1.一种基于自适应聚类颜色传递的雾天图像清晰化方法，其特征在于，该方法按照以下步骤1-7实施：

步骤1、采集源图像和目标图像信息，源图像为有雾天气下拍摄到的图像，目标图像为晴天天气下拍摄到的清晰度好的图像，通过颜色空间的转换，对源图像以及目标图像分别进行解耦合处理，具体包括以下步骤：

a、先将RGB颜色空间按照下面的公式转换到LMS颜色空间，

b、再将LMS颜色空间转换到Lαβ颜色空间，

将图像转换到Lαβ颜色空间之后，就完成了对三个颜色通道的解耦合；

步骤2、对步骤1所得的解耦合处理结果，在Lαβ颜色空间中，统计出其三个通道的源图像与目标图像的均值与方差，使源图像的统计特性尽可能地向目标图像“靠拢”，尽量使源图像与目标图像有相同的或尽量相似的统计特性，具体包括以下步骤，

a、将源图像和目标图像转换到Lαβ颜色空间后，在Lαβ颜色空间下计算各个通道的总体均值μ和标准差σ，即源图像的三个通道的 统计参数为： 

目标图像的三个通道的统计参数为： 

参数的下标s，t分别代表源图像和目标图像，均值和标准差的计算公式如下：

其中，f(i，j)表示图像在(i，j)点上的灰度值，图像的大小为m×n，

b、在源图像中，按照下式每个像素点的各通道都减去该通道的总体均值，

c、对源图像中各个像素点按照下式进行像素值的缩放，

d、源图像的每个像素点各个通道值按照下式加上目标图像相应通道的均值， 

步骤3、将步骤2所得到的在Lαβ颜色空间上的校正源图像再由Lαβ颜色空间变换还原到RGB颜色空间，得到一次颜色传递校正结果图像，所述的颜色空间变换还原方法，具体包括以下步骤：

a、先将Lαβ颜色空间转换到LMS颜色空间，

b、再将图像画面从LMS颜色空间转换到RGB颜色空间，

如果没有颜色失真，进行完步骤3之后，就完成了源图像的处理操作；如果出现色偏失真，还需要通过以下步骤继续完成对图像颜色的校正；

步骤4、将步骤3所得到的一次颜色传递校正结果图像继续与目标图像进行颜色聚类，采用自组织特征映射神经元网络进行颜色聚类，具体包括以下步骤：

将SOFM颜色聚类器的输入神经元个数设置为3，这三个输入神经元的含义分别为图像中像素的(R，G，B)值，即x₁＝R、x₂＝G、x₃＝B，输出神经元的个数表示所需要聚类的类别数，

该SOFM颜色聚类器的学习过程如下： 

a、初始化：权值矩阵W为一个值为w_ij∈[0，255]的随机数矩阵，学习速率η(t)＝η₀，这里，η₀＝0.01，邻域Ng(t)＝3及总学习次数T＝100，

b、计算欧式距离d_j＝||X_j-W||₂，其中j＝1，2，...n；

c、确定获胜神经元d_g＝min{d_j}，其中j＝1，2，...，N；

d、修正连接权值：以g为中心，确定学习邻域Ng(t)，修正权值

e、返回步骤b直到完成所有输入模式，即遍历j＝1，2，...，n的训练，

f、更新学习速率η(t)： 

该聚类器收敛之后，权值阵W＝[w_ij]_3×n＝[w_1j，w_2j，w_3j]_{j＝1，2，...，n}表示的是各个类别的颜色中心，即属于第j类的颜色中心为：

[R_j，G_j，B_j]＝[w_1j，w_2j，w_3j]，其中j＝1，2，...，n，

对照聚类中心就可以对一幅图像的颜色，按照“距离哪个颜色中心最近，就属于哪个颜色类别”为原则进行聚类，获得不同颜色类别所在的颜色区域；

步骤5、对步骤4所得到的结果进行源图像与目标图像的相似类别的查找与对应，具体包括以下步骤：

a、将图像由RGB颜色空间转换到HSV颜色空间，

V＝max(R，G，B)

b、对H、S分别进行m级量化，统计出各聚类后区域的归一化HS二维直方图，即

H分量为p＝[p₁，p₂，...，p_m]，其中

S分量为q＝[q₁，q₂，...，q_m]，其中

c、使用修正的Bhattacharyya系数作为二维直方图相似程度的评判，计算公式为：

步骤6、根据步骤5所得到的结果，进行二次颜色传递校正，具体包括以下步骤：将在步骤4得到的每一个经过一次颜色传递校正图像的聚类区域校正至找到最相似的目标图像的聚类区域后，利用目标图像的聚类区域的统计特性，按照前述的一次颜色传递校正相同的方法，对一次校正结果图像中对应的聚类区域进行颜色传递校正，得到二次颜色传递校正图像；

步骤7、用户根据对颜色质量的主观判断，对步骤6所得的二次颜色传递校正图像，调整二次校正的聚类个数，得到最终的校正结果图。