CN104299197B - 一种利用2d cca的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种利用2D CCA的单幅图像去雾方法，首先构造有雾图像训练集及对应的介质传播图训练集，利用2D CCA训练投影矩阵；其次将一幅待处理的雾天图像预处理分解为测试图像块，再用投影矩阵投影到一个子空间，求子空间测试图像块在有雾图像训练集中的K个最邻近块及块权重；然后利用K个最邻近块的标号和块权重，求介质传播图在子空间的投影；再将子空间介质传播图像块投影回原空间求出原空间介质传播图，精细化原空间介质传播图，获取待处理的雾天图像的整体大气光值，利用两色大气散射模型求取去雾后图像。本发明无需固定场景重复拍摄图像，训练集可重复使用，能准确估算出介质传播图，恢复出较清晰的图像。

Description

一种利用2D CCA的单幅图像去雾方法

技术领域

本发明属于图像增强技术领域，特别是一种利用2D CCA进行单幅图像去雾的方法。

背景技术

现今雾霾天气频频出现，对人们的日常生活造成很大的影响。由于有雾天气条件下，大气中存在的大量悬浮颗粒会对光线产生吸收和散射作用，在这种天气条件下拍摄的图像往往具有较差的视觉效果，如对比度下降、物体轮廓不清晰等等，这对图像后续的应用，如目标跟踪、特征提取、自动导航等，都造成极大的不便。

目前已有的图像去雾方法基本可分为多幅图像去雾和单幅图像去雾两类。多幅图像去雾方法对同一个场景在不同时间、不同天气条件或者不同偏振滤波器下进行多次拍摄，获取多幅相同场景的图像，从而得到较多的先验约束便于去除雾天效果。这类方法往往具有很大局限性，因为在许多实际应用中很难做到在不同条件下对相同场景的多次拍摄。单幅图像去雾方法对图像采集时间等条件的要求较低，只需少量附加条件就能得到较好的去雾效果，近年来也有许多进展。目前最有代表性的方法要数何恺明等人提出的基于暗通道先验的单幅图像去雾方法(Kaiming He,Jian Sun,Xiaoou Tang,Single image hazeremoval using dark channel prior,IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.33,no.12,pp.2341-2353,2011)。他们通过对大量无雾自然图像的观察统计，发现大部分图像非天空区域的每个局部区域中都至少有一个颜色通道的一些像素值非常低或者接近于零，他们将这种图像先验信息定义为暗通道先验，利用该先验估计出介质传播图，并用抠图算法对介质传播图精细化，最后通过大气散射模型复原出去雾后的图像。

暗通道先验现已被许多单幅图像去雾方法用来估计介质传播图，如中国专利“一种单幅图像去雾方法及装置”[201210011326.5]，以及Chia-Hung Yeh等人提出的单幅图像去雾方法(Chia-Hung Yeh,Li-Wei Kang,Ming-Sui Lee,Cheng-Yang Lin,Haze effectremoval from image via haze density estimation in optical model,OpticsExpress,vol.21,no.22,pp.27127-27141,2013)。然而，由于暗通道先验中实际计算的是介质传输图的一个紧下界，所以使用该先验的方法总是会对雾的浓度过估计，从而得到视觉效果不理想的过增强的图像去雾效果。

CCA(canonical correlation analysis，典型相关分析)是分析两个数据之间关系的一种常用方法，它为两个数据寻找一对向量，使得经过这对向量变换后的数据之间的相关性最大。然而传统的CCA不适用于分析二维的图像数据，因为它需要将图像数据从二维拉伸至一维，这样会丢失二维图像数据的结构信息。

发明内容

本发明的目的在于提供一种利用2D CCA的单幅图像去雾方法，使投影后介质传播图的估算更稳定更准确，从而恢复出较清晰的图像。

实现本发明目的的技术解决方案为：一种利用2D CCA进行单幅图像去雾的方法，首先构造有雾图像训练集及其对应的介质传播图训练集，利用2D CCA训练投影矩阵；其次将一幅待处理的雾天图像经过预处理分解为测试图像块，再通过投影矩阵投影到一个子空间，求出子空间的测试图像块在有雾图像训练集中的K个最邻近块以及块权重；然后利用K个最邻近块的标号和块权重，求介质传播图在子空间的投影；再将子空间介质传播图像块投影回原空间求出原空间介质传播图，精细化原空间介质传播图，获取待处理的雾天图像的整体大气光值，利用两色大气散射模型求取去雾后图像。

本发明与现有技术相比，其显著优点为：(1)不用对同一场景在不同条件下进行多次拍摄。(2)本发明是一种基于学习的方法，当投影矩阵训练完成后，每次应用不必重复训练。(3)由于通过2D CCA能够最大化两个二维数据集之间的线性关系，因此有雾图像训练集及其对应的介质传播图训练集之间的关系能够被很好地保持，并传递到估算待处理的雾天图像对应的介质传播图的过程中，从而能得到较准确的介质传播图，不会出现去雾图像过增强的现象。(4)本发明先构造有雾图像训练集及其对应介质传播图训练集，为了分析有雾图像训练集及其对应介质传播图训练集之间的关系，并充分利用这种关系来去除雾天图像中的雾，利用2D CCA训练投影矩阵，使投影后介质传播图的估算更稳定更准确，从而恢复出较清晰的图像。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明一种利用2D CCA的单幅图像去雾方法流程图。

图2(a)是本发明实施例中用于测试的合成雾天图像(大小为640×480)。

图2(b)是本发明实施例中对合成雾天图像去雾后的结果图像。

图3(a)是本发明实施例中用于测试的自然雾天图像(大小为945×1023)。

图3(b)是本发明实施例中对自然雾天图像去雾后的结果图像。

具体实施方式

本发明利用2D CCA的单幅图像去雾方法，首先构造有雾图像训练集及其对应的介质传播图训练集，利用2D CCA(2D canonical correlation analysis，二维典型相关分析)训练投影矩阵；其次将一幅待处理的雾天图像经过预处理分解为测试图像块，再通过投影矩阵投影到一个子空间，求出子空间的测试图像块在有雾图像训练集中的K个最邻近块以及块权重；然后利用K个最邻近块的标号和块权重，求介质传播图在子空间的投影；再将子空间介质传播图像块投影回原空间求出原空间介质传播图，精细化原空间介质传播图，获取待处理的雾天图像的整体大气光值，利用两色大气散射模型求取去雾后图像。

本发明实现上述内容的具体步骤为：

步骤1：构造有雾图像训练集。利用法国交通及安全国家研究院和陆桥中心实验室建立的雾天道路图像数据库(Foggy Road Image Database，简称FRIDA)，从中任选M幅无雾图像，1≤M＜18，随机任意设定不同的雾浓度，通过数据库中的深度信息，对每幅无雾图像合成出一幅有雾图像，图像大小为W_train×H_train像素，将合成出的M幅有雾图像分解成H×H像素的有雾图像块，2≤H≤15，有雾图像块之间重叠S个像素，1≤S≤H-1，对每个有雾图像块做极小值滤波，所有有雾图像块构成有雾图像块集合，对有雾图像块集合减去其均值进行中心化，构成有雾图像训练集(表示实数域)，Y_j为有雾图像训练集中第j个有雾图像块，N为有雾图像块个数。

步骤2：构造与有雾图像训练集对应的介质传播图训练集。在FRIDA数据库中，将M幅有雾图像对应的M幅介质传播图像分解成H×H像素的介质传播图像块，介质传播图像块之间重叠S个像素，1≤S≤H-1，所有介质传播图像块构成介质传播图像块集合，对介质传播图像块集合减去其均值进行中心化，构成介质传播图训练集(表示实数域)，T_j为介质传播图训练集中第j个介质传播图像块，N为介质传播图像块个数。

步骤3：利用2D CCA训练投影矩阵。对有雾图像训练集和对应介质传播图训练集利用2D CCA的公式

求出有雾图像训练集对应的左投影矩阵和右投影矩阵以及介质传播图训练集对应的左投影矩阵和右投影矩阵其中cov(·,·)表示两者的协方差，var表示方差，上标T表示矩阵转置运算。

步骤4：将一幅大小为W_test×H_test像素的待处理的雾天图像y，经过预处理分解为测试图像块。将待处理的雾天图像y分解成H×H像素的测试图像块，2≤H≤15，测试图像块之间重叠S个像素，1≤S≤H-1，对每个测试图像块做极小值滤波，所有的测试图像块构成测试图像块集合，对测试图像块集合减去其均值进行中心化，中心化后的测试图像块集合记为(表示实数域)，其中z_j表示第j个测试图像块，n为测试图像块的个数。

步骤5：测试图像块z_j通过投影矩阵投影到子空间。对z_j左乘右乘即其中表示z_j投影到子空间的测试图像块，j＝1,2,...,n。

步骤6：求出子空间的测试图像块在有雾图像训练集中的K(1≤K<N)个最邻近块以及块权重：

步骤6.1：将有雾图像训练集和介质传播图像训练集投影到子空间，得到子空间有雾图像训练集和子空间介质传播图像训练集

步骤6.2：计算子空间有雾图像训练集中所有图像块与之间的欧氏距离，找出这些欧式距离中前K个最短欧式距离所对应的中的图像块，将这K个图像块的标号记录在标号集合中，这K个图像块即为K个最邻近块；

步骤6.3：求解最小化问题

其中||·||_F表示Frobenius范数，表示中的第l个图像块，w_l表示第l个块权重，为求出的块权重集合

步骤7：利用K个最邻近块的标号和块权重，求介质传播图在子空间的投影。将子空间介质传播图像训练集中的图像块加权组合成与对应的子空间介质传播图像块，即其中表示中的第l个图像块。

步骤8：将子空间介质传播图像块投影回原空间求出原空间介质传播图：其中上标表示Moor-Penrose伪逆；再将求出的n个拼接求出原空间介质传播图

步骤9：精细化原空间介质传播图。对原空间介质传播图应用引导滤波得到精细化的介质传播图，即引导滤波中的引导图为待处理的雾天图像y，r为引导滤波中均值滤波的半径(单位为像素)，1≤r＜min(W_test,H_test)，min(·,·)表示两者之间的最小值，ε为正则化参数，0.0001≤ε＜1。

步骤10：获取待处理的雾天图像的整体大气光值。从待处理的雾天图像的暗通道中挑选出前0.1％最亮的像素，获取暗通道的窗口大小为15×15像素，在待处理的雾天图像的这些像素中最高的像素强度值就被选择为待处理的雾天图像的整体大气光值a。

步骤11：利用两色大气散射模型求取去雾后图像x。求取去雾后图像x的表达式为：

其中，y为待处理的雾天图像，max(·,·)表示两者之间的最大值。

实施例

下面结合附图和实施例，对本发明的实施过程进行如下详细说明。在本次实施例中采用法国交通及安全国家研究院和陆桥中心实验室建立的FRIDA数据库和合成雾天图像(或自然雾天图像)进行实验。

如图1所示，首先用FRIDA数据库构造有雾图像训练集和对应介质传播图训练集，然后将合成雾天图像(或自然雾天图像)，如图2(a)(或图3(a))所示，记为y，进行测试，具体步骤如下：

步骤1：构造有雾图像训练集：利用FRIDA数据库，从中任选9幅无雾图像，随机任意设定不同的雾浓度，通过数据库中的深度信息，对每幅无雾图像合成出一幅有雾图像，图像大小为W_train×H_train像素，将合成出的9幅有雾图像分解成9×9像素的有雾图像块，有雾图像块之间重叠3个像素，对每个有雾图像块做极小值滤波，所有有雾图像块构成有雾图像块集合，对有雾图像块集合减去其均值进行中心化，构成有雾图像训练集(表示实数域)，Y_j为有雾图像训练集中第j个有雾图像块，N为有雾图像块个数。

步骤2：构造与有雾图像训练集对应的介质传播图训练集：在FRIDA数据库中，将9幅有雾图像对应的9幅介质传播图像分解成9×9像素的介质传播图像块，介质传播图像块之间重叠3个像素，所有介质传播图像块构成介质传播图像块集合，对介质传播图像块集合减去其均值进行中心化，构成介质传播图训练集(表示实数域)，T_j为介质传播图训练集中第j个介质传播图像块，N为介质传播图像块个数。

步骤3：利用2D CCA训练投影矩阵：对有雾图像训练集和对应介质传播图训练集利用2D CCA的公式

求出有雾图像训练集对应的左投影矩阵和右投影矩阵以及介质传播图训练集对应的左投影矩阵和右投影矩阵其中cov(·,·)表示两者的协方差，var表示方差，上标T表示矩阵转置运算。

步骤4：将一幅大小为640×480(或945×1023)像素的待处理的雾天图像y，经过预处理分解为测试图像块：将待处理的雾天图像y分解成9×9像素的测试图像块，测试图像块之间重叠3个像素，对每个测试图像块做极小值滤波，所有的测试图像块构成测试图像块集合，对测试图像块集合减去其均值进行中心化，中心化后的测试图像块集合记为(表示实数域)，其中z_j表示第j个测试图像块，n为测试图像块的个数。

步骤5：测试图像块z_j通过投影矩阵投影到子空间。对z_j左乘右乘即其中表示z_j投影到子空间的测试图像块，j＝1,2,...,n。

步骤6：求出子空间的测试图像块在有雾图像训练集中的24个最邻近块以及块权重：

步骤6.1：将有雾图像训练集和介质传播图像训练集投影到子空间，得到子空间有雾图像训练集和子空间介质传播图像训练集

步骤6.2：计算子空间有雾图像训练集中所有图像块与之间的欧氏距离，找出这些欧式距离中前24个最短欧式距离所对应的中的图像块，将这K个图像块的标号记录在标号集合中，这24个图像块即为24个最邻近块；

步骤6.3：求解最小化问题

其中||·||_F表示Frobenius范数，表示中的第l个图像块，w_l表示第l个块权重，为求出的块权重集合。

步骤7：利用24个最邻近块的标号和块权重，求介质传播图在子空间的投影。将子空间介质传播图像训练集中的图像块加权组合成与对应的子空间介质传播图像块，即其中表示中的第l个图像块。

步骤8：将子空间介质传播图像块投影回原空间求出原空间介质传播图：其中上标表示Moor-Penrose伪逆；再将求出的n个拼接求出原空间介质传播图

步骤9：精细化原空间介质传播图。对原空间介质传播图应用引导滤波得到精细化的介质传播图，即引导滤波中的引导图为待处理的雾天图像y，r为引导滤波中均值滤波的半径(单位为像素)，r取值为80，，ε为正则化参数，ε取值为0.00001。

步骤10：获取待处理的雾天图像的整体大气光值。从待处理的雾天图像的暗通道中挑选出前0.1％最亮的像素，获取暗通道的窗口大小为15×15像素，在待处理的雾天图像的这些像素中最高的像素强度值就被选择为待处理的雾天图像的整体大气光值a。

步骤11：利用两色大气散射模型求取去雾后图像x。求取去雾后图像x的表达式为：

其中，y为待处理的雾天图像，max(·,·)表示两者之间的最大值。去雾结果如图2(b)(或图3(b))所示。

下面结合图2和图3，通过实施例的效果评价来进一步说明本发明。

如图2(a)和图3(a)所示，原始的有雾合成图像和自然图像都有一些结构和色彩收到雾的影响而变得不清晰。合成图像中较远处的景物建筑已经看不见了，自然图像中的建筑物的颜色偏白，对比度低。图2(b)为本发明方法处理图2(a)后得到的去雾结果，从图中可以看出，大部分雾天效果已经去除了，能看到远处的景物。图3(b)为本发明方法处理图3(a)后得到的增强结果，从图中可以看出，原先建筑的许多细节都呈现出来，颜色也自然明亮。

Claims (9)

1.一种利用2D CCA的单幅图像去雾方法，其特征在于：

首先，构造有雾图像训练集及其对应的介质传播图训练集，利用2D CCA训练投影矩阵；其中构造有雾图像训练集的方法为：利用雾天道路图像数据库FRIDA，从中任选M幅无雾图像，1≤M<18，随机任意设定不同的雾浓度，通过数据库中的深度信息，对每幅无雾图像合成出一幅有雾图像，图像大小为W_train×H_train像素，将合成出的M幅有雾图像分解成H×H像素的有雾图像块，2≤H≤15，有雾图像块之间重叠S个像素，1≤S≤H-1，对每个有雾图像块做极小值滤波，所有有雾图像块构成有雾图像块集合，对有雾图像块集合减去其均值进行中心化，构成有雾图像训练集 表示实数域，Y_j为有雾图像训练集中第j个有雾图像块，N为有雾图像块个数；

其次，将一幅待处理的雾天图像经过预处理分解为测试图像块，再通过投影矩阵投影到一个子空间，求出子空间的测试图像块在有雾图像训练集中的K个最邻近块以及块权重；

然后，利用K个最邻近块的标号和块权重，求介质传播图在子空间的投影，再将子空间介质传播图像块投影回原空间求出原空间介质传播图，精细化原空间介质传播图，获取待处理的雾天图像的整体大气光值，利用两色大气散射模型求取去雾后图像；构造与有雾图像训练集对应的介质传播图训练集的方法为：在FRIDA中，将M幅有雾图像对应的M幅介质传播图像分解成H×H像素的介质传播图像块，介质传播图像块之间重叠S个像素，1≤S≤H-1，所有介质传播图像块构成介质传播图像块集合，对介质传播图像块集合减去其均值进行中心化，构成介质传播图训练集 表示实数域，T_j为介质传播图训练集中第j个介质传播图像块，N为介质传播图像块个数。

2.根据权利要求1所述的利用2D CCA的单幅图像去雾方法，其特征在于利用2D CCA训练投影矩阵的方法为：对有雾图像训练集和对应介质传播图训练集利用2D CCA的公式

求出有雾图像训练集对应的左投影矩阵和右投影矩阵以及介质传播图训练集对应的左投影矩阵和右投影矩阵其中cov(·,·)表示两者的协方差，var表示方差，上标T表示矩阵转置运算。

3.根据权利要求1所述的利用2D CCA的单幅图像去雾方法，其特征在于将一幅大小为W_test×H_test像素的待处理的雾天图像y，经过预处理分解为测试图像块的方法为：将待处理的雾天图像y分解成H×H像素的测试图像块，2≤H≤15，测试图像块之间重叠S个像素，1≤S≤H-1，对每个测试图像块做极小值滤波，所有的测试图像块构成测试图像块集合，对测试图像块集合减去其均值进行中心化，中心化后的测试图像块集合记为 表示实数域，其中z_j表示第j个测试图像块，n为测试图像块的个数。

4.根据权利要求3所述的利用2D CCA的单幅图像去雾方法，其特征在于测试图像块z_j通过投影矩阵投影到子空间的方法为：对z_j左乘右乘即 其中表示z_j投影到子空间的测试图像块。

5.根据权利要求1或4所述的利用2D CCA的单幅图像去雾方法，其特征在于求出子空间的测试图像块在有雾图像训练集中的K，1≤K<N，个最邻近块以及块权重的方法为：

步骤5.1将有雾图像训练集和介质传播图像训练集投影到子空间，得到子空间有雾图像训练集和子空间介质传播图像训练集

步骤5.2计算子空间有雾图像训练集中所有图像块与之间的欧氏距离，找出这些欧式距离中前K个最短欧式距离所对应的中的图像块，将这K个图像块的标号记录在标号集合中，这K个图像块即为K个最邻近块；

步骤5.3求解最小化问题

其中||·||_F表示Frobenius范数，表示中的第l个图像块，w_l表示第l个块权重，为求出的块权重集合。

6.根据权利要求1所述的利用2D CCA的单幅图像去雾方法，其特征在于利用K个最邻近块的标号和块权重，求介质传播图在子空间的投影的方法为：将子空间介质传播图像训练集中的图像块加权组合成与对应的子空间介质传播图像块，即其中表示中的第l个图像块，其中表示z_j投影到子空间的测试图像块，w_l表示第l个块权重。

7.根据权利要求1所述的利用2D CCA的单幅图像去雾方法，其特征在于将子空间介质传播图像块投影回原空间求出原空间介质传播图的方法为： 其中上标表示Moor-Penrose伪逆；再将求出的n个拼接求出原空间介质传播图

8.根据权利要求1所述的利用2D CCA的单幅图像去雾方法，其特征在于精细化原空间介质传播图的方法为：对原空间介质传播图应用引导滤波得到精细化的介质传播图，即引导滤波中的引导图为待处理的雾天图像y，r为引导滤波中均值滤波的半径，单位为像素，1≤r<min(W_test,H_test)，min(·,·)表示两者之间的最小值，ε为正则化参数，0.0001≤ε<1。

9.根据权利要求1所述的利用2D CCA的单幅图像去雾方法，其特征在于获取待处理的雾天图像的整体大气光值的方法为：从待处理的雾天图像的暗通道中挑选出前0.1％最亮的像素，获取暗通道的窗口大小为15×15像素，在待处理的雾天图像的这些像素中最高的像素强度值就被选择为待处理的雾天图像的整体大气光值a；

利用两色大气散射模型求取去雾后图像x的表达式为：

其中，y为待处理的雾天图像，max(·,·)表示两者之间的最大值。