CN109522941A - 一种基于图像的大气光强估计方法 - Google Patents

Abstract

本发明公开了一种基于图像的大气光强估计方法，利用随机采样一致性原理和直线的Plüker描述通过在输入图像对应的色彩空间寻找具有最大支撑点集的直线交点来估计大气光强，其包括，对输入图像进行预处理，对参数和阈值进行初始化，随机采样生成大气光强点假设，寻找位于确定当前大气光强点的两条直线上的支撑点，寻找潜在雾线及位于其上的当前大气光强点的支撑点，确定当前最优大气光强点，循环迭代上述随机采样生成大气光强假设及寻找其支撑点过程，最终得到高精度的大气光强估计值。本发明克服了现有利用图像基于先验知识和基于Hough变换等大气光强估计方法存在的估计精度较低、不鲁棒等缺点，实现了大气光强的高精度自动估计，具有重要的工程实用价值。

Description

一种基于图像的大气光强估计方法

技术领域

本发明涉及交通能见度检测以及空气雾霾检测技术领域，特别是涉及一种基于图像的大气光强估计方法。

背景技术

近年来，随着我国经济的快速发展，污染造成的雾霾、沙尘暴以及自然因素造成的雨、雪等极端天气导致的低能见度对人民生活特别是交通出行造成重大影响时有发生。低能见度的天气造成的延误、堵塞，甚至封路、停航，对航空、航海、陆路交通以及军事活动等都有极其重要的影响。因此，及时准确的检测低能见度并及时作出相应预警及响应，对保证交通的安全畅通运营以及其他领域的运行都有重要意义。传统的大气能见度检测主要依赖透射式能见度测量仪、散射式能见度测量仪和激光雷达式能见度测量仪等专门的能见度测量仪器来实现，这些仪器通常结构庞大、成本价高、操作复杂，难以大范围内进行部署。近年来国内外诸多研究者对基于图像的能见度检测方法进行了一系列理论和实验研究，这类方法得到了很大的进展，取得了一定的成绩。现有的基于图像的能见度检测及图像去雾霾算法主要基于公式I(x)＝t(x)J(x)+(1-t(x))A，其中A为大气光强即大气的辐射亮度，x＝[u,v]^T(上标T表示转置)是图像中像素的坐标，I(x)为图像中坐标为x的像素的亮度(即R、G、B色彩值)，J(x)为图像中坐标为x的像素对应场景中的物体的辐射亮度，t(x)为图像中坐标为x的像素对应场景中的大气能见度。在上述公式中仅有I(x)的值可由图像得到，大气能见度t(x)、物体的辐射亮度J(x)和大气光强A都是未知的。其中物体的辐射亮度是随位置变化的量，部分位置处的估计误差仅影响局部的大气能见度的估计精度。而大气光强是一个全局变量，其估计误差对大气能见度的估计有全局的影响。因而精确估计大气光强对准确检测大气能见度至关重要。现有的基于暗通道(dark channel)信息法、基于色彩线(color-lines)法以及基于雾线(haze-lines)法等方法多是依靠先验信息通过提取图像中最亮的亮度作为大气光强A的值。但基于图像的大气能见度检测场景中最亮的亮度很多情况下对应太阳或路灯的亮度而不是大气的光强。这给大气能见度检测带来巨大的误差。尽管Berman等提出基于Hough变换的大气光强估计方法(Dana Berman,et.al.,Air-lightestimation using haze-lines.in: Proc.of2017IEEE International Conference onComputational Photography,2017.)，但Hough变换在计算开销与估计精度之间存在不可调和的矛盾，而上述方法涉及三维空间的划分，计算开销十分庞大，为了降低计算开销使其具有可实现性，在对空间进行划分时不得不降低分辨率，使得估计的大气光强精度仍较低。

发明内容

为克服现有技术的不足，提供一种具有较高精度的基于图像的大气亮度的估计方法。

本发明采用的技术方案为：一种基于图像的大气光强估计方法，该方法包括步骤：

步骤1、对输入的彩色图像进行预处理，将彩色图像中的色彩{I}进行聚类，得到N个聚类后的核心色彩并用编号1～N对色彩编号索引，利用索引表示图像

步骤2、为利用随机采样一致性原理估计大气光强进行初始化：设定参数的初始值以及随机采样一致性验证循环终止条件。

步骤3、利用随机采样一致性原理估计大气光强，在聚类后的核心色彩集合中随机抽取一个样本，该样本包含四个采样点，两点确定一条直线，则四个采样点能够生成三组包含两条直线的组合，判断这些直线是否相交。若不相交，重新随机抽取一个样本；若相交，将四个采样点从核心色彩集合中删除得到更新后的当前核心色彩集合并求对应候选大气光强的直线交点

步骤4、在当前核心色彩集合中寻找位于确定当前候选大气光强的两条直线上的的支撑点。并将这些支撑点从当前核心色彩集合中删除，得到更新的

步骤5、在当前核心色彩集合中进一步寻找当前候选大气光强的支撑点。在集合中随机抽取一个点，令其与当前大气光强候选值生成RGB 色彩空间中的一条直线即雾线，然后逐一验证当前核心色彩集合中剩余的点是否在该直线上：若在该直线上，则将其记为大气光强的候选的支撑点，并将其从核心色彩点集中移至当前大气光强的支撑点集；如无点在该雾线上，则在集合中重新随机抽取一个点与生成雾线，并寻找该雾线上的支撑点。重复本步骤，直至当前核心色彩集合为空。

步骤6、将得到的当前候选大气光强的支撑点集合的势与当前已得到的对应最大值即最大势C_max比较：若大于当前最大势C_max，则将得到的势记为最大势 C_max，将对应的候选大气光强的值记为最佳大气光强值A_optim；否则保留当前 C_max和A_optim的值。

步骤7、重复步骤3-步骤6，直至满足设定的循环终止条件。则得到的最佳大气光强A_optim即为本方法估计的大气光强值。

进一步的，步骤3中使用随机采样生成候选大气光强时，利用Plüker坐标 (l,m)表示三维的RGB颜色空间中的直线，其中l为直线的单位方向向量，m＝p×l为矩向量，p为直线上一点。则随机采样的的一个样本所包含的四个点 P₁,P₂,P₃,P₄是否相交通过下式

det[P₁,P₂,P₃,P₄]＝0

是否成立来判断：如等式不成立，则四个点形成的两条直线不相交；若等式成立，则四个点形成的直线相交或平行，此时直线相交于无穷远点，通过比较直线的单位方向向量l是否相同判断直线是否平行，若相交。若直线相交，则交点为

其中I₃为3×3单位阵，Plüker坐标(l,m)的分量l、m下标1，2分别对应第1、第2条直线。四个采样点可生成三组包含两条直线的组合，即可得三个对应大气光强候选值的直线交点，大气光强值应在[0,255]之间取值，且大气光强的值通常应大于图像中绝大多数像素的亮度值，由此在上述约束下取三组直线交点的最大值作为大气光强的一个候选值

进一步的，步骤4，在当前核心色彩集合中寻找位于确定当前候选大气光强的两条直线上的的支撑点。具体为依次从当前核心色彩集合取其中的元素P，点P在确定的两条直线(l₁,m₁)或(l₂,m₂)上，应满足P×l＝m。考虑到噪声的影响，当

||m-P×l||＜t₁

时可认为点P位于直线(l,m)上，其中t₁为点到直线的距离的阈值，即点P为当前的支撑点，将其从当前核心色彩集合中移除，移至的支撑点集。

进一步的，步骤5，在当前核心色彩集合中进一步寻找当前候选大气光强的支撑点。具体作法为：在当前集合中随机选取一个点Q，计算其与当前大气光强候选值生成RGB色彩空间中的直线(l,m),然后依次从集合选取元素P，利用根据公式||m-P×l||＜t₁是否成立判断其是否在直线(l,m)上。若是，则该点P为当前大气光强候选值的支撑点，将其从当前核心色彩集合中移除，移至的支撑点集。

针对现有技术，本发明的优点在于：该方法基于随机采样一致性机制，提高了大气亮度估计的准确性；利用Plüker坐标描述空间直线并给出了在该描述方式下空间四点确定的两条直线相交的充分条件、点到空间直线的距离以及空间中两条直线的交点的计算公式，由此可精确求解大气亮度的值，避免了现有的基于先验知识估计方法粗略估计以及基于Hough变换方法由于考虑计算的可实现性降低空间分辨率带来的估计精度低、鲁棒性差等缺点。

附图说明

图1是图像中的雾线相交于大气光强的示意图。

图2是基于图像的大气光强估计方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施作进一步说明：

真实场景的图像成像满足公式I(x)＝t(x)J(x)+(1-t(x))A，其中I(x)已知， A为待求量，且t(x)，J(x)也是未知量。现有研究表明，自然场景的图像中的色彩分布是稀疏的，没有雾霾情况下的清晰图像可以利用RGB色彩空间中的少数色彩{J}来描述。场景中具有相同色彩的物体通常会位于距相机不同距离的位置，当存在雾霾时，这些物体会因距离摄像机距离不同而具有不同的能见度t，由公式I(x)＝t(x)J(x)+(1-t(x))A知I(x)＝(J(x)-A)t(x)+A，即具有相同色彩J的物体在图像中的色彩I位于一条起点为A方向向量为(J(x)-A)的直线上。则整个图像可表示为相交于大气光强点A的一组直线，其示意图如图1所示。该方法利用随机采样一致性原理和直线的Plüker描述通过在输入图像对应的色彩空间寻找具有最大支撑点集的直线交点来估计大气光强。其主要包括对输入图像进行预处理、参数初始化、对参数和阈值进行初始化，随机采样生成大气光强点假设，寻找位于确定当前大气光强点的两条直线上的支撑点，寻找潜在雾线及位于其上的当前大气光强点的支撑点，确定当前最优大气光强点，循环迭代上述随机采样生成大气光强假设及寻找其支撑点过程，最终得到大气光强估计值等步骤组成，如图2所示。各步的具体说明如下：

步骤1、对输入的彩色图像进行预处理，将图像中的色彩{I}进行聚类，得到 N个聚类后的核心色彩并用编号1～N对色彩编号索引，利用索引表示图像

尽管现在常用的24位真彩色可以表示2²⁴(＝16777216)种色彩，但真实场景的图像中包含的色彩通常在10³这一数量级。为提高计算效率，本发明对输入图像的色彩进行聚类，得到N个聚类后的核心色彩根据场景中色彩丰富程度通常N在1000～2000之间取值。然后将原图像利用N个核心色彩构成的调色板来描述：利用各个核心色彩在调色板中的索引号1～N可以得到原图像的新描述

步骤2、为利用随机采样一致性原理估计大气光强进行初始化：设定参数的初始值以及随机采样一致性验证循环终止条件。

1)生成模型假设阶段，抽样样本需包含的最小数据点个数h＝4。判断采样样本中包含的h＝4个点构成的两条直线是否相交的阈值thresh_det一般在 10^-3～10^-5之间取值。

2)寻找支撑点阶段，判断某个核心色彩I_i是某条雾线(l,m)的支撑点的阈值 t₁一般在10^-1～10^-3之间取值。

3)循环迭代阶段，一致集的当前最大势C_max的初始值设为0，最佳大气光强值A_optim的初始值设为[0,0,0]^T，其中上标T表示转置。循环终止是利用随机采样一致性算法中标准的自适应确定抽样次数的算法来实现的，即利用公式 K₀＝logz/log(1-ω^h)可确定步骤7中循环迭代步骤3-步骤6的次数的初始值，按照随机采样一致性算法中标准的自适应确定抽样次数算法，可以在循环迭代过程中自适应更新K₀的值单调下降，保证循环迭代过程必然终止，其中h为抽样样本需包含的最小数据点个数，本发明中h＝4；z为K₀次抽样得到的所有样本均为坏样本即都不对应正确大气光强的概率，而1-z为K₀次抽样至少得到的一个好样本的概率，z可在0.05～0.01之间取值；ω为内点比例，本发明中自适应确定抽样次数算法中初始的最保守的内点比例参数ω₀可在0.05～0.2之间取值，即核心色彩集合中的样本的10％为内点而90％为外点，后续可自动更新。

步骤3、利用随机采样一致性原理估计大气光强，在聚类后的核心色彩集合中随机抽取一个样本。在本发明中一个样本包含四个点，而两点可确定一条直线，则一个样本中的四个点可生成两条直线，且四个点可生成三组包含两条直线的组合。在本发明中利用Plüker坐标(l,m)表示三维的RGB颜色空间中的直线，其中l为直线的单位方向向量，m＝p×l为矩向量，p为直线上一点。若随机抽取的一个样本包含四个点P₁,P₂,P₃,P₄，则过P₁,P₂的直线(l₁₂,m₁₂)的单位方向向量l₁₂为：

l₁₂＝(P₁-P₂)/norm(P₁-P₂)

过P₁,P₂的直线(l₁₂,m₁₂)的矩向量m₁₂为

m₁₂＝P₁×l₁₂

其中m₁₂的值与选取的直线上的点无关，即m₁₂＝P₁×l₁₂＝P₂×l₁₂。

类似地，可求出P₃,P₄确定的直线(l₃₄,m₃₄)。

首先利用下式判断随机抽取的一个样本中的四个点P₁,P₂,P₃,P₄构成的直线是否相交，

其中表示向量P_i的齐次坐标。如等式不成立，则四个点形成的两条直线不相交，需重新随机抽样一个样本；若等式成立，则四个点形成的直线相交(或平行，此时直线相交于无穷远点)，进一步可通过比较直线的单位方向向量l是否相同判断直线是否平行：若平行，则重新随机抽样一个样本生成候选大气光强；若相交，则交点为

其中I₃为3×3单位阵，Plüker坐标(l,m)的分量l、m下标1，2分别对应第1、第2条直线。四个采样点可生成三组包含两条直线的组合，即可得三个对应大气光强候选值的直线交点，大气光强值应在[0,255]之间取值，且大气光强的值通常应大于图像中绝大多数像素的亮度值，由此在上述约束下取三组直线交点的最大值作为一个大气光强候选值并将该样本包含的四个点从核心色彩集合中移除得到更新后的当前核心色彩集合四个点被移至的支撑点集中。

步骤4、在当前核心色彩集合中寻找位于确定当前候选大气光强的两条直线上的的支撑点。依次从当前核心色彩集合随机抽取其中一个元素P，判断点P是否在确定的两条直线(l₁,m1)或(l₂,m₂)上，即点P是否满足 P×l₁＝m₁或P×l₂＝m₂。考虑到噪声的影响，当

||m₁-P×l₁||＜t₁(或||m₂-P×l₂||＜t₁)

时可认为点P位于直线(l₁,m₁)(或(l₂,m₂))上，其中t₁为点到直线的距离的阈值，由步骤2的2)知t₁一般在10^-1～10^-3之间取值。即点P为当前的支撑点，将其从当前核心色彩集合中移除，移至的支撑点集。

步骤5、在当前核心色彩集合中进一步寻找当前候选大气光强的支撑点。在集合中随机选取一个点Q，将其从当前核心色彩集合中删除，更新当前核心色彩集合令点Q与当前大气光强候选值生成RGB 色彩空间中的一条直线(雾线)(l,m)，然后依次从更新后的当前核心色彩集合选取元素P_i，利用根据公式||m-P_i×l||＜t₁是否成立，逐一验证更新后的当前核心色彩集合中各个元素是否在直线(l,m)上。若元素P_i在直线(l,m)上，则将其记为当前大气光强候选值的支撑点，并将其从当前核心色彩集合中移除，移至的支撑点集，并将点Q移至的支撑点集。若更新后的当前核心色彩集合中无元素在该雾线(l,m)上，则在集合中重新随机选一个点 Q与生成雾线，并寻找该雾线上的支撑点。重复本步骤，直至当前核心色彩集合为空。

步骤6、将得到的当前候选大气光强的支撑点集合的势与当前已得到的对应最大值即最大势C_max比较，若大于当前最大势C_max，则将得到当前候选大气光强的支撑点集合的势记为最大势C_max，即并将对应的候选大气光强的值记为最佳大气光强值A_optim，即否则保留当前C_max和A_optim。

步骤7、重复迭代步骤3-步骤6，在这一过程中根据当前的C_max更新数据集的内点比例ω＝C_max/N，并将其赋给下次迭代的内点比例参数初始值ω₀＝C_max/N，并用公式K₀＝logz/log(1-ω^h)计算最大抽样次数(即重复迭代步骤 3-步骤6的次数)，自适应地确定最大循环次数K₀。在这一迭代过程中，初始的几次迭代中最大循环次数K₀的值非常大，但自适应算法可以使得最大循环次数 K₀的值单调下降，而每次迭代使得实际循环次数K的值加1，经过若干次迭代，当K＝K₀时循环迭代过程终止。则得到的最佳大气光强A_optim即为本方法估计的大气光强值。

以上内容是结合最佳实施方案对本发明所做的进一步详细说明,不能认定本发明的具体实施只限于这些说明。本领域的技术人员应能理解,在不脱离由所附权利要求书限定的情况下,可以在细节上进行各种修改,都应当视为本发明的保护范围。

Claims (4)

1.一种基于图像的大气光强估计方法，其特征在于：该方法包括步骤，

步骤1、对输入的彩色图像进行预处理，将彩色图像中的色彩{I}进行聚类，得到N个聚类后的核心色彩并用编号1～N对色彩编号索引，利用索引表示图像

步骤2、为利用随机采样一致性原理估计大气光强进行初始化：设定参数的初始值以及随机采样一致性验证循环终止条件；

步骤3、利用随机采样一致性原理估计大气光强，在聚类后的核心色彩集合中随机抽取一个样本，该样本包含四个采样点，两点确定一条直线，则四个采样点能够生成三组包含两条直线的组合，判断这些直线是否相交；若不相交，重新随机抽取一个样本；若相交，将四个采样点从核心色彩集合中删除得到更新后的当前核心色彩集合并求对应候选大气光强的直线交点

步骤4、在当前核心色彩集合中寻找位于确定当前候选大气光强的两条直线上的的支撑点；并将这些支撑点从当前核心色彩集合中删除，得到更新的

步骤5、在当前核心色彩集合中进一步寻找当前候选大气光强的支撑点；在集合中随机抽取一个点，令其与当前大气光强候选值生成RGB色彩空间中的一条直线即雾线，然后逐一验证当前核心色彩集合中剩余的点是否在该直线上：若在该直线上，则将其记为大气光强的候选的支撑点，并将其从核心色彩点集中移至当前大气光强的支撑点集；如无点在该雾线上，则在集合中重新随机抽取一个点与生成雾线，并寻找该雾线上的支撑点；重复本步骤，直至当前核心色彩集合为空；

步骤6、将得到的当前候选大气光强的支撑点集合的势与当前已得到的对应最大值即最大势C_max比较：若大于当前最大势C_max，则将得到的势记为最大势C_max，将对应的候选大气光强的值记为最佳大气光强值A_optim；否则保留当前C_max和A_optim的值；

步骤7、重复步骤3-步骤6，直至满足设定的循环终止条件；则得到的最佳大气光强A_optim即为本方法估计的大气光强值。

2.根据权利要求1所述的一种基于图像的大气光强估计方法，其特征在于：步骤3中使用随机采样生成候选大气光强时，利用Plüker坐标(l,m)表示三维的RGB颜色空间中的直线，其中l为直线的单位方向向量，m＝p×l为矩向量，p为直线上一点；则随机采样的的一个样本所包含的四个点P₁,P₂,P₃,P₄是否相交通过下式

det[P₁,P₂,P₃,P₄]＝0

是否成立来判断：如等式不成立，则四个点形成的两条直线不相交；若等式成立，则四个点形成的直线相交或平行，此时直线相交于无穷远点，通过比较直线的单位方向向量l是否相同判断直线是否平行，若相交；若直线相交，则交点为

其中I₃为3×3单位阵，Plüker坐标(l,m)的分量l、m下标1，2分别对应第1、第2条直线；四个采样点可生成三组包含两条直线的组合，即可得三个对应大气光强候选值的直线交点，大气光强值应在[0,255]之间取值，且大气光强的值通常应大于图像中绝大多数像素的亮度值，由此在上述约束下取三组直线交点的最大值作为大气光强的一个候选值

3.根据权利要求1所述的一种基于图像的大气光强估计方法，其特征在于：步骤4，在当前核心色彩集合中寻找位于确定当前候选大气光强的两条直线上的的支撑点；具体为依次从当前核心色彩集合取其中的元素P，点P在确定的两条直线(l₁,m₁)或(l₂,m₂)上，应满足P×l＝m；考虑到噪声的影响，当

||m-P×l||＜t₁

时可认为点P位于直线(l,m)上，其中t₁为点到直线的距离的阈值，即点P为当前的支撑点，将其从当前核心色彩集合中移除，移至的支撑点集。

4.根据权利要求1所述的一种基于图像的大气光强估计方法，其特征在于：步骤5，在当前核心色彩集合中进一步寻找当前候选大气光强的支撑点；具体作法为：在当前集合中随机选取一个点Q，计算其与当前大气光强候选值生成RGB色彩空间中的直线(l,m),然后依次从集合选取元素P，利用根据公式||m-P×l||＜t₁是否成立判断其是否在直线(l,m)上；若是，则该点P为当前大气光强候选值的支撑点，将其从当前核心色彩集合中移除，移至的支撑点集。