CN105931193A - 一种基于暗通道先验的夜间交通卡口图像增强方法 - Google Patents

Abstract

本发明提供一种基于暗通道先验的夜间交通卡口图像增强方法，包括以下步骤：输入夜间卡口图像，将夜间图像暗通道进行反转，得到反转的夜间卡口图像；利用反转卡口图像，获得暗通道图像；计算大气散射模型中的全球大气光；根据全球大气光，得到透射率图像；用导向滤波精细透射率图像；对全球大气光和精细后的透射率图像，基于大气散射模型，得到增强后的夜间卡口图像的反转图像；将反转图像再次反转，得到最终增强的夜间卡口图像。

Description

一种基于暗通道先验的夜间交通卡口图像增强方法

技术领域

本发明涉及一种图像分析技术，特别是一种基于暗通道先验的夜间交通卡口图像增强方法。

背景技术

由于夜间自然光线较弱，摄像机采集到的交通卡口图像可视性较差，图像质量退化，尤其是车窗区域的信息丢失严重。因此有效、便捷的丰富、突出夜间图像的前车窗细节信息，可满足智能交通系统的某些特殊需求。

图像增强技术是针对特定场景，利用一种或多种方法，有针对性的强化图像局部或整体区域，使得原本不清晰的目标区域变得清晰，抑制非目标区域的图像，同时加大目标区域中不同物体间的差异性，使最终的图像符合人眼观察效果。夜间交通卡口图像是指由卡口摄像机在夜间光照强度低，环境光微弱的情况下所拍摄的图像，该类图像常具有如下特点：灰度范围窄，灰度变化较小且相邻像素间具有较高的空间关联性，故图像中细节信息不明显，对比度差，信噪比低。针对夜间图像的特点，学者们提出许多增强算法，通常可分为传统的图像增强方法、基于物理模型的方法和基于Retinex模型的图像增强方法。传统的图像增强方法可分为灰度变化法和直方图均衡化法，这两种方法在处理灰度图像上具有较好的效果，然而对于彩色图像，若直接将其三个通道分别处理后再合成彩色图像，则将导致颜色失真。基于Retinex模型的图像增强算法目前有了较多的变型，但其核心仍是通过某种机制实现当前点与邻域中其他点的比较，估计出光照模型，从而对反射率图像分解，达到增强的目的，然而该增强方法很难兼顾增强边缘和消除“光晕伪影”的问题。

基于物理模型的图像增强方法是指利用已有的大气散射模型，实现对降质图像物理实现过程的建模，并试图针对性的对引起图像降质的因素进行恰当的补偿，以求恢复降质图像的原始面貌。此类方法本质是利用大气散射模型或其变形，根据假设条件反求场景的透射率和全球大气光，达到增强图像的目的。最初提出的基于物理模型的方法中，被较多关注的是基于多幅图像的增强方法，比如利用同一场景在不同光照或不同偏振下的多幅图像来实现图像的增强。然而此类方法需要特定的采集硬件和严格的采集条件，故而普适性较差。目前，基于单幅图像 的暗通道先验算法因思想简单，效果显著成为研究的热点，但该方法所依赖的暗通道先验理论有限制条件，对不符合限制条件的图像则增强效果有限。

发明内容

本发明的目的在于提供一种基于暗通道先验的夜间交通卡口图像增强方法，本发明基于暗通道先验的去雾算法应用于夜间交通卡口图像的增强，并根据夜间交通图像的特点，针对性的对物理模型中参数的获取方式进行了改进。该方法包括以下步骤：

步骤1，输入夜间卡口图像，将夜间图像暗通道进行反转，得到反转的夜间卡口图像；

步骤2，利用反转卡口图像，获得暗通道图像；

步骤3，计算大气散射模型中的全球大气光；

步骤4，根据全球大气光，得到透射率图像；

步骤5，用导向滤波精细透射率图像；

步骤6，对全球大气光和精细后的透射率图像，基于大气散射模型，得到增强后的夜间卡口图像的反转图像；

步骤7，将反转图像再次反转，得到最终增强的夜间卡口图像。

本发明与现有技术相比，具有以下优点：(1)本发明对夜间卡口图像进行增强，可有效提升夜间图像的细节信息，为其他部位的检测，例如车型识别、安全带检测、违规驾驶情况等的检测提供帮助；(2)本发明根据夜间卡口图像的反转图像与含雾图像在亮度分布趋势上相似的关联性，利用大气散射模型和暗通道先验的理论，将基于暗通道先验的去雾算法应用到夜间卡口图像增强上，并针对夜间卡口图像的特点，针对性的改进了全球大气光的获取方式，同时对透射率图像的下采样，提升了计算速度；(3)本发明对夜间卡口图像的增强具有较好的效果，尤其是车窗区域细节信息的增强。

下面结合说明书附图对本发明做进一步描述。

附图说明

图1是基于暗通道先验的夜间交通卡口图像增强方法流程图。

图2是夜间卡口图像增强过程各个阶段的效果图，其中图(a)为原图，图(b)为反转图像图，图(c)为暗通道图像，图(d)为透射率图像，图(e)为精细透射率图 像，图(f)为增强图像，图(g)为反转后的增强图像。

图3是不同的方法获得的全球大气光值示意图。

图4是增强前后的对比图，其中图(a)为大型车增强前后对比图，图(b)为小型车增强前后对比图。

图5是不同增强算法间的对比图，其中图(a)(b)(c)(d)(e)为卡车示意图，(a)为原图，图(b)(c)(d)(e)分别为ACE效果图、CLAHE效果图、暗通道先验的效果图、本发明效果图；其中图(A)(B)(C)(D)(E)为轿车示意图，图(A)(B)(C)(D)(E)分别为ACE效果图、CLAHE效果图、暗通道先验的效果图、本发明效果图。

具体实施方式

本方法的理论基础为：将夜间交通卡口图像按R、G、B通道取反后得到的反转图像，其亮度直方图与白天有雾图像的亮度直方图分布趋势相似。基于这一理论，本发明将基于暗通道先验的去雾算法应用于夜间交通卡口图像的增强，并根据夜间交通图像的特点，针对性的对物理模型中参数的获取方式进行了改进。

结合图1，本发明包括以下步骤：

步骤1，输入夜间卡口图像，将夜间图像暗通道进行反转，得到反转的夜间卡口图像；

步骤2，利用反转卡口图像，获得暗通道图像；

步骤3，计算大气散射模型中的一个参数，即全球大气光；

步骤4，根据步骤3获得的参数，得到透射率图像；

步骤5，用导向滤波来精细步骤4获得的透射率图像；

步骤6，根据步骤3和步骤5获得的参数，利用大气散射模型，得到增强后的夜间卡口图像的反转图像；

步骤7，将反转图像再次反转，得到最终增强的夜间卡口图像；

上述方法中，所述的步骤1包括以下具体步骤：

步骤1.1，输入原始的夜间卡口图像I；

步骤1.2，用公式(1.1)分别对输入的原始图像的R、G、B通道进行操作，得到反转的夜间卡口图像I_inv；

$I_{inv}^c\left(x\right)=255-I^c\left(x\right)---\left(1.1\right)$

其中，c代表的是R、G、B通道。

上述方法中，所述的步骤2包括以下具体步骤：

步骤2.1，将步骤1中所得的图像I_inv变成double类型，并对该矩阵点除255，得到图像I_invd；

步骤2.2，创建一个新的全零矩阵，用以存储暗通道图像I_dark，其为二值图像，大小与I_invd相同，仅一个通道；

步骤2.3，用公式(1.2)对图像I_invd进行操作，将结果存储在暗通道图像I_dark中；

$I_{dark}(x,y)=\underset{c\∈\{R,G,B\}}{\min }\left(\underset{z\∈\mathrm{\Ω}(x,y)}{\min }\right(I_{invd}^c\left(z\right)\left)\right)---\left(1.2\right)$

其中，表示图像I_invd中RGB通道中的一个通道，Ω(x,y)是以(x,y)为中心，边长为9的正方形区域。

上述方法中，所述的步骤3包括以下具体步骤：

步骤3.1，计算I_dark的大小，行数用h表示，列数用w表示；

步骤3.2，截取I_dark的一部分，存储为图像I_sec，I_sec的行从h-50到h，列为w；

步骤3.3，计算图像I_sec的最大值，确定最大值在图像I_sec中的位置，将这些位置记录在变量LOC中；

步骤3.4，在图像I_invd中找到步骤33)中获得的像素点的位置，按公式(1.3)的方式获取这些像素点中RGB三个通道的最大值作为全球大气光值，记为变量A；

$A=\underset{x\∈LOC}{\max }\left(\underset{c\∈\{r,g,b\}}{\max }\right(I_{invd}^c\left(x\right)\left)\right)---\left(1.3\right)$

其中，c表示RGB通道中的一个通道，x属于LOC，表示LOC在图像I_invd中对应像素点的位置；

上述方法中，所述的步骤4包括以下具体步骤：

步骤4.1，将图像I_invd缩小为原来的一半，即行为1/2*h，列为1/2*w，记为I_invdh；

步骤4.2，用公式(1.4)对I_invdh进行操作，得到透射率图像Tc；

$Tc=1-\mathrm{\ω}\·\left(\frac{I_{invdh}}{A}\right)---\left(1.4\right)$

其中，ω是一个常数，表征去雾效果的强弱，值越大，理论去雾效果越强。

上述方法中，所述的步骤5包括以下具体步骤：

步骤5.1，将步骤2.1所得的图像I_invd灰度化，并缩小为原来的一半，记为GI；

步骤5.2，令GI为导向图像，Tc是滤波输入图像，设定局部窗口的半径为r，正则化参数为eps，使用导向滤波函数进行滤波，得到精细的透射率图像T；

步骤5.3，用双线性差值的方法，将步骤52)所得的透射率图像T放大两倍，得到TD；

步骤5.4，设定一个最小阈值t₀，使得TD中低于t₀的值全部置换为t₀，最终得到的矩阵即为透射率图像TI；

上述方法中，所述的步骤5.2包括以下具体步骤：

步骤5.2.1，用半径为r的全1正方形模板th对导向图像GI，滤波输入图像Tc做均值滤波，分别记为mean_I，mean_P；

步骤5.2.2，将GI分别与GI、Tc做点乘运算，得到变量corr_I，corr_Ip；

步骤5.2.3，根据步骤5.2.1和5.2.2得到的变量，按公式(1.5)获取变量var_I，cov_Ip

$\begin{array}{c}{\mathrm{var}}_I={\mathrm{corr}}_I-{\mathrm{mean}}_I*{\mathrm{mean}}_I\\ {\mathrm{cov}}_{Ip}={\mathrm{corr}}_{Ip}-{\mathrm{mean}}_I*{\mathrm{mean}}_p\end{array}---\left(1.5\right)$

步骤5.2.4，按公式(1.6)得到矩阵a，b；

$\begin{array}{c}a=\frac{{\mathrm{cov}}_{Ip}}{({\mathrm{var}}_I+eps)}\\ b={\mathrm{mean}}_p-a*{\mathrm{mean}}_I\end{array}---\left(1.6\right)$

步骤5.2.5，用步骤5.2.1的模板th对矩阵a，b做均值滤波，得到mean_a，mean_b；

步骤5.2.6，将GI和步骤5.2.5中的参数代入公式(1.7)，得到精细后的透射率图像T；

T＝mean_a*GI+mean_b (1.7)

上述方法中，所述的步骤6包括以下具体步骤：

步骤6.1，将步骤3和步骤5的参数A和T代入公式(1.8)，得到增强后的图像J；

$J=\frac{I_{invd}-A}{TI}+A---\left(1.8\right)$

上述方法中，所述的步骤7包括以下具体步骤：

步骤7.1，将矩阵J乘以255，转化为整形矩阵J1；

步骤7.2，对J1再利用公式(1.1)进行反转，得到最终增强后的图像EH.

为验证本发明的有效性，从主观和客观给出了对比效果。图3是随机选取8幅图像，对比了原有方法计算得到的全球大气光值和本发明中全球大气光的值。由图3可知，本发明获得的值对于该类夜间图像更具有针对性，而原有的基于暗通道的去雾算法获得的值缺乏针对性。

图4是从主观方面对比增强前后的夜间卡口图像。图4(a)给出了大型车增强前后的对比图，左侧是增强前的图像，右侧是增强后的图像，图4(b)给出了小型车的增强前后对比图。

图5给出了两组本发明与相关的图像增强方法的对比效果图。图(b)到(e)所使用的方法分别是自动颜色均衡化(Automatic Color Equalization，ACE)、限制对比度直方图均衡化(Contrast Limited Adaptive histogram equalization，CLAHE)，暗通道先验去雾算法和本发明对夜间交通图像增强的效果。从图像上来看，ACE方法车牌区域的增强效果最好，然而车窗内细节不清晰，第一组中安全带灰暗不清，第二组中粘贴标志粘连，脸部细节模糊；CLAHE方法对整体的亮度提升具有一定的效果，然而第一组中灯光极为微弱的情况下，车牌模糊，第二组中对车牌区域增强过度且车窗区域内颜色过暗，衣服的颜色过于模糊；基于暗通道先验的方法虽然亮度提升有限且存在噪声，但车窗区域比前两种方法已有一定的提升，立体感增强，安全带以及人脸细节较为突出；而本章的方法在亮度和对比度方面有了较大的提升，图像较为平滑，细节突出，能清楚看清司机的安全带以及乘客衣服的颜色，同时本章的方法在图像的立体效果方面，更加具有层次性，符合视觉观察效果。

表1和2给出了这两组实验的客观评价，从表格可以看出，本发明对图像的对比度(Contrast)和信息熵(Information Entropy)较其他方法有了提升。

主观和客观两个方面都有力的表明：针对夜间交通卡口图像，本发明较其他夜间增强方法而言，具有较好的效果，尤其是车窗区域的细节。

表1不同方法的对比(第一组)

表2不同方法的对比(第二组)

Claims (9)

1.一种基于暗通道先验的夜间交通卡口图像增强方法，其特征在于，包括以下步骤：

步骤1，输入夜间卡口图像，将夜间图像暗通道进行反转，得到反转的夜间卡口图像；

步骤2，利用反转卡口图像，获得暗通道图像；

步骤3，计算大气散射模型中的全球大气光；

步骤4，根据全球大气光，得到透射率图像；

步骤5，用导向滤波精细透射率图像；

步骤6，对全球大气光和精细后的透射率图像，基于大气散射模型，得到增强后的夜间卡口图像的反转图像；

步骤7，将反转图像再次反转，得到最终增强的夜间卡口图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤1的具体过程为：

步骤1.1，输入原始的夜间卡口图像I；

步骤1.2，用公式(1.1)分别对输入的原始图像的R、G、B通道进行操作，得到反转的夜间卡口图像I_inv

其中，c代表R、G、B通道。

3.根据权利要求2所述的方法，其特征在于，所述步骤2的具体过程为：

步骤2.1，将夜间卡口图像I_inv变成double类型，并对该矩阵点除255，得到图像I_invd；

步骤2.2，创建一个新的全零矩阵，用以存储暗通道图像I_dark，其为二值图像，大小与I_invd相同；

步骤2.3，用公式(1.2)对图像I_invd进行操作，将结果存储在暗通道图像I_dark中

其中，表示图像I_invd中R、G、B通道中的一个通道，Ω(x,y)是以(x,y)为中心边长为9的正方形区域。

4.根据权利要求3所述的方法，其特征在于，所述步骤3的具体过程为：

步骤3.1，计算暗通道图像I_dark的大小，行数用h表示，列数用w表示；

步骤3.2，截取I_dark的一部分，存储为图像I_sec，I_sec的行从h-50到h，列为w；

步骤3.3，计算图像I_sec的最大值，确定最大值在图像I_sec中的位置，将这些位置记录在变量LOC中；

步骤3.4，在图像I_invd中找到步骤3.3中获得的像素点的位置，按公式(1.3)的方式获取这些像素点中RGB三个通道的最大值作为全球大气光值，记为变量A

其中，c表示R、G、B通道中的一个通道，x属于LOC，表示LOC在图像I_invd中对应像素点的位置。

5.根据权利要求4所述的方法，其特征在于，所述步骤4的具体过程为：

步骤4.1，将图像I_invd缩小为原来的一半，记为I_invdh；

步骤4.2，用公式(1.4)对I_invdh进行操作，得到透射率图像Tc；

其中，ω是一个常数，表征去雾效果的强弱，值越大，去雾效果越强。

6.根据权利要求5所述的方法，其特征在于，所述步骤5的具体过程为：

步骤5.1，将步骤2.1所得的图像I_invd灰度化，并缩小为原来的一半，记为GI；

步骤5.2，令GI为导向图像，透射率图像Tc为滤波输入图像，设定局部窗口的半径为r＝100，正则化参数eps＝0.0001，使用导向滤波函数进行滤波，得到精细的透射率图像T；

步骤5.3，用双线性差值的方法，将步骤5.2所得的透射率图像T放大两倍，得到TD；

步骤5.4，设定一个最小阈值t₀＝0.01，使得TD中低于t₀的值全部置换为t₀，最终得到的矩阵即为透射率图像TI。

7.根据权利要求6所述的方法，其特征在于，所述的步骤5.2包括以下具体步骤：

步骤5.2.1，用半径为r＝100的全1正方形模板th对导向图像GI和滤波输入 图像Tc做均值滤波，分别记为mean_I、mean_P；

步骤5.2.2，将GI分别与GI、Tc做点乘运算，得到变量corr_I，corr_Ip；

步骤5.2.3，根据步骤5.2.1和5.2.2得到的变量，按公式(1.5)获取变量var_I，cov_Ip

步骤5.2.4，按公式(1.6)得到矩阵a，b；

b＝mean_p-a*mean_I

步骤5.2.5，用半径为r＝100的全1正方形模板th对矩阵a，b做均值滤波，得到mean_a，mean_b；

步骤5.2.6，将GI和mean_a，mean_b代入公式(1.7)，得到精细后的透射率图像T；

T＝mean_a*GI+mean_b (1.7)。

8.根据权利要求6所述的方法，其特征在于，所述步骤6的具体过程包括：

将全球大气光值变量A和精细后的透射率图像T代入公式得到增强后的图像J。

9.根据权利要求8所述的方法，其特征在于，所述步骤7的具体过程为：

步骤7.1，将矩阵J乘以255，转化为整形矩阵J1；

步骤7.2，对J1再利用公式(1.1)进行反转，得到最终增强后的图像EH。