CN104794705B - 基于图像局部内容特征的图像去雾方法及装置 - Google Patents

Abstract

本发明公开了一种基于图像局部内容特征的图像去雾方法及装置，所述方法包括步骤：将初始图像划分为若干小块区域，对每个小块区域的图像分别计算灰度直方图；对所述每个小块区域的图像，分别计算其信息熵；根据所述信息熵，分别计算每个小块区域的图像的自适应裁剪参数；利用所述自适应裁剪参数，分别对所述每个小块区域的图像的灰度直方图进行裁剪；将所述初始图像重新划分为若干小块区域，对其中的每个小块区域，依据所述经裁剪后的灰度直方图进行直方图均衡化处理。应用本发明，可对初始图像进行有效去雾，同时处理过程中不会增强噪声，保证图像颜色不会失真。

Description

基于图像局部内容特征的图像去雾方法及装置

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于图像局部内容特征的图像去雾方法及装置。

背景技术

在雾霾天情况下，由于场景的能见度低，目标对比度和颜色等特征被衰减，致使在室外拍照时，图像质量无法满足用户的需要，于是需要对图像进行处理以消除天气带来的影响，因此图像去雾处理成为人们研究的重点。

当前对于雾图像处理的方法有很多种，比如：暗通道方法、带色彩恢复的多尺度视网膜增强算法(MSRCR)，自适应直方图均衡化方法等。其中，限制对比度自适应直方图均衡化(CLAHE)算法处理速度快，处理后图片色彩鲜艳，适合用于实时去雾处理。但CLAHE算法的缺陷是处理时会增强噪声，使纯色图像区域颜色失真，因此需要对此自适应性直方图均衡化方法进行改进。

发明内容

本发明的主要目的在于提出一种基于图像局部内容特征的图像去雾方法及装置，旨在解决传统自适应直方图均衡方法存在的噪声增强、颜色失真的问题。

为实现上述目的，本发明提供了一种基于图像局部内容特征的图像去雾方法，包括步骤：

将初始图像划分为若干小块区域，对每个小块区域的图像分别计算灰度直方图；

对所述每个小块区域的图像，分别计算其信息熵；

根据所述信息熵，分别计算每个小块区域的图像的自适应裁剪参数；

利用所述自适应裁剪参数，分别对所述每个小块区域的图像的灰度直方图进行裁剪；

将所述初始图像重新划分为若干小块区域，对其中的每个小块区域，依据所述经裁剪后的灰度直方图进行直方图均衡化处理。

其中，在所述将初始图像划分为若干小块区域并对每个小块区域分别计算灰度直方图的步骤中，将初始图像按X、Y坐标方向分别划分M、N次，得到M*N个小块图像，且2≤M≤32,2≤N≤32。

其中，每个小块图像的信息熵的计算方法为：

A、根据小块的灰度直方图来计算小块中每个灰度色阶出现的概率p(k)，计算公式为：

其中，i＝0,1,...,M-1；j＝0,1,...,N-1；k是灰度色阶，取值为[0,L]，L为所述初始图像的最大灰度色阶值；H_i,j(k)为图像第(i,j)个小块区域中灰度色阶为k的灰度直方图；

B、计算每个小块区域的图像的信息熵E_i,j，计算公式为：

其中，在所述每个小块区域的图像分别计算其信息熵的步骤中，在计算得到每个小块区域的图像的信息熵E_i,j后，还对该信息熵E_i,j的取值范围进行限定处理：

其中，E_max和E_min分别是预设的信息熵的最大值和最小值。

其中，所述每个小块区域的图像的自适应裁剪参数C_i,j的计算方法为：

其中，C_user是全局裁剪参数，可以为预设值或者由用户输入。

其中，在所述对重新划分后的初始图像的每小块区域进行直方图均衡化处理的步骤中，利用插值算法取临近小块裁剪后的灰度直方图进行直方图均衡化处理。

其中，所述全局裁剪参数C_user的取值范围为：0≤C_user≤0.2。

一种基于图像局部内容特征的图像去雾装置，包括：

直方图计算单元，用于将初始图像划分为若干小块区域，对每个小块区域的图像分别计算灰度直方图；

信息熵计算单元，用于对所述每个小块区域的图像分别计算其信息熵；

自适应裁剪参数计算单元，用于根据所述信息熵分别计算每个小块区域的图像的自适应裁剪参数；

直方图裁剪单元，用于利用所述自适应裁剪参数，分别对所述每个小块区域的图像的灰度直方图进行裁剪；

直方图均衡化单元，用于将所述初始图像重新划分为若干小块区域，对其中的每个小块区域，依据所述经裁剪后的灰度直方图进行直方图均衡化处理。

其中，还包括：去雾强度输入单元，用于接收用户输入的全局裁剪参数，为所述自适应裁剪参数的计算提供依据。

其中，还包括：信息熵限定单元，用于设定信息熵最大值和信息熵最小值，据此对信息熵计算单元计算得到的信息熵进行限定处理：若当前的信息熵超过所述信息熵最大值，则将其值调整为信息熵最大值；若当前的信息熵低于所述信息熵最小值，则将其值调整为信息熵最小值；

所述自适应裁剪参数计算单元，根据经限定处理后的信息熵分别计算每个小块区域的图像的自适应裁剪参数。

本发明提出的图像去雾方案存在以下有益效果：基于信息熵自适应调整之后，对于不需要增强平滑纯色区域直方图裁剪幅度大，图像增强效果减弱，减少了图像噪声和颜色异常；对于需要增强的复杂区域，裁剪幅度小，图像增强效果强，去雾效果明显。由于信息熵计算可以直接利用直方图，不需要增加过多计算量，因此改进后的去雾算法运行速度快。

附图说明

图1为实现本发明各个实施例的相机的电气结构示意图；

图2为本发明实施例一中图像去雾方法的流程图；

图3为本发明实施例一中将图像划分为若干区域的示意图；

图4为本发明实施例一中对灰度直方图进行裁剪的示意图。

图5为本发明实施例一中图像去雾装置的结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的装置。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

图1是表示本发明的一个实施方式的相机的主要电气结构的框图。摄影镜头101由用于形成被摄体像的多个光学镜头构成，是单焦点镜头或变焦镜头。摄影镜头101能够通过镜头驱动器111在光轴方向上移动，根据来自镜头驱动控制电路112的控制信号，控制摄影镜头101的焦点位置，在变焦镜头的情况下，也控制焦点距离。镜头驱动控制电路112按照来自微型计算机107的控制命令进行镜头驱动器111的驱动控制。

在摄影镜头101的光轴上、由摄影镜头101形成被摄体像的位置附近配置有摄像元件102。摄像元件102发挥作为对被摄体像摄像并取得摄像图像数据的摄像部的功能。在摄像元件102上二维地呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。

摄像元件102与摄像电路103连接，该摄像电路103在摄像元件102中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的信号电平。摄像电路103与A/D转换器104连接，该A/D转换器104对模拟图像信号进行模数转换，向总线199输出数字图像信号(以下称之为图像数据)。

总线199是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线199连接着上述A/D转换器104，此外还连接着图像处理器105、JPEG处理器106、微型计算机107、SDRAM(Synchronous DRAM)108、存储器接口(以下称之为存储器I/F)109、LCD(液晶显示器：Liquid Crystal Display)驱动器110。

图像处理器105对基于摄像元件102的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。

JPEG处理器106在将图像数据记录于记录介质115时，按照JPEG压缩方式压缩从SDRAM108读出的图像数据。此外，JPEG处理器106为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在记录介质115中的文件，在JPEG处理器106中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM108中并在LCD116上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。

微型计算机107发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微型计算机107连接着操作单元113和闪存114。

操作单元113包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部材，检测这些操作部材的操作状态，。

将检测结果向微型计算机107输出。此外，在作为显示部的LCD116的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微型计算机107输出。微型计算机107根据来自操作单元113的操作部材的检测结果，执行与用户的操作对应的各种处理序列。(同样，可以把这个地方改成计算机107根据LCD116前面的触摸面板的检测结果，执行与用户的操作对应的各种处理序列。)

闪存114存储用于执行微型计算机107的各种处理序列的程序。微型计算机107根据该程序进行相机整体的控制。此外，闪存114存储相机的各种调整值，微型计算机107读出调整值，按照该调整值进行相机的控制。

SDRAM108是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM108暂时存储从A/D转换器104输出的图像数据和在图像处理器105、JPEG处理器106等中进行了处理后的图像数据。

存储器接口109与记录介质115连接，进行将图像数据和附加在图像数据中的文件头等数据写入记录介质115和从记录介质115中读出的控制。记录介质115例如为能够在相机主体上自由拆装的存储器卡等记录介质，然而不限于此，也可以是内置在相机主体中的硬盘等。

LCD驱动器110与LCD116连接，将由图像处理器105处理后的图像数据存储于SDRAM，需要显示时，读取SDRAM存储的图像数据并在LCD116上显示，或者，JPEG处理器106压缩过的图像数据存储于SDRAM，在需要显示时，JPEG处理器106读取SDRAM的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD116进行显示。

LCD116配置在相机主体的背面等上，进行图像显示。该LCD116设有检测用户的触摸操作的触摸面板。另外，作为显示部，在本实施方式中配置的是液晶表示面板(LCD116)，然而不限于此，也可以采用有机EL等各种显示面板。

如图2所示，本发明第一实施例提出一种图像去雾方法，包括步骤：

201、将初始图像划分为若干小块，对每个小块分别计算其灰度直方图。

本步骤中，先将初始图像按X、Y坐标方向分别划分M、N次，得到M*N个小块图像，如图3所示，本实施例划分为8*8个小块图像；然后对每个小块图像分别计算灰度直方图H_i,j(i＝0,1,...,M-1,j＝0,1,...,N-1)。

202、对每个小块图像分别计算信息熵E_i,j。

本步骤中，信息熵E_i,j的计算方法为：

首先，根据第(i,j)个小块的灰度直方图H_i,j来计算每个灰度色阶出现的概率p(k)，计算公式为：

其中，i＝0,1,...,M-1；j＝0,1,...,N-1；k是灰度色阶，取值为[0,L]，L为所述初始图像的最大灰度色阶值；H_i,j(k)为图像第(i,j)个小块区域中灰度色阶为k的灰度直方图；

然后，计算每个小块区域的图像的信息熵E_i,j，计算公式为：

203、利用信息熵E_i,j来计算每个小块图像的自适应裁剪参数C_i,j。具体的计算公式为：

其中，C_user是全局裁剪参数，可以为预设值或者由用户输入，通常C_user的取值范围为0～0.2。E_max和E_min是预设的信息熵可以取的最大值和最小值，可以根据先验知识来设定。

204、根据自适应裁剪参数C_i,j对每小块图像的灰度直方图进行裁剪。

如图4所示，裁剪H_i,j(k)中超出C_i,j的部分，并均匀分布到灰度直方图的其他部分。

205、进行灰度直方图均衡化处理。

本实施例中，利用周围直方图插值的方法以达到平滑的对比度增强效果。

首先，将初始图像分为(M+1)*(N+1)个区域。如图4所示，这些区域分为角区域CR，边界区域BR和内部区域IR，图中有4个角区域，28个边界区域和49个内部区域。对于角区域，只使用所在小块的直方图进行直方图均衡化；对于边界区域，使用区域所跨的两个小块的直方图进行插值，然后进行直方图均衡化；对于内部区域，使用区域所跨的四个小块的直方图进行双线性插值，然后进行直方图均衡化。

插值方法如下：

设区域左上、右上、左下、右下的直方图均衡化映射函数分别为HE_i,j、HE_i+1,j、HE_i,j+1、HE_i+1,j+1，区域宽度为w、高度为h，区域内像素坐标为x、y，像素值为V_(x,y)，则该像素的直方图均衡化结果V_(x,y)为：

V'_(x,y)＝(w-x)[(h-y)HE_i,j(V_(x,y))+yHE_i,j+1(V_(x,y))]

+x[(h-y)HE_i+1,j(V_(x,y))+yHE_i+1,j+1(V_(x,y))]

对图像上下的边界区域而言，HE_i,j＝HE_i,j+1，HE_i+1,j＝HE_i+1,j+1。

对于图像左右的边界区域而言，HE_i,j＝HE_i+1,j，HE_i,j+1＝HE_i+1,j+1。

本发明进一步提供一种图像去雾装置，参照图5，包括：

直方图计算单元510，用于将初始图像划分为若干小块区域，对每个小块图像分别计算灰度直方图。

信息熵计算单元520，用于对每个小块区域的图像分别计算其信息熵。

自适应裁剪参数计算单元530，用于根据信息熵分别计算每个小块区域的图像的自适应裁剪参数。

直方图裁剪单元540，用于利用自适应裁剪参数，分别对每个小块区域的图像的灰度直方图进行裁剪。

直方图均衡化单元550，用于将所述初始图像重新划分为若干小块区域，对其中的每个小块区域，依据经裁剪后的灰度直方图进行直方图均衡化处理。本实施例中，该单元利用图像区域附近的多个直方图进行插值，可以使图像处理结果更加平滑。

去雾强度输入单元560，用于接收用户输入的全局裁剪参数，该参数值决定了整体去雾强度的大小。该单元实现了用户自主调整图像的整体去雾强度，服务更加人性化，当然，为方便起见，也可设定一预设值。

实施例二

在实施例一中，实现了良好的去雾效果，且处理过程中不会产生较多的噪声、颜色不会失真。而本实施例二，为了实现更好的效果，对步骤202中信息熵E_i,j的计算方法进行了改进，增加了对信息熵E_i,j的值进行限定处理的步骤：

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于图像局部内容特征的图像去雾方法，其特征在于，所述方法包括步骤：

将初始图像按X、Y坐标方向分别划分M、N次，得到(M+1)*(N+1)个小块图像，且2≤M≤32,2≤N≤32，对每个小块区域的图像分别计算灰度直方图；

对所述每个小块区域的图像，分别计算其信息熵；每个小块图像的信息熵的计算方法为：

A、根据小块的灰度直方图来计算小块中每个灰度色阶出现的概率p(k)，计算公式为：

其中，i＝0,1，…，M；j＝0,1,…，N；k是灰度色阶，取值为[0,L]，L为所述初始图像的最大灰度色阶值；H_i,j(k)为图像坐标为(i,j)的小块区域中灰度色阶为k的灰度直方图；

B、计算每个小块区域的图像的信息熵E_i,j，计算公式为：

在计算得到每个小块区域的图像的信息熵E_i,j后，还对该信息熵E_i,j的取值范围进行限定处理：

其中，E_max和E_min分别是预设的信息熵的最大值和最小值；

根据所述信息熵，分别计算每个小块区域的图像的自适应裁剪参数；所述每个小块区域的图像的自适应裁剪参数C_i,j的计算方法为：

其中，C_user是全局裁剪参数，为预设值或者由用户输入；

利用所述自适应裁剪参数，分别对所述每个小块区域的图像的灰度直方图进行裁剪；

将所述初始图像重新划分为若干小块区域，对其中的每个小块区域的图像，依据所述裁剪后的灰度直方图进行直方图均衡化处理。

2.如权利要求1所述的图像去雾方法，其特征在于，在所述重新划分后的初始图像的每个小块区域的图像进行直方图均衡化处理的步骤中，利用插值算法取临近小块裁剪后的灰度直方图进行直方图均衡化处理。

3.如权利要求1所述的图像去雾方法，其特征在于，所述全局裁剪参数C_user的取值范围为：0≤C_user≤0.2。

4.一种基于图像局部内容特征的图像去雾装置，其特征在于，所述装置包括：

直方图计算单元，用于将初始图像按X、Y坐标方向分别划分M、N次，得到(M+1)*(N+1)个小块图像，且2≤M≤32,2≤N≤32，对每个小块区域的图像分别计算灰度直方图；

信息熵计算单元，用于对所述每个小块区域的图像分别计算其信息熵；每个小块图像的信息熵的计算方法为：

A、根据小块的灰度直方图来计算小块区域中每个灰度色阶出现的概率p(k)，计算公式为：

其中，i＝0,1，…，M；j＝0,1,…，N；k是灰度色阶，取值为[0,L]，L为所述初始图像的最大灰度色阶值；H_i,j(k)为图像坐标为(i,j)的小块区域中灰度色阶为k的灰度直方图；

B、计算每个小块区域的图像的信息熵E_i,j，计算公式为：

在计算得到每个小块区域的图像的信息熵E_i,j后，还对该信息熵E_i,j的取值范围进行限定处理：

其中，E_max和E_min分别是预设的信息熵的最大值和最小值；

自适应裁剪参数计算单元，用于根据所述信息熵分别计算每个小块区域的图像的自适应裁剪参数；所述每个小块区域的图像的自适应裁剪参数C_i,j的计算方法为：

其中，C_user是全局裁剪参数，为预设值或者由用户输入；

直方图裁剪单元，用于利用所述自适应裁剪参数，分别对所述每个小块区域的图像的灰度直方图进行裁剪；

直方图均衡化单元，用于将所述初始图像重新划分为若干小块区域，对其中的每个小块区域的图像，依据所述裁剪后的灰度直方图进行直方图均衡化处理。

5.如权利要求4所述的图像去雾装置，其特征在于，所述装置还包括：去雾强度输入单元，用于接收用户输入的全局裁剪参数，为所述自适应裁剪参数的计算提供依据。

6.如权利要求4所述的图像去雾装置，其特征在于，所述装置还包括：信息熵限定单元，用于设定信息熵最大值和信息熵最小值，据此对信息熵计算单元计算得到的信息熵进行限定处理：若当前的信息熵超过所述信息熵最大值，则将其值调整为信息熵最大值；若当前的信息熵低于所述信息熵最小值，则将其值调整为信息熵最小值；

所述自适应裁剪参数计算单元，根据经限定处理后的信息熵分别计算每个小块区域的图像的自适应裁剪参数。