CN104933680B - 一种智能的无人艇视觉系统视频快速海雾去除方法 - Google Patents

Abstract

本发明属于视频图像增强领域，具体涉及一种智能的无人艇视觉系统视频快速海雾去除方法。本发明包括：获取海上视频图像；判别海上场景是否含雾：去除单幅图像海雾；去除快速的视频海雾。经过本发明所提方法的处理，能够极大的提高无人艇视频去雾的智能性和实时性，进而使得无人艇或其他水面航行器对于不同水面环境的适应能力。

Description

一种智能的无人艇视觉系统视频快速海雾去除方法

技术领域

本发明属于视频图像增强领域，具体涉及一种智能的无人艇视觉系统视频快速海雾去除方法。

背景技术

近年来，世界各国越来越重视无人艇技术的研究和开发，特别是美国和以色列，这两个国家在无人水面艇技术研究方面一直处于霸主地位，例如著名的美国无人艇“斯巴达人”，以色列的“保护者”和“海星”等无人艇。2014年8月，美国海军在詹姆斯河测试了其13艘无人艇的“蜂群”作战系统，有5艘无人艇在演示过程采取了智能的独立自主航行方式，另外8艘则采用远程控制的方式，以集群作战的模式演示了在对本方船只安全保护的基础上，对于“可疑船只”的包围和拦截，成功的完成了作战护航任务，而且该“蜂群”战术能够使得无人艇像蜜蜂一样围攻一个目标，这将直接改变海上的战争方式。而国内的无人艇技术还处于起步阶段，2008年我国才出现第一艘无人驾驶的海上探测船“天象一号”，该无人艇主要用于气象探测领域；2013年，由上海大学和上海海事测绘中心等机构联合研发设计了我国首艘无人水面艇——“水面无人智能测量平台工程样机”；2014年上海海事大学成功研制了“海腾01号”水面艇，该无人艇具有全自主航行、半自主航行和人工遥控三种模式。

由于国内研究尚处于起步阶段，很多技术还不够成熟。一旦无人艇技术成熟，能够广泛用于海上巡逻、目标侦查、反潜作战、打击海盗以及扫雷等各种危险的军事任务；民用上可用于海上人员搜救和气象探测等领域。在无人艇执行以上任务时，必须要求其具有很高的智能性，而视觉系统更是其执行以上任务的关键设备之一。在无人艇自主运行或执行场景监控和巡逻等任务时，必须要求其视觉系统能够广泛适用于海上各种恶劣环境，特别是海雾天气环境下。在海雾下，由于雾气粒子的散射作用，会造成海雾下的无人艇视觉系统采集的视频图像严重降质或模糊，严重影响后续目标跟踪和识别以及场景监视等任务的实现。而且近年来，常常出现因为海雾等恶劣天气，导致耽误船只运行，甚至是船只相撞等海难。因此，研究图像海雾的去除技术具有很重要的现实意义。

美国国家航天局是最早研究图像去雾理论的机构之一，该机构为了解决在有雾天气下飞机起飞时看不清飞机航道的问题，提出了许多有效的基于Retinex理论的图像增强去雾算法，并且将这些算法移植到了DSP硬件中，能够有效提高对于飞机航道的可见性。香港中文大学的何凯明学者提出了一种有效的暗通道先验理论，该理论能够有效提高陆地场景的图像恢复效果，且具有良好的色彩恢复效果。目前的算法大多研究的都是针对陆地场景的去雾，还没有算法能够有效解决海雾场景的去雾，而且目前的陆地去雾算法对于海雾的去除效果并不理想。主要是因为海上图像与陆地图像之间区别较大，海雾下的图像往往天空区域较大，图像亮度普遍较高，而且海雾往往比陆地雾更浓；海雾下的图像大多只包含天空、海水以及船、海岛等目标，且天空区域和海水区域在图像中占据了很大的比重，而陆地场景的图像中目标区域占的比重较大。目前算法大多只针对单幅图像去雾的研究，还没有出现一种有效的视频去雾算法，而且目前的算法只能机械的去雾，而不能判断场景是否含雾，不具有视频去雾的智能性。对于一个完整的视频去雾系统，特别是用于无人艇场景时，必须具有判断场景是否含雾的技术和算法，对于清晰图像的去雾处理不仅会大大浪费视频处理时间，影响去雾实时性，而且有时候对于清晰图像进行去雾处理时甚至会导致去雾后的图像质量严重变差的情况，这将不利于后续无人艇执行任务过程中进行目标检测、目标跟踪等功能的实现。

发明内容

本发明的目的在于提供一种提高海雾下无人艇视觉系统采集的视频图像清晰度及视频去雾的智能性的智能的无人艇视觉系统视频快速海雾去除方法。

本发明的目的是这样实现的：

(1)获取海上视频图像：

在海雾下，通过安装在无人艇或其他水面航行器上的可见光摄像头采集海雾视频图像；

(2)判别海上场景是否含雾：

通过实际运行过程中采集的首帧图像来识别当前场景是否含雾：

(2.1)建立海上图像库：

包括水面有雾图像和清晰图像样本库；

(2.2)提取图像特征：

提取图像改进后的均值、图像的能见度和暗通道图像强度3个特征作为水面有雾图像和清晰图像的分类特征：

(2.2.1)改进的均值：

图像均值表示为：

其中p_i同样表示在一幅图像中灰度值为i的像素点出现的概率，

改进的均值特征公式：

μ′＝μ/(M-m)

其中μ为所求的均值，M为灰度图像的最大灰度值，m为灰度图像的最小灰度值；

(2.2.2)图像能见度：

图像能见度：

对于一幅灰度图像f的任意一个像素点x，若在以x为中心的4邻域内满足：

min[f(x),f(y)]≤s＜max[f(x),f(y)]

则称图像f中的像素对(x,y)能被阈值s分割，其中y为以x为中心的4邻域像素点，即y∈V₄(x)；

F(s)为图像f中所有能被阈值s分割的像素对(x,y)所组成的集合，对于每一个分割阈值s∈[0,255]都对应一个集合F(s)，对于集合F(s)中的任意像素对(x,y)，图像空间对比度为：

则集合F(s)的平均对比度为：

其中cardF(s)表示集合F(s)的像素对总数，得到最佳的分割阈值s₀：

即将平均对比度取最大值时对应的阈值s₀作为图像的分割阈值，在原灰度图像f中满足空间对比度2C_x(s₀)＞0.05的像素点则为可见边缘像素点，得到图像能见度：

其中n为可见边缘像素点总数，m为图像中满足条件C_x(s₀)＞0的所有像素点总数，为可见边缘像素点组成的集合；

(2.2.3)暗通道图像强度：

根据前一节所求的可见边缘图像求得对应原图像中的可见边缘暗通道图像，统计暗通道图像中像素值小于阈值T的像素点总数以及可见边缘图像的像素总数，得到图像强度为：

其中I(i)为由可见边缘图像得到的暗通道灰度图像中像素值为i的像素点数量；

其中暗通道图像为：

J^c(x)表示彩色图像J的RGB三通道中的某一通道，Ω(x)表示以x为中心的方形窗口；

得到的暗通道图像I：

I(x)＝J^dark(x)·I_e(x)

其中I_e为前面求取能见度时所求的可见边缘图像，该边缘图像在图像目标边缘处的值为1，显示为白色，非边缘处的值为0；

(2.3)识别BP神经网络雾图：

提取水面图像样本库中所有有雾图像和清晰图像的三个特征，利用BP神经网络进行分类器训练，得到当前周围水面场景是否含雾的识别结果，若周围场景图像的识别结果为含雾则执行步骤(3)，；

(3)去除单幅图像海雾：

(3.1)估计大气光值：

若当周围场景有雾图像为I，首先对图像I进行最小值滤波，得到其暗通道图像J^dark；

然后取经过最小值滤波后的图像像素值最大的0.01％个像素值作为候选大气光值估计区域；对候选像素点进行8联通区域分析；再选取连通分量像素个数最多的连通分量作为大气光值估计的精确候选区域；最后在区域中选取最大的亮度值作为天空亮度即大气光值A的估计；

(3.2)透射率的估计和优化：

利用得到的暗通道图像J^dark以及大气光值A，初步估计当前无人艇场景图像的透射率：

将原有雾图像的灰度图像作为引导滤波的引导图像，得到原有雾图像的灰度图像：

I^gray(x)＝0.3×I^r(x)+0.59×I^g(x)+0.11×I^b(x)

I^r,I^g,I^b分别表示原无人艇采集的海雾图像的RGB三个通道分量图像，利用引导滤波对透射率进行优化：

为初步估计的透射率；t表示引导滤波优化后的透射率；W为引导滤波核函数：

其中μ_k和σ_k分别为引导图像I^gray中局部小区域ω_k内的均值和方差，而|ω|表示该局部小区域内的像素总数；ε是调整因子；

(3.3)复原单幅海雾图像：

求解大气散射物理模型，得到海雾去除后的图像：

A为前面改进的大气光值估计算法所求的大气光值，t为引导滤波优化后的透射率；t₀为防止分母为0的因子，J为经过本发明单幅图像海雾去除算法处理后的清晰图像，I为原海雾图像；

(4)去除快速的视频海雾：

(4.1)求取雾气分量：

对于无人艇采集的海雾视频，首先对海雾视频的第i帧海雾图像进行单幅图像海雾去除清晰化处理，然后求取该视频第i帧的初始雾气分量：

F_i＝I_i-J_i

I_i表示当前海雾视频下的第i帧海雾图像，J_i是对I_i进行处理后得到的第i帧去雾清晰化图像，F_i为视频第i帧的雾气分量；

(4.2)引导滤波的雾气分量估计：

估计海雾视频背景变化量：

(4.2.1)将视频第i帧和第j帧图像进行做差运算，并进行二值化操作：

上式中I^gray(x,y,t_j)表示海雾下视频第j帧图像在坐标(x,y)处的像素灰度值，I^gray(x,y,t_i)表示的是视频第i帧海雾图像在坐标(x,y)位置的灰度值，t_j、t_i分别表示视频的第j帧和第i帧，Th表示二值化操作的阈值，得到的二值图像D中目标运动或背景变化大的区域为白色，值为255，而变化不大的区域则为黑色，值为0；

(4.2.2)求取海雾视频第i帧和第j帧之间的变化量：

是视频帧灰度图像的像素总数，即采集的图片的尺寸，N_D得到的二值图D中值为255的像素总数，即运动目标区域或背景变化大的区域；

(4.2.3)若T_D＞T，则可认为视频第j帧相对于第i帧场景变化大，即场景中的雾气浓度变化较大；否则认为背景变化不大，即场景中雾气浓度变化不大，T为视频去雾时雾气分量的更新阈值；

(4.3)去除视频海雾：

若海雾视频第j帧与第i帧背景变化大，对第j帧进行单幅图像海雾去除处理；否则表明场景雾气浓度变化不大，利用引导滤波得到的第i帧雾气分量进行滤波，得到第j帧海雾视频的雾气分量此时引导滤波的引导图像为当前要去雾的第j帧视频海雾图像；

用引导滤波得到的第j帧视频海雾图像的雾气分量得到第j帧视频海雾图像的去雾恢复结果：

I_j表示的是原始第j帧海雾视频图像，J_j表示对第j帧海雾视频图像去雾恢复后的图像。

本发明的有益效果在于：

本发明应用于各种水面航行器，其中海上场景的视频图像由安装在无人艇上的可见光摄像头实时获取；提出了一种有效的海雾场景判别方法，包括海上图像数据库的建立、图像特征提取和BP神经网络雾图识别等三个步骤；提出了一种改进的快速单幅图像海雾去除方法，包括改进的大气光值估计、透射率粗估计和优化以及图像复原等三个步骤；在第三步快速单幅海雾去除算法的基础上，利用引导滤波估计海雾的雾气遮罩从而实现快速的视频海雾去除，包括雾气分量求取、引导滤波雾气分量估计和视频海雾去除等三个步骤。经过本发明所提算法的处理，能够极大的提高无人艇视频去雾的智能性和实时性，进而使得无人艇或其他水面航行器对于不同水面环境的适应能力。

附图说明

图1海雾下无人艇智能的快速视频海雾去除算法流程图；

图2a为浓雾海面图像

图2b为中雾海面图像

图2c为薄雾海面图像

图2d为清晰海面图像

图3a为浓雾海面图像的灰度直方图；

图3b为中雾海面图像的灰度直方图；

图3c为薄雾海面图像的灰度直方图；

图3d为清晰海面图像的灰度直方图；

图4a为浓雾海面图像的可见边缘图像；

图4b为中雾海面图像的可见边缘图像；

图4c为薄雾海面图像的可见边缘图像；

图4d为清晰海面图像的可见边缘图像；

图5大气光值估计流程图；

图6a为原图；

图6b为优化前的透射率；

图6c为优化后的透射率；

图6d为优化前的图像去雾结果；

图6e为优化后的图像去雾结果；

图7为快速视频海雾去除流程图；

图8a为原海雾视频第184帧图像；

图8b为原海雾视频第187帧图像；

图8c为图8b用图8a的遮罩复原；

图8d为图8b用图8a滤波后的遮罩复原；

图8e为图c局部区域放大。

图8f为图d局部区域放大。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明涉及的是一种海上航行器在海上航行时智能的视频图像处理技术，通过对无人艇等航行器当前场景的雾气判别，能够极大的提高海上无人艇等航行器的视频图像去雾性能，极大的提高海上无人艇对于海上不同环境的适应能力；通过采用改进的大气光值估计方法能够极大的提高暗原色算法对于图像海雾去除的智能性和去雾能力；采用基于引导滤波的雾气分量优化方法能够极大的提高视频去雾的效率。

本发明针对海雾下无人艇视觉系统采集的视频图像降质问题，以及，本发明公开了一种智能的无人艇视觉系统视频快速海雾去除方法，该方法不仅适用于无人艇这种特殊的水面航行器，而且适用于渔船、运输船等所有水面航行器，不仅能够大大提高海雾下无人艇视觉系统采集的视频图像清晰度，而且能够极大提高视频去雾的智能性，有利于无人艇的安全运行和后续许多特殊任务和功能的实现。本发明具有以下优点：能够智能的判别无人艇周围场景是否含雾，极大提高无人艇视频去雾的智能性；运算速度快，能够实时去除无人艇采集视频图像的海雾，达到视频图像清晰化的目的；不仅视频去雾效果好，而且具有良好的边缘保持效果，能够极大的提高目标的可见性和识别能力。本发明主要包括海雾场景的判别，单幅图像海雾去除处理，视频图像海雾去除处理等三个步骤，流程图如图1。

1.海上视频图像获取

在海雾下，通过安装在无人艇或其他水面航行器上的可见光摄像头采集海雾视频图像。本实施中采用500万像素的CMOS摄像头采集海雾下的视频图像。

2.海上场景是否含雾的判别

这里通过无人艇或水面航行器在实际运行过程中采集的首帧图像来识别当前场景是否含雾。识别原理是：收集大量水面有雾图像和清晰图像，提取这些图像的海雾识别分类特征；然后利用BP神经网络对这些特征进行训练，得到训练好的水面雾图识别分类器；再提取无人艇实时采集到的海面图像特征，并输入到训练好的分类器中，进而得到当前场景是否含雾的识别结果。

2.1海上图像库的建立

本发明中所用到的水面有雾图像和清晰图像样本库包含大量不同场景、不同目标的海面清晰图像和有雾图像，如远景小目标、近景大目标、多目标以及各种不同浓度雾下的水面图像。典型的海面图像如图2。

2.2图像特征提取

本发明通过提取图像改进后的均值、图像的能见度和暗通道图像强度等3个特征作为水面有雾图像和清晰图像的分类特征。

2.2.1改进的均值

图像均值能反映一幅图像的平均亮度，一般图像均值越大，图像普遍偏亮或偏白，图像均值公式表示为：

其中p_i同样表示在一幅图像中灰度值为i的像素点出现的概率。

图2中4张图像所对应的均值依次分别为139.7394、154.4184、167.9913、148.7116。含雾图像由于受雾气的影响，导致图像整体偏白，灰度值整体偏大，且灰度分布集中，最大灰度值与最小灰度值差距不大；而且对于海面图像而言，海天线以上的天空区域往往具有比海面更大的灰度值，所以图像中天空区域所占比例越大，其均值一般越大，再加上阳光对于成像的影响，导致上述简单的图像均值很难区分图像是否含雾。其中图3是图2所对应的直方图，从图3可以看出，清晰图像的灰度分布比较分散，最大值与最小值之差最大，因此本发明设计了一种改进的均值来提高水面有雾图像和清晰图像的区分程度。改进的均值特征公式如下：

μ′＝μ/(M-m) (2)

其中μ为(1)式所求的均值，M为灰度图像的最大灰度值，而m为灰度图像的最小灰度值。

利用式(2)求得图2的改进后的均值分别为1.7252、1.4432、1.0370、0.5948。从这些数据可以看出新的均值求取方法能有效区分这四类图片，有利于图像是否含雾的识别，甚至于可以作为一种雾气浓度判别的特征。

2.2.2图像能见度

在有雾环境下拍摄的图像目标边缘模糊，在浓雾下的图片中甚至会出现完全看不到目标的现象，雾气越浓，目标边缘越模糊，其图像的能见度越低，因此可见边缘可以作为图像能见度的评价标准。图像能见度具体算法如下：

对于一幅灰度图像f的任意一个像素点x，若在以x为中心的4邻域内满足：

min[f(x),f(y)]≤s＜max[f(x),f(y)] (3)

则称图像f中的像素对(x,y)能被阈值s分割，其中y为以x为中心的4邻域像素点，即y∈V₄(x)。

定义F(s)为图像f中所有能被阈值s分割的像素对(x,y)所组成的集合，即对于每一个分割阈值s∈[0,255]都对应一个集合F(s)。对于集合F(s)中的任意像素对(x,y)，其图像空间对比度计算如下：

则集合F(s)的平均对比度为：

其中cardF(s)表示集合F(s)的像素对总数。从而得到最佳的分割阈值s₀：

即将平均对比度取最大值时对应的阈值s₀作为图像的分割阈值。而在原灰度图像f中满足空间对比度2C_x(s₀)＞0.05的像素点则为可见边缘像素点。从而得到图像能见度：

其中n为可见边缘像素点总数，m为图像中满足条件C_x(s₀)＞0的所有像素点总数，为可见边缘像素点组成的集合。

图2中的4张图像对应的图像能见度分别为0.0352、0.1864、0.4387、2.7848。从以上数据可以看出，图像能见度可以作为海上图像是否含雾的分类特征，也可以作为图像雾浓度的评判标准。其中图2的4张图像对应的可见边缘图像如图4。

2.2.3暗通道图像强度

暗通道图像强度计算具体实现步骤为：根据前一节所求的可见边缘图像求得对应原图像中的可见边缘暗通道图像，统计该暗通道图像中像素值小于阈值T的像素点总数以及可见边缘图像的像素总数，最后得到图像强度为：

其中I(i)为由可见边缘图像得到的暗通道灰度图像中像素值为i的像素点数量。由于海面图像暗通道像素值普遍较高，因此本文中阈值T设置为100。

图2的4张图像的暗通道图像强度分别为0.0341、0.0591、0.2112、0.8300。可以看出暗通道的图像强度可以作为区分海上图像是否含雾的典型特征，甚至也可以作为海上图像雾浓度判别的特征。

其中暗通道图像的求取公式为：

上式中J^c(x)表示彩色图像J的RGB三通道中的某一通道，Ω(x)表示以x为中心的方形窗口。

结合公式(9)得到的暗通道图像以及前面介绍的可见边缘图像可以很简单的得到公式(8)中的由可见边缘图像得到的暗通道图像I，具体公式为：

I(x)＝J^dark(x)·I_e(x) (10)

其中I_e为前面求取能见度时所求的可见边缘图像，该边缘图像在图像目标边缘处的值为1，显示为白色，非边缘处的值为0，所以由可见边缘图像得到的暗通道图像可以经过简单的两个矩阵对应点乘运算得到。

2.3 BP神经网络雾图识别

提取水面图像样本库中所有有雾图像和清晰图像的以上三个特征，利用BP神经网络进行分类器训练。在本发明中BP神经网络设置为3层，其中输入层的节点数为3，隐含层节点数为15，输出层节点数为2，在测试过程中BP神经网络的最大训练次数设置为500，最小均方误差为1e-8，最小梯度值为1e-20。

提取无人艇实时采集的场景图像的以上三个特征，输入到训练好的分类器中，通过BP神经网络的竞争输出，从而得到当前无人艇周围水面场景是否含雾的识别结果。

3.改进的单幅图像海雾去除算法

若前面对于无人艇周围场景图像的识别结果为含雾，那么就对图像进行视频去雾的处理，这里首先介绍单幅图像海雾处理，然后在此算法的基础上介绍本发明的视频去雾算法。

3.1改进的大气光值的估计

本发明针对海雾图像所设计的改进大气光值估计流程图如图5。详细步骤如下：

若当前无人艇采集的周围场景有雾图像为I，首先利用式(9)对图像I进行最小值滤波，得到其暗通道图像J^dark；

然后取经过最小值滤波后的图像像素值最大的0.01％个像素值作为候选大气光值估计区域；接着对这些候选像素点进行8联通区域分析；再选取连通分量像素个数最多的那个连通分量作为大气光值估计的精确候选区域；最后在该区域中选取最大的亮度值作为天空亮度即大气光值A的估计。

3.2透射率的估计和优化

利用前一步得到的暗通道图像J^dark以及上一节所求的大气光值A，初步估计当前无人艇场景图像的透射率：

初步估计的透射率如图6(b)所示。由于在求取该透射率的过程中使用了局部区域最小值滤波算法，直接使用该透射率会导致最终恢复的海雾图像出现如图6(d)所示的块状效应，因此在本发明中通过使用灰度图像引导滤波来优化该透射率。在本发明中，将原有雾图像的灰度图像作为引导滤波的引导图像，因此首先得到原有雾图像的灰度图像：

I^gray(x)＝0.3×I^r(x)+0.59×I^g(x)+0.11×I^b(x) (12)

上式中，I^r,I^g,I^b分别表示原无人艇采集的海雾图像的RGB三个通道分量图像。接着利用引导滤波对透射率进行优化，可表示为：

上式中为式(11)初步估计的透射率；t表示引导滤波优化后的透射率；W为引导滤波核函数，表示为：

其中μ_k和σ_k分别为引导图像I^gray中局部小区域ω_k内的均值和方差，而|ω|表示该局部小区域内的像素总数；ε是调整因子。

经过原海雾图的灰度图引导滤波优化后的透射率如图6(c)所示。

3.3单幅海雾图像复原

求得优化后的透射率和大气光值后，通过求解大气散射物理模型，得到海雾去除后的图像，海雾图像去雾公式如下：

上式中A为前面改进的大气光值估计算法所求的大气光值，t为式(13)用引导滤波优化后的透射率；t₀为防止分母为0的因子，本发明中取t₀＝1/255。J为经过本发明单幅图像海雾去除算法处理后的清晰图像，I为原海雾图像。

本文改进后的恢复效果如图6(e)所示，与图6(d)优化前的海雾去除结果相比较，可以看出经过优化处理后的块状效应明显减少。

4.快速的视频海雾去除算法

本发明所设计的快速视频海雾去除算法流程图如图7所示。本发明的海雾视频去雾算法主要包含雾气分量求取、引导滤波雾气分量估计和视频海雾去除等三个步骤。

4.1雾气分量求取

对于无人艇采集的海雾视频，首先对海雾视频的第i帧海雾图像进行前面所介绍的改进的单幅图像海雾去除清晰化处理，然后求取该视频第i帧的初始雾气分量：

F_i＝I_i-J_i (16)

上式中I_i表示当前海雾视频下的第i帧海雾图像，J_i是对I_i利用式(15)进行处理后得到的第i帧去雾清晰化图像，F_i为视频第i帧的雾气分量。

4.2引导滤波的雾气分量估计

对于海雾视频第j帧图像的去雾复原，如果也使用式(15)进行逐帧视频海雾去除清晰化处理，那么将会很耗时，无法实现实时性去雾的要求。而直接使用式(16)得到的第i帧的雾气分量对第j帧图像进行复原，恢复后的图像会含有上一帧目标的“伪轮廓”，具体伪轮廓现象如图8(c)和图8(e)所示，图8(e)是图8(c)的局部区域放大效果，图8(c)是直接使用第184帧图像的雾气分量对第187帧图像去雾后的结果。本发明使用引导滤波来消除这种伪轮廓现象。

在进行雾气分量估计之前，首先估计其海雾视频背景变化量，背景变化量估计步骤如下：

(1)将视频第i帧和第j帧图像进行做差运算，并进行二值化操作：

上式中I^gray(x,y,t_j)表示海雾下视频第j帧图像在坐标(x,y)处的像素灰度值，同样I^gray(x,y,t_i)表示的是视频第i帧海雾图像在坐标(x,y)位置的灰度值，t_j、t_i分别表示视频的第j帧和第i帧，Th表示二值化操作的阈值，通过上式计算后得到的二值图像D中目标运动或背景变化大的区域为白色，值为255，而变化不大的区域则为黑色，值为0。本发明中Th＝15。

(2)求取海雾视频第i帧和第j帧之间的变化量，可通过统计上式帧差运算后的运动区域占图像总像素的比例得到，具体公式如下：

上式中是视频帧灰度图像的像素总数，即无人艇采集的图片的尺寸，N_D表示式(17)得到的二值图D中值为255的像素总数，即运动目标区域或背景变化大的区域，其中背景变化大主要是由于海浪或无人艇运动时的抖动等因素引起的。

(3)若T_D＞T，则可认为视频第j帧相对于第i帧场景变化大，即场景中的雾气浓度变化较大；否则认为背景变化不大，即场景中雾气浓度变化不大。这里T为视频去雾时雾气分量的更新阈值，海雾场景雾气较浓时该值相对较少，本发明中选择为0.1％。

4.3视频海雾去除

若海雾视频第j帧与第i帧背景变化大，那么对第j帧进行前面所介绍的单幅图像海雾去除处理；否则表明场景雾气浓度变化不大，利用式(13)的引导滤波对式(16)得到的第i帧雾气分量进行滤波，从而得到第j帧海雾视频的雾气分量此时引导滤波的引导图像为当前要去雾的第j帧视频海雾图像。

用上一步引导滤波得到的第j帧视频海雾图像的雾气分量利用式(16)可以很简单的得到第j帧视频海雾图像的去雾恢复结果，表示如下：

上式中I_j表示的是原始第j帧海雾视频图像，J_j表示对第j帧海雾视频图像去雾恢复后的图像。

利用上式进行海雾视频图像恢复效果如图8(d)和8(f)所示，明显可以看出经过引导滤波得到的雾气分量能有效去除图像恢复后的目标“伪轮廓“现象。

总的来说，对于本发明的智能快速视频海雾去除算法，在将当前场景识别为有雾场景后，在对其进行视频去雾时，背景变化区域不大的场景，只需要计算一次本文改进的单幅图像海雾去除，然后利用引导滤波得到后续视频帧的雾气分量，就能很快的实现该段连续视频帧的海雾去除清晰化处理，能够极大的提高视频图像海雾去除效率，并且有效的去除目标“伪轮廓现象”，因此本文算法适用于无人艇海雾视频去雾处理，而且对于无人艇周围场景是否含雾的识别，能够极大的提高无人艇视频去雾的智能性。

Claims (1)

1.一种智能的无人艇视觉系统视频海雾去除方法，其特征在于：

(1)获取海上视频图像：

在海雾下，通过安装在无人艇或其他水面航行器上的可见光摄像头采集海雾视频图像；

(2)判别海上场景是否含雾：

通过实际运行过程中采集的首帧图像来识别当前场景是否含雾：

(2.1)建立海上图像库：

包括水面有雾图像和清晰图像样本库；

(2.2)提取图像特征：

提取图像改进的均值、图像能见度和暗通道图像强度3个特征作为水面有雾图像和清晰图像的分类特征：

(2.2.1)改进的均值：

图像均值表示为：

其中p_i表示在一幅图像中灰度值为i的像素点出现的概率，

改进的均值特征公式：

μ′＝μ/(M-m)

其中μ为所求的均值，M为灰度图像的最大灰度值，m为灰度图像的最小灰度值；

(2.2.2)图像能见度：

图像能见度：

对于一幅灰度图像f的任意一个像素点x，若在以x为中心的4邻域内满足：

min[f(x),f(y)]≤s＜max[f(x),f(y)]

则称图像f中的像素对(x,y)能被阈值s分割，其中y为以x为中心的4邻域像素点，即y∈V₄(x)；

F(s)为图像f中所有能被阈值s分割的像素对(x,y)所组成的集合，对于每一个分割阈值s∈[0,255]都对应一个集合F(s)，对于集合F(s)中的任意像素对(x,y)，图像空间对比度为：

则集合F(s)的平均对比度为：

其中cardF(s)表示集合F(s)的像素对总数，得到最佳的分割阈值s₀：

即将平均对比度取最大值时对应的阈值s₀作为图像的分割阈值，在原灰度图像f中满足空间对比度2C_x(s₀)＞0.05的像素点则为可见边缘像素点，得到图像能见度：

其中n为可见边缘像素点总数，m为图像中满足条件C_x(s₀)＞0的所有像素点总数，为可见边缘像素点组成的集合；

(2.2.3)暗通道图像强度：

根据所求的可见边缘像素点组成的图像求得对应原图像中的可见边缘暗通道图像，统计暗通道图像中像素值小于阈值T的像素点总数以及可见边缘图像的像素总数，得到图像强度为：

其中I(i)为由可见边缘图像得到的暗通道图像中像素值为i的像素点数量；

其中暗通道图像为：

J^c(x)表示彩色图像J的RGB三通道中的某一通道，Ω(x)表示以x为中心的方形窗口；

得到的暗通道图像I：

I(x)＝J^dark(x)·I_e(x)

其中I_e为前面求取能见度时所求的可见边缘图像，该边缘图像在图像目标边缘处的值为1，显示为白色，非边缘处的值为0；

(2.3)识别BP神经网络雾图：

提取水面图像样本库中所有有雾图像和清晰图像的三个特征，利用BP神经网络进行分类器训练，得到当前周围水面场景是否含雾的识别结果，若周围场景图像的识别结果为含雾则执行步骤(3)；

(3)去除单幅图像海雾：

(3.1)估计大气光值：

若当周围场景有雾图像为I，首先对图像I进行最小值滤波，得到其暗通道图像J^dark；

然后取经过最小值滤波后的图像像素值最大的0.01％个像素值作为候选大气光值估计区域；对候选像素点进行8连通区域分析；再选取连通分量像素个数最多的连通分量作为大气光值估计的精确候选区域；最后在区域中选取最大的亮度值作为天空亮度即大气光值A的估计；

(3.2)透射率的估计和优化：

利用得到的暗通道图像J^dark以及大气光值A，初步估计当前无人艇场景图像的透射率：

将原有雾图像的灰度图像作为引导滤波的引导图像，得到原有雾图像的灰度图像：

I^gray(x)＝0.3×I^r(x)+0.59×I^g(x)+0.11×I^b(x)

I^r,I^g,I^b分别表示原无人艇采集的海雾图像的RGB三个通道分量图像，利用引导滤波对透射率进行优化：

为初步估计的透射率；t表示引导滤波优化后的透射率；W为引导滤波核函数：

其中μ_k和σ_k分别为引导图像I^gray中局部小区域ω_k内的均值和方差，而|ω|表示该局部小区域内的像素总数；ε是调整因子；

(3.3)复原单幅海雾图像：

求解大气散射物理模型，得到海雾去除后的图像：

A为前面改进的大气光值估计算法所求的大气光值，t为引导滤波优化后的透射率；t₀为防止分母为0的因子，J为经过单幅图像海雾去除算法处理后的清晰图像，I为原海雾图像；

(4)去除视频海雾：

(4.1)求取雾气分量：

对于无人艇采集的海雾视频，首先对海雾视频的第i帧海雾图像进行单幅图像海雾去除清晰化处理，然后求取该视频第i帧的初始雾气分量：

F_i＝I_i-J_i

I_i表示当前海雾视频下的第i帧海雾图像，J_i是对I_i进行处理后得到的第i帧去雾清晰化图像，F_i为视频第i帧的雾气分量；

(4.2)引导滤波的雾气分量估计：

估计海雾视频背景变化量：

(4.2.1)将视频第i帧和第j帧图像进行做差运算，并进行二值化操作：

上式中)表示海雾下视频第j帧图像在坐标(x,y)处的像素灰度值，I^gray(x,y,t_i)表示的是视频第i帧海雾图像在坐标(x,y)位置的灰度值，t_j、t_i分别表示视频的第j帧和第i帧，Th表示二值化操作的阈值，得到的二值图像D中目标运动或背景变化大的区域为白色，值为255，而变化不大的区域则为黑色，值为0；

(4.2.2)求取海雾视频第i帧和第j帧之间的变化量：

N_Igray是视频帧灰度图像的像素总数，即采集的图片的尺寸，N_D得到的二值图D中值为255的像素总数，即运动目标区域或背景变化大的区域；

(4.2.3)若T_D＞T，则可认为视频第j帧相对于第i帧场景变化大，即场景中的雾气浓度变化较大；否则认为背景变化不大，即场景中雾气浓度变化不大，T为视频去雾时雾气分量的更新阈值；

(4.3)去除视频海雾：

若海雾视频第j帧与第i帧背景变化大，对第j帧进行单幅图像海雾去除处理；否则表明场景雾气浓度变化不大，利用引导滤波得到的第i帧雾气分量进行滤波，得到第j帧海雾视频的雾气分量此时引导滤波的引导图像为当前要去雾的第j帧视频海雾图像；

用引导滤波得到的第j帧视频海雾图像的雾气分量得到第j帧视频海雾图像的去雾恢复结果：

I_j表示的是原始第j帧海雾视频图像，J_j表示对第j帧海雾视频图像去雾恢复后的图像。