CN113689343A - 一种Resnet计算Veil的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种Resnet计算Veil的单幅图像去雾方法，包括两个主要步骤：形成雾度图像；架构深度残差神经网络，输出无雾图像。本发明提出的方法的主要贡献是将深度学习方法应用于单图像去雾，从而使其提出的算法效率更高，运行时间更少，从而使其可应用于外科内窥镜等多个领域，并通常用于视觉系统。本发明首先寻找一种有效的方法来分析雾度图像，同时提供一种消除雾度的有效方法。然后训练一个神经网络，用来执行预测大气光幕。根据从深度图和大气光等数据集中的可用地面真相元数据中恢复的大气光幕来训练神经网络，可以减少计算时间，并生成与局部估计和透射图细化无关的输出，同时保留图像属性分散。

Description

一种Resnet计算Veil的单幅图像去雾方法

技术领域

本发明属于数字图像处理技术领域，涉及一种Resnet计算Veil的单幅图像去雾方法。

背景技术

当前图像处理和人工智能的发展迅猛，针对最小化内存管理和基本计算时间方面的计算代价的研究，已经成为一种日益增长的趋势。这是由于当前的很多计算机视觉应用，在执行任务的过程中都需要清晰的视觉，例如：医学成像和计算机辅助干预，以及将目标检测应用于自动系统的实例和语义分割系统。这些系统利用某些视觉结构来执行重要任务，这些任务在执行的过程中很大程度上取决于大气中的能见度质量，这意味着要有清晰的视野以避免故障。因此，雾霾多的环境可能会给物体检测带来很大的问题。显然，在地球上不存在没有烟或雾的地方，这意味着要实现有效的物体检测和清晰的视野，除雾是必不可少的。

由于在许多任务中对视野清晰度有较高的需求，图像去雾在许多视觉任务取得显著效果。现有的几种图像去雾方法都表现出良好的性能，但是都需要很长的运行时间。这是由于执行去雾任务之前，算法依赖于传输图，空气光照估计和传输图的时间细化等参数的计算所造成的。我们引入与传输图无关的去雾算法，从而不需要为去雾算法来估计更多的参数。除此之外，我们提出了一种深度残差神经网络，该神经网络采用内部跳跃链接和反馈链接的方式，显著地加快训练时间。

发明内容

本发明的目的是提供一种Resnet计算Veil的单幅图像去雾方法，具有算法效率更高，运行时间更少的特点。

本发明所采用的技术方案是，一种Resnet计算Veil的单幅图像去雾方法，具体按照以下步骤实施：

步骤1、从数据集中直接获取图像的深度矩阵，提取图像的地面真实元数据，并从地面真实元数据中得到大气光A和深度，数据集是纽约大学深度数据集；

步骤2、为了最大程度的降低估计传输图函数中光散射常数K对除雾过程的影响，采用暗通道和软消光方法对深度矩阵进行局部估计，以测试验证数据集中图像的地面真实元数据；

步骤3、通过图像的地面真实元数据生成大气光幕，利用所得大气光幕与数据集中图片合成雾度图像；

步骤4、搭建并训练深度残差神经网络；

步骤5、随机选择一张真实世界的图片或者合成的图像放入步骤4所得的深度残差神经网络中，用于预测大气光幕，根据雾度和场景恢复，合成无雾图像。

本发明的特点还在于：

步骤3具体按照以下步骤实施：

步骤3.1、将大气光幕定义为大气光和投射图的函数，定义式如下：

A(u，v)＝A_∞(1-T(u，v)) (1)

步骤3.2、根据光源的光线向观察者扩散的过程，如图1所示，式(1)简化为下式：

A＝A_∞(1-e^-βz) (2)

式(2)中，β表示光的散射系数，随着观察者与被摄物体之间的距离增加，大气光也会随之增加，e^-βz会减小；z表示图像的深度包含信息，z用作图像与观察者之间距离的度量；

步骤3.3、距离z增大，直接投射T减小，为除去对投射图的依赖，将场景投射率转化为观察者与场景辐射度之间的距离d的函数：

T(u，v)＝e^-kd(u，v) (3)

式(3)中，K是光散射中的常数，u和v是像素的坐标；

步骤3.4、将公式(3)带入公式(1)中可重新将大气光幕A(u,v)定义为深度图的函数：

A(u，v)＝A_∞(1-e^-kd(u，v)) (4)

步骤3.5、参考Koschmieder’s law定律用一般模型来表示的物理成像模型：

I(u,v)＝J(u,v)T(u,v)+A_∞(1-T(u,v)) (6)

式(1)中，I(u，v)表示有雾图像，J(u，v)表示无雾图像，A_∞表示大气光或天空亮度，T(u，v)表示投射图像；

将公式(5)带入公式(6)后，满足以下改进的表达式：

根据数据集中的图像和计算所得的大气光幕，合成雾度图像。

步骤4具体按照提下步骤实施：

步骤4.1、输入深度残差神经网络的图片重塑为尺寸620*460；

步骤4.2、搭建深度残差神经网络，采用深度残差神经网络结构，下采样直接由一个2步长的卷积层来完成，网络以一个平均池化层和具有softmax的完全连接层终止；加权层总数为19层，训练程序网络构架如图2所示；

步骤4.3、将8个卷积层用于训练过程，通过具有0.9动量的批量梯度体面方法训练网络，使用了200张图像的批处理大小，图像大小为620X460像素，初始学习率为0.001，每8个周期减少0.1；通过最小化地面真实元数据生成的大气光幕与网络在预测层上预测的光幕之间的损失函数，优化训练程序。

步骤4.2的深度残差神经网络结构为，第一层包含3个尺寸为620X460的滤镜；第二层包含3个步幅和207X154尺寸的3个批处理和归一化层；第三层和第4层包含3个尺寸为52X69的滤镜；批处理的第5层，尺寸规格化为23X18；第6、7和8层正在调整大小，上采样层也包含3个尺寸为69X52的滤镜；

步骤5具体按照以下步骤实施：

步骤5.1向深度残差神经网络输入步骤3所得的雾度图像，预测得到大气光幕，对大气光幕进行高斯滤波处理，处理大气光幕在计算过程中产生的噪声；

步骤5.2、将雾度图像减去步骤5.1所得的大气光幕，再适当调雾度图像其alpha数值，合成后达到最佳视觉效果，得到最终的去雾图像。

本发明的有益效果是：

1.本发明提供一种有效的方法来分析雾度图像，同时提供一种消除雾度的有效方法，以改善可见度并保持深度完整性。

2.训练一个神经网络，该神经网络可执行预测大气光幕的任务，同时消除对透射图估计的依赖。

3.确保此网络在质量，计算要求和计算速度方面都可与最先进的算法相提并论，并具有最小的依赖性。

附图说明

图1是本发明一种Resnet计算Veil的单幅图像去雾方法的光线散射图；

图2是本发明一种Resnet计算Veil的单幅图像去雾方法的深度残差神经网络结构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种Resnet计算Veil的单幅图像去雾方法，具体按照以下步骤实施：

步骤1、从数据集中直接获取图像的深度矩阵，提取图像的地面真实元数据，并从地面真实元数据中得到大气光A和深度，数据集是纽约大学深度数据集；

步骤2、为了最大程度的降低估计传输图函数中光散射常数K对除雾过程的影响，采用暗通道和软消光方法对深度矩阵进行局部估计，以测试验证数据集中图像的地面真实元数据；

步骤3、通过图像的地面真实元数据生成大气光幕，利用所得大气光幕与数据集中图片合成雾度图像；

步骤4、搭建并训练深度残差神经网络；

步骤5、随机选择一张真实世界的图片或者合成的图像放入步骤4所得的深度残差神经网络中，用于预测大气光幕，根据雾度和场景恢复，合成无雾图像。

步骤3具体按照以下步骤实施：

步骤3.1、根据X.Luo等提出的一种基于视觉的手术视野除雾技术，其中，将大气光幕定义为大气光和投射图的函数，定义式如下：

A(u，v)＝A_∞(1-T(u，v)) (1)

步骤3.2、根据Y.Y.Schechner提出的一种基于偏振的多图像雾化方法，该方法称雾霾形成的主要原因是空气偏振，指的是根据光源的光线向观察者扩散的过程，如图1所示，式(1)简化为下式：

A＝A_∞(1-e^-βz) (2)

式(2)中，β表示光的散射系数，随着观察者与被摄物体之间的距离增加，大气光也会随之增加，e^-βz会减小；z表示图像的深度包含诸如投射率之类的信息，可以用作图像与观察者之间距离的度量；

步骤3.3、如图1所示，直线光线代表来自光源(太阳)的光线，被大气中朝向观察者的粒子隔开。虚线表示从对象R辐射的光，该光受沿直达直接投射T的视线的色散影响。距离z增大，直接投射T减小，为除去对投射图的依赖，将场景投射率转化为观察者与场景辐射度之间的距离d的函数：

A(u，v)＝e^-kd(u，v) (3)

式(3)中，K是光散射中的常数，u和v是像素的坐标；

步骤3.4、将公式(3)带入公式(1)中可重新将大气光幕A(u,v)定义为深度图的函数：

A(u，v)＝A_∞(1-e^-kd(u，v)) (4)

步骤3.5、参考Koschmieder’s law定律用一般模型来表示的物理成像模型：

I(u,v)＝J(u,v)T(u,v)+A_∞(1-T(u,v)) (6)

式(1)中，I(u，v)表示有雾图像，J(u，v)表示无雾图像，A_∞表示大气光或天空亮度，T(u，v)表示投射图像；

将公式(5)带入公式(6)后，满足以下改进的表达式：

根据数据集中的图像和计算所得的大气光幕，合成雾度图像。

步骤4具体按照提下步骤实施：

步骤4.1、输入深度残差神经网络的图片重塑为尺寸620*460；

步骤4.2、搭建深度残差神经网络，采用深度残差神经网络结构，下采样直接由一个2步长的卷积层来完成，网络以一个平均池化层和具有softmax的完全连接层终止；加权层总数为19层；训练程序网络架构如图2所示。

步骤4.3、将8个卷积层用于训练过程，通过具有0.9动量的批量梯度体面方法训练网络，使用了200张图像的批处理大小，图像大小为620X460像素，批处理大小可根据实际情况进行调整，初始学习率为0.001，每8个周期减少0.1；通过最小化地面真实元数据生成的大气光幕与网络在预测层上预测的光幕之间的损失函数，优化训练程序。

步骤4.2的深度残差神经网络结构为，第一层包含3个尺寸为620X460的滤镜；第二层包含3个步幅和207X154尺寸的3个批处理和归一化层；第三层和第4层包含3个尺寸为52X69的滤镜；批处理的第5层，尺寸规格化为23X18；第6、7和8层正在调整大小，上采样层也包含3个尺寸为69X52的滤镜；

步骤5具体按照以下步骤实施：

步骤5.1向深度残差神经网络输入步骤3所得的雾度图像，预测得到大气光幕，对大气光幕进行高斯滤波处理，处理大气光幕在计算过程中产生的噪声；

步骤5.2、将雾度图像减去步骤5.1所得的大气光幕，再适当调雾度图像其alpha数值，合成后达到最佳视觉效果，得到最终的去雾图像。

Claims (5)

1.一种Resnet计算Veil的单幅图像去雾方法，其特征在于，具体按照以下步骤实施：

步骤1、从数据集中直接获取图像的深度矩阵，提取所述图像的地面真实元数据，并从所述地面真实元数据中得到大气光A和深度，所述数据集是纽约大学深度数据集；

步骤2、为了最大程度的降低估计传输图函数中光散射常数K对除雾过程的影响，采用暗通道和软消光方法对深度矩阵进行局部估计，以测试验证数据集中图像的地面真实元数据；

步骤3、通过图像的地面真实元数据生成大气光幕，利用所得大气光幕与数据集中图片合成雾度图像；

步骤4、搭建并训练深度残差神经网络；

步骤5、随机选择一张真实世界的图片或者合成的图像放入步骤4所得的深度残差神经网络中，用于预测大气光幕，根据雾度和场景恢复，合成无雾图像。

2.根据权利要求1所述的一种Resnet计算Veil的单幅图像去雾方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1、将大气光幕定义为大气光和投射图的函数，定义式如下：

A(u，v)＝A_∞(1-T(u，v)) (1)

步骤3.2、根据光源的光线向观察者扩散的过程，式(1)简化为下式：

A＝A_∞(1-e^-βz) (2)

式(2)中，β表示光的散射系数，随着观察者与被摄物体之间的距离增加，大气光也会随之增加，e^-βz会减小；z表示图像的深度包含诸如投射率之类的信息，可以用作图像与观察者之间距离的度量；

步骤3.3、距离z增大，直接投射T减小，为除去对投射图的依赖，将场景投射率转化为观察者与场景辐射度之间的距离d的函数：

T(u，v)＝e^-kd(u，v) (3)

式(3)中，K是光散射中的常数，u和v是像素的坐标；

步骤3.4、将公式(3)带入公式(1)中可重新将大气光幕A(u，v)定义为深度图的函数：

A(u，v)＝A_∞(1-e^-kd(u，v)) (4)

步骤3.5、参考Koschmieder’slaw定律用一般模型来表示的物理成像模型：

I(u，v)＝J(u，v)T(u，v)+A_∞(1-T(u，v)) (6)

式(1)中，I(u，v)表示有雾图像，J(u，v)表示无雾图像，A_∞表示大气光或天空亮度，T(u，v)表示投射图像；

将公式(5)带入公式(6)后，满足以下改进的表达式：

根据数据集中的图像和计算所得的大气光幕，合成雾度图像。

3.根据权利要求1所述的一种Resnet计算Veil的单幅图像去雾方法，其特征在于，所述步骤4具体按照提下步骤实施：

步骤4.1、输入深度残差神经网络的图片重塑为尺寸620*460；

步骤4.2、搭建深度残差神经网络，采用深度残差神经网络结构，下采样直接由一个2步长的卷积层来完成，网络以一个平均池化层和具有softmax的完全连接层终止；加权层总数为19层；

步骤4.3、将8个卷积层用于训练过程，通过具有0.9动量的批量梯度体面方法训练网络，使用了200张图像的批处理大小，图像大小为620X460像素，初始学习率为0.001，每8个周期减少0.1；通过最小化地面真实元数据生成的大气光幕与网络在预测层上预测的光幕之间的损失函数，优化训练程序。

4.根据权利要求3所述的一种Resnet计算Veil的单幅图像去雾方法其特征在于，所述步骤4.2的深度残差神经网络结构为，第一层包含3个尺寸为620X460的滤镜；第二层包含3个步幅和207X154尺寸的3个批处理和归一化层；第三层和第4层包含3个尺寸为52X69的滤镜；批处理的第5层，尺寸规格化为23X18；第6、7和8层正在调整大小，上采样层也包含3个尺寸为69X52的滤镜。

5.根据权利要求3所述的一种Resnet计算Veil的单幅图像去雾方法其特征在于，所述步骤5具体按照以下步骤实施：

步骤5.1向深度残差神经网络输入步骤3所得的雾度图像，预测得到大气光幕，对所述大气光幕进行高斯滤波处理，处理大气光幕在计算过程中产生的噪声；

步骤5.2、将雾度图像减去步骤5.1所得的大气光幕，再适当调雾度图像其alpha数值，合成后达到最佳视觉效果，得到最终的去雾图像。

Images