CN106709901A - 基于深度先验的模拟雾图生成方法 - Google Patents

基于深度先验的模拟雾图生成方法 Download PDF

Info

Publication number
CN106709901A
CN106709901A CN201610987223.0A CN201610987223A CN106709901A CN 106709901 A CN106709901 A CN 106709901A CN 201610987223 A CN201610987223 A CN 201610987223A CN 106709901 A CN106709901 A CN 106709901A
Authority
CN
China
Prior art keywords
image
sky areas
pixel
sky
free images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610987223.0A
Other languages
English (en)
Other versions
CN106709901B (zh
Inventor
王柯俨
李昱霏
李云松
吴宪云
张闪闪
何旭升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610987223.0A priority Critical patent/CN106709901B/zh
Publication of CN106709901A publication Critical patent/CN106709901A/zh
Application granted granted Critical
Publication of CN106709901B publication Critical patent/CN106709901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于深度先验的模拟雾图生成方法,主要解决现有技术模拟加雾方法没有合理结合深度信息的问题,其技术方案是:1)分离无雾图像中的天空区域,得到初始天空区域;2)基于边缘检测对初始天空区域进行修正;3)利用修正后的天空区域和非天空区域的位置关系构造无雾图像的深度图,并计算每一点的透射率;4)利用深度图和透射率建立无雾图像人工加雾后的模拟有雾图像。本发明具有图像天空区域分割准确,加雾过程符合自然规律、真实可信的优点,可用于对室外远距离场景拍摄的无雾图像构造深度图,评价去雾效果、检测设备的性能和去雾网络模型训练。

Description

基于深度先验的模拟雾图生成方法
技术领域
本发明属于图像处理技术领域,更进一步涉及其中的一种模拟雾图生成方法,可用于对室外远距离场景拍摄的无雾图像构造深度图,评价去雾效果、检测设备的性能和去雾网络模型训练。
背景技术
模拟雾图在多个领域都有广泛的用途,一方面可以用来评价去雾算法,利用模拟雾图作为无雾图像的参考图像,可以对去雾算法进行有参考的客观质量评价;还可以应用于某些可视化场景中,比如模拟有雾天气下的路况,用以检测一些设备的性能;除此之外,还可以用于生成训练数据,比如用深度学习的方法训练去雾网络模型时,需要大量的训练数据,直接获取各种室外场景下的彩色图像及相应的雾图有很大难度,因此可以采用模拟加雾的方式生成训练数据。
根据雾气形成原理即大气散射模型,模拟雾图的构造和深度信息的获取密不可分,越准确的深度信息可以帮助我们获取更加准确的模拟雾图。因此,如何获得单幅图像的深度信息是构建模拟雾图中十分关键的问题。
生成模拟雾图主要有以下几个方法:
1)通过计算机软件进行模拟加雾。现有的计算机模拟加雾方法大多采用3ds max,maya,Photoshop等成熟的商业软件,如郭璠,蔡自兴发表的论文“图像去雾算法清晰化效果客观评价方法”,见自动化学报,2012第9期,38(9)。该方法公开了两种加雾的方法,第一种是利用3ds max软件中的渲染器渲染出雾气的效果;第二种是利用3ds max软件中的建模工具创建虚拟场景,然后利用大气散射模型获得模拟雾图。这两种方法虽然直观方便,操作简单,但是也存在不足之处,这些商业图像软件没有公开各自程序的算法,无法得知程序是否按照正确的雾图形成理论构造雾图;而且其创建的模拟图像与真实图像有一定的差别,不能客观的反映自然界和生活中的真实场景,如果把模拟雾图作为参考图像用于去雾算法评价方面,在实际应用中并不能得到令人信服的结果。
2)通过专业设备采集某一场景的深度信息。如深度相机TOF,就是利用飞行时间法来采集场景的深度信息。所谓飞行时间法,就是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。TOF相机由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成,可以同时得到整幅图像的深度信息。这种深度相机的优势是与立体相机或三角测量系统相比,其相机体积小巧,而且能够实时快速的计算深度信息,但是该方法的缺点是设备昂贵,操作较为复杂,耗费人力物力,有一定的局限性。
3)通过算法计算获得深度信息,主要有以下三种方法:
3a、清华大学深圳研究生院所拥有的专利技术“一种获取图像深度信息的方法”(专利申请号201310416866,授权公告号103473743B)公开了一种获取图像深度信息的方法,该方法步骤如下:1)对待处理的单幅原始图像进行高斯模糊处理,得到模糊图像;2)检测待处理的原始图像的纹理边缘,将所述原始图像划分为纹理梯度相对较大的区域,定义为D区域和纹理梯度相对较小的区域,定义为F区域;3)对于所述D区域内的像素点,根据模糊估计方法计算得到各像素点的比例因子;4)对于所述F区域内的各像素点,进行Kalman滤波,估计各像素点的比例因子;5)根据原始图像的聚焦信息,将各像素点的比例因子转换为各像素点的相对深度值。该方法提供了获取图像深度信息的方法,引入Kalman滤波的思想,可以抑制常规的散焦法获取深度值时的噪声,提高最终获得的深度图的精度。但是,该专利技术仍然存在的不足是:仅利用图像的纹理特征,并没有结合图像的空间特征和深度先验条件,所得到的深度信息适用性不强。
3b、北京航空航天大学所申请的专利技术“基于深度信息分离天空区域的单幅图像去雾方法及装置”(专利申请号:201510108717.2)公开了一种基于深度信息分离天空区域的单幅图像去雾方法及装置,主要包括以下步骤:(1)采用SLIC超像素分割方法,对含有天空的有雾图像进行过分割预处理,得到过分割图像;(2)提取区域的深度信息,对过分割图像进行区域合并,分离天空和非天空;(3)以天空区域的平均值估计大气光值,然后分别计算天空和非天空区域的透射率,形成整幅图像的透射率分布图;(4)由大气光值和透射率分布图,复原无雾图像。该发明结合超像素分割和区域合并技术,能够精准提取天空与景物的交界线,获得准确而完整的天空区域,不仅可得到可靠的大气光值,同时能避免天空失真,减少天空边界处由景深突变而引起的光晕现象,实现图像去雾。但该专利存在的不足之处在于其分离天空的方法是针对于有雾图像的,有雾图像的天空区域纹理信息较少且颜色发白,比较容易与非天空部分区分开来,所以该方法分离天空区域通用性较差。
3c、西安电子科技大学所申请的专利技术“基于人工加雾的最佳雾图复原方法”(专利申请号:201510112392.5)公开了一种获取图像深度信息的方法,该方法步骤如下:(1)使用相机采集无雾图像;(2)种群粒子初始化;(3)产生个体最优位置和全局最优位置;(4)更新种群粒子;(5)无雾图像分割;(6)计算无雾图像的灰度图像矩阵的深度;(7)计算无雾图像的灰度图像矩阵的透射率;(8)建立无雾图像人工加雾后的有雾图像;(9)获得去雾后的图像;(10)获得评价指标值;(11)获得最佳去雾算法;(12)获得室外监控设备的去雾图像。该方法采用了先进的达尔文粒子群分类方法,分割过程快速准确。但是,该专利技术仍然存在的不足是:分割结果是依据灰度图像的灰度值来进行分类,与图像的深度信息没有直接相关关系,所以得到的深度信息不能完全反映真实的深度信息,因而对后续的去雾算法的客观性能评价指导意义有限。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于深度先验的模拟雾图生成方法,以提高图像深度信息的真实性和准确性,使生成的模拟雾图能更加逼近真实雾图。
本发明的技术方案是,结合图像的空间特征和深度先验条件,首先利用色彩和亮度信息对无雾图像进行天空区域分割;再根据初始天空区域的位置关系判断天空区域是否需要修正,如若需要修正,则利用边缘检测进一步修正天空区域,得到修正后的天空区域;然后根据天空及非天空区域的划分构造不同的深度信息;最后计算透射率,生成模拟雾图,其实现的步骤包括如下:
1.一种基于深度先验的模拟雾图生成方法,包括以下步骤:
(1)分离无雾图像中的天空区域,得到初始天空区域:
(1a)读入无雾图像,得到无雾图像的彩色图像矩阵,将彩色图像三通道矩阵像素值中的第一通道矩阵、第二通道矩阵、第三通道矩阵分别定义为红,绿,蓝,即R、G、B三个矩阵,从彩色图像矩阵中选取图像的前N行作为局部天空区域,用Ω1表示;
(1b)利用局部天空区域的像素值,计算天空区域的第一阈值t1和第二阈值t2;
(1c)按照下式,从无雾图像中选取同时满足以下三个公式的像素点为初始天空区域:
其中,C表示图像的通道,C∈{R,G,B},Ω是无雾图像整幅图的区域,表示无雾图像的第C个图像通道中第i行第j列的像素值;
(2)判断初始天空区域是否需要修正:
(2a)将初始天空区域转换为灰度图像;
(2b)设置a为初始天空区域出现不连通现象的列数,初始a置0,从第一列开始判断初始天空区域的灰度图像是否出现不连通现象,若是,则计数标志a加1,否则,a值不变;
(2c)按照下式,计算比例系数T:
其中,w为原始无雾图像的列数;
(2d)设置t3为初始天空区域的第三阈值,将比例系数T与t3进行对比,如果T大于t3,则执行步骤(3),否则,直接执行步骤(4);
(3)修正初始天空区域:
(3a)利用Canny算子,获得初始天空区域的二值化边缘图像;
(3b)将边缘图像中每一列的第一个边缘点保存下来,构成初始天空边缘线;
(3c)对初始天空边缘线逐点更新,得到优化后的天空边缘线;
(3d)将优化后的天空边缘线以上的区域设置为修正后的天空区域;
(4)构造无雾图像的深度图:
(4a)用Ω2表示得到的天空区域,对天空区域矩阵中像素点的值赋予相应的图像比特类型的最大值,即对于8比特类型的图像,赋值为255;
(4b)用Ω3表示非天空区域,通过下式给非天空区域中每一个像素点赋值:
其中dm,n表示非天空区域中第m行第n列像素点的值,(m,n)∈Ω3,h1表示非天空区域的高度;
(4c)整合天空区域和非天空区域中像素点的值,构成整幅图的深度信息矩阵,将此矩阵称为无雾图像的深度图,该深度图中的第i行第j列深度值di,j可表示为:
其中,Ω2表示天空区域,dm,n表示非天空区域深度图第m行第n列的深度值;
(5)按照下式,计算无雾图像每一个像素点对应的透射率:
其中,ti,j表示无雾图像中第i行第j列位置的透射率;λ是雾气浓度参数,λ的取值范围为20~100;β表示大气散射系数,β的取值范围为0.03~0.1;
(6)按照下式,对无雾图像进行人工加雾,生成模拟有雾图像:
其中,表示加雾图像的第C个图像通道中第i行第j列位置的像素值,C表示有雾图像或无雾图像的通道编号,C∈{R,G,B},表示无雾图像的第C个图像通道中第i行第j列的像素值,A表示大气光强,A的取值范围为0.7~1。
本发明与现有技术相比具有以下优点:
第一,本发明在进行天空区域分割时,充分利用了图像天空区域的的色彩信息和天空与景物之间的边缘信息,先基于色彩分割将无雾图像的天空区域分离,再根据分离结果判断是否需要进行天空区域的修正,克服了现有技术中寻找天空区域时没有考虑天空的颜色及亮度等特点,使得天空区域的分割更加准确。
第二,本发明在进行深度信息估计时,充分利用了图像空间信息和深度先验条件,在分离出天空区域之后,对天空区域赋予无穷远的深度值,对非天空区域利用深度先验条件构造不同的深度信息,最后利用大气散射模型建立有雾图像,克服了现有技术中没有结合图像的空间特征信息、深度先验条件和大气散射模型,从而无法真实客观地构造有雾图像的缺点,使得采用本发明方法加雾后的图像更加符合自然规律,更加真实可信。
第三,本发明利用单幅无雾图像进行加雾,得到的有雾图像与无雾图像互成一对的参考图像,避免了现有技术为了采集同一场景下的有雾或无雾参考图像难度大、条件苛刻、耗费人力物力的问题,从而对去雾算法的客观质量评价提供了新的方法。
附图说明
图1是本发明的实现流程图;
图2是用本发明方法生成模拟雾图的仿真效果图;
图3是本发明和现有基于深度信息分离天空区域的单幅图像去雾方法中的天空分割效果对比图;
图4是本发明和现有基于人工加雾的最佳雾图复原方法中的透射率图像生成效果对比图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1,本发明实现步骤如下。
步骤1,对无雾图像中的天空区域进行分离,得到初始天空区域。
1.1)读入无雾图像,如图2(a)所示,得到无雾图像的彩色图像三通道矩阵,将彩色图像三通道矩阵中的第一通道矩阵、第二通道矩阵、第三通道矩阵分别定义为红,绿,蓝,即R、G、B三个矩阵;
1.2)从彩色图像三通道矩阵中选取无雾图像的前50行作为局部天空区域Ω1;
1.3)利用局部天空区域Ω1的像素值,计算天空区域的第一阈值t1和第二阈值t2;
其中表示无雾图像R通道矩阵中的第i行第j列像素值,表示无雾图像G通道矩阵中的第i行第j列像素值,表示无雾图像B通道矩阵中的第i行第j列像素值;
1.4)从无雾图像中选取同时满足以下三个公式的像素点作为初始天空区域:
其中,C表示图像的通道,C∈{R,G,B},Ω是无雾图像整幅图的区域,表示无雾图像的第C个图像通道中第i行第j列的像素值。得到的初始天空区域如图2(b)所示,由图2(b)仿真结果图可以看到,本发明得到的天空初始区域已经能够较为准确的将天空区域识别并分离出来。
步骤2,判断初始天空区域是否需要修正。
2.1)将初始天空区域转换为灰度图像;
2.2)定义a为初始天空区域出现不连通现象的列数,设a的初始置0,从第一列开始判断初始天空区域的灰度图像是否出现不连通现象,若是,则计数标志a加1,否则,a值不变;
2.3)按照下式,计算比例系数T:
其中,w为原始无雾图像的列数;
2.4)设置t3为初始天空区域的第三阈值,将比例系数T与t3进行对比,如果T大于t3,则执行步骤3,否则,直接执行步骤4。
步骤3,修正初始天空区域。
3.1)利用Canny算子,获得初始天空区域的二值化边缘图像;
3.2)将边缘图像中每一列的第一个边缘点保存下来,构成初始天空边缘线;
3.3)对初始天空边缘线逐点更新,得到优化后的天空边缘线:
3.3a)将初始天空边缘线上第一列的边缘点作为第一个当前边缘点c(i,j),其中(i,j)表示当前边缘点c的位置处于图像矩阵的第i行第j列;
3.3b)将当前边缘点c(i,j)的位置向右平移一个像素,作为预测边缘点p(i,j+1),将当前边缘点c(i,j)位置向下平移一个像素,作为待比较像素点c1(i+1,j);
3.3c)设置第四阈值t4=8,判断当前边缘点是否需要更新:
如果当前边缘点和其下一列边缘点位置的纵坐标之差的绝对值大于t4,则执行(3c4)至(3c6),否则,执行(3c7);
3.3d)计算以预测边缘点为中心的3x3块内的均值与以待比较像素点为中心的3x3块内的均值之间的方差s1;
3.3e)计算以下一列边缘点为中心的3x3块内的均值与以待比较像素点为中心的3x3块内的均值之间的方差为s2;
3.3f)将s1与s2进行比较:若s1>s2,则更新下一列边缘点位置为预测边缘点的位置,即用预测边缘点替代下一列边缘点;若s1<=s2,则下一列边缘点位置不改变;
3.3g)将当前边缘点位置挪至下一列,返回步骤3.3b),直至图像的每一列都进行过更新处理;
3.4)将优化后的天空边缘线以上的区域设置为修正后的天空区域Ω2,如图2(c)所示,由图2(c)仿真结果图可以看到,经过基于边缘检测的修正后,天空区域更加准确,边缘清晰,轮廓完整。
步骤4,构造无雾图像的深度图。
4.1)对天空区域中每一个像素点进行赋值,所赋值为相应的图像比特类型的最大值,即对于8比特类型的图像,赋值为255;
4.2)用Ω3表示非天空区域,通过下式给非天空区域中每一个像素点赋值:
其中dm,n表示非天空区域中第m行第n列像素点的值,(m,n)∈Ω3,h1表示非天空区域的高度;
4.3)整合天空区域和非天空区域中像素点的值,使每个像素点在图像中所处位置不变,合并于一张图中,将此图称为无雾图像的深度图,如图2(d)所示,由图2(d)仿真结果图可以看到,本发明结合了图像的空间特点信息和深度先验条件,得到的景物深度图能够真实客观的反映景物深度的变化,该深度图中的第i行第j列深度值di,j可表示为:
步骤5,按照下式,计算无雾图像每一个像素点对应的透射率:
其中,ti,j表示无雾图像中第i行第j列位置的透射率;λ是雾气浓度参数,λ的取值范围为20~100;β表示大气散射系数,β的取值范围为0.03~0.1。
步骤6,对无雾图像进行人工加雾,生成模拟有雾图像。
根据大气散射模型中所描述的景物成像原理,一幅图像可以由两部分计算叠加得到,第一部分是大气对景物光线的衰减,第二部分是环境光对景物的影响。因此,对图像的加雾可按以下几个步骤进行:
6.1)用无雾图像与步骤5中计算得出的透射率ti,j相乘,得到大气对景物光线的衰减部分,由L1表示:其中,表示无雾图像的第C个图像通道中第i行第j列的像素值,C表示有雾图像或无雾图像的通道编号,C∈{R,G,B};
6.2)用大气光值A与(1-ti,j)相乘,得到环境光对景物的影响部分,由L2表示:
L2=A(1-ti,j),其中,A表示大气光强,A的取值范围为0.7~1;
6.3)根据上述大气散射模型原理,一幅图像应由上述两部分叠加而成,因此模拟雾图可表示为如下形式:
其中,表示加雾图像的第C个图像通道中第i行第j列位置的像素值,生成的模拟有雾图像如图2(e)所示,由图2(e)仿真结果图可以看到,使用本发明方法加雾后的有雾图像自然、真实,能够反映现实生活中的真实的有雾天气状况。
本发明的效果可以通过以下仿真实验作进一步说明。
1、仿真条件:
本发明的仿真是在主频2.5GHZ的Inter(R)Core(TM)i7-4710MQ CPU、内存8GB的硬件环境和MATLAB R2010a软件环境下进行的。实验所用到的图像来源于网络搜索的户外场景无雾图像。实验参数设置如下:
大气光A的取值为0.9,大气散射系数β的取值为0.05,雾气浓度参数λ的取值为40。
2、实验内容与结果
实验1:用本发明方法和现有基于深度信息分离天空区域的单幅图像去雾方法中进行天空分割对比,结果如图3,其中:
图3(a)是在仿真实验中使用的原始图像;
用本发明方法分割时,首先利用色彩和亮度信息对无雾图像进行天空区域分割,再利用边缘检测进一步修正天空区域,得到修正后的天空区域结果,如图3(b);
用现有方法分割时,首先采用超像素分割,再由纹理条件检测出天空区域,实现天空与非天空区域分离,结果如3(c)所示。
对比图3(b)和图3(c)这两个实验结果图,可见使用本发明方法所获得的天空区域边缘轮廓完整,清晰光滑,更好的分离出了天空区域。
实验2:用本发明和现有基于人工加雾的最佳雾图复原方法进行透射率图像生成的对比,结果如图4,其中:
图4(a)是在仿真实验中使用的原始图像;
用本发明方法生成透射率图像时,首先利用色彩和亮度信息对无雾图像进行天空区域分割,然后利用天空分割结果和深度先验信息构造深度图,再利用大气散射模型得到透射率图像,如图4(b);
用现有方法生成深度图时,首先利用原始图像的灰度图像进行达尔文粒子群分割,再利用分割结果和大气散射模型得到透射率图像,结果如4(c)所示。
对比图4(b)和图4(c)这两个实验结果图,可见现有方法仅利用了灰度信息来进行图像分割,分割结果并不能反映深度信息的变化,因而所得透射率图不符合客观实际,而本发明方法结合了图像的空间特征和深度先验规律,所获得的透射率图像更加符合客观物理规律,能够更加符合客观实际的进行加雾。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制。显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于深度先验的模拟雾图生成方法,包括以下步骤:
(1)分离无雾图像中的天空区域,得到初始天空区域:
(1a)读入无雾图像,得到无雾图像的彩色图像矩阵,将彩色图像三通道矩阵像素值中的第一通道矩阵、第二通道矩阵、第三通道矩阵分别定义为红,绿,蓝,即R、G、B三个矩阵,从彩色图像矩阵中选取图像的前N行作为局部天空区域,用Ω1表示;
(1b)利用局部天空区域的像素值,计算天空区域的第一阈值t1和第二阈值t2;
(1c)按照下式,从无雾图像中选取同时满足以下三个公式的像素点为初始天空区域:
J i , j C > t 1 , ( C &Element; { R , G , B } , i , j &Element; &Omega; )
J i , j R - J i , j B < = t 2 , ( i , j &Element; &Omega; )
J i , j G - J i , j B < = t 2 , ( i , j &Element; &Omega; )
其中,C表示图像的通道,C∈{R,G,B},Ω是无雾图像整幅图的区域,表示无雾图像的第C个图像通道中第i行第j列的像素值;
(2)判断初始天空区域是否需要修正:
(2a)将初始天空区域转换为灰度图像;
(2b)设置a为初始天空区域出现不连通现象的列数,初始a置0,从第一列开始判断初始天空区域的灰度图像是否出现不连通现象,若是,则计数标志a加1,否则,a值不变;
(2c)按照下式,计算比例系数T:
T = a w
其中,w为原始无雾图像的列数;
(2d)设置t3为初始天空区域的第三阈值,将比例系数T与t3进行对比,如果T大于t3,则执行步骤(3),否则,直接执行步骤(4);
(3)修正初始天空区域:
(3a)利用Canny算子,获得初始天空区域的二值化边缘图像;
(3b)将边缘图像中每一列的第一个边缘点保存下来,构成初始天空边缘线;
(3c)对初始天空边缘线逐点更新,得到优化后的天空边缘线;
(3d)将优化后的天空边缘线以上的区域设置为修正后的天空区域;
(4)构造无雾图像的深度图:
(4a)用Ω2表示得到的天空区域,对天空区域矩阵中像素点的值赋予相应的图像比特类型的最大值,即对于8比特类型的图像,赋值为255;
(4b)用Ω3表示非天空区域,通过下式给非天空区域中每一个像素点赋值:
d m , n = 200 - ( m - 1 ) h 1 - 1 * 150
其中dm,n表示非天空区域中第m行第n列像素点的值,(m,n)∈Ω3,h1表示非天空区域的高度;
(4c)整合天空区域和非天空区域中像素点的值,构成整幅图的深度信息矩阵,将此矩阵称为无雾图像的深度图,该深度图中的第i行第j列深度值di,j可表示为:
d i , j = 255 , ( i , j ) &Element; &Omega; 2 d m , n , i = m , j = n
其中,Ω2表示天空区域,dm,n表示非天空区域深度图第m行第n列的深度值;
(5)按照下式,计算无雾图像每一个像素点对应的透射率:
t i , j = e - ( &lambda; &CenterDot; &beta; &CenterDot; d i , j ) ,
其中,ti,j表示无雾图像中第i行第j列位置的透射率;λ是雾气浓度参数,λ的取值范围为20~100;β表示大气散射系数,β的取值范围为0.03~0.1;
(6)按照下式,对无雾图像进行人工加雾,生成模拟有雾图像:
I i , j C = J i , j C t i , j + A ( 1 - t i , j )
其中,表示加雾图像的第C个图像通道中第i行第j列位置的像素值,C表示有雾图像或无雾图像的通道编号,C∈{R,G,B},表示无雾图像的第C个图像通道中第i行第j列的像素值,A表示大气光强,A的取值范围为0.7~1。
2.根据权利要求1所述的方法,其特征在于,步骤(1b)中的第一阈值t1和第二阈值t2通过如下公式计算:
t 1 = m i n C ( m i n i , j &Element; &Omega; 1 ( J i , j C ) )
t 2 = m i n ( | max i , j &Element; &Omega; 1 ( J i , j B ) - max i , j &Element; &Omega; 1 ( J i , j R ) | + | max i , j &Element; &Omega; 1 ( J i , j B ) - max i , j &Element; &Omega; 1 ( J i , j G ) | 2 , 20 )
其中表示无雾图像R通道矩阵中的第i行第j列像素值,表示无雾图像G通道矩阵中的第i行第j列像素值,表示无雾图像B通道矩阵中的第i行第j列像素值,Ω1是无雾图像矩阵的前N行,即局部天空区域。
3.根据权利要求1所述的方法,其特征在于,步骤(3c)中对初始天空边缘线逐点更新,按如下步骤进行:
(3c1)将初始天空边缘线上第一列的边缘点作为第一个当前边缘点c(i,j),其中(i,j)表示当前边缘点c的位置处于图像矩阵的第i行第j列;
(3c2)将当前边缘点c(i,j)的位置向右平移一个像素,作为预测边缘点p(i,j+1),将当前边缘点c(i,j)位置向下平移一个像素,作为待比较像素点c1(i+1,j);
(3c3)设置第四阈值t4=8,判断当前边缘点是否需要更新:
如果当前边缘点和其下一列边缘点位置的纵坐标之差的绝对值大于t4,则执行(3c4)-(3c6),否则,执行(3c7);
(3c4)计算以预测边缘点为中心的3x3块内的均值与以待比较像素点为中心的3x3块内的均值之间的方差为s1;
(3c5)计算以下一列边缘点为中心的3x3块内的均值与以待比较像素点为中心的3x3块内的均值之间的方差为s2;
(3c6)将s1与s2进行比较:若s1>s2,则更新下一列边缘点位置为预测边缘点的位置,即用预测边缘点替代下一列边缘点;若s1<=s2,则下一列边缘点位置不改变;
(3c7)将当前边缘点位置挪至下一列,返回(3c2),直至图像的每一列都进行过更新处理。
CN201610987223.0A 2016-11-10 2016-11-10 基于深度先验的模拟雾图生成方法 Active CN106709901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610987223.0A CN106709901B (zh) 2016-11-10 2016-11-10 基于深度先验的模拟雾图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610987223.0A CN106709901B (zh) 2016-11-10 2016-11-10 基于深度先验的模拟雾图生成方法

Publications (2)

Publication Number Publication Date
CN106709901A true CN106709901A (zh) 2017-05-24
CN106709901B CN106709901B (zh) 2019-10-11

Family

ID=58940674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610987223.0A Active CN106709901B (zh) 2016-11-10 2016-11-10 基于深度先验的模拟雾图生成方法

Country Status (1)

Country Link
CN (1) CN106709901B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967671A (zh) * 2017-10-30 2018-04-27 大连理工大学 结合数据学习和物理先验的图像去雾方法
CN108093175A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种实时高清视频自适应去雾方法及装置
CN109584170A (zh) * 2018-10-29 2019-04-05 西安电子科技大学 基于卷积神经网络的水下图像复原方法
CN109903232A (zh) * 2018-12-20 2019-06-18 江南大学 一种基于卷积神经网络的图像去雾方法
CN110322431A (zh) * 2019-05-23 2019-10-11 深圳大学 雾霾图像质量评价方法、系统、存储介质及电子设备
CN111709956A (zh) * 2020-06-19 2020-09-25 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113223105A (zh) * 2021-04-19 2021-08-06 天津大学 基于大气散射模型的雾天图像生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112391A (ja) * 2006-10-31 2008-05-15 Fujitsu Ltd フォグ効果処理方法、グラフィックス装置、グラフィックス用半導体集積回路装置及びフォグ効果処理プログラム
US20140177960A1 (en) * 2012-12-24 2014-06-26 Korea University Research And Business Foundation Apparatus and method of processing image
CN104408757A (zh) * 2014-11-07 2015-03-11 吉林大学 一种向驾驶场景视频中添加雾霾效果的方法及系统
CN104680494A (zh) * 2015-03-14 2015-06-03 西安电子科技大学 基于人工加雾的最佳雾图复原方法
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112391A (ja) * 2006-10-31 2008-05-15 Fujitsu Ltd フォグ効果処理方法、グラフィックス装置、グラフィックス用半導体集積回路装置及びフォグ効果処理プログラム
US20140177960A1 (en) * 2012-12-24 2014-06-26 Korea University Research And Business Foundation Apparatus and method of processing image
CN104408757A (zh) * 2014-11-07 2015-03-11 吉林大学 一种向驾驶场景视频中添加雾霾效果的方法及系统
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN104680494A (zh) * 2015-03-14 2015-06-03 西安电子科技大学 基于人工加雾的最佳雾图复原方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967671A (zh) * 2017-10-30 2018-04-27 大连理工大学 结合数据学习和物理先验的图像去雾方法
CN107967671B (zh) * 2017-10-30 2021-05-18 大连理工大学 结合数据学习和物理先验的图像去雾方法
CN108093175A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种实时高清视频自适应去雾方法及装置
CN109584170A (zh) * 2018-10-29 2019-04-05 西安电子科技大学 基于卷积神经网络的水下图像复原方法
CN109584170B (zh) * 2018-10-29 2022-12-27 西安电子科技大学 基于卷积神经网络的水下图像复原方法
CN109903232A (zh) * 2018-12-20 2019-06-18 江南大学 一种基于卷积神经网络的图像去雾方法
CN110322431A (zh) * 2019-05-23 2019-10-11 深圳大学 雾霾图像质量评价方法、系统、存储介质及电子设备
CN110322431B (zh) * 2019-05-23 2021-04-13 深圳大学 雾霾图像质量评价方法、系统、存储介质及电子设备
CN111709956A (zh) * 2020-06-19 2020-09-25 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111709956B (zh) * 2020-06-19 2024-01-12 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113223105A (zh) * 2021-04-19 2021-08-06 天津大学 基于大气散射模型的雾天图像生成方法

Also Published As

Publication number Publication date
CN106709901B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN106709901B (zh) 基于深度先验的模拟雾图生成方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN110084304B (zh) 一种基于合成数据集的目标检测方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN103077500B (zh) 图像数据的去雾方法及装置
KR20110127202A (ko) 장면 해석과 등록 수행 평가를 위한 2차원 전기광학 이미지와 3차원 포인트 클라우드 데이터의 융합
CN113362247B (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN110728707B (zh) 基于非对称深度卷积神经网络的多视角深度预测方法
CN102609950B (zh) 一种二维视频深度图的生成方法
CN102074014A (zh) 一种利用基于图论的图像分割算法的立体匹配方法
CN103247038B (zh) 一种视觉认知模型驱动的全局图像信息合成方法
CN107170000B (zh) 基于全局块优化的立体影像密集匹配方法
CN103606151A (zh) 基于影像点云的大范围虚拟地理场景自动构建方法
CN103020963B (zh) 一种基于自适应分水岭的图割的多目立体匹配方法
CN107978017A (zh) 基于框线提取的室内结构快速建模方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN104182968A (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
Bosch et al. Metric evaluation pipeline for 3d modeling of urban scenes
CN107689060A (zh) 目标对象的视觉处理方法、装置及基于视觉处理的设备
CN110390724B (zh) 一种带有实例分割的slam方法
Gao et al. Large-scale synthetic urban dataset for aerial scene understanding
CN111428678A (zh) 一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法
CN103646397B (zh) 基于多源数据融合的实时合成孔径透视成像方法
You et al. Dmrvisnet: Deep multihead regression network for pixel-wise visibility estimation under foggy weather
López et al. Depth from a Single Image Through User Interaction.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant