CN106097259B - 一种基于透射率优化技术的雾天图像快速重建方法 - Google Patents
一种基于透射率优化技术的雾天图像快速重建方法 Download PDFInfo
- Publication number
- CN106097259B CN106097259B CN201610382086.8A CN201610382086A CN106097259B CN 106097259 B CN106097259 B CN 106097259B CN 201610382086 A CN201610382086 A CN 201610382086A CN 106097259 B CN106097259 B CN 106097259B
- Authority
- CN
- China
- Prior art keywords
- image
- transmissivity
- diff
- sampled
- transmittance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000002834 transmittance Methods 0.000 claims abstract description 54
- 230000000149 penetrating effect Effects 0.000 claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- 238000003672 processing method Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 abstract description 3
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000009738 saturating Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于透射率优化技术的雾天图像快速重建方法，智能交通领域的视频图像处理的技术领域，该方法对原始图像进行降采样处理获得缩小图，再对缩小图计算透雾处理参数，在使用缩小透射率图恢复原始尺寸透射率的同时，引入图像像素邻域之间的灰阶相关性，对缩小图透射率的上采样插值的准确度进行了优化和改进，一方面提高了处理速度，另一方面改善了透雾实际效果。克服了传统方法中透射率上采样精度不够，导致的图像亮度突变区域出现黑色斑块和和白色光晕等难点问题，提高了雾霾环境下视频图像透雾处理方法的有效性和实用性。
Description
技术领域
本发明涉及的是智能交通领域的视频图像处理的技术领域，尤其涉及的是一种基于透射率优化技术的雾天图像快速重建方法。
背景技术
近年来，随着工业化进程的加快，导致雾霾天气逐渐增多，并频繁出现在我国大部分地区，引起空气质量退化并严重影响人们的正常生活和交通出行。同时，在雾霾天气拍摄的视频图像，由于大气浑浊的传输媒介对光的吸收和散射产生干扰，使得光学传感器接受到的光强度发生改变。拍摄的视频图像会出现成像物体细节轮廓模糊不清，对比度下降严重，成像动态范围大大缩短。因此，雾霾天气对智能交通领域的电子监控设备的正常工作造成严重影响。不仅使得视频图像的清晰度衰退，也会使得雾天视频图像分析处理技术(如交通车牌识别、道路行人检测等)的准确率降低。如何在智能交通领域的电子监控设备上进行快速实现透雾处理，成为当前视频图像处理领域研究的重点内容之一。
在现有的透雾技术当中，最常见的有两类，一种方式是光学透雾，该方法主要由摄像机的前端镜头来实现，该透雾镜头采用电动变倍镜头，价格昂贵，在智能交通和城市监控领域无法普及。另一种方式是数字透雾，该技术则是在摄像机内部芯片上模块化集成，或者在服务器后台处理软件上实现，物理成本相对较低，是一种按照人类视觉感知模型设计的雾天图像复原技术，目前已经广泛地应用于平安城市建设和智能交通领域。
近年来，针对单幅图像的透雾处理技术研究取得了较大进步，其中He等人提出了基于暗通道先验的去雾算法(K He，J Sun，X Tang.Single image haze removal usingdark channel prior[J].IEEE Transactionson Pattern Analysis and MachineIntelligence,2011,33:1-13.)，利用该算法进行透雾处理，对大多数户外场景的雾天图像能得到较为理想的透雾效果。考虑到该方法原理简单，操作性强，基于暗通道先验规律的透雾技术逐渐引起人们的关注和兴趣。虽然该算法效果较为出色，但是算法本身的局限性约束了其在工业上的普及应用。例如：使用方法复杂度较高的软件抠图处理方法，即使一幅30万像素彩色图像在高性能电脑上的处理时间就要以秒级算。随着降倍采样技术在图像处理、信号处理方面的成熟应用，在允许一定信息损失的前提下，可以大幅度缩短处理耗时。尤其是针对高清视频图像的透雾处理，降倍采样技术可以大幅度提升速度，使得实时透雾技术在摄像机内部的集成变得较为可行。
中国专利文献“一种图像去雾方法和装置”(公开号CN104091310A)，公开了一种图像去雾方法，该方法就是借鉴降倍采样技术来加快透雾处理技术的实现速度。但是，比较高倍的降采样之后会带来一些较为明显的副作用，例如：在雾天图像的明暗交界处，高倍降采样会带来黑边问题；在浓雾区域会导致背景天空和前景物体之间出现光晕等问题，降采样的倍率越大，副作用越明显，严重影响透雾效果。所以，针对高倍率的降采样技术带来的透雾副作用，亟待需要提出一种切实可行的改善方法。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于透射率优化技术的雾天图像快速重建方法，以提供一种新的图像去雾方法，解决现有技术的图像去雾方法的处理速度慢，或者采用高倍率降采样导致的透雾处理后图像明暗交界处出现黑块或者白色光晕等突出问题。
本发明是通过以下技术方案实现的：
本发明提供了一种基于透射率优化技术的雾天图像快速重建方法，包括以下步骤：
步骤S1：获取需要处理的雾天图像的原始图像I(i,j)，并计算该原始图像I(i,j)的亮度图像F(i,j)，其中，(i,j)∈Ω，Ω为图像的全部像素点坐标集；
步骤S2：对原始图像I(i,j)进行降采样处理，获得降采样缩小图Ids(i,j)，统计降采样缩小图Ids(i,j)的各个通道的直方图，选取直方图右端高亮处0.5％部分灰阶的整体均值作为该通道的大气光估计值，若原始图样为灰度图像，则大气光估计值为A，若原始图像为三通道彩色图像，则大气光估计值为Ac，其中，c∈{R,G,B}表示红、绿、蓝三基色通道索引值；
步骤S3：计算降采样缩小图Ids(i,j)的透射率图Tds(i,j)；
步骤S4：将大气透射率图Tds(i,j)进行精细化引导滤波处理，获得降采样缩小图Ids(i,j)的精细化透射率图Tdsgf(i,j)；
步骤S5：对精细化透射率图Tdsgf(i,j)进行上采样复原处理，获得原始尺寸的大气透射率图Tout(i,j)；
步骤S6：对原始图像I(i,j)的各个通道分量图像进行透雾重建处理，获得透雾处理后的图像Jout(i,j)，所述透雾重建处理的计算方法为：
式中，t0为透射率最小约束值；
步骤S7：输出透雾处理后的图像Jout(i,j)。
进一步地，所述步骤S1中，原始图像的亮度图像F(i,j)的获得方法为：
若原始图像为灰度图像，则将该原始图像的灰度图像表示为亮度图像F(i,j)；
若原始图像为三通道彩色图像，则利用如下亮度转换模型构建亮度图像F(i,j)：
式中，R(i,j)、G(i,j)、B(i,j)为图像的三基色分量，wr为R通道系数，wg为G通道系数，wb为B通道系数，全部通道权重系数总和
进一步地，所述步骤S2中，降采样处理的方法为：将原始图像I(i,j)在行方向和列方向进行均值降采样处理，获得比原始尺寸小N倍的降采样缩小图Ids(i,j)，原始图像降采样的总倍数表示为N＝Ni*Nj，其中，Ni为行方向降采样倍率，Nj为列方向降采样倍率。
进一步地，所述步骤S3中，大气透射率图Tds(i,j)的近似表达式计算方法如下：
式中：Δ表示进行最小值滤波处理的掩膜区域内全部像素坐标集合；ω表示透射率图的修正因子。
进一步地，所述步骤S4中，精细化滤波处理的方法采用二维引导滤波处理，具体步骤包括：
步骤S401：计算降采样缩小图Ids(i,j)的亮度图像Fds(i,j)；
步骤S402：利用操作窗口半径为r的均值滤波函数Fmean(·)计算图像的均值滤波结果，具体为：
计算Fds(i,j)的均值滤波结果：Xf(i,j)＝Fmean(Fds(i,j))；
计算Tds(i,j)的均值滤波结果：Xt(i,j)＝Fmean(Tds(i,j))；
计算Fds(i,j)和Tds(i,j)点乘图像的均值滤波结果：Xtf(i,j)＝Fmean(Tds(i,j)·Fds(i,j))；
计算Fds(i,j)和Fds(i,j)点乘图像的均值滤波结果：Xf2(i,j)＝Fmean(Fds(i,j)·Fds(i,j))；
步骤S403：计算经过引导滤波后的精细化透射率图Tdsgf(i,j)：
Tdsgf(i,j)＝Fmean(Xa(i,j))·Fds(i,j)+Fmean(Xb(i,j))
式中：参数Xa(i,j)的计算公式为：
参数Xb(i,j)计算公式为：Xb(i,j)＝Xt(i,j)-Xa(i,j)·Xf(i,j)
进一步地，所述步骤S5中，利用基于局部亮度加权关系的二维线性插值算法进行上采样复原处理，包括以下步骤：
步骤S501：将引导滤波处理的降采样后透射率图Tdsgf(i,j)经过上采样复原处理后获得的透射率图表示为Tout(i,j)，此处Tout(i,j)与原始图像宽高尺寸保持一致，在使用线性插值技术恢复某像素位置(i,j)的透射率时，通常在降采样透射率图Tdsgf(i,j)中找出与恢复某像素位置(i,j)最邻近的四个坐标位置的透射率数值，经过二维线性加权运算获得该像素位置(i,j)的近似透射率数值，这里，将最邻近的四个透射率数值分别标记为Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)，鉴于线性插值运算属于领域内常见技术，最邻近四个位置点的选取过程不做赘述；
步骤S502：利用Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)来线性加权获得上采样复原后透射率图坐标位置(i,j)处的透射率数值Tx(i,j)：
Tx(i,j)＝Wa·Ta(ia,ja)+Wb·Tb(ib,jb)+Wc·Tc(ic,jc)+Wd·Td(id,jd)
式中：Wa、Wb、Wc、Wd分别为Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)的加权系数，且Wa+Wb+Wc+Wd＝1；Rti和Rtj分别表示Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)四个坐标位置构成的矩形的宽度像素距离和高度像素距离；此处Ci和Cj分别为目标透射率Tx(i,j)坐标位置(i,j)与Ta(ia,ja)坐标位置之间的宽度像素距离和高度像素距离；
步骤S503：为了使用上采样技术复原出原始尺寸的透射率图，在二维图像坐标系中，将原始图像降采样的总倍数表示为N＝Ni*Nj，其中，Ni为行方向降采样倍率，Nj为列方向降采样倍率；根据这样的降采样比例关系，可以推算出降采样后的四个邻近点Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)在原始尺寸图像对应的坐标位置依次为(ia·Ni,ja·Nj)、(ib·Ni,jb·Nj)、(ic·Ni,jc·Nj)、(id·Ni,jd·Nj)；本发明中，将原始尺寸透射率图某坐标位置(i,j)与Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)四个坐标位置进行线段连接，标记出连线的中心点，并将四条连线的中心点坐标在原始图像I(i,j)的亮度图像F(i,j)上，该四条连线的中心点对应的亮度表示为Ya、Yb、Yc、Yd，原始尺寸透射率图某坐标位置(i,j)处对应的亮度为Yx，Yx所对应的亮度值为Yx(i,j)；
步骤S504：对加权系数Wa、Wb、Wc、Wd进行灰阶相关性修正处理，具体为：
步骤一：分别计算Yx与Ya、Yb、Yc、Yd位置的亮度差绝对值Ya_diff、Yb_diff、Yc_diff、Yd_diff，并取Ya_diff、Yb_diff、Yc_diff、Yd_diff中的最小值为Mindiff，最大值为Maxdiff
步骤二：将Wa、Wb、Wc、Wd分别和Ya_diff、Yb_diff、Yc_diff、Yd_diff进行位置关联和标记，即Ya_diff与Wa关联，关联过程依次类推，Yb_diff与Wb关联，Yc_diff与Wc关联，Yd_diff与Wd关联；
步骤三：将Mindiff、Maxdiff与灰阶绝对差值判断阈值ThrDiff比较，如果Maxdiff–Mindiff>＝ThrDiff，则将最小值Mindiff相关联的加权系数Wx累加到最大值Maxdiff相关联的加权系数Wy上，然后将最小值Mindiff相关联的加权系数Wx置零处理，这里的x,y∈{a,b,c,d}，获得修正后的加权系数Wa’、Wb’、Wc’、Wd’；如果Maxdiff–Mindiff<ThrDiff，则加权系数保持不变，即修正后的加权系数Wa’、Wb’、Wc’、Wd’与原加权系数Wa、Wb、Wc、Wd一致；
步骤S505：利用修正后的加权系数Wa’、Wb’、Wc’、Wd’来指导透射率图的双线性插值处理，获得原始尺寸的大气透射率图Tout(i,j)：
Tout(i,j)＝W’a·Ta(ia,ja)+W’b·Tb(ib,jb)+W’c·Tc(ic,jc)+W’d·Td(id,jd)。
本发明相比现有技术具有以下优点：本发明提供了一种基于透射率优化技术的雾天图像快速重建方法，该方法采用对原始尺寸图像进行降采样处理获得缩小图，再对缩小图计算透雾处理参数的技术方案，在使用缩小透射率图恢复原始尺寸透射率的同时，引入图像像素邻域之间的灰阶相关性，对缩小图透射率的上采样插值的准确度进行了优化和改进，一方面提高了处理速度，另一方面改善了透雾实际效果。该方法克服了传统智能交通视频图像透雾处理时，因透射率上采样精度不够，导致的图像亮度突变区域出现黑色斑块和和白色光晕等难点问题，提高了雾霾环境下视频图像透雾处理方法的有效性和实用性，使得透雾技术满足智能交通摄像机实时要求的同时，能更好地抑制副作用。
附图说明
图1为基于透射率优化技术的雾天图像快速重建方法的流程图；
图2为上采样复原处理方法的流程图；
图3为精细化透射率图上采样对应的邻域透射率位置插值关系图；
图4为精细化透射率图上采样对应的灰阶相关性约束关系图；
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供的一种基于透射率优化技术的雾天图像快速重建方法，如图1所示，包括以下步骤：
步骤S1：用相机获取需要处理的雾天图像的原始图像I(i,j)，并计算该原始图像的亮度图像F(i,j)，其中，(i,j)∈Ω，Ω为图像的全部像素点坐标集；
原始图像的亮度图像F(i,j)的计算方法具体如下：
若原始图像为灰度图像，则将该原始图像的灰度图像表示为亮度图像F(i,j)；
若原始图像为三通道彩色图像，则利用如下亮度转换模型构建亮度图像F(i,j)：
式中，R(i,j)、G(i,j)、B(i,j)为图像的三基色分量，wr为R通道系数，取值0.299，wg为G通道系数，取值0.587，wb为B通道系数，取值0.114，全部通道权重系数总和
步骤S2：对原始图像I(i,j)进行降采样处理，获得降采样缩小图Ids(i,j)，统计降采样缩小图Ids(i,j)的各个通道的直方图，选取直方图右端高亮处0.5％部分灰阶的整体均值作为该通道的大气光估计值，若原始图样为灰度图像，则大气光估计值为A，若原始图像为三通道彩色图像，则大气光估计值为Ac，其中，c∈{R,G,B}表示红、绿、蓝三基色通道索引值；
所述降采样处理的步骤为：
将原始图像I(i,j)在行方向和列方向进行均值降采样处理，获得比原始尺寸小N倍的降采样缩小图Ids(i,j)，这里N＝Ni*Nj，Ni为行方向降采样倍率，Nj为列方向降采样倍率，降采样倍率可以取值2，4，8，16等数值，本实施例中，行方向和列方向的降采样倍率Ni和Nj相同，均取值8。
步骤S3：计算降采样缩小图Ids(i,j)的大气透射率图Tds(i,j)，所述大气透射率图Tds(i,j)的近似表达式如下：
式中：Δ表示进行最小值滤波处理的掩膜区域内全部像素坐标集合；ω表示透射率图的修正因子，本实施例中，透射率图的修正因子ω取值为0.8。
上述大气透射率图Tds(i,j)的近似表达式为采用有雾图像的成像物理模型和基于暗通道先验规律理论推导得出，其中，有雾图像的成像物理模型为：
F(i,j)＝J(i,j)·T(i,j)+A·[1-T(i,j)]
式中，J(i,j)为待计算的无雾图像，A为全球大气光估计值；
具体推导过程和原理，可参见He等人于2011年提出的基于暗通道先验的去雾算法(K He，J Sun，X Tang.Single image haze removal using dark channel prior[J].IEEETransactionson Pattern Analysis and Machine Intelligence,2011,33:1-13.)；
步骤S4：将大气透射率图Tds(i,j)进行精细化引导滤波处理，获得降采样缩小图Ids(i,j)的精细化透射率图Tdsgf(i,j)；其中，精细化滤波处理的方法采用二维引导滤波处理，具体步骤包括：
步骤S401：计算降采样缩小图Ids(i,j)的亮度图像Fds(i,j)，计算方法参见步骤S1的原始图像的亮度图像的计算方法；
步骤S402：利用操作窗口半径为r的均值滤波函数Fmean(·)计算图像的均值滤波结果，具体为：
计算Fds(i,j)的均值滤波结果：Xf(i,j)＝Fmean(Fds(i,j))；
计算Tds(i,j)的均值滤波结果：Xt(i,j)＝Fmean(Tds(i,j))；
计算Fds(i,j)和Tds(i,j)点乘图像的均值滤波结果：Xtf(i,j)＝Fmean(Tds(i,j)·Fds(i,j))；
计算Fds(i,j)和Fds(i,j)点乘图像的均值滤波结果：Xf2(i,j)＝Fmean(Fds(i,j)·Fds(i,j))；
步骤S403：计算经过引导滤波后的精细化透射率图Tdsgf(i,j)：
Tdsgf(i,j)＝Fmean(Xa(i,j))·Fds(i,j)+Fmean(Xb(i,j))
式中：参数Xa(i,j)的计算公式为：
参数Xb(i,j)计算公式为：Xb(i,j)＝Xt(i,j)-Xa(i,j)·Xf(i,j)
本实施例中，Fmean(·)函数的窗口半径r取值为10。
步骤S5：如图2所示，对精细化透射率图Tdsgf(i,j)进行上采样复原处理：
由于在有雾图像的偏亮区域需要透雾处理的程度相对较高，则相应的透射率数值就会比较小；在较暗的区域(如黑颜色车身或者背光的暗处广告牌)需要透雾处理的程度相对较低，则对应的透射率数值就比较高。如果对高倍率降采样图像对应的透射率直接线性上采样，在大片高亮天空区域中存在较暗广告牌或者深黑色的车身的区域，那么就会在广告牌或者车身与天空区域交界的边缘处出现副作用。出现副作用的主要原因是：由于采样的线性插值引入的权重系数不够精确，没有考虑到原始尺寸图像的亮度相关性约束关系，导致在亮度突变的地方，无法准确还原出原始尺寸的透射率图，所以在亮度突变区域的透射率图误差直接导致透雾图像的副作用。因此，为了减小副作用，本发明采用局部领域像素亮度与中心像素亮度之间的关系，设计了一种基于局部亮度加权关系的二维线性插值算法，并利用该插值算法对降采样缩小图Ids(i,j)的精细化透射率图Tdsgf(i,j)进行上采样复原处理，该处理方法可以较为精确地恢复原始尺寸大气透射率图Tout(i,j)，使得Tout(i,j)更加适合透雾处理要求，同时，尽量在优化速度的同时提升了透雾图像的实际效果，具体步骤如下：
步骤S501：将引导滤波处理的降采样后透射率图Tdsgf(i,j)经过上采样复原处理后获得的透射率图表示为Tout(i,j)，此处Tout(i,j)与原始图像宽高尺寸保持一致；在使用线性插值技术恢复某像素位置(i,j)的透射率时，通常在降采样透射率图Tdsgf(i,j)中找出与恢复某像素位置(i,j)最邻近的四个坐标位置的透射率数值，经过二维线性加权运算获得该像素位置(i,j)的近似透射率数值。这里，将最邻近的四个透射率数值分别标记为Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)，鉴于双线性插值运算属于领域内常见技术，最邻近四个位置点的选取过程不做赘述；
步骤S502：利用Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)来线性加权获得上采样复原后透射率图坐标位置(i,j)处的透射率数值Tx(i,j)：
Tx(i,j)＝Wa·Ta(ia,ja)+Wb·Tb(ib,jb)+Wc·Tc(ic,jc)+Wd·Td(id,jd)
式中：Wa、Wb、Wc、Wd分别为Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)的加权系数，且Wa+Wb+Wc+Wd＝1；如图3所示，这里Rti和Rtj分别表示Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)四个坐标位置构成的矩形的宽度像素距离和高度像素距离；此处Ci和Cj分别为目标透射率Tx(i,j)坐标位置(i,j)与Ta(ia,ja)坐标位置之间的宽度像素距离和高度像素距离；
步骤S503：为了使用上采样技术复原出原始尺寸的透射率图，在二维图像坐标系中，将原始图像降采样的总倍数表示为N＝Ni*Nj，其中，Ni为行方向降采样倍率，Nj为列方向降采样倍率；根据这样的降采样比例关系，可以推算出降采样后的四个邻近点Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)在原始尺寸图像对应的坐标位置依次为(ia·Ni,ja·Nj)、(ib·Ni,jb·Nj)、(ic·Ni,jc·Nj)、(id·Ni,jd·Nj)；本发明中，将原始尺寸透射率图某坐标位置(i,j)与Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)四个坐标位置进行线段连接，标记出连线的中心点，并将该四条连线的中心点坐标在原始图像I(i,j)的亮度图像F(i,j)上标记，如图4所示，该四条连线的中心点对应的亮度表示为Ya、Yb、Yc、Yd，原始尺寸透射率图某坐标位置(i,j)处对应的亮度为Yx，Yx所对应的亮度值为Yx(i,j)；
步骤S504：对加权系数Wa、Wb、Wc、Wd进行灰阶相关性修正处理，具体为：
步骤一：分别计算Yx与Ya、Yb、Yc、Yd位置的亮度差绝对值Ya_diff、Yb_diff、Yc_diff、Yd_diff，并取Ya_diff、Yb_diff、Yc_diff、Yd_diff中的最小值为Mindiff，最大值为Maxdiff
步骤二：将Wa、Wb、Wc、Wd分别和Ya_diff、Yb_diff、Yc_diff、Yd_diff进行位置关联和标记，即Ya_diff与Wa关联，Yb_diff与Wb关联，依次类推；
步骤三：将Mindiff、Maxdiff与灰阶绝对差值判断阈值ThrDiff比较，具体为：
(1)如果Maxdiff–Mindiff>＝ThrDiff，则将最小值Mindiff相关联的加权系数Wx累加到最大值Maxdiff相关联的加权系数Wy上，然后将最小值Mindiff相关联的加权系数Wx置零处理，这里的x,y∈{a,b,c,d}，获得修正后的加权系数Wa’、Wb’、Wc’、Wd’，且Wa’、Wb’、Wc’、Wd’总和保持恒定；
(2)如果Maxdiff–Mindiff<ThrDiff，则加权系数保持不变，即修正后的加权系数Wa’、Wb’、Wc’、Wd’与原加权系数Wa、Wb、Wc、Wd一致；
本实施例中，灰阶绝对差值判断阈值ThrDiff取值为25；
步骤S505：利用修正后的加权系数Wa’、Wb’、Wc’、Wd’来指导透射率图的双线性插值处理，提高透射率恢复的精确度，并获得原始尺寸的大气透射率图Tout(i,j)，即：
Tout(i,j)＝W’a·Ta(ia,ja)+W’b·Tb(ib,jb)+W’c·Tc(ic,jc)+W’d·Td(id,jd)。
本发明方法使得上采样后的透射率图更加接近实际，抑制了亮度突变产生的透射率误差，达到改善透雾效果的目的。
步骤S6：根据He等人提出的基于暗通道先验的去雾算法，对原始图像I(i,j)的各个通道分量图像进行透雾重建处理，最终获得透雾处理后的图像Jout(i,j)，所述透雾重建处理的计算方法为：
式中，t0为透射率最小约束值，本实施例中，t0取值为0.1；
步骤S7：输出透雾处理后的图像Jout(i,j)。
Claims (5)
1.一种基于透射率优化技术的雾天图像快速重建方法，其特征在于，包括以下步骤：
步骤S1：获取需要处理的雾天图像的原始图像I(i,j)，并计算该原始图像I(i,j)的亮度图像F(i,j)，其中，(i,j)∈Ω，Ω为图像的全部像素点坐标集；
步骤S2：对原始图像I(i,j)进行降采样处理，获得降采样缩小图Ids(i,j)，统计降采样缩小图Ids(i,j)的各个通道的直方图，选取直方图右端高亮处0.5％部分灰阶的整体均值作为该通道的大气光估计值，这里所表述的雾天待处理原始图像是三通道彩色图像，令大气光估计值为Ac，其中，c∈{R,G,B}表示红、绿、蓝三基色通道索引值；
步骤S3：计算降采样缩小图Ids(i,j)的大气透射率图Tds(i,j)；
步骤S4：将大气透射率图Tds(i,j)进行精细化引导滤波处理，获得降采样缩小图Ids(i,j)对应的精细化透射率图Tdsgf(i,j)；
步骤S5：对精细化透射率图Tdsgf(i,j)进行上采样复原处理，获得原始尺寸的大气透射率图Tout(i,j)；
步骤S6：对原始图像I(i,j)的各个通道分量图像进行透雾重建处理，获得透雾处理后的图像Jout(i,j)，所述透雾重建处理的计算方法为：
式中，t0为透射率最小约束值；
步骤S7：输出透雾处理后的图像Jout(i,j)；
所述步骤S5中，对精细化透射率图Tdsgf(i,j)进行上采样复原处理，获得原始尺寸的大气透射率图Tout(i,j)，包括以下步骤：
步骤S501：使用二维线性插值技术恢复某像素位置(i,j)的透射率，具体为：在精细化透射率图Tdsgf(i,j)中找出与待恢复像素位置(i,j)最邻近的四个坐标位置，经过二维线性加权运算获得四个坐标位置的近似透射率数值，并标记为Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)；
步骤S502：利用Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)来二维线性加权获得上采样复原后大气透射率图Tout(i,j)坐标位置(i,j)处的透射率数值Tx(i,j)：
Tx(i,j)＝Wa·Ta(ia,ja)+Wb·Tb(ib,jb)+Wc·Tc(ic,jc)+Wd·Td(id,jd)
式中：Wa、Wb、Wc、Wd分别为Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)的加权系数，且Wa+Wb+Wc+Wd＝1；Rti和Rtj分别表示Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)对应的四个坐标位置构成的矩形的宽度像素距离和高度像素距离；Ci和Cj分别为目标透射率Tx(i,j)坐标位置(i,j)与Ta(ia,ja)坐标位置之间的宽度像素距离和高度像素距离；
步骤S503：在二维图像坐标系中，将原始尺寸透射率图某坐标位置(i,j)与Ta(ia,ja)、Tb(ib,jb)、Tc(ic,jc)、Td(id,jd)对应的四个坐标位置进行线段连接，标记出连线的中心点，并将四条连线的中心点坐标在原始图像I(i,j)的亮度图像F(i,j)上对应的亮度表示为Ya、Yb、Yc、Yd，原始尺寸透射率图某坐标位置(i,j)在原始图像I(i,j)的亮度图像F(i,j)上对应的亮度为Yx；
步骤S504：对加权系数Wa、Wb、Wc、Wd进行灰阶相关性修正处理，具体为：
步骤一：分别计算Yx与Ya、Yb、Yc、Yd的亮度差绝对值Ya_diff、Yb_diff、Yc_diff、Yd_diff，并取Ya_diff、Yb_diff、Yc_diff、Yd_diff中的最小值为Mindiff，最大值为Maxdiff；
步骤二：将Wa、Wb、Wc、Wd分别和Ya_diff、Yb_diff、Yc_diff、Yd_diff进行位置关联和标记，即Ya_diff与Wa关联，Yb_diff与Wb关联，Yc_diff与Wc关联，Yd_diff与Wd关联；
步骤三：将Mindiff、Maxdiff与灰阶绝对差值判断阈值ThrDiff比较，如果Maxdiff–Mindiff>＝ThrDiff，则将最小值Mindiff相关联的加权系数Wx累加到最大值Maxdiff相关联的加权系数Wy上，然后将最小值Mindiff相关联的加权系数Wx置零处理，这里的x,y∈{a,b,c,d}，获得修正后的加权系数Wa’、Wb’、Wc’、Wd’；如果Maxdiff–Mindiff<ThrDiff，则加权系数保持不变，即修正后的加权系数Wa’、Wb’、Wc’、Wd’与原加权系数Wa、Wb、Wc、Wd一致；
步骤S505：利用修正后的加权系数Wa’、Wb’、Wc’、Wd’来指导精细化透射率图Tdsgf(i,j)的二维线性插值处理，获得原始尺寸的大气透射率图Tout(i,j)：
Tout(i,j)＝W’a·Ta(ia,ja)+W’b·Tb(ib,jb)+W’c·Tc(ic,jc)+W’d·Td(id,jd)。
2.根据权利要求1所述的一种基于透射率优化技术的雾天图像快速重建方法，其特征在于，所述步骤S1中，原始图像的亮度图像F(i,j)的获得方法为：
雾天原始图像为三通道彩色图像，且使用如下亮度转换模型构建亮度图像F(i,j)：
式中，R(i,j)、G(i,j)、B(i,j)为图像的三基色分量，wr为R通道系数，wg为G通道系数，wb为B通道系数，全部通道权重系数总和
3.根据权利要求1所述的一种基于透射率优化技术的雾天图像快速重建方法，其特征在于，所述步骤S2中，降采样处理的方法为：将原始图像I(i,j)在行方向和列方向进行均值降采样处理，获得比原始尺寸小N倍的降采样缩小图Ids(i,j)，原始图像降采样的总倍数表示为N＝Ni*Nj，其中，Ni为行方向降采样倍率，Nj为列方向降采样倍率。
4.根据权利要求1所述的一种基于透射率优化技术的雾天图像快速重建方法，其特征在于，所述步骤S3中，大气透射率图Tds(i,j)的近似表达式计算方法如下：
式中：Δ表示进行最小值滤波处理的掩膜区域内全部像素坐标集合；ω表示大气透射率图的修正因子。
5.根据权利要求1所述的一种基于透射率优化技术的雾天图像快速重建方法，其特征在于，所述步骤S4中，精细化引导滤波处理的方法采用二维引导滤波处理，具体步骤包括：
步骤S401：计算降采样缩小图Ids(i,j)的亮度图像Fds(i,j)；
步骤S402：利用操作窗口半径为r的均值滤波函数Fmean(·)计算图像的均值滤波结果，具体为：
计算Fds(i,j)的均值滤波结果：Xf(i,j)＝Fmean(Fds(i,j))；
计算Tds(i,j)的均值滤波结果：Xt(i,j)＝Fmean(Tds(i,j))；
计算Fds(i,j)和Tds(i,j)点乘图像的均值滤波结果：Xtf(i,j)＝Fmean(Tds(i,j)·Fds(i,j))；
计算Fds(i,j)和Fds(i,j)点乘图像的均值滤波结果：Xf2(i,j)＝Fmean(Fds(i,j)·Fds(i,j))；
步骤S403：计算经过二维引导滤波后的精细化透射率图Tdsgf(i,j)：
Tdsgf(i,j)＝Fmean(Xa(i,j))·Fds(i,j)+Fmean(Xb(i,j))
式中：参数Xa(i,j)的计算公式为：
参数Xb(i,j)计算公式为：Xb(i,j)＝Xt(i,j)-Xa(i,j)·Xf(i,j)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610382086.8A CN106097259B (zh) | 2016-05-27 | 2016-05-27 | 一种基于透射率优化技术的雾天图像快速重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610382086.8A CN106097259B (zh) | 2016-05-27 | 2016-05-27 | 一种基于透射率优化技术的雾天图像快速重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106097259A CN106097259A (zh) | 2016-11-09 |
| CN106097259B true CN106097259B (zh) | 2018-11-30 |
Family
ID=57446895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610382086.8A Active CN106097259B (zh) | 2016-05-27 | 2016-05-27 | 一种基于透射率优化技术的雾天图像快速重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106097259B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709893B (zh) * | 2016-12-28 | 2019-11-08 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
| CN109359593B (zh) * | 2018-10-17 | 2020-07-31 | 安徽超远信息技术有限公司 | 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091310A (zh) * | 2014-06-24 | 2014-10-08 | 三星电子（中国）研发中心 | 一种图像去雾方法和装置 |
| CN105046666A (zh) * | 2015-07-24 | 2015-11-11 | 中国科学技术大学 | 一种基于暗原色先验的交通视频实时去雾的方法 |
| CN105046677A (zh) * | 2015-08-27 | 2015-11-11 | 安徽超远信息技术有限公司 | 一种用于交通视频图像的增强处理方法和装置 |
| CN105513025A (zh) * | 2015-12-10 | 2016-04-20 | 中国科学技术大学 | 一种改进的快速去雾方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8755628B2 (en) * | 2012-09-10 | 2014-06-17 | Google Inc. | Image de-hazing by solving transmission value |
-
2016
- 2016-05-27 CN CN201610382086.8A patent/CN106097259B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091310A (zh) * | 2014-06-24 | 2014-10-08 | 三星电子（中国）研发中心 | 一种图像去雾方法和装置 |
| CN105046666A (zh) * | 2015-07-24 | 2015-11-11 | 中国科学技术大学 | 一种基于暗原色先验的交通视频实时去雾的方法 |
| CN105046677A (zh) * | 2015-08-27 | 2015-11-11 | 安徽超远信息技术有限公司 | 一种用于交通视频图像的增强处理方法和装置 |
| CN105513025A (zh) * | 2015-12-10 | 2016-04-20 | 中国科学技术大学 | 一种改进的快速去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| 单幅雾天降质图像色彩复原算法研究;楚君;《中国优秀硕士论文全文数据库信息科技辑》;20151231;第2015年卷(第12期);第3.3.3节 * |
| 基于暗通道先验原理的图像去雾研究;陈新富;《中国优秀硕士论文全文数据库信息科技辑》;20151031;第2015年卷(第10期);第三、四章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106097259A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及系统 | |
| Yu et al. | Fast single image fog removal using edge-preserving smoothing | |
| CN102831591B (zh) | 一种基于高斯滤波的单幅图像的实时去雾方法 | |
| CN111292258B (zh) | 一种基于暗通道和亮通道先验的图像去雾方法 | |
| Tripathi et al. | Single image fog removal using bilateral filter | |
| CN110232666A (zh) | 基于暗原色先验的地下管道图像快速去雾方法 | |
| CN107358585B (zh) | 基于分数阶微分及暗原色先验的雾天图像增强方法 | |
| CN104299192B (zh) | 一种基于大气光散射物理模型的单幅图像去雾方法 | |
| CN105976337B (zh) | 一种基于中值引导滤波的图像去雾方法 | |
| CN105913407B (zh) | 一种基于差值图对多聚焦度图像融合优化的方法 | |
| CN102750674A (zh) | 基于自适应容差的视频图像去雾方法 | |
| CN102063706A (zh) | 一种快速去雾方法 | |
| CN105913390B (zh) | 一种图像去雾方法及系统 | |
| CN106780380A (zh) | 一种图像去雾方法及系统 | |
| CN104809709A (zh) | 基于域变换与带权四叉树分解的单幅图像自适应去雾方法 | |
| CN111553862A (zh) | 一种海天背景图像去雾和双目立体视觉定位方法 | |
| CN108564538A (zh) | 一种基于环境光差异的图像去雾霾方法及系统 | |
| CN112950589A (zh) | 一种多尺度卷积神经网络的暗通道先验去雾算法 | |
| CN106097259B (zh) | 一种基于透射率优化技术的雾天图像快速重建方法 | |
| CN111598814A (zh) | 基于极端散射通道的单图像去雾方法 | |
| Jiwani et al. | Single image fog removal using depth estimation based on blur estimation | |
| CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 | |
| CN110264434B (zh) | 一种基于低秩矩阵补全的单幅图像去雨方法 | |
| CN112598777B (zh) | 一种基于暗通道先验的雾霾融合方法 | |
| CN109903253A (zh) | 一种基于景深先验的公路交通视频去雾算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |