CN110246102A - 一种雨天视频清晰处理方法 - Google Patents

Abstract

本发明公开了一种雨天视频清晰处理方法，包括：对视频序列帧图像的第n‑1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像I_a和I_n；对I_a和I_n进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域I_fg；根据雨滴光度学模型和雨线方向分布特性模型分别对I_fg进行约束检测，得到相应的候选雨滴像素概率P_i和P_o；对P_i和P_o进行决策级融合，得到候选雨滴像素的置信度Bel；根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度I_k；根据I_k、I_fg以及高斯滤波函数G计算得到场景复原图像I_new。

Description

一种雨天视频清晰处理方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种雨天视频清晰处理方法。

背景技术

在雨天条件下，由于空中随机分布了大量快速运动的雨滴，造成目标物体与背景之间光线的反射和折射，导致图像对比度降低、成像模糊，细节信息丢失，给交通运输、户外视频监控、军事侦察等领域带来巨大困难。

在计算机视觉与图像处理领域,目前主要采用基于成像参数的雨天视频清晰化方法、基于频域特性的雨天视频清晰化方法、基于时域特性的雨天视频清晰化方法。但是，基于成像参数的雨天视频清晰化方法仅仅通过调节相机的曝光时间、光圈级数和景深等参数，来改善视频源的视觉效果。从本质上看，基于成像参数的雨天视频清晰化方法只是衰减了雨滴的可视化效果，并没有对雨滴进行任何处理，因此这类方法虽然操作简单，但对于目标细节信息可能会造成损失；基于频域特性的雨天视频清晰化方法往往会对由细小雨滴所形成的雨线产生漏检测；基于时域特性的雨天视频清晰化方法容易受到外界环境光照条件的影响，从而产生误检测。

发明内容

基于背景技术存在的技术问题，本发明提出了一种雨天视频清晰处理方法；

本发明提出的一种雨天视频清晰处理方法，包括：

S1、对视频序列帧图像的第n-1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像I_a和I_n；

S2、对I_a和I_n进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域I_fg；

S3、根据雨滴光度学模型和雨线方向分布特性模型分别对I_fg进行约束检测，得到相应的候选雨滴像素概率P_i和P_o；

S4、对P_i和P_o进行决策级融合，得到候选雨滴像素的置信度Bel；

S5、根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度I_k；

S6、根据I_k、I_fg以及高斯滤波函数G计算得到场景复原图像I_new。

优选地，步骤S1，具体包括：

第n-1帧图像为I(x,y,n-1)，第n帧图像为I(x,y,n)；

基于相位相关性对第n-1帧图像中的每个像素进行匹配校正：I_a(x,y,n-1)＝I(x+d1,y+d2,n-1)，其中，d1和d2为预设的误差值；

基于相位相关性对第n帧图像中的每个像素进行匹配校正：I_n(x,y,n)＝I(x+d1,y+d2,n)，其中，d1和d2为预设的误差值。

优选地，步骤S2，具体包括：

S21、对I_a和I_n进行帧差，得到帧差结果ΔI(x,y,n)＝I_n(x,y,n)-I_a(x,y,n-1)；

S22、将I_n(x,y,n)与I_a(x,y,n-1)进行比较，若I_n(x,y,n)≤I_a(x,y,n-1)，则令ΔI(x,y,n)＝0；否则，保持ΔI(x,y,n)不变；

S23、采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到相位一致检测结果：PC(ΔI)＝E(x)/(ε+∑_nA_n),其中，E(x)为局部能量，f(x)是信号ΔI(x)中的非直流部分，f_H(x)为f(x)经过Hilbert变换的结果，A_n为第n个傅里叶分量的振幅；

S24、在相位一致检测结果中找到大于零的区域，并将该区域作为前景区域I_fg，I_fg＝{(x,y)|PC(x,y)>0}。

优选地，步骤S3，具体包括：

根据雨滴与背景强度的线性关系和高斯分布模型计算得到符合雨滴光度学模型的候选雨滴像素概率P_i，其中，雨滴与背景强度的线性关系为：ΔI＝αI_bg+δ，其中，ΔI为雨滴像素与背景像素的差值，α的取值范围在[-0.039，0]，δ为常数；

根据雨线的方向分布特性和高斯分布模型计算得到符合雨线方向分布特性模型的候选雨滴像素概率P_o，其中，根据雨线方向分布特性模型可确定同一场景下视频中雨线的方向分布近似一致，即θ_r＝|θ_i-θ_main|≤T，其中，θ_main为雨线的分布方向，由方向统计直方图得出，T为阈值，由雨线方向角分布决定。

优选地，步骤S4，具体包括：

S41、对P_i和P_o进行决策级融合，若P_i＝0或P_o＝0，则融合后的置信度Bel＝0，否则，执行步骤S42；

S42、若P_i＝1或P_o＝1，则融合后的置信度Bel＝1，否则，执行步骤S43；

S43、令融合后的置信度Bel＝(P_i+P_o)/2。

优选地，步骤S6，具体包括：

对I_fg进行二值化并对二值化结果进行高斯滤波，得到高斯滤波结果G；

根据I_k、I_fg以及G重构复原图像：I_new＝G(I_fg)×I_k+(1-G(I_fg))×I_n。

本发明根据雨滴和雨线的时域特性与频域特性具有的互补性，采用雨滴光度学模型和雨线方向分布特性模型分别进行约束检测，得到相应的候选雨滴像素概率，并通过决策级融合来求得候选雨滴像素的置信度，由此确定相邻帧背景像素并替换受雨影响像素，最终获得清晰化后的视频，具有准确、自动处理的特点，能够有效去除雨线的遮挡，改善场景的清晰度。

附图说明

图1为本发明提出的一种雨天视频清晰处理方法的流程示意图。

具体实施方式

参照图1，本发明提出的一种雨天视频清晰处理方法，包括：

步骤S1，对视频序列帧图像的第n-1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像I_a和I_n。

本步骤具体包括：

第n-1帧图像为I(x,y,n-1)，第n帧图像为I(x,y,n)；基于相位相关性对第n-1帧图像中的每个像素进行匹配校正：I_a(x,y,n-1)＝I(x+d1,y+d2,n-1)，其中，d1和d2为预设的误差值；基于相位相关性对第n帧图像中的每个像素进行匹配校正：I_n(x,y,n)＝I(x+d1,y+d2,n)，其中，d1和d2为预设的误差值。

在具体方案中，当摄像机及视频采集系统不固定或存在轻微抖动时，直接对当前帧前景信息进行提取会产生大量的误检测，因此需要将视频中连续两帧匹配校正，设第n-1帧图像和第n帧图像分别为I(x,y,n-1)和I(x,y,n)，基于相位相关性对第n-1帧图像和第n帧图像中的每个像素进行计算：

I_a(x,y,n-1)＝I(x+d1,y+d2,n-1)；I_n(x,y,n)＝I(x+d1,y+d2,n)，使第n-1帧与第n帧进行匹配，得到匹配后的图像I_a和I_n。

步骤S2，对I_a和I_n进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域I_fg。

本步骤具体包括：

S21、对I_a和I_n进行帧差，得到帧差结果ΔI(x,y,n)＝I_n(x,y,n)-I_a(x,y,n-1)；

S22、将I_n(x,y,n)与I_a(x,y,n-1)进行比较，若I_n(x,y,n)≤I_a(x,y,n-1)，则令ΔI(x,y,n)＝0；否则，保持ΔI(x,y,n)不变；

S23、采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到相位一致检测结果：PC(ΔI)＝E(x)/(ε+∑_nA_n),其中，E(x)为局部能量，f(x)是信号ΔI(x)中的非直流部分，f_H(x)为f(x)经过Hilbert变换的结果，A_n为第n个傅里叶分量的振幅；

S24、在相位一致检测结果中找到大于零的区域，并将该区域作为前景区域I_fg，I_fg＝{(x,y)|PC(x,y)>0}。

在具体方案中，首先匹配后的连续两帧图像I_a和I_n进行帧差，得到帧差结果ΔI(x,y,n)＝I(x,y,n)-I_a(x,y,n-1)，将I_n(x,y,n)与I_a(x,y,n-1)进行比较，若I_n(x,y,n)≤I_a(x,y,n-1)，则令ΔI(x,y,n)＝0，否则，保持帧差结果不变；然后，采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到提取后的结果：PC(ΔI)＝E(x)/(ε+∑_nA_n),其中E(x)为局部能量，f(x)是信号ΔI(x)中的非直流部分，f_H(x)为f(x)经过Hilbert变换得到的结果，A_n代表第n个傅里叶分量的振幅；最后，在相位一致检测结果PC(ΔI)中找到大于零的区域，该区域即为当前帧的前景区域I_fg＝{(x,y)|PC(x,y)>0}。

步骤S3，根据雨滴光度学模型和雨线方向分布特性模型分别对I_fg进行约束检测，得到相应的候选雨滴像素概率P_i和P_o。

本步骤具体包括：

根据雨滴与背景强度的线性关系和高斯分布模型计算得到符合雨滴光度学模型的候选雨滴像素概率P_i，其中，雨滴与背景强度的线性关系为：ΔI＝αI_bg+δ，其中，ΔI为雨滴像素与背景像素的差值，α的取值范围在[-0.039，0]，δ为常数；根据雨线的方向分布特性和高斯分布模型计算得到符合雨线方向分布特性模型的候选雨滴像素概率P_o，其中，根据雨线方向分布特性模型可确定同一场景下视频中雨线的方向分布近似一致，即θ_r＝|θ_i-θ_main|≤T，其中，θ_main为雨线的分布方向，由方向统计直方图得出，T为阈值，由雨线方向角分布决定。

在具体方案中，首先根据雨滴光度学模型可知，雨滴在视频中是由背景辐射强度和雨滴自身辐射强度在曝光时间内积分获得，因此雨滴与背景强度有着线性关系，即：ΔI＝αI_bg+δ，其中ΔI为雨滴像素与背景像素的差值，α的取值范围在[-0.039，0]，δ为常数，然后，利用高斯分布模型计算出符合雨滴光度学模型的候选雨滴像素概率P_i；其次，根据雨线方向分布特性模型可知，同一场景下视频中雨线的方向分布近似一致，即：θ_r＝|θ_i-θ_main|≤T，其中，θ_main为雨线的主要分布方向，由方向统计直方图得出，T为阈值，由雨线方向角分布决定，利用高斯分布模型计算出符合雨线方向分布特性模型的候选雨滴像素概率P_o。

步骤S4，对P_i和P_o进行决策级融合，得到候选雨滴像素的置信度Bel。

本步骤具体包括：

S41、对P_i和P_o进行决策级融合，若P_i＝0或P_o＝0，则融合后的置信度Bel＝0，否则，执行步骤S42；

S42、若P_i＝1或P_o＝1，则融合后的置信度Bel＝1，否则，执行步骤S43；

S43、令融合后的置信度Bel＝(P_i+P_o)/2。

在具体方案中，根据符合雨滴光度学模型的候选雨滴像素概率P_i和符合雨线方向分布特性模型的候选雨滴像素概率P_o计算融合后的候选雨滴像素置信度Bel。

步骤S5，根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度I_k；

在具体方案中，根据背景像素判别约束条件，即背景像素强度值小于或等于当前帧受雨影响像素的强度值，确定相邻帧候选雨滴像素中置信度Bel最小值作为背景像素强度I_k。

步骤S6，根据I_k、I_fg以及高斯滤波函数G计算得到场景复原图像I_new。

本步骤具体包括：

对I_fg进行二值化并对二值化结果进行高斯滤波，得到高斯滤波结果G；

根据I_k、I_fg以及G重构复原图像：I_new＝G(I_fg)×I_k+(1-G(I_fg))×I_n。

在具体方案中，首先，对前景信息区域I_fg进行二值化并对二值化结果进行高斯滤波，得到高斯滤波结果G，将G为权值与背景像素强度I_k、前景运动区域I_fg重构复原图像：I_new＝G(I_fg)×I_k+(1-G(I_fg))×I_n。

本发明根据雨滴和雨线的时域特性与频域特性具有的互补性，采用雨滴光度学模型和雨线方向分布特性模型分别进行约束检测，得到相应的候选雨滴像素概率，并通过决策级融合来求得候选雨滴像素的置信度，由此确定相邻帧背景像素并替换受雨影响像素，最终获得清晰化后的视频，具有准确、自动处理的特点，能够有效去除雨线的遮挡，改善场景的清晰度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种雨天视频清晰处理方法，其特征在于，包括：

S1、对视频序列帧图像的第n-1帧图像与第n帧图像进行匹配校正，得到对齐校正后图像I_a和I_n；

S2、对I_a和I_n进行帧差，并对帧差结果进行前景信息提取，得到前景运动区域I_fg；

S3、根据雨滴光度学模型和雨线方向分布特性模型分别对I_fg进行约束检测，得到相应的候选雨滴像素概率P_i和P_o；

S4、对P_i和P_o进行决策级融合，得到候选雨滴像素的置信度Bel；

S5、根据Bel和背景像素强度不大于雨滴像素强度约束条件，确定相邻帧候选雨滴像素中置信度最小值，并将相邻帧候选雨滴像素中置信度最小值作为背景像素强度I_k；

S6、根据I_k、I_fg以及高斯滤波函数G计算得到场景复原图像I_new。

2.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S1，具体包括：

第n-1帧图像为I(x,y,n-1)，第n帧图像为I(x,y,n)；

基于相位相关性对第n-1帧图像中的每个像素进行匹配校正：I_a(x,y,n-1)＝I(x+d1,y+d2,n-1)，其中，d1和d2为预设的误差值；

基于相位相关性对第n帧图像中的每个像素进行匹配校正：I_n(x,y,n)＝I(x+d1,y+d2,n)，其中，d1和d2为预设的误差值。

3.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S2，具体包括：

S21、对I_a和I_n进行帧差，得到帧差结果ΔI(x,y,n)＝I_n(x,y,n)-I_a(x,y,n-1)；

S22、将I_n(x,y,n)与I_a(x,y,n-1)进行比较，若I_n(x,y,n)≤I_a(x,y,n-1)，则令ΔI(x,y,n)＝0；否则，保持ΔI(x,y,n)不变；

S23、采用相位一致性特征检测对帧差结果中的前景信息进行提取，得到相位一致检测结果：PC(ΔI)＝E(x)/(ε+∑_nA_n),其中，E(x)为局部能量，f(x)是信号ΔI(x)中的非直流部分，f_H(x)为f(x)经过Hilbert变换的结果，A_n为第n个傅里叶分量的振幅；

S24、在相位一致检测结果中找到大于零的区域，并将该区域作为前景区域I_fg，I_fg＝{(x,y)|PC(x,y)>0}。

4.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S3，具体包括：

根据雨滴与背景强度的线性关系和高斯分布模型计算得到符合雨滴光度学模型的候选雨滴像素概率P_i，其中，雨滴与背景强度的线性关系为：ΔI＝αI_bg+δ，其中，ΔI为雨滴像素与背景像素的差值，α的取值范围在[-0.039，0]，δ为常数；

根据雨线的方向分布特性和高斯分布模型计算得到符合雨线方向分布特性模型的候选雨滴像素概率P_o，其中，根据雨线方向分布特性模型可确定同一场景下视频中雨线的方向分布近似一致，即θ_r＝|θ_i-θ_main|≤T，其中，θ_main为雨线的分布方向，由方向统计直方图得出，T为阈值，由雨线方向角分布决定。

5.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S4，具体包括：

S41、对P_i和P_o进行决策级融合，若P_i＝0或P_o＝0，则融合后的置信度Bel＝0，否则，执行步骤S42；

S42、若P_i＝1或P_o＝1，则融合后的置信度Bel＝1，否则，执行步骤S43；

S43、令融合后的置信度Bel＝(P_i+P_o)/2。

6.根据权利要求1所述的雨天视频清晰处理方法，其特征在于，步骤S6，具体包括：

对I_fg进行二值化并对二值化结果进行高斯滤波，得到高斯滤波结果G；

根据I_k、I_fg以及G重构复原图像：I_new＝G(I_fg)×I_k+(1-G(I_fg))×I_n。