CN111932470A - 基于视觉选择融合的图像复原方法、装置、设备和介质 - Google Patents
基于视觉选择融合的图像复原方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111932470A CN111932470A CN202010706237.7A CN202010706237A CN111932470A CN 111932470 A CN111932470 A CN 111932470A CN 202010706237 A CN202010706237 A CN 202010706237A CN 111932470 A CN111932470 A CN 111932470A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- fusion
- representing
- defogged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000004927 fusion Effects 0.000 title claims abstract description 72
- 230000000007 visual effect Effects 0.000 title claims abstract description 36
- 238000002834 transmittance Methods 0.000 claims abstract description 40
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000013179 statistical model Methods 0.000 claims abstract description 20
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 125000001475 halogen functional group Chemical group 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于视觉选择融合的图像复原方法、装置、设备和介质，方法包括：通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息对图像的天空区域进行分割获得全局大气背景光值的有效范围；获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化；在全局大气背景光值的有效范围内，将优化后的透射率图像输入至暗原色理论模型，获得复原的多个初始去雾图像；构建基于视觉选择的方法从各初始去雾图像挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选的去雾图像进行融合获得最终的无雾图像。通过本发明技术方案能够稳定雾天图像的复原质量。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于视觉选择融合的图像复原方法、装置、设备和介质。
背景技术
目前，道路交通上使用的监控系统主要是在较好的无遮挡的自然环境下适用，但当遇到恶劣天气时(如雾天时)，监控系统摄像头采集的图像会被遮挡，导致道路监控信息会有损失。因此，能更好的对各种自然环境的道路信息进行监控具有十分重要的意义。
当前基于暗原色理论的雾天图像复原方法，一般采用直接估计大气背景光的方法获取全局大气背景光的值，对透射率图像进行简单的平滑操作，之后通过暗通道模型，进行雾天图像的复原。该类型的方法虽然能达到复原图像的目的，但是对大气背景光的粗糙获取，将直接影响复原后图像的亮度；对透射率图像的平滑操作程度的深浅，将直接影响恢复后图像的视觉效果。因此，在大多数情况下，经现有雾天图像复原方法处理后的图像在天空区域会出现色彩畸变，图像的亮度存在较大的损失。如申请日为2016.07.26，申请号为201610597410.8的中国发明专利公开了一种基于暗原色先验的单幅图像去雾方法，该方法通过暗原色原理，能有效地改善雾天图像的退化现象，提高图像的清晰度，处理效率也得到明显提升，但是无法解决处理后图像的光晕现象和亮度损失问题。又如，申请日为2018.12.03，申请号为201811464345.7的中国发明专利公开了一种图像去雾处理方法及装置，该方法能够有效解决现有的对视频图像进行实时去雾处理时需要布设专门的硬件设备的问题，但是无法解决处理后图像的光晕现象和亮度损失问题。再如，申请日为2019.08.30，申请号为01910817554.3的中国发明专利公开了一种图像去雾的处理方法及装置，该方法能有效地提高去雾效果，解决的光晕问题，但是无法解决处理后图像的亮度损失问题。
鉴于现有雾天图像处理方法存在的以上问题，本案发明人对上述问题进行深入研究，遂有本案产生。
发明内容
本发明要解决的技术问题，在于提供基于视觉选择融合的图像复原方法、装置、设备和介质，用以解决现有雾天图像处理方法处理后存在图像亮度损失和光晕现象的技术问题。
第一方面，本发明提供了基于视觉选择融合的图像复原方法，所述方法包括：
通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围；
获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理；
在全局大气背景光值的有效范围内，将优化处理后的透射率图像输入至暗原色理论模型，运用暗原色理论模型获得复原的多个初始去雾图像；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
进一步的，所述统计模型采用直方图统计模型。
进一步的，所述的对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围具体为：
对雾天图像的每个通道进行高斯平滑滤波处理，获得平滑后的单通道图像；高斯平滑滤波处理的公式为：fc(x)＝hc(x)*g(x)h,σ，其中，fc(x)表示平滑后的单通道图像，hc(x)表示雾天图像中某个通道图像，*表示卷积操作，g(x)h,σ表示高斯平滑滤波的核函数，h表示高斯卷积核的尺寸，σ表示高斯卷积核的标准差；
运用二分法对平滑后的单通道图像的直方图进行求解，获得局部最小值，该局部最小值即为雾天图像的每个通道的天空区域范围的下限分割阈值，雾天图像的每个通道的天空区域范围的上限分割阈值取为最大像素值，全局大气背景光值的有效范围正是处在下限分割阈值与上限分割阈值的范围内；二分法求解局部最小值的公式为：
其中，ac表示图像的每个通道的天空区域范围的下限分割阈值；Lm(·)表示二分法对局部最小值的求解函数；
表示二分法求取的一系列局部最小值，
mhc表示雾天图像中某个通道图像hc(x)的最大像素值。
进一步的，在运用二分法对平滑后的单通道图像的直方图进行求解的过程中，根据阈值特征信息，设定从直方图的倒数第1个波峰处开始寻找。
进一步的，所述的运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理具体为：
构建针对雾天图像的自适应边界限制条件，具体限制条件的公式如下：
其中，ti(x)表示在不同的全局大气背景光值下，边界限制后的透射率图像；
表示图像中某个通道图像的像素最小值，
表示图像中某个通道图像的像素最大值，
Ic(x)表示图像的某一个通道图像；Ai表示某一个通道图像中的全局大气背景光值；
运用构建的自适应边界限制条件对透射率图像进行边界限制，同时运用L0梯度最小化滤波方法对边界限制后的透射率图像平滑优化处理。
进一步的，所述的构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的图像具体为：
通过无参考图像评价方法对全局大气背景光值的有效范围内复原出的各初始去雾图像进行评价，运用3σ原则挑选出适合参与融合的图像。
进一步的，所述的使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像具体为：
将挑选出的适合参与融合的去雾图像均转化到YCbCr颜色空间，获得各去雾图像的Y通道图像、Cb通道图像和Cr通道图像；
对于Y通道，通过对各Y通道图像进行逐像素比较，从中挑选出像素值最大的Y通道图像，其实现函数如下：
其中，Yg表示挑选后的Y通道图像；Yi(x)表示某一个去雾图像的Y通道图像，k表示挑选出的适合参与融合的去雾图像的总张数；
对Yg进行归一化操作，归一化函数为：Yg1＝(Yg-Ygmax)/(Ygmax-Ygmin)×b+c，其中，Ygmax表示该Y通道图像中最大的像素值，Ygmin表示该Y通道图像中最小的像素值，b和c均为调节系数；
对于Cb通道和Cr通道，先对各Cb通道图像和各Cr通道图像的像素值分别进行累加，再分别求取出像素均值，其实现函数表达式如下：
其中，
表示从第1个图像累加到第k个图像的数学公式；
和
均表示每个通道图像所占的比例；Cb1表示求取出的Cb通道图像的像素均值，Cr1表示求取出的Cr通道图像的像素均值；Cbi表示某一张Cb通道图像的像素值，Cri表示某一张Cr通道图像的像素值；
Yg1,Cb1,Cr1三个通道转换到RGB色彩空间，获得最终的无雾图像。
进一步的，调节系数b取值为216，调节系数c取值为19。
第二方面，本发明提供了基于视觉选择融合的图像复原装置，所述装置包括范围获取模块、优化处理模块以及图像融合处理模块；
所述范围获取模块，用于通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围；
所述优化处理模块，用于获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理；
所述图像融合处理模块，用于在全局大气背景光值的有效范围内，将优化处理后的透射率图像输入至暗原色理论模型，运用暗原色理论模型获得复原的多个初始去雾图像；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
进一步的，所述统计模型采用直方图统计模型。
进一步的，所述的对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围具体为：
对雾天图像的每个通道进行高斯平滑滤波处理，获得平滑后的单通道图像；高斯平滑滤波处理的公式为：fc(x)＝hc(x)*g(x)h,σ，其中，fc(x)表示平滑后的单通道图像，hc(x)表示雾天图像中某个通道图像，*表示卷积操作，g(x)h,σ表示高斯平滑滤波的核函数，h表示高斯卷积核的尺寸，σ表示高斯卷积核的标准差；
运用二分法对平滑后的单通道图像的直方图进行求解，获得局部最小值，该局部最小值即为雾天图像的每个通道的天空区域范围的下限分割阈值，雾天图像的每个通道的天空区域范围的上限分割阈值取为最大像素值，全局大气背景光值的有效范围正是处在下限分割阈值与上限分割阈值的范围内；二分法求解局部最小值的公式为：
其中，ac表示图像的每个通道的天空区域范围的下限分割阈值；Lm(·)表示二分法对局部最小值的求解函数；
表示二分法求取的一系列局部最小值，
mhc表示雾天图像中某个通道图像hc(x)的最大像素值。
进一步的，在运用二分法对平滑后的单通道图像的直方图进行求解的过程中，根据阈值特征信息，设定从直方图的倒数第1个波峰处开始寻找。
进一步的，所述的运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理具体为：
构建针对雾天图像的自适应边界限制条件，具体限制条件的公式如下：
其中，ti(x)表示在不同的全局大气背景光值下，边界限制后的透射率图像；
表示图像中某个通道图像的像素最小值，
表示图像中某个通道图像的像素最大值，
Ic(x)表示图像的某一个通道图像；Ai表示某一个通道图像中的全局大气背景光值；
运用构建的自适应边界限制条件对透射率图像进行边界限制，同时运用L0梯度最小化滤波方法对边界限制后的透射率图像平滑优化处理。
进一步的，所述的构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的图像具体为：
通过无参考图像评价方法对全局大气背景光值的有效范围内复原出的各初始去雾图像进行评价，运用3σ原则挑选出适合参与融合的图像。
进一步的，所述的使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像具体为：
将挑选出的适合参与融合的去雾图像均转化到YCbCr颜色空间，获得各去雾图像的Y通道图像、Cb通道图像和Cr通道图像；
对于Y通道，通过对各Y通道图像进行逐像素比较，从中挑选出像素值最大的Y通道图像，其实现函数如下：
其中，Yg表示挑选后的Y通道图像；Yi(x)表示某一个去雾图像的Y通道图像，k表示挑选出的适合参与融合的去雾图像的总张数；
对Yg进行归一化操作，归一化函数为：Yg1＝(Yg-Ygmax)/(Ygmax-Ygmin)×b+c，其中，Ygmax表示该Y通道图像中最大的像素值，Ygmin表示该Y通道图像中最小的像素值，b和c均为调节系数；
对于Cb通道和Cr通道，先对各Cb通道图像和各Cr通道图像的像素值分别进行累加，再分别求取出像素均值，其实现函数表达式如下：
其中，
表示从第1个图像累加到第k个图像的数学公式；
和
均表示每个通道图像所占的比例；Cb1表示求取出的Cb通道图像的像素均值，Cr1表示求取出的Cr通道图像的像素均值；Cbi表示某一张Cb通道图像的像素值，Cri表示某一张Cr通道图像的像素值；
Yg1,Cb1,Cr1三个通道转换到RGB色彩空间，获得最终的无雾图像。
进一步的，调节系数b取值为216，调节系数c取值为19。
第三方面，本发明提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过本发明的技术方案能够实现避免光晕现象、减少亮度损失和减少色彩畸变问题，稳定雾天图像的复原质量，为具体的检查判断提供可靠的依据。具体包括：
1、采用统计模型先获得阈值特征信息，再根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围，既能够有效减少处理后图像亮度损失，又可以提高处理速度；
2、采用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理，通过对透射率图像进行优化，能够避免处理后的图像出现光晕现象和减少色彩畸变问题；
3、通过构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，将不适合参与融合的去雾图像剔除，既能够提高后续图像融合处理的速度，又能够提升融合后图像的质量；
4、通过使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，具有融合速度快，融合效果显著，复杂度低的优点。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中基于视觉选择融合的图像复原方法的执行流程框图；
图2为本发明实施例二中基于视觉选择融合的图像复原装置的结构示意图；
图3为本发明实施例三中电子设备的结构示意图；
图4为本发明实施例四中介质的结构示意图。
具体实施方式
本申请实施例通过提供基于视觉选择融合的图像复原方法、装置、设备和介质，用以解决现有雾天图像处理方法处理后存在图像亮度损失和光晕现象的技术问题，能够实现避免光晕现象、减少亮度损失和减少色彩畸变问题，稳定雾天图像的复原质量，为具体的检查判断提供可靠的依据。
本申请实施例中的技术方案，总体思路如下：利用直方图统计特征对雾天图像的天空区域进行分割，获得全局大气背景光值的有效范围，以减少图像亮度损失；构建针对雾天图像的自适应边界限制条件，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化，以避免处理后的图像出现光晕现象和减少色彩畸变问题；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
本实施例提供基于视觉选择融合的图像复原方法，如图1所示，所述方法包括：
通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围；
获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理；
在全局大气背景光值的有效范围内，将优化处理后的透射率图像输入至暗原色理论模型，运用暗原色理论模型获得复原的多个初始去雾图像；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
本发明的技术方案采用统计模型先获得阈值特征信息，再根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围，既能够有效减少处理后图像亮度损失，又可以提高处理速度。采用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理，通过对透射率图像进行优化，能够避免处理后的图像出现光晕现象和减少色彩畸变问题。通过构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，将不适合参与融合的去雾图像剔除，既能够提高后续图像融合处理的速度，又能够提升融合后图像的质量。通过使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，具有融合速度快，融合效果显著，复杂度低的优点。
在本发明技术方案中，所述统计模型采用直方图统计模型。直方图是一种常用的二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性度量。由于通过直方图能够很容易的表示大量数据，非常直观的表明分布的形状，使我们能够看到在分布表中看不清的数据模式，因此本发明采用直方图统计模型来分析获得阈值特征信息。
在本发明技术方案中，为了实现全局大气背景光值的有效范围的求取，所述的对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围具体为：
对雾天图像的每个通道进行高斯平滑滤波处理，获得平滑后的单通道图像，每个图像都包括有RGB三个通道，在此需要对雾天图像的三个通道分别进行处理；高斯平滑滤波处理的公式为：fc(x)＝hc(x)*g(x)h,σ，其中，fc(x)表示平滑后的单通道图像，hc(x)表示雾天图像中某个通道图像，*表示卷积操作，g(x)h,σ表示高斯平滑滤波的核函数，h表示高斯卷积核的尺寸，σ表示高斯卷积核的标准差；
运用二分法对平滑后的单通道图像的直方图进行求解，获得局部最小值，该局部最小值即为雾天图像的每个通道的天空区域范围的下限分割阈值，雾天图像的每个通道的天空区域范围的上限分割阈值取为最大像素值，全局大气背景光值的有效范围正是处在下限分割阈值与上限分割阈值的范围内；二分法求解局部最小值的公式为：
其中，ac表示图像的每个通道的天空区域范围的下限分割阈值；Lm(·)表示二分法对局部最小值的求解函数；
表示二分法求取的一系列局部最小值，
mhc表示雾天图像中某个通道图像hc(x)的最大像素值。
在本发明技术方案中，由于在使用直方图统计模型分析雾天图像的天空区域分割的阈值特征信息时，发现当处理直方图倒数第一个波峰开始后的第一个波谷位置时，分割天空区域最好，因此，为了提高求取局部最小值的精度和速度，在运用二分法对平滑后的单通道图像的直方图进行求解的过程中，根据阈值特征信息，设定从直方图的倒数第1个波峰处开始寻找。
在本发明技术方案中，为了实现对透射率图像进行优化处理，所述的运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理具体为：
构建针对雾天图像的自适应边界限制条件，具体限制条件的公式如下：
其中，ti(x)表示在不同的全局大气背景光值下，边界限制后的透射率图像；
表示图像中某个通道图像的像素最小值，
表示图像中某个通道图像的像素最大值，
Ic(x)表示图像的某一个通道图像；Ai表示某一个通道图像中的全局大气背景光值；在构建自适应边界限制条件时，本发明借鉴了辐射立方体的定义，辐射立方体是对边界进行限制的，但辐射立方体的限制都是固定值，本发明通过借鉴辐射立方体的定义重新定义了能够针对任何雾天图像的自适应边界限制条件，从而满足对任何雾天图像的自适应边界限制；
运用构建的自适应边界限制条件对透射率图像进行边界限制，同时运用L0梯度最小化滤波方法对边界限制后的透射率图像平滑优化处理。本发明通过对经典的L0梯度最小化滤波方法(即快速最小二乘法滤波方法)进行优化，提出了一种自适应边界限制的L0梯度最小化滤波方法来优化透射率图像，能够有效避免处理后的图像出现光晕现象和减少色彩畸变问题。
在本发明技术方案中，所述的构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的图像具体为：
通过无参考图像评价方法(即NIQE方法)对全局大气背景光值的有效范围内复原出的各初始去雾图像进行评价，运用3σ原则挑选出适合参与融合的图像。通过3σ原则将不适合参与融合的去雾图像剔除，不仅能够提高后续图像融合处理的速度，且能够提升融合后图像的质量。
在本发明技术方案中，为了更好的理解，下面具体的融合方法进行详细说明，所述的使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像具体为：
将挑选出的适合参与融合的去雾图像均转化到YCbCr颜色空间，获得各去雾图像的Y通道图像、Cb通道图像和Cr通道图像；
对于Y通道，通过对各Y通道图像进行逐像素比较，从中挑选出像素值最大的Y通道图像，其实现函数如下：
其中，Yg表示挑选后的Y通道图像；Yi(x)表示某一个去雾图像的Y通道图像，k表示挑选出的适合参与融合的去雾图像的总张数；
对Yg进行归一化操作，归一化函数为：Yg1＝(Yg-Ygmax)/(Ygmax-Ygmin)×b+c，其中，Ygmax表示该Y通道图像中最大的像素值，Ygmin表示该Y通道图像中最小的像素值，b和c均为调节系数；
对于Cb通道和Cr通道，先对各Cb通道图像和各Cr通道图像的像素值分别进行累加，再分别求取出像素均值，其实现函数表达式如下：
其中，
表示从第1个图像累加到第k个图像的数学公式；
和
均表示每个通道图像所占的比例；Cb1表示求取出的Cb通道图像的像素均值，Cr1表示求取出的Cr通道图像的像素均值；Cbi表示某一张Cb通道图像的像素值，Cri表示某一张Cr通道图像的像素值；
Yg1,Cb1,Cr1三个通道转换到RGB色彩空间，获得最终的无雾图像。
在本发明技术方案中，为了获得更好的图像融合效果，调节系数b取值为216，调节系数c取值为19。
在具体使用时，可将本发明的方法应用于交通道路的监控系统中，以使得在遇到恶劣天气时(如雾天时)，能够对道路上的车辆和行人图像进行有效恢复，进而使监控者能够获得更多的有用信息，实现对道路情况进行更加有效的监控。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了基于视觉选择融合的图像复原装置，如图2所示，所述装置包括范围获取模块、优化处理模块以及图像融合处理模块；
所述范围获取模块，用于通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围；
所述优化处理模块，用于获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理；
所述图像融合处理模块，用于在全局大气背景光值的有效范围内，将优化处理后的透射率图像输入至暗原色理论模型，运用暗原色理论模型获得复原的多个初始去雾图像；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
本发明的技术方案采用统计模型先获得阈值特征信息，再根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围，既能够有效减少处理后图像亮度损失，又可以提高处理速度。采用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理，通过对透射率图像进行优化，能够避免处理后的图像出现光晕现象和减少色彩畸变问题。通过构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，将不适合参与融合的去雾图像剔除，既能够提高后续图像融合处理的速度，又能够提升融合后图像的质量。通过使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，具有融合速度快，融合效果显著，复杂度低的优点。
对于上述范围获取模块、优化处理模块以及图像融合处理模块的具体实现技术手段，请参照本发明实施例一方法的介绍，在此就不再赘述。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了电子设备，如图3所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供了计算机可读存储介质，如图4所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
另外，本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (10)
1.一种基于视觉选择融合的图像复原方法，其特征在于：所述方法包括：
通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围；
获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理；
在全局大气背景光值的有效范围内，将优化处理后的透射率图像输入至暗原色理论模型，运用暗原色理论模型获得复原的多个初始去雾图像；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
2.根据权利要求1所述的基于视觉选择融合的图像复原方法，其特征在于：所述统计模型采用直方图统计模型。
3.根据权利要求1所述的基于视觉选择融合的图像复原方法，其特征在于：所述的对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围具体为：
对雾天图像的每个通道进行高斯平滑滤波处理，获得平滑后的单通道图像；高斯平滑滤波处理的公式为：fc(x)＝hc(x)*g(x)h,σ，其中，fc(x)表示平滑后的单通道图像，hc(x)表示雾天图像中某个通道图像，*表示卷积操作，g(x)h,σ表示高斯平滑滤波的核函数，h表示高斯卷积核的尺寸，σ表示高斯卷积核的标准差；
运用二分法对平滑后的单通道图像的直方图进行求解，获得局部最小值，该局部最小值即为雾天图像的每个通道的天空区域范围的下限分割阈值，雾天图像的每个通道的天空区域范围的上限分割阈值取为最大像素值，全局大气背景光值的有效范围正是处在下限分割阈值与上限分割阈值的范围内；二分法求解局部最小值的公式为：
其中，ac表示图像的每个通道的天空区域范围的下限分割阈值；Lm(·)表示二分法对局部最小值的求解函数；
表示二分法求取的一系列局部最小值，
mhc表示雾天图像中某个通道图像hc(x)的最大像素值。
4.根据权利要求3所述的基于视觉选择融合的图像复原方法，其特征在于：在运用二分法对平滑后的单通道图像的直方图进行求解的过程中，根据阈值特征信息，设定从直方图的倒数第1个波峰处开始寻找。
5.根据权利要求1所述的基于视觉选择融合的图像复原方法，其特征在于：所述的运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理具体为：
构建针对雾天图像的自适应边界限制条件，具体限制条件的公式如下：
其中，ti(x)表示在不同的全局大气背景光值下，边界限制后的透射率图像；
表示图像中某个通道图像的像素最小值，
表示图像中某个通道图像的像素最大值，
Ic(x)表示图像的某一个通道图像；Ai表示某一个通道图像中的全局大气背景光值；
运用构建的自适应边界限制条件对透射率图像进行边界限制，同时运用L0梯度最小化滤波方法对边界限制后的透射率图像平滑优化处理。
6.根据权利要求1所述的基于视觉选择融合的图像复原方法，其特征在于：所述的构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的图像具体为：
通过无参考图像评价方法对全局大气背景光值的有效范围内复原出的各初始去雾图像进行评价，运用3σ原则挑选出适合参与融合的图像。
7.根据权利要求1所述的基于视觉选择融合的图像复原方法，其特征在于：所述的使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像具体为：
将挑选出的适合参与融合的去雾图像均转化到YCbCr颜色空间，获得各去雾图像的Y通道图像、Cb通道图像和Cr通道图像；
对于Y通道，通过对各Y通道图像进行逐像素比较，从中挑选出像素值最大的Y通道图像，其实现函数如下：
其中，Yg表示挑选后的Y通道图像；Yi(x)表示某一个去雾图像的Y通道图像，k表示挑选出的适合参与融合的去雾图像的总张数；
对Yg进行归一化操作，归一化函数为：Yg1＝(Yg-Ygmax)/(Ygmax-Ygmin)×b+c，其中，Ygmax表示该Y通道图像中最大的像素值，Ygmin表示该Y通道图像中最小的像素值，b和c均为调节系数；
对于Cb通道和Cr通道，先对各Cb通道图像和各Cr通道图像的像素值分别进行累加，再分别求取出像素均值，其实现函数表达式如下：
其中，
表示从第1个图像累加到第k个图像的数学公式；
和
均表示每个通道图像所占的比例；Cb1表示求取出的Cb通道图像的像素均值，Cr1表示求取出的Cr通道图像的像素均值；Cbi表示某一张Cb通道图像的像素值，Cri表示某一张Cr通道图像的像素值；
Yg1,Cb1,Cr1三个通道转换到RGB色彩空间，获得最终的无雾图像。
8.一种基于视觉选择融合的图像复原装置，其特征在于：所述装置包括范围获取模块、优化处理模块以及图像融合处理模块；
所述范围获取模块，用于通过统计模型获得雾天图像的天空区域分割的阈值特征信息，根据阈值特征信息，对雾天图像的天空区域进行分割获得全局大气背景光值的有效范围；
所述优化处理模块，用于获取雾天图像初始的透射率图像，运用自适应边界限制L0梯度最小化滤波方法对透射率图像进行优化处理；
所述图像融合处理模块，用于在全局大气背景光值的有效范围内，将优化处理后的透射率图像输入至暗原色理论模型，运用暗原色理论模型获得复原的多个初始去雾图像；构建基于视觉选择的方法来从各初始去雾图像中挑选出适合参与融合的去雾图像，使用基于YCbCr颜色空间的图像融合方法对挑选出的适合参与融合的去雾图像进行融合，获得最终的无雾图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010706237.7A CN111932470A (zh) | 2020-07-21 | 2020-07-21 | 基于视觉选择融合的图像复原方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010706237.7A CN111932470A (zh) | 2020-07-21 | 2020-07-21 | 基于视觉选择融合的图像复原方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111932470A true CN111932470A (zh) | 2020-11-13 |
Family
ID=73314260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010706237.7A Pending CN111932470A (zh) | 2020-07-21 | 2020-07-21 | 基于视觉选择融合的图像复原方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932470A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838110A (zh) * | 2021-09-08 | 2021-12-24 | 重庆紫光华山智安科技有限公司 | 目标检测结果的校验方法、装置、存储介质和电子设备 |
-
2020
- 2020-07-21 CN CN202010706237.7A patent/CN111932470A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838110A (zh) * | 2021-09-08 | 2021-12-24 | 重庆紫光华山智安科技有限公司 | 目标检测结果的校验方法、装置、存储介质和电子设备 |
| CN113838110B (zh) * | 2021-09-08 | 2023-09-05 | 重庆紫光华山智安科技有限公司 | 目标检测结果的校验方法、装置、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109272455B (zh) | 基于弱监督生成对抗网络的图像去雾方法 | |
| CN107301624B (zh) | 基于区域划分及浓雾预处理的卷积神经网络去雾方法 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN108510451B (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| WO2020206850A1 (zh) | 基于高维图像的图像标注方法和装置 | |
| CN107240084B (zh) | 一种单幅图像去雨方法及装置 | |
| CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
| Liu et al. | Image de-hazing from the perspective of noise filtering | |
| WO2020173024A1 (zh) | 面向智能家居场景的多手势精准分割方法 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN108711160A (zh) | 一种基于hsi增强性模型的目标分割方法 | |
| CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
| CN111932470A (zh) | 基于视觉选择融合的图像复原方法、装置、设备和介质 | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN112950589A (zh) | 一种多尺度卷积神经网络的暗通道先验去雾算法 | |
| CN110322479B (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 | |
| CN106603888A (zh) | 图像颜色提取处理结构 | |
| Huang et al. | M2-Net: multi-stages specular highlight detection and removal in multi-scenes | |
| Moghimi et al. | A joint adaptive evolutionary model towards optical image contrast enhancement and geometrical reconstruction approach in underwater remote sensing | |
| CN115631108A (zh) | 一种基于rgbd的图像去雾方法及相关设备 | |
| CN115170437A (zh) | 一种用于救援机器人的火灾场景低质量图像恢复方法 | |
| Song et al. | An adaptive real-time video defogging method based on context-sensitiveness | |
| CN111932469B (zh) | 显著性权重的快速曝光图像融合方法、装置、设备和介质 | |
| CN114298992A (zh) | 一种视频帧去重方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |