CN105474259A - 用于在单一图像中去雾的方法和装置 - Google Patents
用于在单一图像中去雾的方法和装置 Download PDFInfo
- Publication number
- CN105474259A CN105474259A CN201480030119.1A CN201480030119A CN105474259A CN 105474259 A CN105474259 A CN 105474259A CN 201480030119 A CN201480030119 A CN 201480030119A CN 105474259 A CN105474259 A CN 105474259A
- Authority
- CN
- China
- Prior art keywords
- transmission
- image
- mist
- input picture
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000005540 biological transmission Effects 0.000 claims abstract description 174
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000003595 mist Substances 0.000 claims description 93
- 238000011084 recovery Methods 0.000 claims description 50
- 230000000877 morphologic effect Effects 0.000 claims description 43
- 239000000203 mixture Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 22
- 230000006872 improvement Effects 0.000 claims description 21
- 230000008030 elimination Effects 0.000 claims description 14
- 238000003379 elimination reaction Methods 0.000 claims description 14
- 238000012805 post-processing Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000009499 grossing Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 235000019988 mead Nutrition 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明提供一种用于在单一图像中去雾的方法。在本发明中,通过使用从有雾输入图像获得的暗通道先验来估计透射。估计的透射包括块伪影。在本发明的一个示例性实施例中,为了保留边缘并去除块伪影,通过使用估计的透射值和形态学处理的输入图像而执行WLS滤波来获得改进的透射值,基于改进的透射值恢复图像,然后执行多尺度色调操作的图像处理。
Description
技术领域
本发明涉及对由于包括在图像中的雾而降低了视频质量的图像进行处理,并改善它的视频质量。
背景技术
通常,户外拍摄的图像的质量被浑浊介质(诸如,大气颗粒和水滴)降低。具体地说,图像的视频质量被天气影响,天气影响包括在图像中的物体的原始颜色和形状的识别。
具体地说,因为雾引起的视频质量降低发生在整个图像中,并且被相对均匀且连续地保持,所以提出各种技术以消除雾引起的视频质量降低。
有雾图像改善的方法分为使用大气物理模型的基于模型的方法和不使用大气物理模型的非基于模型的方法。
与基于模型的方法不同,非基于模型的方法不估计大气参数并且可被简单地实施。然而,非基于模型的方法具有使颜色保真度失真的问题并具有去雾效应。因此,最近,通过使用利用一张图像的基于模型的方法来改善有雾图像是常见的。
另一方面,因为基于模型的方法使用大气物理模型,所以基于模型的方法可有效地改善被散射光劣化的色调和对比度。然而,基于模型的方法难以准确地估计参数并且具有花费较长操作时间的缺点。
具体实施方式
技术问题
最近,作为用于改善有雾图像的基于模型的方法的示例,存在在一张有雾图像中使用暗通道先验(DCP)的方法。然而,在DCP方法的情况下,因为RGB图像的颜色信息特征在片的基础上被估计,所以操作时间增加。此外,当图像一般是白色或黑色时,由于透射的错误估计而在图像中发生失真。
此外,在用于改善有雾图像的其他基于模型的方法的情况下,因为不存在由于散射光的减少引起的图像纹理信息补偿和亮度校正,所以在所述方法中存在恢复的图像具有弱纹理和低亮度的问题。
本发明的示例性实施例改善DCP方法的问题,并提供使用单一图像恢复/改善雾引起的图像颜色损坏和对比度降低。此外,本发明提供用于改善图像纹理并解决发生在传统有雾图像改善处理中的亮度降低的问题的方法。
技术方案
本发明提供用于在单一图像中去雾的方法。在本发明中,通过使用从有雾输入图像获得的暗通道先验来估计透射。估计的透射包括块伪影。在本发明的示例性实施例中,为了保留边缘并去除块伪影,通过使用估计的透射值和形态学处理的输入图像而执行加权最小二乘法(WLS)滤波来获得改进的透射值,基于改进的透射值恢复图像,然后执行多尺度色调操作的图像处理。
本发明的有益效果
本发明具有通过在有雾图像中使用暗通道先验(DCP)解决在有雾图像处理过程中发生的问题的有益效果。例如,本发明具有以下有益效果:解决在通过在片的基础上估计RGB图像的颜色信息特征获得的透射而恢复的图像中发生的块伪影问题。
此外,本发明具有以下有益效果:通过在有雾图像改善处理中执行由于散射光的减少的图像纹理信息补偿和亮度校正来改善恢复图像的纹理和亮度。
附图说明
图1示出有雾图像恢复的方法的示例。
图2示出根据本发明的示例性实施例的单一图像去雾装置。
图3示出根据本发明的示例性实施例的从有雾输入图像310获得的估计的透射图像320、形态学处理的输入图像330、以及通过使用估计的透射图像320和形态学处理的输入图像330获得的改进的透射图像340。
图4示出根据本发明的示例性实施例的当各种平滑控制常量值λ被应用于包括雾的输入图像410时的恢复图像。
图5示出根据本发明的示例性实施例的根据形态学处理的有雾图像的边缘控制常量α的改变的恢复图像。
图6示出根据本发明的示例性实施例的有雾图像的恢复图像和恢复图像的图像处理的最终图像。
图7示出根据本发明的示例性实施例的用于在单一图像中去雾的方法的流程图。
最佳实施方式
根据本发明的一个示例性实施例,用于在单一图像中去雾的装置包括:图像分析单元,被配置为在包括雾成分的输入图像中生成表示基于距离的雾密度的暗通道先验;透射估计单元,被配置为通过基于暗通道先验估计到达拍摄装置的光量来计算估计的透射;透射改进单元,被配置为通过基于估计的透射和形态学处理的输入图像信息应用加权最小二乘法(WLS)滤波来计算改进的透射,其中,改进的透射表示通过在估计的透射中保留边缘信息并去除块伪影而获得的信息;图像恢复单元,被配置为通过基于改进的透射去除输入图像中的雾成分来生成恢复图像。
例如,所述的装置还可包括图像处理单元,被配置为通过将所述恢复图像划分为基本层、中间层和精细层来执行用于改善恢复图像的局部对比度的图像处理。
根据本发明的另一示例性实施例,用于在单一图像中去雾的装置包括:透射估计单元,被配置为通过基于从有雾输入图像生成的暗通道先验估计透射值来计算第一透射;透射改进单元,被配置为基于第一透射和形态学处理的输入图像信息应用WLS滤波来计算用于最小化基于第一透射在图像恢复处理中生成的块伪影的第二透射;图像恢复单元,被配置为通过基于第二透射去除有雾输入图像中的雾成分来生成恢复图像;图像处理单元,被配置为对恢复图像执行多尺度色调操作的图像处理。
根据本发明的另一示例性实施例,用于在单一图像中去雾的方法包括:由图像分析单元在包括雾成分的输入图像中生成表示基于距离的雾密度的暗通道先验;由图像估计单元通过基于暗通道先验估计到达拍摄装置的光量来计算估计的透射;由透射改进单元通过基于估计的透射和形态学处理的输入图像信息应用WLS滤波来计算改进的透射,其中,改进的透射表示通过在估计的透射中保留边缘信息并去除块伪影而获得的信息;由图像恢复单元通过基于改进的透射去除输入图像的雾成分来生成恢复图像。
根据本发明的另一示例性实施例,用于在单一图像中去雾的方法包括:由透射估计单元通过基于从有雾输入图像生成的暗通道先验估计透射值,来计算第一透射;由透射改进单元通过基于第一透射和形态学处理的输入图像信息应用WLS滤波来计算用于最小化基于第一透射在图像恢复处理中生成的块伪影的第二透射;由图像恢复单元通过基于所述第二透射去除有雾输入图像的雾成分来生成恢复图像;由图像处理单元对所述恢复图像执行多尺度色调操作的图像处理。
本发明的实施方式
从以下结合附图的详细描述,根据用于实现以上描述的对象的本发明的涉及位于SAF段的基本流(elementarystream)的方法将变得清楚并且更容易理解。以下,将参照附图详细地描述本发明的示例性实施例。
图1示出在传统的有雾图像恢复处理中发生伪影的现象。在传统的有雾图像恢复处理中,因为以逐个块为基础进行透射(transmission)估计,所以在最终无雾图像中发生伪影现象。具体地说,在通过等式1至等式4在有雾图像110中估计透射之后,存在在恢复的最终图像130的块中发生伪影的现象。
通常,科希米德(Koschmider)模型(诸如,等式1)被广泛地用于表示包括雾的图像。
[等式1]
I(p)=J(p)r(p)+A(1-r(p))
在等式1中,I(p)表示包括雾的输入图像,J(p)表示代表无雾状态的场景辐射,A表示全球大气光源,r(p)表示与输入图像的每个像素对应的估计的透射。透射表示没有色散的情况下到达拍摄装置的光量。
针对图像的R、G和B颜色通道中的每个表示Koschmider模型(诸如,等式1)。通过使用等式1,从包括雾的输入图像I(p)计算全球大气光源A和透射r(p),然后获得场景辐射J(p)。
随着等式1中的透射r(p)减小,输入图像I(p)变成更高雾的图像。此外,随着透射r(p)增大,到对象的距离减小或者雾引起的失真减小。
根据本发明的一个示例性实施例,暗通道先验(DCP)被用于估计等式1中的透射r(p)。然而,在传统的有雾图像处理的方法中,因为仅使用DCP,所以存在在恢复图像中发生伪影的问题(见图1中的131)。
为了解决此问题,根据本发明的一个示例性实施例,DCP被用于获得估计的透射(图1中的120),并另外将加权最小二乘法(WLS)滤波应用于估计的透射值以获得改进的透射,从而解决伪影发生的问题。这将参照图2进行详细地描述。
关于DCP,按照用于在图像中去雾的方法,在无雾干净图像的每个像素周围的预定尺寸的块中的一些像素被这样实现:至少一个颜色通道具有非常小的接近零的值。这被表示为等式2和等式3。
[等式2]
[等式3]
Jdark→0
在等式2中,Jdark表示DCP,Jc表示每个颜色通道的输入图像,Ω表示p像素周围的块(或片)。
当使用等式3时,等式1中的透射r(p)可被修改为等式4。
[等式4]
在等式4中,μ是大约0.95的常量值。
在现有技术中,等式4中的透射以逐个块(121、122、123)(图1中的120)为基础被估计。在此情况下,当无雾图像J(p)(图1中的130)被恢复时,存在这样的问题:在块边界线发生诸如锯齿现象的伪影(131、132)。
作为解决此问题的方案,软抠图(softmatting)算法等被使用。然而,因为软抠图算法是复杂的,并且具有较大的运算量,所以软抠图算法具有另一个问题:在图像分辨率较高时,由于缺少存储容量而不太可能处理。
本发明的一个示例性实施例提供用于解决发生在有雾图像处理过程中的复杂运算和伪影现象的问题的方案。
为此目的,根据本发明的一个示例性实施例,可通过将WLS滤波应用到等式4中获得的透射去除块伪影,然后可在基本层(baselayer)图像中执行亮度控制图像处理,并可在中间层(mediumlayer)图像和精细层(finelayer)图像中执行用于改善局部纹理的图像处理。
以下,在本发明的一个示例性实施例中,为了避免术语之间的混淆,表示通过等式4获得的估计的透射(见图3中的320),而r(p)表示通过WLS滤波最终获得的改进的透射(见图3中的340)。
图2示出根据本发明的示例性实施例的单一图像去雾装置。
参照图2,单一图像去雾装置200包括:图像分析单元210、透射估计单元220、透射改进单元230和图像处理单元250。
图像分析单元210生成表示包括雾成分的输入图像中的基于距离的雾密度的DCP。生成DCP的方法参照等式2和等式3。
透射估计单元220通过应用由图像分析单元210生成的DCP来计算估计的透射计算估计的透射的方法参照等式4。在此情况下,因为估计的透射以逐个块为基础被估计,所以块伪影(见图1中的121、122和123)被包括在其中。
透射改进单元230通过使用形态学处理的输入图像(图3中的330)和由透射估计单元220计算的估计的透射值(图3中的320)来计算改进的透射r(p)。
例如,透射改进单元230通过将WLS滤波应用于由透射估计单元220计算的估计的透射值来去除包括在估计的透射中的块伪影来计算改进的透射r(p)。
透射改进单元230将形态学处理的输入图像(图3中的330)的边缘值设置为应用WLS滤波的处理中的权值。这参照式5至式7。
参照图3,透射改进单元230通过保留输入图像(图3中的310)的边缘值并去除(平滑)估计的透射中生成的块伪影(例如,图3中的321)来计算改进的透射r(p),从而最小化当通过使用估计的透射恢复图像时可能产生的块伪影。
为此目的,在估计的透射中,与形态学处理的输入图像的边缘值相应的区域的边缘值被保留,而其他区域的块伪影被平滑处理。
在本发明的一个示例性实施例中,此处理被称为WLS滤波处理,其中,WLS滤波处理使用式5至式7。
如等式8所示,图像恢复单元240基于改进的透射值r(p)通过去除输入图像中的雾成分来生成恢复图像J(p)。
图像处理单元250在恢复图像J(p)上执行多尺度色调操作的图像处理。如等式10所示,通过经由WLS滤波器平滑的图像之间的差来生成多尺度图像。
具体地说,为了改善等式8中获得的恢复图像J(p)的局部对比度,如等式9所示,通过将恢复图像J(p)划分为基本层、中间层和精细层而来执行图像处理。
图像处理单元250被实施为在基本层图像中执行亮度控制图像处理,并在中间层图像和精细层图像中执行用于改善局部纹理的图像处理。
随后,将参照图6详细地描述图像恢复单元240和图像处理单元250。
图3示出根据本发明的示例性实施例的从有雾输入图像310获得的估计的透射图像320、形态学处理的输入图像330以及通过使用估计的透射图像320和形态学处理的输入图像330获得的改进的透射图像340。
[方程式5]
在方程式5中,p表示每个像素的位置,rp表示改进的透射(图3中的340),表示等式4中计算的估计的透射(图3中的320),λ表示平滑控制常量。
随着λ值增加,输出图像rp(图3中的340)被进一步平滑。参照图4,可以看到随着λ值增加,输出图像rp被进一步平滑。
此外,表示输出图像rp(图3中的340)的横轴和纵轴的一阶微分算子;wx,p(h)、wy,p(h)表示形态学处理的有雾图像(图3中的330)的平滑加权值(被表示为等式6)。此外,平滑加权值wx,p(h)、wy,p(h)被用于对包括块伪影的估计的透射的伪影的平滑等级进行控制。
平滑加权值被应用于图3的估计的透射图像320以保留与形态学处理的有雾图像330的边缘区域331相应的区域,并对估计的透射图像320中的其他区域进行平滑。
根据本发明的一个示例性实施例,获得用于最小化方程式5的目标函数的改进的透射值。为此目的,通过使用形态学处理的输入图像的边缘,将输入图像(估计的透射和图3中的320)与输出图像(改进的透射rp和图3中的340)之间的像素值差最小化并将通过估计的透射在图像恢复处理中生成的块伪影最小化
[等式6]
在等式6中,h表示形态学处理的有雾图像(图3中的330),α表示形态学处理的有雾图像h的边缘控制常量。随着α增大,除与形态学处理的有雾图像330的边缘区域331对应的区域之外的其他区域被进一步平滑。这参照图5。
此外,ε表示为了避免分母被0除的常量值,并可具有大约10-4的值。此外,表示形态学处理的有雾图像(图3中的330)的横轴和纵轴的一阶微分的绝对值。通过微分方程式5,获得如等式7所示的改进的透射r。
[等式7]
在等式7中,Ax、Ay表示平滑加权值wx,p(h)、wy,p(h)的矩阵;Dx、Dy表示的矩阵。在此情况下,A可被实施为使用具有在通过等式2获得的DCP值中高于0.1%之中的最大像素值的像素的值。
当通过方程式5至等式7获得改进的透射r(p)时,根据本发明的一个示例性实施例,无雾恢复图像J(p)可如等式8被获得。在此情况下,A可被实施为使用具有在通过等式2获得的DCP值中高于0.1%之中的最大像素值的像素的值。随后这将参照图6进行描述。
图4示出根据本发明的示例性实施例的在各种平滑控制常量值λ被应用于包括雾的输入图像410时的恢复图像。
随着方程式5中的平滑控制常量λ增大,输出图像rp(图3中的340)被进一步平滑。通过将方程式5至等式7应用于包括雾的输入图像410来恢复图像的示例性情况被作为示例示出。在此情况下,形态学处理的有雾图像的边缘控制常量值α=1.2被使用。
在图4中,在估计的透射410被获得之后,在λ=0.01的情况下的改进的透射430和恢复图像431、在λ=0.1的情况下的改进的透射440和恢复图像441以及在λ=1的情况下的改进的透射450和恢复图像451被示出。可以看出,随着λ增大,改进的透射值被进一步平滑。
图5示出根据本发明的示例性实施例的根据形态学处理的有雾图像的边缘控制常量α的改变的恢复图像。在图5中,平滑控制常量值λ=1被使用。
这里,α是形态学处理的有雾图像的边缘控制常量。随着α增大,除与形态学处理的有雾图像330的边缘区域331相应的区域之外的其他区域被进一步平滑。
在输入图像510的估计的透射520被获得之后,在α=0.01的情况下的改进的透射530和恢复图像531、在α=0.1的情况下的改进的透射540和恢复图像541以及在α=1的情况下的改进的透射550和恢复图像551被示出。随着α增大,除与形态学处理的有雾图像的边缘区域相应的区域之外的其他区域被进一步平滑。
图6示出根据本发明的示例性实施例的有雾图像的恢复图像和恢复图像的图像处理的最终图像。
当改进的透射从有雾输入图像610被获得时,恢复图像J(p)620基于等式8被获得。
[等式8]
在等式8中,r0表示避免分母被0除的常量值,可被实施为使用大约0.1的值。
为了改善等式8中获得的恢复图像J(p)620的局部对比度,图像处理单元(图2中的250)通过将恢复图像J(p)划分为基本层、中间层和精细层通过执行如等式9的图像处理来获得输出图像V630。
[等式9]
在等式9中,Vp表示输出图像,B表示基本层图像,S(δ,dp 1)和S(δ,dp 2)分别表示中间层图像和精细层图像。此外,S()表示S型(sigmoid)函数,δ表示激励(boosting)因数并代表反向透射。在本发明的一个示例性实施例中,反向透射可被实施为使用从0至10改变的值。随着激励因数增大,纹理信息极大地留存在相应的层中。
在等式9中,di表示第i步骤中生成的图像,其中,如等式10获得di。
[等式10]
di=ui-1-ui,i=1,2…,k(k:层的数量)
在本发明的一个示例性实施例中,可设置k=2。
亮度控制图像处理(诸如,伽马(gamma)校正)在基本层图像中被执行,而纹理改善在中间层图像和精细层图像中被执行。为此目的,如等式10所示,使用通过WLS滤波器平滑的图像之间的差值。
具体地说,根据本发明的一个示例性实施例,为了改善恢复图像J(p)的纹理信息和局部对比度,图像处理被执行以在中间层增强带通信号成分和在精细层增强高通信号成分。
图7示出根据本发明的示例性实施例的用于在单一图像中去雾的方法的流程图。
参照图7和图2,图像分析单元210生成表示包括雾成分的输入图像中的基于距离的雾密度的DCP(S710)。生成DCP的方法参照等式2和等式3。
透射估计单元220基于DCP计算估计的透射(S720)。计算估计的透射的方法参照等式4。透射表示到达拍摄装置的光量。因为通过透射估计单元220计算的估计的透射是在等式4中以逐个块为基础被估计的,所以估计的透射包括块伪影。
此后,透射改进单元230通过基于估计的透射和形态学处理的输入图像信息应用WLS滤波来计算改进的透射(S730)。根据本发明的一个示例性实施例,改进的透射表示通过在估计的透射中保留边缘信息并去除块伪影而获得的信息。为此目的,透射改进单元230执行WLS滤波。通过在WLS滤波处理中使用形态学处理的输入图像的边缘信息,形态学处理的输入图像的边缘信息被保留在估计的透射中,除形态学处理的输入图像的边缘区域之外的其他区域被平滑处理。
此后,图像恢复单元240基于改进的透射通过去除输入图像中的雾成分来生成恢复图像(S740)。在此情况下,可通过使用等式1或8生成恢复图像。
此后,图像处理单元250通过对恢复图像执行多尺度图像操作的图像处理来生成最终图像(S750和S760)。这参照等式9和等式10。
本发明还可被实施为在计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是可存储之后可由计算机系统读取的数据的任何存储装置。计算机可读记录介质的示例可包括:只读存储器(ROM)、随机存取存储器(RAM)、致密盘只读存储器(CD-ROM)、磁带、软盘、光学数据存储器。所述计算机可读记录介质也可被分布在联网的计算机系统上,从而所述计算机可读代码以分布式方式被存储和执行。
以上参照附图已经描述了多个示例性实施例。这里的术语仅被用于描述本发明,并不意在限制由权利要求限定的本发明的范围。因此,本领域的技术人员将理解由此的各种改变和其他同等的实施例是可能的。因此,本发明的范围应该由所附的权利要求所限定。
Claims (20)
1.一种用于在单一图像中去雾的装置,所述装置包括:
图像分析单元,被配置为在包括雾成分的输入图像中生成表示基于距离的雾密度的暗通道先验;
透射估计单元,被配置为通过基于暗通道先验估计到达拍摄装置的光量来计算估计的透射;
透射改进单元,被配置为通过基于估计的透射和形态学处理的输入图像信息应用加权最小二乘法(WLS)滤波来计算改进的透射,其中,改进的透射表示通过在估计的透射中保留边缘信息并去除块伪影而获得的信息;
图像恢复单元,被配置为通过基于改进的透射去除输入图像中的雾成分来生成恢复图像。
2.如权利要求1所述的装置,还包括:图像处理单元,被配置为通过将所述恢复图像划分为基本层、中间层和精细层来执行用于改善所述恢复图像的局部对比度的图像处理。
3.如权利要求2所述的装置,其中,所述图像处理单元在基本层中执行亮度控制图像处理。
4.如权利要求2所述的装置,其中,所述图像处理单元执行用于增强中间层的带通信号成分和增强精细层的高通信号成分的图像处理。
5.如权利要求1所述的装置,其中,所述透射改进单元基于形态学处理的输入图像的边缘信息在估计的透射中保留边缘信息并去除块伪影。
6.如权利要求1所述的装置,其中,所述透射改进单元通过使用形态学处理的输入图像的边缘计算用于最小化估计的透射与改进的透射之间的像素值差和最小化通过估计的透射在图像恢复处理中生成的块伪影的改进的透射值。
7.如权利要求1所述的装置,其中,所述透射改进单元通过式来计算改进的透射,其中,p表示每个像素的位置;rp表示改进的透射;表示估计的透射;λ表示平滑控制常量;h表示形态学处理的有雾图像;wx,p(h)、wy,p(h)表示形态学处理的有雾图像的平滑加权值;表示rp的横轴和纵轴的一阶微分算子。
8.如权利要求7所述的装置,其中,形态学处理的有雾图像的平滑加权值wx,p(h)、wy,p(h)被用于在估计的透射中保留与形态学处理的有雾图像的边缘区域相应的区域,并平滑估计的透射的其他区域,并且wx,p(h)、wy,p(h)按照等式来获得,其中,α表示形态学处理的有雾图像h的边缘控制常量,h被实施为随着α增大,对除与形态学处理的有雾图像的边缘区域对应的区域之外的其他区域进行进一步平滑;ε表示为了避免分母被0除的常量值。
9.如权利要求7所述的装置,其中,rp随着λ增大而被进一步平滑。
10.如权利要求1所述的装置,其中,输入图像随着改进的透射值增大而具有更小的雾引起的失真。
11.一种用于在单一图像中去雾的装置,所述装置包括:
透射估计单元,被配置为通过基于从有雾输入图像生成的暗通道先验估计透射值,来计算第一透射;
透射改进单元,被配置为通过基于第一透射和形态学处理的输入图像信息应用加权最小二乘法(WLS)滤波,来计算用于最小化基于第一透射在图像恢复处理中生成的块伪影的第二透射;
图像恢复单元,被配置为通过基于第二透射去除有雾输入图像中的雾成分来生成恢复图像;
图像处理单元,被配置为对恢复图像执行多尺度色调操作的图像处理。
12.如权利要求11所述的装置,其中,所述暗通道先验通过等式被生成,其中,Jdark表示暗通道先验,Jc表示每个颜色通道的输入图像,Ω表示p像素周围的块。
13.如权利要求11所述的装置,其中,所述第二透射是通过基于形态学处理的输入图像的边缘信息在第一透射中保留边缘信息并去除块伪影而获得的值。
14.如权利要求11所述的装置,其中,所述多尺度色调操作的图像处理通过将恢复图像分为基本层、中间层和精细层而被执行。
15.一种用于在单一图像中去雾的方法,所述方法包括:
由图像分析单元在包括雾成分的输入图像中生成表示基于距离的雾密度的暗通道先验;
由图像估计单元通过基于暗通道先验估计到达拍摄装置的光量来计算估计的透射;
由透射改进单元通过基于估计的透射和形态学处理的输入图像信息应用加权最小二乘法(WLS)滤波来计算改进的透射,其中,改进的透射表示通过在估计的透射中保留边缘信息并去除块伪影而获得的信息;
由图像恢复单元通过基于改进的透射去除输入图像的雾成分来生成恢复图像。
16.如权利要求15所述的方法,还包括:由图像处理单元通过将所述恢复图像划分为基本层、中间层和精细层来执行图像处理。
17.如权利要求15所述的方法,其中,计算改进的透射的步骤包括:基于所述形态学处理的输入图像的边缘信息,在估计的透射中保留边缘信息并去除块伪影。
18.如权利要求16所述的方法,其中,执行图像处理的步骤包括:在基本层图像中执行亮度控制图像处理。
19.如权利要求16所述的方法,其中,执行图像处理的步骤包括:执行用于增强中间层中的带通信号成分和增强精细层中的高通信号成分的图像处理。
20.一种用于在单一图像中去雾的方法,所述方法包括:
由透射估计单元通过基于从有雾输入图像生成的暗通道先验估计透射值,来计算第一透射;
由透射改进单元通过基于第一透射和形态学处理的输入图像信息应用加权最小二乘法(WLS)滤波,来计算用于最小化基于第一透射在图像恢复处理中生成的块伪影的第二透射;
由图像恢复单元通过基于所述第二透射去除有雾输入图像的雾成分来生成恢复图像;
由图像处理单元对所述恢复图像执行多尺度色调操作的图像处理。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2013-0060600 | 2013-05-28 | ||
KR1020130060600A KR102104403B1 (ko) | 2013-05-28 | 2013-05-28 | 단일영상 내의 안개 제거 방법 및 장치 |
PCT/KR2014/003144 WO2014193080A1 (ko) | 2013-05-28 | 2014-04-11 | 단일영상 내의 안개 제거 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105474259A true CN105474259A (zh) | 2016-04-06 |
Family
ID=51989064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480030119.1A Pending CN105474259A (zh) | 2013-05-28 | 2014-04-11 | 用于在单一图像中去雾的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9842382B2 (zh) |
KR (1) | KR102104403B1 (zh) |
CN (1) | CN105474259A (zh) |
WO (1) | WO2014193080A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318528A (zh) * | 2014-10-21 | 2015-01-28 | 北京工业大学 | 基于多尺度wls滤波的雾天图像恢复方法 |
CN109064419A (zh) * | 2018-07-12 | 2018-12-21 | 四川大学 | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574407B (zh) * | 2015-01-15 | 2018-04-27 | 华南理工大学 | 基于暗通道优先和解三角形法的绝缘子覆冰监测方法 |
US9508126B2 (en) * | 2015-02-17 | 2016-11-29 | Adobe Systems Incorporated | Image haze removal using fast constrained transmission estimation |
WO2016159884A1 (en) * | 2015-03-30 | 2016-10-06 | Agency For Science, Technology And Research | Method and device for image haze removal |
KR101582779B1 (ko) * | 2015-07-17 | 2016-01-06 | 중앙대학교 산학협력단 | 영상의 파장 적응적 안개 제거 장치 및 방법 |
KR102461144B1 (ko) | 2015-10-16 | 2022-10-31 | 삼성전자주식회사 | 영상 연무 제거 장치 |
KR102268970B1 (ko) | 2017-04-03 | 2021-06-24 | 한화테크윈 주식회사 | 안개 제거 방법 및 이를 적용한 안개 제거 시스템 |
CN108765337B (zh) * | 2018-05-28 | 2021-06-15 | 青岛大学 | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 |
CN111091500B (zh) * | 2018-10-24 | 2024-03-12 | 天津工业大学 | 点光源多散射模型图像复原方法 |
KR101973726B1 (ko) * | 2018-12-27 | 2019-04-30 | 한국건설기술연구원 | 모폴로지컬 필터링을 이용하여 대상지역의 수치표면모델로부터 수치표고모델을 생성하기 위한 방법 및 전자장치 |
KR102151750B1 (ko) | 2019-08-08 | 2020-09-03 | 동아대학교 산학협력단 | 단일 영상에 대한 안개 제거 및 가시성 향상을 위한 장치 및 그 장치의 구동방법 |
KR102149974B1 (ko) | 2019-08-26 | 2020-08-31 | 동아대학교 산학협력단 | 단일 영상의 안개 제거 연산량을 줄인 대기강도추정장치 및 그 장치의 구동방법 |
KR102268027B1 (ko) | 2019-11-29 | 2021-06-23 | 고려대학교 산학협력단 | 딥러닝 기반 영상의 안개 제거 방법, 이를 수행하기 위한 기록 매체 및 장치 |
CN111325688B (zh) * | 2020-02-18 | 2023-05-05 | 西安汇智信息科技有限公司 | 融合形态学聚类优化大气光的无人机图像去雾方法 |
KR20210121508A (ko) | 2020-03-30 | 2021-10-08 | 삼성전자주식회사 | 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템 |
CN111598814B (zh) * | 2020-05-26 | 2024-04-26 | 北京理工大学 | 基于极端散射通道的单图像去雾方法 |
KR20220018748A (ko) | 2020-08-07 | 2022-02-15 | 삼성전자주식회사 | 안개 제거를 위한 영상 처리 방법 및 장치 |
CN112561819A (zh) * | 2020-12-17 | 2021-03-26 | 温州大学 | 一种基于自支持模型的自滤波图像去雾算法 |
CN112927157B (zh) * | 2021-03-08 | 2023-08-15 | 电子科技大学 | 采用加权最小二乘滤波的改进暗通道去雾方法 |
CN113112429B (zh) * | 2021-04-27 | 2024-04-16 | 大连海事大学 | 一种用于复杂光照条件下有雾图像的通用增强框架 |
KR20230144838A (ko) | 2022-04-08 | 2023-10-17 | 한화오션 주식회사 | 화이트 채널 프라이어를 활용한 단일 영상의 안개제거방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100040300A1 (en) * | 2008-08-18 | 2010-02-18 | Samsung Techwin Co., Ltd. | Image processing method and apparatus for correcting distortion caused by air particles as in fog |
US20100322478A1 (en) * | 2009-06-15 | 2010-12-23 | Denso Corporation | Restoration apparatus for weather-degraded image and driver assistance system |
KR20110050775A (ko) * | 2009-11-09 | 2011-05-17 | 리누딕스 주식회사 | Cctv 영상 화질 개선 장치 |
CN102750674A (zh) * | 2012-04-26 | 2012-10-24 | 长春理工大学 | 基于自适应容差的视频图像去雾方法 |
WO2013018101A1 (en) * | 2011-08-03 | 2013-02-07 | Indian Institute Of Technology, Kharagpur | Method and system for removal of fog, mist or haze from images and videos |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7194143B2 (en) * | 2002-04-26 | 2007-03-20 | Pegasus Imaging Corporation | Method of enhancement of the visual display of images and other visual data records |
EP2051524A1 (en) * | 2007-10-15 | 2009-04-22 | Panasonic Corporation | Image enhancement considering the prediction error |
KR100987786B1 (ko) | 2008-07-23 | 2010-10-13 | (주)에이치엠씨 | 연기검출을 이용한 화재감지 시스템 |
WO2012122423A1 (en) * | 2011-03-10 | 2012-09-13 | Dolby Laboratories Licensing Corporation | Pre-processing for bitdepth and color format scalable video coding |
KR20110005077A (ko) * | 2009-07-09 | 2011-01-17 | 임경원 | 2축 힌지장치 및 이를 구비한 휴대용 단말기 |
WO2011046607A2 (en) * | 2009-10-14 | 2011-04-21 | Thomson Licensing | Filtering and edge encoding |
US9230312B2 (en) * | 2010-01-27 | 2016-01-05 | Adobe Systems Incorporated | Methods and apparatus for performing tone mapping on high dynamic range images |
US8340461B2 (en) * | 2010-02-01 | 2012-12-25 | Microsoft Corporation | Single image haze removal using dark channel priors |
US8588551B2 (en) * | 2010-03-01 | 2013-11-19 | Microsoft Corp. | Multi-image sharpening and denoising using lucky imaging |
KR101190286B1 (ko) * | 2011-01-05 | 2012-10-12 | 중앙대학교 산학협력단 | 에지 정보 및 톤 매핑을 기반으로 한 영상의 안개제거 장치 및 방법 |
KR101292421B1 (ko) | 2011-08-05 | 2013-08-01 | 경희대학교 산학협력단 | 단위 블록별 안개 영상 보상 방법 |
CN102999883B (zh) * | 2011-09-08 | 2016-03-02 | 富士通株式会社 | 图像去雾方法和系统 |
EA017302B1 (ru) * | 2011-10-07 | 2012-11-30 | Закрытое Акционерное Общество "Импульс" | Способ подавления шума серий цифровых рентгенограмм |
CN103999466B (zh) * | 2011-12-17 | 2017-08-15 | 杜比实验室特许公司 | 多层交错帧相容增强分辨率视频传输 |
-
2013
- 2013-05-28 KR KR1020130060600A patent/KR102104403B1/ko active IP Right Grant
-
2014
- 2014-04-11 WO PCT/KR2014/003144 patent/WO2014193080A1/ko active Application Filing
- 2014-04-11 US US14/888,852 patent/US9842382B2/en active Active
- 2014-04-11 CN CN201480030119.1A patent/CN105474259A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100040300A1 (en) * | 2008-08-18 | 2010-02-18 | Samsung Techwin Co., Ltd. | Image processing method and apparatus for correcting distortion caused by air particles as in fog |
US20100322478A1 (en) * | 2009-06-15 | 2010-12-23 | Denso Corporation | Restoration apparatus for weather-degraded image and driver assistance system |
KR20110050775A (ko) * | 2009-11-09 | 2011-05-17 | 리누딕스 주식회사 | Cctv 영상 화질 개선 장치 |
WO2013018101A1 (en) * | 2011-08-03 | 2013-02-07 | Indian Institute Of Technology, Kharagpur | Method and system for removal of fog, mist or haze from images and videos |
CN102750674A (zh) * | 2012-04-26 | 2012-10-24 | 长春理工大学 | 基于自适应容差的视频图像去雾方法 |
Non-Patent Citations (4)
Title |
---|
DUBOK PARK ET AL: "Single image haze removal with WLS-based edge-preserving smoothing filter", 《2013 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS,SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
KAIMING HE ET AL: "Single Image Haze Removal Using Dark Channel Prior", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
LUC VINCENT ET AL: "Morphological Gray scale Reconstruction in Image Analysis: Applications and Efficient Algorithms", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
ZEEV FARBMAN ET AL: "Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation", 《ACM TRANSACTIONS ON GRAPHICS》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318528A (zh) * | 2014-10-21 | 2015-01-28 | 北京工业大学 | 基于多尺度wls滤波的雾天图像恢复方法 |
CN109064419A (zh) * | 2018-07-12 | 2018-12-21 | 四川大学 | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2014193080A1 (ko) | 2014-12-04 |
KR20140142381A (ko) | 2014-12-12 |
US20160063684A1 (en) | 2016-03-03 |
US9842382B2 (en) | 2017-12-12 |
KR102104403B1 (ko) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105474259A (zh) | 用于在单一图像中去雾的方法和装置 | |
Singh et al. | A comprehensive review of computational dehazing techniques | |
CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
US8396324B2 (en) | Image processing method and apparatus for correcting distortion caused by air particles as in fog | |
US9197789B2 (en) | Method and system for removal of fog, mist, or haze from images and videos | |
Park et al. | Single image dehazing with image entropy and information fidelity | |
CN111968054B (zh) | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
Singh et al. | A novel dehazing model for remote sensing images | |
CN102750674A (zh) | 基于自适应容差的视频图像去雾方法 | |
US20140079319A1 (en) | Methods for enhancing images and apparatuses using the same | |
JP4456819B2 (ja) | デジタル画像鮮鋭化装置 | |
Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
Yang et al. | Visibility restoration of single image captured in dust and haze weather conditions | |
CN110009574B (zh) | 一种低动态范围图像逆向生成高动态范围图像的方法 | |
KR20140017776A (ko) | 영상 처리 장치 및 영상 내의 안개 제거 방법 | |
Meng et al. | A hybrid algorithm for underwater image restoration based on color correction and image sharpening | |
Kaplan | Real-world image dehazing with improved joint enhancement and exposure fusion | |
Liang et al. | Learning to remove sandstorm for image enhancement | |
CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
CN106709876B (zh) | 一种基于暗像元原理的光学遥感图像去雾方法 | |
Muniraj et al. | Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter | |
CN117830134A (zh) | 基于混合滤波分解和图像融合的红外图像增强方法及系统 | |
Hong et al. | Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches | |
CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160406 |