CN106462954A - 图像处理系统及计算机可读记录介质 - Google Patents
图像处理系统及计算机可读记录介质 Download PDFInfo
- Publication number
- CN106462954A CN106462954A CN201580031509.5A CN201580031509A CN106462954A CN 106462954 A CN106462954 A CN 106462954A CN 201580031509 A CN201580031509 A CN 201580031509A CN 106462954 A CN106462954 A CN 106462954A
- Authority
- CN
- China
- Prior art keywords
- frame
- haze
- value
- haze concentration
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 claims description 49
- 238000009795 derivation Methods 0.000 claims description 34
- 238000007789 sealing Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 53
- 238000005286 illumination Methods 0.000 description 45
- 238000002834 transmittance Methods 0.000 description 37
- 239000000203 mixture Substances 0.000 description 33
- 238000004501 airglow Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 7
- 239000003595 mist Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
需要一种更恰当地从图像内去除雾霾的技术。提供一种图像处理系统,包括:雾霾浓度估计部,推导动画中包含的多个帧中一个帧的雾霾浓度的估计值;参数调整部,根据一个帧的雾霾浓度的估计值、一个帧与一个帧的先前帧的关系,调整一个帧的除雾霾处理所用的参数;以及除雾霾部,基于由参数调整部调整的参数对一个帧执行除雾霾处理。
Description
技术领域
本发明涉及一种图像处理系统及计算机可读记录介质。本申请在美国是国际申请PCT/JP2014/003131(申请日:2014年6月12日)的部分继续申请,并且是国际申请PCT/JP2015/056086(申请日:2015年3月2日)的部分继续申请。
背景技术
已知一种基于大气模型去除图像内的雾霾的技术(例如,参照专利文献1)。
现有技术文献
专利文献1:日本专利特开2012-168936号公报
发明内容
发明要解决的问题:
需要一种更恰当地从图像内去除雾霾的技术。
解决问题的方案:
根据本发明的第一方式提供一种图像处理系统。上述图像处理系统可以具有推导动画中包含的多个帧中一个帧的雾霾浓度的估计值的雾霾浓度估计部。上述图像处理系统可以具有参数调整部,根据所述一个帧的雾霾浓度的估计值、所述一个帧与所述一个帧的先前帧的关系,调整所述一个帧的除雾霾处理所用的参数。上述图像处理系统可以具有基于由所述参数调整部调整的所述参数对所述一个帧执行除雾霾处理的除雾霾部。
上述参数调整部可以将所述一个帧的雾霾浓度的估计值作为所述一个帧的雾霾浓度目标值,调整所述一个帧的除雾霾处理所用的参数,从而所述先前帧中被调整的所述参数逐步接近所述雾霾浓度目标值。上述图像处理系统可以具有判断所述一个帧是否是进行了场景变换的帧的场景变换判断部,上述场景变换判断部可以当在所述一个帧与所述先前帧的关系中判断出所述一个帧是进行了场景变换的帧时,所述参数调整部增大逐步接近所述雾霾浓度目标值的步幅。上述图像处理系统可以进一步包括:估计所述雾霾浓度的估计值的可靠性的雾霾可靠性估计部、取得所述先前帧的雾霾浓度目标值的目标值取得部、将上述目标值取得部取得的上述先前帧的上述雾霾浓度目标值、上述雾霾浓度估计部推导的上述一个帧的雾霾浓度的估计值的任意之一确定为上述一个帧的雾霾浓度目标值的目标值确定部、推导由上述目标值确定部确定的上述一个帧的雾霾浓度目标值与上述一个帧的先前帧的除雾霾处理所用的参数之差的绝对值的差分绝对值推导部。上述参数调整部可以以所述可靠性、所述差的绝对值、所述一个帧是否为进行了场景变换的帧所对应的调整量来调整所述一个帧的除雾霾处理所用的参数,从而所述先前帧的除雾霾处理所用的参数逐步接近由所述目标值确定部确定的所述一个帧的雾霾浓度目标值。上述参数调整部当判断出所述一个帧为进行了场景变换的帧时,可以以第一调整量调整所述参数;当判断出所述一个帧不是进行了场景变换的帧时,所述估计值的可靠性大于第一阈值且所述差的绝对值大于第二阈值时,可以以少于所述第一调整量的第二调整量调整所述参数;当判断出所述一个帧不是进行了场景变换的帧且所述估计值的可靠性小于所述第一阈值或者所述差的绝对值小于所述第二阈值时,可以以少于所述第二调整量的第三调整量调整所述参数。
上述图像处理系统可以进一步包括雾霾可靠性估计部,估计所述雾霾浓度的估计值的可靠性;当所述雾霾可靠性估计部在所述一个帧中判断出所述雾霾浓度的估计值不可靠时,所述参数调整部可以调整所述一个帧的除雾霾处理所用的参数,从而逐步接近在所述先前帧的时刻设定的目标值。上述图像处理系统可以进一步具有:估计所述雾霾浓度的估计值的可靠性的雾霾可靠性估计部、取得所述先前帧的雾霾浓度目标值的目标值取得部、基于所述雾霾可靠性估计部估计出的所述可靠性,确定是否将所述目标值取得部取得的所述先前帧的所述雾霾浓度目标值、所述雾霾浓度估计部推导出的所述一个帧的雾霾浓度的估计值的任意之一用于调整所述一个帧的除雾霾处理所用的参数的目标值确定部。上述图像处理系统可以进一步包括差分绝对值推导部,推导所述目标值取得部取得的所述先前帧的雾霾浓度目标值与所述雾霾浓度估计部推导出的所述一个帧的所述雾霾浓度的估计值之差的绝对值;上述目标值确定部当所述一个帧是进行了场景变换的帧时,和所述一个帧不是进行了场景变换的帧、所述估计值的可靠性大于第一阈值且所述差的绝对值大于第二阈值时,可以确定将所述一个帧的雾霾浓度的估计值用于调整所述一个帧的除雾霾处理所用的参数;所述一个帧不是进行了场景变换的帧,所述估计值的可靠性小于所述第一阈值或者所述差的绝对值小于所述第二阈值时,可以确定将所述先前帧的雾霾浓度目标值用于调整所述一个帧的除雾霾处理所用的参数。
根据本发明的第二方式提供了一种图像处理系统。上述图像处理系统可以具有推导图像的至少一部分区域的亮度的评估值的亮度评估值推导部。上述图像处理系统可以具有推导图像的至少一部分区域的饱和度的评估值的饱和度评估值推导部。上述图像处理系统可以具有推导图像的至少一部分区域的对比度的评估值的对比度评估值推导部。上述图像处理系统可以具有基于上述亮度的评估值、上述饱和度的评估值及上述对比度的评估值推导上述图像的雾霾浓度的估计值的雾霾浓度估计部。
上述图像处理系统可以具体有从上述图像中提取既非平坦也非强边的像素的第一像素提取部,上述雾霾浓度估计部可以基于由上述第一像素提取部提取的上述既非平坦也非强边的像素的亮度的评估值、饱和度的评估值及对比度的评估值推导上述雾霾浓度的估计值。
根据本发明的第三方式,提供一种图像处理系统。上述图像处理系统可以具有从图像中提取既非平坦也非强边的像素的第一像素提取部。而且,上述图像处理系统可以具有基于由上述第一像素提取部提取的上述既非平坦也非强边的像素的亮度的评估值、饱和度的评估值及对比度的评估值的至少两个推导上述图像的雾霾浓度的估计值的雾霾浓度估计部。
上述亮度的评估值可以是上述区域的平均亮度值。上述饱和度的评估值可以是上述区域的平均饱和度值。上述对比度的评估值可以是上述区域的对比度值。上述雾霾浓度估计部可以推导出上述平均亮度值越高则值越高的上述雾霾浓度的估计值。上述雾霾浓度估计部可以推导出上述平均饱和度值越低则值越高的上述雾霾浓度的估计值。上述雾霾浓度估计部可以推导出上述对比度值越低则值越高的上述雾霾浓度的估计值。上述图像可以为包含多个帧的动画,上述图像处理系统可以具有:提取在上述多个帧中的一个帧中饱和度高于预定阈值的高饱和度像素的高饱和度像素提取部、推导表示在上述一个帧中上述高饱和度像素的比例的高饱和度像素率的高饱和度像素率推导部、根据上述高饱和度像素率是否高于预定阈值并基于不同的标准来判断上述图像中是否含有场景变换的场景变换判断部。上述图像处理系统可以具有基于上述一个帧中的上述高饱和度像素率和上述一个帧的平均亮度值推导上述一个帧的上述雾霾浓度的估计值的可靠性的可靠性推导部。上述图像处理系统可以具有基于上述可靠性推导部推导出的上述一个帧的雾霾浓度的估计值的可靠性和表示上述一个帧是否为进行了场景变换的帧的场景变换标志来调整对上述一个帧进行除雾霾处理所用的参数的参数调整部。
上述图像处理系统可以具有:推导上述图像的多个像素的每一个的雾霾浓度所对应的透光率的透光率推导部、基于上述雾霾浓度的估计值及上述透光率对上述图像执行除雾霾处理的除雾霾部。上述图像处理系统可以具有从上述图像中提取既非平坦也非强边的像素的第二像素提取部,上述除雾霾部可以基于由上述第二像素提取部提取的上述既非平坦也非强边的像素在上述图像中的比例,确定是否执行上述除雾霾处理。
根据本发明的第四方式提供了一种图像处理系统。上述图像处理系统可以具有从动画中包含的多个帧中的一个帧中提取饱和度高于预定阈值的高饱和度像素的高饱和度像素提取部。上述图像处理系统可以具有推导表示上述一个帧中上述高饱和度像素的比例的高饱和度像素率的高饱和度像素率推导部。上述图像处理系统可以具有根据上述一个帧中上述高饱和度像素率是否高于预定阈值并基于不同的标准来判断上述动画中是否包含场景变换的场景变换判断部。
上述场景变换判断部可以当上述高饱和度像素率高于上述阈值时,基于上述一个帧的色调和上述一个帧的先前帧的色调,判断上述图像中是否包含有场景变换。上述场景变换判断部可能当上述高饱和度像素率为等于或低于上述阈值时,基于上述一个帧的高饱和度像素率和上述一个帧的先前帧的高饱和度像素率,判断上述图像中是否包含有场景变换。上述图像处理系统可以具有:取得上述一个帧的雾霾浓度的估计值的雾霾浓度估计值取得部、基于上述一个帧中的上述高饱和度像素率以及上述一个帧的平均亮度值来推导上述雾霾浓度的估计值的可靠性的可靠性推导部。上述可靠性推导部可以当上述估计值高于预定阈值时,推导出上述平均亮度值越大则越高的可靠性,且推导出上述高饱和度像素率越低则越高的可靠性。上述可靠性推导部可以当上述估计值为等于或低于预定阈值时,推导出上述平均亮度值越小则越高的可靠性,且推导出上述高饱和度像素率越高则越高的可靠性。
上述图像处理系统可以具有:取得雾霾浓度目标值的目标值取得部、以及基于上述可靠性推导部推导出的上述可靠性,确定是否使用上述目标值取得部取得的上述雾霾浓度目标值和上述雾霾浓度估计值取得部取得的上述雾霾浓度的估计值中的任一个来调整除雾霾处理所用的参数的目标值确定部。上述图像处理系统可以具有推导上述目标值取得部取得的雾霾浓度目标值与上述雾霾浓度估计值取得部取得的上述雾霾浓度的估计值之差的绝对值的差分绝对值推导部,上述目标值确定部可以基于上述估计值的可靠性及上述差的绝对值、或上述表示一个帧是否为进行了场景变换的帧的场景变换标志,确定是否使用上述目标值取得部取得的上述雾霾浓度目标值和上述雾霾浓度估计值取得部取得的上述雾霾浓度的估计值中的任一个来调整除雾霾处理所用的参数。
上述图像处理系统可以具有调整上述一个帧的除雾霾处理所用的参数,从而逐步接近由上述目标值确定部确定的上述雾霾浓度目标值或上述雾霾浓度的估计值所对应的值的参数调整部。上述参数调整部可以以由上述目标值确定部确定的上述雾霾浓度目标值或上述雾霾浓度的估计值与上述一个帧的先前帧的除雾霾处理所用的参数之差的绝对值、上述雾霾浓度的估计值的可靠性、及表示上述一个帧是否为进行了场景变换的场景变换标志相应的调整量来调整上述除雾霾处理所用的参数,从而逐步接近由上述目标值确定部确定的上述雾霾浓度目标值或上述雾霾浓度的估计值所对应的值。
根据本发明的第五方式,提供一种图像处理系统。上述图像处理系统可以具有取得图像的雾霾浓度的雾霾浓度取得部。上述图像处理系统可以具有基于上述雾霾浓度对上述图像的反射率成分和上述图像的照明光成分实施除雾霾度各不相同的除雾霾处理的去除处理部。上述图像处理可以具有将实施了上述除雾霾处理的上述反射率成分及上述照明光成分进行合成的合成部。上述去除处理部可以以气辉中所含反射率成分能够近似于没有为前提,使用雾霾图像的大气模型和Retinex理论对上述图像的反射率成分和上述图像的照明光成分实施除雾霾度各不相同的除雾霾处理。上述去除处理部可从进一步地以仅能对上述照明光成分适用上述雾霾图像的大气模型为前提,使用雾霾图像的大气模型和Retinex理论对上述图像的反射率成分和上述图像的照明光成分实施除雾霾度各不相同的除雾霾处理。
根据本发明的第六方式,提供一种计算机可读记录介质,记录有使计算机作为上述图像处理系统而发挥功能的程序。
另外,上述发明内容并未列举出本发明的全部可能特征,所述特征组的子组合也有可能构成发明。
附图说明
图1示意性显示图像处理系统100的功能结构的一例。
图2示意性显示雾霾浓度估计部200的功能结构的一例。
图3为用于说明平坦&强边像素的提取处理的图。
图4A示意性显示加权图240的一例。
图4B示意性显示加权图242的一例。
图5为用于对柱状图值进行说明的图。
图6示意性显示场景控制部300的功能结构的一例。
图7示意性显示场景变换判断部310的功能结构的一例。
图8示意性显示雾霾可靠性估计部330的功能结构的一例。
图9示意性显示加权图352的一例。
图10示意性显示加权图354的一例。
图11示意性显示除雾霾参数调整部360的功能结构的一例。
图12示意性显示除雾霾部400的功能结构的一例。
具体实施方式
以下通过发明实施方式对本发明进行说明,但以下实施方式并不是要限定权利要求书中的所述发明。而且,实施方式中所说明的全部特征组合未必是发明解决方案所必须的。
图1示意性显示图像处理系统100的功能结构的一例。本实施方式所述图像处理系统100可以是去除输入图像中包含的雾霾进行显示的显示装置。雾霾(Haze)包括由微粒子使能见度变差的大气现象的总称。例如,雾霾包含:雾、霭、薄雾、烟、粉尘、砂尘、雨及雪等。显示装置可以为液晶显示器、等离子显示器及有机EL显示器等。
图像处理系统100包括:图像输入部110、显示部120、雾霾浓度估计部200、场景控制部300及除雾霾部400。图像输入部110输入图像。图像可以为动画或静止图,或者是动画中包含的帧。图像输入部110可以输入RGB数据、YUV数据或HSV数据。图像处理系统100可以将所输入的YUV数据转换为RGB数据。
雾霾浓度估计部200推导出所输入的每个图像的雾霾浓度的估计值。图像的雾霾浓度是指图像中包含的雾霾的浓度。例如,当对同一空间进行拍摄时,空间中雾霾浓度较高时与空间中雾霾浓度较低时相比,图像的雾霾浓度更高。
场景控制部300判断所输入的动画中是否含有场景变换。场景控制部300可以基于所输入的动画是否含有场景变换来生成用于除雾霾处理的参数。除雾霾部400从所输入的图像中去除雾霾。除雾霾部400可以使用由场景控制部300生成的参数来从所输入的图像中去除雾霾。显示部120对由除雾霾部400去除了雾霾的图像进行显示。
例如,场景控制部300当在动画中未检测出场景变换时,为了在横跨多个帧上逐步地改变除雾霾的强度而生成用于除雾霾处理的参数。然后,除雾霾部400通过使用场景控制部300生成的参数,当在动画中未检测到场景变换时,在横跨多个帧上逐步地改变除雾霾的强度。从而能够防止由于除雾霾而使图像发生剧烈变化,即能够抑制被称为闪烁现象的发生。
另外,例如,场景控制部300当在动画中检测出场景变换时,为了横跨比在动画中未检测出场景变换时更少数量的帧上逐步地改变除雾霾的强度而生成用于除雾霾处理的参数。然后、除雾霾部400通过使用场景控制部300生成的参数,当在动画中检测出场景变换时,横跨比在动画中未检测出场景变换时更少数量的帧上逐步地改变除雾霾的强度。
需要说明的是,图像处理系统100也可以不具备场景控制部300。此时,除雾霾部400基于由雾霾浓度估计部200推导出的图像的雾霾浓度的估计值从所输入的图像中去除雾霾。据此,基于由雾霾浓度估计部200估计的雾霾浓度能够实现高精度的除雾霾处理。
图2示意性显示雾霾浓度估计部200的功能结构的一例。雾霾浓度估计部200包括:平坦&强边像素提取部202、平均亮度计算部204、平均饱和度计算部206、对比度计算部208、最大饱和度取得部210、权重取得部212、雾霾浓度计算部214、工具图像判断部216及选择器218。
平坦&强边像素提取部202从由图像输入部110输入的图像中提取既非平坦也非强边的像素。平坦&强边像素提取部202例如从图像中提取平坦或强边的像素,通过将所提取的像素从该图像中除外,从而提取既非平坦也非强边的像素。平坦&强边像素提取部202可以为第一像素提取部的一例。
平均亮度计算部204算出既非平坦也非强边的像素的平均亮度值(有时记为AVEY)。平均亮度值可以为亮度的评估值的一例。平均亮度计算部204可以为亮度评估值推导部的一例。
平均饱和度计算部206算出既非平坦也非强边的像素的平均饱和度值(有时记为AVES)。平均饱和度值可以为饱和度的评估值的一例。平均饱和度计算部206可以为饱和度评估值推导部的一例。
对比度计算部208算出既非平坦也非强边的像素的对比度值。对比度值可以为对比度的评估值的一例。对比度计算部208可以为对比度评估值推导部的一例。
对比度计算部208可以生成既非平坦也非强边的像素的柱状图。对比度计算部208可以生成任意组数(bin数)的柱状图。然后、对比度计算部208可以从生成的柱状图的最大值中减去最小值来算出柱状图宽度(有时记为HISTWIDTH)。此时,对比度计算部208可以在多个组中其值超过阈值的组中的最大值中减去最小值。
HISTWIDTH可以为对比度值的一例。对比度计算部208可以将柱状图的组数作为柱状图的最大宽度(有时记为MAXWIDTH)进行输出。
最大饱和度取得部210取得图像处理系统100中的最大饱和度(有时记为MAXS)。权重取得部212取得用于计算图像的雾霾浓度时的加权值(有时记为coef)。权重取得部212例如取得由图像处理系统100的制造者或使用者指定的coef。
雾霾浓度计算部214算出图像的雾霾浓度的估计值(有时记为Strength)。雾霾浓度计算部214可以基于既非平坦也非强边的像素的亮度的评估值、饱和度的评估值及对比度的评估值算出Strength。
雾霾浓度计算部214可以基于由平均亮度计算部204算出的平均亮度值、由平均饱和度计算部206算出的平均饱和度值、由对比度计算部208算出的对比度值算出Strength。雾霾浓度计算部214可以通过将平均亮度值、平均饱和度值、对比度值进行相乘来算出Strength。雾霾浓度计算部214可以将从平均饱和度值和最大饱和度中减去平均饱和度值后的值与从柱状图的最大宽度减去对比度值后的值相乘。
此时,雾霾浓度计算部214可以对平均亮度值进行加权。例如,雾霾浓度计算部214可以进行值越高则值变得越高、值越低则值变得越低的加权。另外,雾霾浓度计算部214也可以对平均饱和度值进行加权。例如,雾霾浓度计算部214可以进行值越高则值变得越高、值越低则值变得越低的加权。
雾霾浓度计算部214例如通过下述公式1计算出Strength。
[式1]
Strength=coef×(MAXWIDTH-HISTWIDTH+1)×(AVEY+1)×(MAXS-AVES+1)
据此,雾霾浓度计算部214能够当平均亮度值越高时推导出高值的雾霾浓度的估计值,能够当平均饱和度值越低时推导出高值的雾霾浓度的估计值,能够当对比度值越低时推导出高值的雾霾浓度的估计值。由于当图像的雾霾浓度高时,图像的对比度低、平均亮度高且平均饱和度低这一假设成立,因此通过雾霾浓度计算部214能够算出反映雾霾的特征的更高精度的雾霾浓度的估计值。
工具图像判断部216判断所输入的图像是否为工具图像。工具图像例如为设定显示部120的显示参数的图像及设定图像的显示参数的图像等。
例如,当显示部120在显示监控摄像机影像期间,在监控摄像机影像内发生雾霾时,优选由除雾霾部400执行除雾霾处理。另一方面,当显示部120在显示监控摄像机影像期间、监控摄像机影像的查看者为改变显示参数的设定而显示工具图像时,对该工具图像执行除雾霾处理的话,使图像过度变暗,从而导致发生闪烁。
因此,本实施方式所述雾霾浓度估计部200当所输入的图像被判断为工具图像时,输出0作为雾霾浓度的估计值,当所输入的图像未被判断为工具图像时,控制输出由雾霾浓度计算部214算出的Strength。
具体地,选择器218接收由雾霾浓度计算部214算出的Strength和由工具图像判断部216得出的工具图像判断结果,当所输入的图像不是工具图像时,将Strength输出给场景控制部300或除雾霾部400,当所输入的图像是工具图像时,将0输出给场景控制部300或除雾霾部400。据此,除雾霾部400能够判别出所输入的图像是工具图像。当所输入的图像是工具图像时,除雾霾部400可以确定不执行除雾霾处理。另外,雾霾浓度估计部200也可以输出较低值的估计值来代替输出0。例如,雾霾浓度估计部200输出比由雾霾浓度计算部214算出的Strength的最小值更低值的估计值。
工具图像判断部216可以基于由平坦&强边像素提取部202提取的既非平坦也非强边的像素来判断所输入的图像是否为工具图像。此处,平坦&强边像素提取部202可以依照与提取对平均亮度计算部204、平均饱和度计算部206及对比度计算部208输出的既非平坦也非强边的像素的第一标准不同的第二标准来提取对工具图像判断部216输出的既非平坦也非强边的像素。第二标准可以是与第一标准相比,难以被判断为既非平坦也非强边的像素的标准。平坦&强边像素提取部202可以为第二像素提取部的一例。
工具图像判断部216可以当从平坦&强边像素提取部202收到的既非平坦也非强边的像素相对于所输入图像的全部像素的比例为等于或低于预定阈值时判断为不是工具图像,当大于预定阈值时判断为是工具图像。
另外,工具图像判断部216可以当依照第二标准所提取的平坦或强边的像素相对于依照第一标准所提取的平坦或强边的像素的比例为等于或低于预定阈值时,判断为是工具图像,当大于预定阈值时判断为不是工具图像。
需要说明的是,并不限于工具图像,当所输入的图像中是既非平坦也非强边的像素的比例为小图像时,也可以由工具图像判断部216判断为其他类型的图像。例如,可以由工具图像判断部216判断所输入的图像是否为显示部120的整个显示区域中图像显示区域以外区域的比例高的图像。工具图像判断部216可以为除雾霾处理对象判断部的一例,判断所输入的图像是否是执行除雾霾处理的对象。
需要说明的是,此处以平均亮度计算部204、平均饱和度计算部206及对比度计算部208计算既非平坦也非强边的像素的平均亮度值、平均饱和度值及对比度值的情形为例进行的举例说明,但并不限于此。平均亮度计算部204、平均饱和度计算部206及对比度计算部208也可以计算所输入图像的整体的平均亮度值、平均饱和度值及对比度值。另外,平均亮度计算部204、平均饱和度计算部206及对比度计算部208也可以计算所输入图像的一部分的平均亮度值、平均饱和度值及对比度值。
图3为用于说明平坦&强边像素的提取处理的一例的图。平坦&强边像素提取部202当判断关注像素230是否为平坦或强边时,首先针对以关注像素230为中心的横竖各七个像素取得像素值的最大值及最小值。
然后,平坦&强边像素提取部202针对竖方向的七个像素及横方向的七个像素中的每个,计算出从最大值中减去最小值后的值。然后,平坦&强边像素提取部202在竖方向及横方向的至少一方上,当从最大值中减去最小值后的值为等于或低于第一阈值以及等于或高于比第一阈值大的第二阈值时,将关注像素230作为平坦或强边的像素。
需要说明的是,竖方向的像素数及横方向的像素数也可以为七个像素以外的像素数。而且,平坦&强边像素提取部202当依照第一标准提取平坦或强边的像素时,可以使用第一阈值及第二阈值;当依照第二标准提取平坦或强边的像素时,也可以使用大于第一阈值且小于第二阈值的第三阈值和大于第三阈值且小于第二阈值的第四阈值。
图4A示意性显示加权图240的一例。而且,图4B示意性显示加权图242的一例。加权图240表示雾霾浓度计算部214对平均亮度值进行加权时使用的加权值的一例。图4A及图4B中例示了输入信号为10bit的情形。雾霾浓度计算部214通过依照加权图240对平均亮度值进行加权,能够进行平均亮度值越高则值变得越高、平均亮度值越低则值变得越低的加权。
雾霾浓度计算部214当在对平均饱和度值进行加权时也可以使用加权图240。雾霾浓度计算部214当在对平均亮度值进行加权时以及在对平均饱和度值进行加权时,既可以使用值相同的加权图240,也可以使用值不同的加权图240。例如,当对平均亮度值的加权比平均饱和度值更重时,如加权图242所示,雾霾浓度计算部214可以使用加权变得更重的加权图242来对平均亮度值进行加权。
图5为用于针对柱状图值进行说明的图。图5例示了柱状图的组数为16时的情形。如图5所示,对比度计算部208可以通过从多个中其值超过阈值的组的最大值中减去最小值来计算HISTWIDTH。
图6示意性显示场景控制部300的功能结构的一例。场景控制部300具有场景变换判断部310、雾霾可靠性估计部330及除雾霾参数调整部360。
场景变换判断部310判断由图像输入部110输入的动画中是否包含场景变换。场景变换判断部310可以针对动画中包含的多个帧的每一个关联有表示是否为进行了场景变换的帧的场景变换标志。
雾霾可靠性估计部330针对由图像输入部110输入的动画中包含的帧估计从雾霾浓度估计部200输出的Strength的可靠性。
除雾霾参数调整部360调整对动画中所包含的多个帧进行除雾霾处理所用的参数,输出给除雾霾部400。除雾霾参数调整部360可以根据一个帧与该一个帧的先前帧的关系来调整该一个帧的除雾霾处理所用的参数。除雾霾参数调整部360可以基于雾霾可靠性估计部330估计的可靠性和场景变换判断部310生成的场景变换标志来调整对动画中包含的多个帧进行除雾霾处理所用的参数,输出给除雾霾部400。
图7示意性显示场景变换判断部310的功能结构的一例。场景变换判断部310具有:高饱和度像素提取部312、色调柱状图生成部314、高饱和度像素率测量部316、平坦&强边像素提取部318、平均亮度计算部320、平均饱和度计算部322及判断处理部324。
高饱和度像素提取部312从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取高饱和度像素。高饱和度像素可以是其饱和度高于预定阈值的像素。高饱和度像素提取部312当接收到RGB数据时,可以针对帧中包含的多个像素的每一个,将R成分、G成分及B成分的最大值和最小值之差为等于或高于预定阈值的像素作为高饱和度像素进行提取。而且,高饱和度像素提取部312当接收到HSV数据时,可以针对帧中包含的多个像素的每一个,将S成分为等于或高于预定阈值的像素作为高饱和度像素进行提取。
色调柱状图生成部314针对由高饱和度像素提取部312提取的高饱和度像素生成色调的柱状图(有时记为HueHIST)。需要说明的是,此处以色调柱状图生成部314针对由高饱和度像素提取部312提取的高饱和度像素生成HueHIST的情形为例进行举例说明,但并不限于此。色调柱状图生成部314也可以针对由图像输入部110输入的动画中包含的帧生成HueHIST。
高饱和度像素率测量部316测量表示一个帧中高饱和度像素的比例的高饱和度像素率(有时记为HighSatRate)。高饱和度像素率测量部316可以将光饱和度像素相对于一个帧的全部像素的比例作为HighSatRate。高饱和度像素率测量部316可以为高饱和度像素率推导部的一例,推导出一个帧中高饱和度像素率。
平坦&强边像素提取部318从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取既非平坦也非强边的像素。平坦&强边像素提取部318可以与平坦&强边像素提取部202相同地提取既非平坦也非强边的像素。此时,平坦&强边像素提取部318可以依照第一标准提取既非平坦也非强边的像素,也可以依照第二标准提取既非平坦也非强边的像素。而且也可以依照其他标准提取既非平坦也非强边的像素。
平均亮度计算部320计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVEY。需要说明的是,此处以平均亮度计算部320计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVEY的情形为例进行举例说明,但并不限于此。平均亮度计算部320也可以针对由图像输入部110输入的动画中包含的帧计算AVEY。
平均饱和度计算部322计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVES。需要说明的是,此处以平均饱和度计算部322计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVES的情形为例进行举例说明,但并不限于此。平均饱和度计算部322也可以针对由图像输入部110输入的动画中包含的帧来计算AVES。
判断处理部324执行判断处理,以判断由图像输入部110输入的动画中是否包含场景变换。判断处理部324生成表示帧是否为进行了场景变换的帧的场景变换标志,输出给除雾霾参数调整部360。
判断处理部324可以根据高饱和度像素率测量部316测量的高饱和度像素率是否高于预定阈值,基于不同的标准来判断动画中是否包含场景变换。
判断处理部324当高饱和度像素率测量部316测量的针对一个帧的高饱和度像素率高于预定阈值时,可以基于该一个帧的色调和该一个帧的先前帧的色调来判断动画中是否包含场景变换。该一个帧的先前帧例如为该一个帧之前的帧。
具体地,判断处理部324可以基于色调柱状图生成部314生成的该一个帧的HueHIST和该一个帧的先前帧的色调柱状图(有时记为HueHIST_dl)的SAD(Sum ofAbsolute Difference,绝对差之和)(有时记为HueHISTSAD),判断动画中是否包含场景变换。
例如,判断处理部324当HueHISTSAD低于第五阈值、该一个帧的AVEY与该一个帧的先前帧的平均亮度值(有时记为AVEY_dl)之差的绝对值低于第六阈值、该一个帧的AVES与该一个帧的先前帧的平均饱和度值(有时记为AVES_dl)之差的绝对值低于第七阈值时,判断为该一个帧不是进行了场景变换的帧,除此之外的情形,判断为该一个帧是进行了场景变换的帧。判断处理部324当判断为该一个帧不是进行了场景变换的帧时,可以使该一个帧的场景变换标志为False。判断处理部324当判断为该一个帧为进行了场景变换的帧时,可以使该一个帧的场景变换标志为True。
判断处理部324当针对高饱和度像素率测量部316测量的一个帧的高饱和度像素率为等于或低于预定阈值时,基于该一个帧的HighSatRate和该一个帧的先前帧的高饱和度像素率(有时记为HighSatRate_dl)来判断动画中是否包含场景变换。
例如,判断处理部324当HighSatRate与HighSatRate_dl之差的绝对值低于第八阈值、AVEY与AVEY_dl之差的绝对值低于第六阈值、AVES与AVES_dl之差的绝对值低于第七阈值时,判断为该一个帧不是进行了场景变换的帧,在除此之外的情形中,判断为该一个帧是进行了场景变换的帧。
图8示意性显示雾霾可靠性估计部330的功能结构的一例。雾霾可靠性估计部330具有:平坦&强边像素提取部332、平均亮度计算部334、高饱和度像素提取部336、高饱和度像素率测量部338、雾霾浓度估计值取得部340及可靠性计算部342。
平坦&强边像素提取部332从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取既非平坦也非强边的像素。平坦&强边像素提取部332可以与平坦&强边像素提取部202同样地提取既非平坦也非强边的像素。此时,平坦&强边像素提取部332既可以依照第一标准来提取既非平坦也非强边的像素,也可以依照第二标准来提取既非平坦也非强边的像素,并且也可以依照其他标准来提取既非平坦也非强边的像素。
平均亮度计算部334计算由平坦&强边像素提取部332提取的既非平坦也非强边的像素的AVEY。需要说明的是,此处以平均亮度计算部334计算由平坦&强边像素提取部332提取的既非平坦也非强边的像素的AVEY的情形为例进行举例说明,但并不限于此。平均亮度计算部334也可以针对由图像输入部110输入的动画中包含的帧计算AVEY。
高饱和度像素提取部336从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取高饱和度像素。高饱和度像素提取部336可以针对帧中包含的多个像素中的每一个,将R成分、G成分及B成分的最大值与最小值之差为等于或高于预定阈值的像素作为高饱和度像素进行提取。
高饱和度像素率测量部338测量一个帧中的HighSatRate。雾霾浓度估计值取得部340取得雾霾浓度估计部200输出的Strength。
可靠性计算部342基于平均亮度计算部334算出的AVEY、高饱和度像素率测量部338测量的HighSatRate,计算雾霾浓度估计值取得部340取得的Strength的可靠性,输出给除雾霾参数调整部360。可靠性计算部342可以是可靠性推导部的一例,基于AVEY和HighSatRate推导出Strength的可靠性。可靠性计算部342可以根据雾霾浓度估计值取得部340取得的Strength是否大于预定阈值,以不同的标准来计算Strength的可靠性。
可靠性计算部342当雾霾浓度估计值取得部340取得的Strength大于预定阈值时,AVEY越大则可以算出越高的可靠性,且HighSatRate越低则可以算出越高的可靠性。而且,可靠性计算部342当雾霾浓度估计值取得部340取得的Strength为等于或低于预定阈值时,AVEY越小则可以算出越高的可靠性,且HighSatRate越高则可以算出越高的可靠性。
作为计算可靠性的处理的具体例,首先,可靠性计算部342对雾霾浓度估计值取得部340取得的Strength、平均亮度计算部334算出的AVEY、及高饱和度像素率测量部338测量的HighSatRate的每一个进行加权。
可靠性计算部342例如对Strength及HighSatRate进行值越高则值变得越高、值越低则值变得越低的加权。另外,可靠性计算部342例如对AVEY进行值越高则值变得越低、值越低则值变得越高的加权。有时将进行了加权的Strength记为StrengthWeight。有时将进行了加权的AVEY记为AVEYWeight。有时将进行了加权的HighSatRate记为HighSatRateWeight。
然后,可靠性计算部342将AVEYWeight及HighSatRateWeight中值大的一方作为EvalMax。然后,可靠性计算部342计算EvalMax与StrengthWeight之差的绝对值作为雾霾浓度的估计值的可靠性。
图9示意性显示加权图352的一例。加权图352表示可靠性计算部342对Strength进行加权时所用的加权值的一例。可靠性计算部342通过依照加权图352对Strength进行加权,从而能够进行Strength越高则值变得越高、Strength越低则值变得越低的加权。加权图352可以用于可靠性计算部342对HighSatRate进行加权的时候。
图10示意性显示加权图354的一例。加权图354表示可靠性计算部342对AVEY进行加权时所用的加权值的一例。可靠性计算部342通过依照加权图354对AVEY进行加权,从而能够进行AVEY越高则值变得越低、Strength越低则值变得越高的加权。
图11示意性显示除雾霾参数调整部360的功能结构的一例。除雾霾参数调整部360具有雾霾浓度目标值计算部362及参数调整部364。
雾霾浓度目标值计算部362计算针对一个帧的雾霾浓度目标值(有时记为TargetDepth)。TargetDepth表示一个帧及该一个帧所接续的多个帧的内容未变化时应收敛的除雾霾参数。
雾霾浓度目标值计算部362当雾霾可靠性估计部330在一个帧中判断为该一个帧的雾霾浓度的估计值不可靠时,可以将在该一个帧的先前帧的时刻设定的TargetDepth(有时记为TargetDepth_dl)作为针对该一个帧的TargetDepth。雾霾可靠性估计部330例如当一个帧的雾霾浓度的估计值的可靠性小于预定阈值时判断为该估计值不可靠。
雾霾浓度目标值计算部362可以基于该一个帧的先前帧的TargetDepth(有时记为TargetDepth_dl)、从雾霾浓度估计部200接收到的针对该一个帧的Strength、从可靠性计算部342接收到该Strength的可靠性、从判断处理部324接收到的针对该一个帧的场景变换标志,来确定针对该一个帧的TargetDepth。
例如,首先,雾霾浓度目标值计算部362计算Strength与TargetDepth_dl之差的绝对值(有时记为DiffDepth)。然后,雾霾浓度目标值计算部362当DiffDepth大于第九阈值且Strength的可靠性大于第十阈值时、以及场景变换标志为True时,将Strength作为TargetDepth,在除此之外的情形,将TargetDepth_dl作为TargetDepth。除此之外的情形可以是指场景变换标志为False且DiffDepth小于第九阈值或者Strength的可靠性小于第十阈值的情形。
参数调整部364调整该一个帧的除雾霾处理所用的参数(有时记为HazeRemovalStrength),从而逐步接近由雾霾浓度目标值计算部362确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。从而能够在横跨多个帧上逐步地改变去除雾霾的强度。
参数调整部364可以根据由雾霾浓度目标值计算部362确定的TargetDepth和该一个帧该一个帧的先前帧的关系来调整HazeRemovalStrength。参数调整部364调整HazeRemovalStrength,从而该一个帧的先前帧中被调整的参数逐步接近由雾霾浓度目标值计算部362确定的TargetDepth。参数调整部364可以基于该一个帧是否为进行了场景变换的帧来改变逐步接近TargetDepth的步幅。例如,参数调整部364当场景变换标志为True时,即由场景变换判断部310判断出该一个帧是进行了场景变换的帧时,增大逐步接近TargetDepth的步幅。据此,当该一个帧是进行了场景变换的帧时,相比该一个帧不是进行了场景变换的帧时,能够加强去除雾霾的强度。
参数调整部364可以计算由雾霾浓度目标值计算部362确定的TargetDepth与该一个帧的先前帧的除雾霾处理所用的参数(有时记为HazeRemovalStrength_dl)之差的绝对值(有时记为DiffStrength)。参数调整部364可以为推导DiffStrength的差分绝对值推导部的一例。然后,参数调整部364可以以DiffStrength、Strength的可靠性、场景变换标志相应的调整量来调整HazeRemovalStrength,从而逐步接近由雾霾浓度目标值计算部362确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。
例如,参数调整部364当场景变换标志为True时,以第一调整量来调整HazeRemovalStrength,从而逐步接近由雾霾浓度目标值计算部362确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。而且,参数调整部364当场景变换标志为False、DiffStrength大于第十一阈值且Strength的可靠性大于第十二阈值时,以第二调整量来调整HazeRemovalStrength,从而逐步接近被确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。而且,参数调整部364在除此之外的情形中,以第三调整量来调整HazeRemovalStrength,从而逐步接近被确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的的值。除此之外的情形可以是指场景变换标志为False、DiffStrength小于第十一阈值或Strength的可靠性小于第十二阈值的情形。此处,第一调整量大于第二调整量及第三调整量,第二调整量大于第三调整量。
如上所述,雾霾浓度目标值计算部362可以基于Strength的可靠性及Strength与TargetDepth_dl之差的绝对值、或者场景变换标志来确定是否将TargetDepth_dl和Strength的任一个用于调整除雾霾处理所用的参数。
取得TargetDepth_dl的雾霾浓度目标值计算部362可以为目标值取得部的一例。而且,雾霾浓度目标值计算部362可以为差分绝对值推导部的一例,计算Strength与TargetDepth_dl之差的绝对值。而且,雾霾浓度目标值计算部362可以为目标值确定部的一例,确定针对该一个帧的TargetDepth。
图12示意性显示除雾霾部400的功能结构的一例。除雾霾部400具有照明光分离部402、参数取得部410、去除处理部420及合成部426。
照明光分离部402能够从由图像输入部110输入的图像I中分离出照明光成分IL。只要照明光分离部402能够从图像I中分离出照明光成分IL,进行怎样的处理均可以。
例如,照明光分离部402使用边缘保留型低通滤波器从图像I中分离出照明光成分IL。边缘保留型低通滤波器是指在保留边缘的同时进行平滑化的滤波器。照明光分离部402例如可以使用双边滤波器作为边缘保留型低通滤波器。照明光分离部402可以将照明光成分IL及图像I对参数取得部410进行输出。
参数取得部410取得除雾霾所用的参数。参数取得部410具有气辉计算部412、透光率计算部414及雾霾浓度估计值取得部416。
气辉计算部412计算图像I的气辉A。气辉计算部412只要能够计算图像I的气辉A,进行怎样的处理都是可以的。例如,气辉计算部412首先对图像I的各像素计算包含周边像素的RGB的最小值。然后,气辉计算部412从图像I中对算出的最小值位于前0.1%的像素进行提取。然后,气辉计算部412从提取的像素中将亮度最高的像素的值作为气辉A。
透光率计算部414计算由图像输入部110输入的图像的多个像素的每一个的雾霾浓度所对应的透光率t。透光率计算部414可以为透光率推导部的一例。透光率计算部414只要能够计算透光率t,进行怎样的处理均可。例如,透光率计算部414基于由下述公式2表示的暗原色先验(Dark Channel Prior)(有时记为DCP)来计算透光率t。
[式2]
IC为I的颜色通道,Ω(x)为以x为中心的局部区域。
透光率计算部414可以基于公式2中的DCP表示透光率t这一假设,从DCP的值算出透光率t。例如,透光率计算部414根据通过下述公式3计算透光率t。
[式3]
雾霾浓度估计值取得部416取得雾霾浓度估计部200输出的Strength。
参数取得部410将图像I、照明光成分IL、气辉计算部412算出的气辉A、透光率计算部414算出的透光率t及雾霾浓度估计值取得部416取得的Strength输出给去除处理部。
去除处理部420基于由下述公式4所表示的Retinex理论和由下述公式5所表示的雾霾图像的大气模型,执行针对图像I的除雾霾处理。
[式4]
输入图像I=照明光L×反射率R
[式5]
输入图像I(x)=原图像J(x)×透光率t(x)+气辉A(1-透光率t(x))
将上述公式5变形后成为下述公式6。
[式6]
对上述公式6适用Retinex理论,用反射率成分与照明光成分的积分别进行表示,成为下述公式7。
[式7]
此处,去除处理部420可以以气辉中含有的反射率成分很少或者可以近乎没有为前提,使用雾霾图像的大气模型和视网膜大脑皮层(Retinex)理论执行除雾霾处理。例如,气辉中含有的反射率成分极小时,可以视为下述公式8成立。
[式8]
AR=1
另外,去除处理部420进一步地以针对气辉、原图像、输入图像,仅能对各个照明光成分适用大气模型为前提,可以使用雾霾图像的大气模型和Retinex理论执行除雾霾处理。如果按照这样的前提,则下述公式9成立。
[式9]
通过将上述公式8及公式9适用于上述公式7可以得到下述公式10。
[式10]
从上述公式10可以推导出,JR的值为当IR大于1时则大于IR,当IR小于1时则小于IR。
通过使用上述公式9及公式10,去除处理部420可以对反射率成分和照明光成分实施除雾霾度各不同的除雾霾处理。例如,去除处理部420可以针对上述公式9及公式10使透光率t不同,从而使除雾霾度不同。而且,去除处理部420也可以通过对上述公式9及上述公式10的结果进行不同的加权,从而使除雾霾度不同。
去除处理部420具有照明光成分处理部422及反射率成分处理部424。照明光成分处理部422对图像的照明光成分实施除雾霾处理。反射率成分处理部424对图像的反射率成分实施除雾霾处理。
照明光成分处理部422可以使用从参数调整部364接收到的HazeRemovalStrength来执行除雾霾处理。例如,照明光成分处理部422可以使用照明光成分IL、气辉A、透光率t、HazeRemovalStrength及上述公式9来计算实施了除雾霾处理的照明光成分JL。照明光成分处理部422可以使用HazeRemovalStrength来调整透光率t。而且,照明光成分处理部422也可以使用HazeRemovalStrength来代替透光率t。而且,照明光成分处理部422可以使用基于HazeRemovalStrength的值来代替透光率t。当照明光成分处理部422使用从参数调整部364接收到的HazeRemovalStrength来执行除雾霾处理时,参数取得部410也可以不具有雾霾浓度估计值取得部416。而且,雾霾浓度估计值取得部416也可以从参数调整部364接收HazeRemovalStrength,并将接收到的该HazeRemovalStrength发送给去除处理部420。
照明光成分处理部422在由图像输入部110输入了静止图的情形以及当图像处理系统100不具有场景控制部300等的情形中,可以使用从参数取得部410接收到的照明光成分IL、气辉A、透光率t、Strength及上述公式9计算实施了除雾霾处理的照明光成分JL。照明光成分处理部422可以将Strength适用于透光率t来计算照明光成分JL。例如,照明光成分处理部422可以在透光率t上乘以Strength。再例如,照明光成分处理部422可以对透光率t进行Strength的值所对应的加权。从而能够使用由雾霾浓度估计部200估计的Strength实现更高精度的除雾霾处理。
反射率成分处理部424可以从参数取得部410接收到的图像I及照明光成分IL计算反射率成分IR。反射率成分处理部424可以使用从参数调整部364接收到的HazeRemovalStrength执行除雾霾处理。例如,反射率成分处理部424可以使用照明光成分IL、反射率成分IR、透光率t、HazeRemovalStrength及上述公式10计算实施了除雾霾处理的反射率成分JR。反射率成分处理部424可以使用HazeRemovalStrength来调整透光率t。而且,反射率成分处理部424可以使用HazeRemovalStrength来代替透光率t。而且,反射率成分处理部424可以使用基于HazeRemovalStrength的值来代替透光率t。当使用反射率成分处理部424从参数调整部364接收到的HazeRemovalStrength执行除雾霾处理时,参数取得部410也可以不具有雾霾浓度估计值取得部416。而且,雾霾浓度估计值取得部416可以从参数调整部364接收HazeRemovalStrength,将接收到的该HazeRemovalStrength发送给去除处理部420。
反射率成分处理部424在由图像输入部110输入了静止图的情形以及图像处理系统100不具有场景控制部300等情形中,可以使用照明光成分IL、反射率成分IR、透光率t、Strength及上述公式10计算实施了除雾霾处理的JR。反射率成分处理部424可能在透光率t上适用Strength来计算JR。例如,反射率成分处理部424在透光率t上乘上Strength。另外,例如,反射率成分处理部424可以对透光率t进行Strength的值所对应的加权。从而能够使用由雾霾浓度估计部200估计的Strength实现更高精度的除雾霾处理。
合成部426将由照明光成分处理部422实施了除雾霾处理的照明光成分JL与由反射率成分处理部424实施了除雾霾处理的反射率成分JR进行合成。合成部426通过将JL与JR进行合成而生成输出图像J。由合成部426生成的输出图像J可以由显示部120进行显示。
本实施方式中,以图像处理系统100为具有雾霾浓度估计部200、场景控制部300及除雾霾部400的显示装置的情形为例进行举例说明,但并不限于此。图像处理系统100也可以为具有雾霾浓度估计部200、场景控制部300及除雾霾部400中的至少一个的显示装置。
另外,图像处理系统100也可以为在场景控制部300所具有的场景变换判断部310、雾霾可靠性估计部330及除雾霾参数调整部360中仅具有场景变换判断部310的显示装置。另外,图像处理系统100也可以为仅具有雾霾可靠性估计部330的显示装置。此时,雾霾浓度估计值取得部340也可以并不取得由雾霾浓度估计部200输出的Strength,而是取得由其他装置等估计的雾霾浓度估计值。
另外,当图像处理系统100为仅具有雾霾浓度估计部200、场景控制部300及除雾霾部400中的除雾霾部400的显示装置时,雾霾浓度估计值取得部416也可以并不取得由雾霾浓度估计部200输出的Strength,而是取得由其他装置等估计的雾霾浓度估计值。
另外,本实施方式中以图像处理系统100为显示装置的情形为例进行了举例说明,但并不限于此。只要是对图像进行处理的装置,其他类型的装置也是可以的。例如,图像处理系统100也可以是智能手机等移动电话、平板电脑终端、个人计算机及信息家电等。另外,图像处理系统100也可以是不具有显示部120,使图像显示到外部显示部的装置。
在以上说明中,图像处理系统100的各部分可以由硬件实现也可以由软件实现。或者也可以由软硬件相结合来实现。而且也可以通过执行程序使计算机发挥图像处理系统100的功能。程序可以从计算机可读媒体或与网络连接的存储装置被安装到构成图像处理系统100的至少一部分的计算机上。
被安装到计算机上并使计算机作为本实施方式所述图像处理系统100而发挥功能的程序驱动CPU等,使计算机分别发挥图像处理系统100的各部分的功能。记录在这些程序中的信息处理被读入计算机,发挥作为软件与图像处理系统100的硬件资源相联动的具体模块的功能。
以上,使用本发明的实施方式进行了说明,但本发明的技术范围不限于上述实施方式所记载的范围。另外,本领域技术人员应当清楚,在上述实施方式的基础上可加以增加各种变更或改进。此外,由权利要求的记载可知,这种加以变更或改进的实施方式也包含在本发明的技术范围内。
应当注意的是,权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序,只要没有特别明示“更早”、“早于”等,或者只要前面处理的输出并不用在后面的处理中,则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程,为方便起见而使用“首先”、“然后”等进行了说明,但并不意味着必须按照这样的顺序实施。
附图标记说明
100 图像处理系统、110 图像输入部、120 显示部、200 雾霾浓度估计部、202 平坦&强边像素提取部、204 平均亮度计算部、206 平均饱和度计算部、208 对比度计算部、210 最大饱和度取得部、212 权重取得部、214 雾霾浓度计算部、216 工具图像判断部、218 选择器、230 关注像素、240 加权图、242 加权图、300 场景控制部、310 场景变换判断部、312高饱和度像素提取部、314 色调柱状图生成部、316 高饱和度像素率测量部、318 平坦&强边像素提取部、320 平均亮度计算部、322 平均饱和度计算部、324 判断处理部、330 雾霾可靠性估计部、332 平坦&强边像素提取部、334 平均亮度计算部、336 高饱和度像素提取部、338 高饱和度像素率测量部、340 雾霾浓度估计值取得部、342 可靠性计算部(雾霾可靠性估计部)、352 加权图、354 加权图、360 除雾霾参数调整部(参数调整部)、362 雾霾浓度目标值计算部(目标值取得部、 目标值确定部、差分绝对值推导部)、364 参数调整部(差分绝对值推导部)、400 除雾霾部、402 照明光分离部、410 参数取得部、412 气辉计算部、414 透光率计算部、416 雾霾浓度估计值取得部、420 去除处理部、422 照明光成分处理部、424 反射率成分处理部、426 合成部。
Claims (9)
1.一种图像处理系统,包括:
雾霾浓度估计部,推导动画中包含的多个帧中一个帧的雾霾浓度的估计值;
参数调整部,根据所述一个帧的雾霾浓度的估计值、所述一个帧与所述一个帧的先前帧的关系,调整所述一个帧的除雾霾处理所用的参数;以及
除雾霾部,基于由所述参数调整部调整的所述参数对所述一个帧执行除雾霾处理。
2.根据权利要求1所述的图像处理系统,其中,所述参数调整部将所述一个帧的雾霾浓度的估计值作为所述一个帧的雾霾浓度目标值,调整所述一个帧的除雾霾处理所用的参数,从而所述先前帧中被调整的所述参数逐步接近所述雾霾浓度目标值。
3.根据权利要求2所述的图像处理系统,其中进一步包括场景变换判断部,判断所述一个帧是否是进行了场景变换的帧;
所述场景变换判断部当在所述一个帧与所述先前帧的关系中判断出所述一个帧是进行了场景变换的帧时,所述参数调整部增大逐步接近所述雾霾浓度目标值的步幅。
4.根据权利要求1所述的图像处理系统,其中进一步包括:
雾霾可靠性估计部,估计所述雾霾浓度的估计值的可靠性;
目标值取得部,取得所述先前帧的雾霾浓度目标值;
目标值确定部,将所述目标值取得部取得的所述先前帧的所述雾霾浓度目标值、所述雾霾浓度估计部推导出的所述一个帧的雾霾浓度的估计值的任意之一确定为所述一个帧的雾霾浓度目标值;以及
差分绝对值推导部,推导由所述目标值确定部确定的所述一个帧的雾霾浓度目标值与所述一个帧的先前帧的除雾霾处理所用的参数之差的绝对值;
所述参数调整部以所述可靠性、所述差的绝对值、所述一个帧是否为进行了场景变换的帧所对应的调整量来调整所述一个帧的除雾霾处理所用的参数,从而所述先前帧的除雾霾处理所用的参数逐步接近由所述目标值确定部确定的所述一个帧的雾霾浓度目标值。
5.根据权利要求4所述的图像处理系统,其中,所述参数调整部当判断出所述一个帧为进行了场景变换的帧时,以第一调整量调整所述参数;当判断出所述一个帧不是进行了场景变换的帧时,所述估计值的可靠性大于第一阈值且所述差的绝对值大于第二阈值时,以少于所述第一调整量的第二调整量调整所述参数;当判断出所述一个帧不是进行了场景变换的帧且所述估计值的可靠性小于所述第一阈值或者所述差的绝对值小于所述第二阈值时,以少于所述第二调整量的第三调整量调整所述参数。
6.根据权利要求2或3所述的图像处理系统,其中进一步包括雾霾可靠性估计部,估计所述雾霾浓度的估计值的可靠性;
当所述雾霾可靠性估计部在所述一个帧中判断出所述雾霾浓度的估计值不可靠时,所述参数调整部调整所述一个帧的除雾霾处理所用的参数,从而逐步接近在所述先前帧的时刻设定的目标值。
7.根据权利要求1~3中任一项所述的图像处理系统,其中进一步包括:
雾霾可靠性估计部,估计所述雾霾浓度的估计值的可靠性;
目标值取得部,取得所述先前帧的雾霾浓度目标值;
目标值确定部,基于所述雾霾可靠性估计部估计出的所述可靠性,确定是否将所述目标值取得部取得的所述先前帧的所述雾霾浓度目标值、所述雾霾浓度估计部推导出的所述一个帧的雾霾浓度的估计值的任意之一用于调整所述一个帧的除雾霾处理所用的参数。
8.根据权利要求7所述的图像处理系统,其中进一步包括差分绝对值推导部,推导所述目标值取得部取得的所述先前帧的雾霾浓度目标值与所述雾霾浓度估计部推导出的所述一个帧的所述雾霾浓度的估计值之差的绝对值;
所述目标值确定部当所述一个帧是进行了场景变换的帧时,和所述一个帧不是进行了场景变换的帧、所述估计值的可靠性大于第一阈值且所述差的绝对值大于第二阈值时,确定将所述一个帧的雾霾浓度的估计值用于调整所述一个帧的除雾霾处理所用的参数;所述一个帧不是进行了场景变换的帧,所述估计值的可靠性小于所述第一阈值或者所述差的绝对值小于所述第二阈值时,确定将所述先前帧的雾霾浓度目标值用于调整所述一个帧的除雾霾处理所用的参数。
9.一种计算机可读记录介质,记录有使计算机作为如权利要求1~8中任一项所述的图像处理系统而发挥功能的程序。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2014/003131 | 2014-06-12 | ||
PCT/JP2014/003131 WO2015189874A1 (ja) | 2014-06-12 | 2014-06-12 | 霧除去装置および画像生成方法 |
JPPCT/JP2015/056086 | 2015-03-02 | ||
PCT/JP2015/056086 WO2015190136A1 (ja) | 2014-06-12 | 2015-03-02 | 画像処理システム及びコンピュータ読み取り可能な記録媒体 |
PCT/JP2015/062729 WO2015190184A1 (ja) | 2014-06-12 | 2015-04-27 | 画像処理システム及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106462954A true CN106462954A (zh) | 2017-02-22 |
CN106462954B CN106462954B (zh) | 2019-09-20 |
Family
ID=54833008
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480079760.4A Active CN106462947B (zh) | 2014-06-12 | 2014-06-12 | 除雾装置及图像生成方法 |
CN201580031438.9A Active CN106462953B (zh) | 2014-06-12 | 2015-03-02 | 图像处理系统及计算机可读记录介质 |
CN201580031509.5A Active CN106462954B (zh) | 2014-06-12 | 2015-04-27 | 图像处理系统 |
CN201580031412.4A Active CN106663326B (zh) | 2014-06-12 | 2015-04-27 | 图像处理系统及计算机可读记录介质 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480079760.4A Active CN106462947B (zh) | 2014-06-12 | 2014-06-12 | 除雾装置及图像生成方法 |
CN201580031438.9A Active CN106462953B (zh) | 2014-06-12 | 2015-03-02 | 图像处理系统及计算机可读记录介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580031412.4A Active CN106663326B (zh) | 2014-06-12 | 2015-04-27 | 图像处理系统及计算机可读记录介质 |
Country Status (8)
Country | Link |
---|---|
US (4) | US10102614B2 (zh) |
EP (4) | EP3156968B1 (zh) |
JP (4) | JP6228670B2 (zh) |
CN (4) | CN106462947B (zh) |
AU (4) | AU2014397095B2 (zh) |
ES (3) | ES2727929T3 (zh) |
RU (4) | RU2658874C1 (zh) |
WO (4) | WO2015189874A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016287673A1 (en) * | 2015-06-30 | 2017-03-02 | Heraeus Deutschland Gmbh And Co. Kg | Process for the production of a PGM-enriched alloy |
CN107872608B (zh) * | 2016-09-26 | 2021-01-12 | 华为技术有限公司 | 图像采集设备及图像处理方法 |
KR101942198B1 (ko) * | 2017-12-27 | 2019-04-11 | 중앙대학교 산학협력단 | 레티넥스 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체 |
CN110189259B (zh) * | 2018-02-23 | 2022-07-08 | 荷兰移动驱动器公司 | 图像去雾霾方法、电子设备及计算机可读存储介质 |
CN108416316B (zh) * | 2018-03-19 | 2022-04-05 | 中南大学 | 一种黑烟车的检测方法及系统 |
US10643311B2 (en) * | 2018-03-22 | 2020-05-05 | Hiwin Technologies Corp. | Method for correcting dehazed medical image |
JP7109317B2 (ja) | 2018-09-06 | 2022-07-29 | 株式会社クボタ | 水田作業機 |
CN109028233B (zh) * | 2018-09-29 | 2020-11-10 | 佛山市云米电器科技有限公司 | 厨房油烟浓度划分方法及油烟图像识别系统及油烟机 |
CN109028234B (zh) * | 2018-09-29 | 2020-11-10 | 佛山市云米电器科技有限公司 | 一种能够对烟雾等级进行标识的油烟机 |
CN109242805B (zh) * | 2018-10-24 | 2021-09-28 | 西南交通大学 | 一种基于独立分量分析的单幅图像雾霾快速去除方法 |
JP7421273B2 (ja) * | 2019-04-25 | 2024-01-24 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
CN110223258A (zh) * | 2019-06-12 | 2019-09-10 | 西南科技大学 | 一种多模式快速视频图像去雾方法及装置 |
CN112419162B (zh) * | 2019-08-20 | 2024-04-05 | 浙江宇视科技有限公司 | 图像去雾方法、装置、电子设备及可读存储介质 |
CN111192210B (zh) * | 2019-12-23 | 2023-05-26 | 杭州当虹科技股份有限公司 | 一种自适应增强的视频去雾方法 |
CN113674158A (zh) * | 2020-05-13 | 2021-11-19 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN112011696B (zh) | 2020-08-19 | 2021-05-18 | 北京科技大学 | 一种火法富集铝基废催化剂中铂族金属的方法 |
US11790545B2 (en) * | 2020-09-14 | 2023-10-17 | Himax Technologies Limited | Method and apparatus to control light source in structured light imaging |
US11641456B2 (en) | 2020-09-14 | 2023-05-02 | Himax Technologies Limited | Image rendering method and apparatus |
CN114519683A (zh) * | 2020-11-20 | 2022-05-20 | 北京晶视智能科技有限公司 | 图像处理方法及应用其的图像处理装置 |
US11528435B2 (en) * | 2020-12-25 | 2022-12-13 | Industrial Technology Research Institute | Image dehazing method and image dehazing apparatus using the same |
TWI792454B (zh) * | 2021-07-28 | 2023-02-11 | 瑞昱半導體股份有限公司 | 自適應的圖像陰影校正方法及圖像陰影校正系統 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102265594A (zh) * | 2008-12-22 | 2011-11-30 | 罗姆股份有限公司 | 图像修正处理电路、半导体装置、图像修正处理装置 |
CN103164845A (zh) * | 2011-12-16 | 2013-06-19 | 中国科学院沈阳自动化研究所 | 一种实时图像去雾装置及方法 |
CN103186887A (zh) * | 2011-12-30 | 2013-07-03 | 株式会社日立制作所 | 图像除雾装置和图像除雾方法 |
CN103226809A (zh) * | 2012-01-31 | 2013-07-31 | 株式会社日立制作所 | 图像除雾装置和图像除雾方法 |
US20140140619A1 (en) * | 2011-08-03 | 2014-05-22 | Sudipta Mukhopadhyay | Method and System for Removal of Fog, Mist, or Haze from Images and Videos |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6085152A (en) | 1997-09-19 | 2000-07-04 | Cambridge Management Advanced Systems Corporation | Apparatus and method for monitoring and reporting weather conditions |
WO2001039512A1 (en) | 1999-11-26 | 2001-05-31 | Sanyo Electric Co., Ltd. | Device and method for converting two-dimensional video to three-dimensional video |
JP2001160146A (ja) * | 1999-12-01 | 2001-06-12 | Matsushita Electric Ind Co Ltd | 画像認識方法および画像認識装置 |
US9149175B2 (en) | 2001-07-26 | 2015-10-06 | Given Imaging Ltd. | Apparatus and method for light control in an in-vivo imaging device |
JP2003187248A (ja) * | 2001-12-21 | 2003-07-04 | Mitsubishi Electric Corp | 画像処理システムおよび画像処理装置 |
KR100512976B1 (ko) * | 2003-08-09 | 2005-09-07 | 삼성전자주식회사 | 화면의 콘트라스트를 향상시키는 블랙/화이트 스트레칭시스템 및 그의 스트레칭 방법 |
JP2006155491A (ja) * | 2004-12-01 | 2006-06-15 | Samsung Yokohama Research Institute Co Ltd | シーンチェンジ検出方法 |
JP2007266838A (ja) * | 2006-03-28 | 2007-10-11 | Sharp Corp | 記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体 |
JP4784452B2 (ja) | 2006-09-12 | 2011-10-05 | 株式会社デンソー | 車載霧判定装置 |
JP4475268B2 (ja) * | 2006-10-27 | 2010-06-09 | セイコーエプソン株式会社 | 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器 |
JP4241834B2 (ja) | 2007-01-11 | 2009-03-18 | 株式会社デンソー | 車載霧判定装置 |
RU2365993C1 (ru) * | 2008-01-30 | 2009-08-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ адаптивного улучшения факсимильных изображений документов |
US8290294B2 (en) * | 2008-09-16 | 2012-10-16 | Microsoft Corporation | Dehazing an image using a three-dimensional reference model |
US8619071B2 (en) * | 2008-09-16 | 2013-12-31 | Microsoft Corporation | Image view synthesis using a three-dimensional reference model |
JP5325562B2 (ja) * | 2008-12-22 | 2013-10-23 | ローム株式会社 | 画像補正処理回路及びこれを集積化して成る半導体装置 |
US8350933B2 (en) * | 2009-04-08 | 2013-01-08 | Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. | Method, apparatus and computer program product for single image de-hazing |
US8837857B2 (en) * | 2009-04-09 | 2014-09-16 | National Ict Australia Limited | Enhancing image data |
JP2010276691A (ja) * | 2009-05-26 | 2010-12-09 | Toshiba Corp | 画像処理装置および画像処理方法 |
JP4807439B2 (ja) * | 2009-06-15 | 2011-11-02 | 株式会社デンソー | 霧画像復元装置及び運転支援システム |
JP5402504B2 (ja) * | 2009-10-15 | 2014-01-29 | 株式会社Jvcケンウッド | 擬似立体画像作成装置及び擬似立体画像表示システム |
TWI423166B (zh) * | 2009-12-04 | 2014-01-11 | Huper Lab Co Ltd | 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法 |
US8284998B2 (en) * | 2010-07-01 | 2012-10-09 | Arcsoft Hangzhou Co., Ltd. | Method of estimating depths from a single image displayed on display |
JP2012028987A (ja) * | 2010-07-22 | 2012-02-09 | Toshiba Corp | 画像処理装置 |
CN102637293B (zh) * | 2011-02-12 | 2015-02-25 | 株式会社日立制作所 | 运动图像处理装置及运动图像处理方法 |
US20120213436A1 (en) * | 2011-02-18 | 2012-08-23 | Hexagon Technology Center Gmbh | Fast Image Enhancement and Three-Dimensional Depth Calculation |
JP5488530B2 (ja) * | 2011-05-23 | 2014-05-14 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP5810628B2 (ja) * | 2011-05-25 | 2015-11-11 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US8582915B2 (en) * | 2011-06-27 | 2013-11-12 | Wuxi Jinnang Technology Development Ltd. | Image enhancement for challenging lighting conditions |
US8970691B2 (en) * | 2011-08-26 | 2015-03-03 | Microsoft Technology Licensing, Llc | Removal of rayleigh scattering from images |
CN103034977B (zh) * | 2011-09-30 | 2015-09-30 | 株式会社日立制作所 | 图像除雾方法和相应的图像除雾装置 |
CN103188433B (zh) * | 2011-12-30 | 2016-01-20 | 株式会社日立制作所 | 图像除雾装置和图像除雾方法 |
JP2013152334A (ja) * | 2012-01-25 | 2013-08-08 | Olympus Corp | 顕微鏡システムおよび顕微鏡観察方法 |
US20130237317A1 (en) * | 2012-03-12 | 2013-09-12 | Samsung Electronics Co., Ltd. | Method and apparatus for determining content type of video content |
JP5247910B1 (ja) * | 2012-03-30 | 2013-07-24 | Eizo株式会社 | 画像表示装置またはその方法 |
JP5470415B2 (ja) | 2012-03-30 | 2014-04-16 | Eizo株式会社 | イプシロンフィルタの閾値決定方法およびローパスフィルタの係数決定方法 |
US8885962B1 (en) * | 2012-07-23 | 2014-11-11 | Lockheed Martin Corporation | Realtime long range imaging scatter reduction |
CN103632339A (zh) * | 2012-08-21 | 2014-03-12 | 张晓光 | 一种基于变分Retinex的单幅图像去雾方法及装置 |
CN202872972U (zh) * | 2012-08-24 | 2013-04-10 | 中国人民解放军理工大学气象学院 | 一种图像监测处理装置 |
US9659237B2 (en) * | 2012-10-05 | 2017-05-23 | Micro Usa, Inc. | Imaging through aerosol obscurants |
KR101958910B1 (ko) * | 2012-10-26 | 2019-03-15 | 에스케이 텔레콤주식회사 | 영상보정의 가속화를 위한 영상보정 장치 및 그 방법 |
CN102982537B (zh) * | 2012-11-05 | 2015-09-02 | 安维思电子科技(广州)有限公司 | 一种检测场景变换的方法和系统 |
KR101736468B1 (ko) | 2012-12-24 | 2017-05-29 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
KR101445577B1 (ko) * | 2013-03-11 | 2014-11-04 | 주식회사 브이아이티시스템 | 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템 |
JP2014212513A (ja) * | 2013-04-01 | 2014-11-13 | パナソニック株式会社 | 投写型映像表示装置、映像投影制御装置、映像投影制御方法、及び映像投影制御プログラム |
CN103218622B (zh) * | 2013-04-22 | 2016-04-13 | 武汉大学 | 一种基于计算机视觉的雾霾监测方法 |
KR101470831B1 (ko) * | 2013-05-28 | 2014-12-10 | 전남대학교산학협력단 | 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치 |
CN103337054A (zh) * | 2013-06-17 | 2013-10-02 | 西安理工大学 | 基于单图像的二阶段图像去雾方法 |
JP2017502429A (ja) * | 2014-01-10 | 2017-01-19 | 富士通株式会社 | 画像処理装置、電子機器及び方法 |
US20170178297A1 (en) | 2014-02-19 | 2017-06-22 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Method and system for dehazing natural images using color-lines |
KR102207939B1 (ko) * | 2014-03-27 | 2021-01-26 | 한화테크윈 주식회사 | 안개 제거 시스템 및 안개 제거 방법 |
JP6284408B2 (ja) * | 2014-04-03 | 2018-02-28 | オリンパス株式会社 | 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム |
US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
US9177363B1 (en) | 2014-09-02 | 2015-11-03 | National Taipei University Of Technology | Method and image processing apparatus for image visibility restoration |
JP6469448B2 (ja) | 2015-01-06 | 2019-02-13 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、および記録媒体 |
US9870511B2 (en) | 2015-10-14 | 2018-01-16 | Here Global B.V. | Method and apparatus for providing image classification based on opacity |
US9508129B1 (en) | 2015-11-06 | 2016-11-29 | Adobe Systems Incorporated | Dehazing photos and videos using visual artifact suppression |
-
2014
- 2014-06-12 EP EP14894614.8A patent/EP3156968B1/en active Active
- 2014-06-12 AU AU2014397095A patent/AU2014397095B2/en not_active Ceased
- 2014-06-12 RU RU2017100018A patent/RU2658874C1/ru not_active IP Right Cessation
- 2014-06-12 WO PCT/JP2014/003131 patent/WO2015189874A1/ja active Application Filing
- 2014-06-12 ES ES14894614T patent/ES2727929T3/es active Active
- 2014-06-12 CN CN201480079760.4A patent/CN106462947B/zh active Active
- 2014-06-12 JP JP2016527494A patent/JP6228670B2/ja active Active
-
2015
- 2015-03-02 AU AU2015272846A patent/AU2015272846B2/en active Active
- 2015-03-02 ES ES15805972T patent/ES2712452T3/es active Active
- 2015-03-02 WO PCT/JP2015/056086 patent/WO2015190136A1/ja active Application Filing
- 2015-03-02 RU RU2017100022A patent/RU2664415C2/ru active
- 2015-03-02 EP EP15805972.5A patent/EP3156969B1/en active Active
- 2015-03-02 JP JP2016527661A patent/JP6225255B2/ja active Active
- 2015-03-02 CN CN201580031438.9A patent/CN106462953B/zh active Active
- 2015-04-27 CN CN201580031509.5A patent/CN106462954B/zh active Active
- 2015-04-27 EP EP15806110.1A patent/EP3156970B1/en active Active
- 2015-04-27 RU RU2017100023A patent/RU2648955C1/ru not_active IP Right Cessation
- 2015-04-27 WO PCT/JP2015/062729 patent/WO2015190184A1/ja active Application Filing
- 2015-04-27 JP JP2016527684A patent/JP6225256B2/ja active Active
- 2015-04-27 CN CN201580031412.4A patent/CN106663326B/zh active Active
- 2015-04-27 RU RU2017100021A patent/RU2654159C1/ru not_active IP Right Cessation
- 2015-04-27 AU AU2015272799A patent/AU2015272799B2/en not_active Ceased
- 2015-04-27 AU AU2015272798A patent/AU2015272798B2/en not_active Ceased
- 2015-04-27 EP EP15807220.7A patent/EP3156971B1/en active Active
- 2015-04-27 JP JP2016527685A patent/JP6228671B2/ja active Active
- 2015-04-27 ES ES15807220.7T patent/ES2681294T3/es active Active
- 2015-04-27 WO PCT/JP2015/062728 patent/WO2015190183A1/ja active Application Filing
-
2016
- 2016-12-07 US US15/371,228 patent/US10102614B2/en active Active
- 2016-12-07 US US15/371,230 patent/US10157451B2/en active Active
- 2016-12-08 US US15/372,400 patent/US9972074B2/en active Active
- 2016-12-08 US US15/372,402 patent/US10096092B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102265594A (zh) * | 2008-12-22 | 2011-11-30 | 罗姆股份有限公司 | 图像修正处理电路、半导体装置、图像修正处理装置 |
US20140140619A1 (en) * | 2011-08-03 | 2014-05-22 | Sudipta Mukhopadhyay | Method and System for Removal of Fog, Mist, or Haze from Images and Videos |
CN103164845A (zh) * | 2011-12-16 | 2013-06-19 | 中国科学院沈阳自动化研究所 | 一种实时图像去雾装置及方法 |
CN103186887A (zh) * | 2011-12-30 | 2013-07-03 | 株式会社日立制作所 | 图像除雾装置和图像除雾方法 |
CN103226809A (zh) * | 2012-01-31 | 2013-07-31 | 株式会社日立制作所 | 图像除雾装置和图像除雾方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462954A (zh) | 图像处理系统及计算机可读记录介质 | |
CN106485670A (zh) | 图像处理设备及图像处理方法 | |
CN106713762A (zh) | 图像处理方法及装置 | |
CN112508820A (zh) | 图像处理方法、装置及电子设备 | |
Jin et al. | Single image de-haze based on a new dark channel estimation method | |
Ganji et al. | Meliorated single image dehazing using dark channel prior with histogram equalization | |
KR101067516B1 (ko) | 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법 | |
CN116912149B (zh) | 图像增强方法、装置及电子设备 | |
CN117676324A (zh) | 一种摄像机状态切换方法、装置、电子设备及存储介质 | |
Martorell et al. | DCT based Multi Exposure Image Fusion. | |
CN116957983A (zh) | 图像增强方法、装置、设备及存储介质 | |
CN113643207A (zh) | 图像处理方法、装置及电子设备 | |
CN116152085A (zh) | 混合灰度图像增强 | |
Singh et al. | A mixture of experts image enhancement scheme for CCTV images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |