CN107615332A - 图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置 - Google Patents

图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置 Download PDF

Info

Publication number
CN107615332A
CN107615332A CN201680029023.2A CN201680029023A CN107615332A CN 107615332 A CN107615332 A CN 107615332A CN 201680029023 A CN201680029023 A CN 201680029023A CN 107615332 A CN107615332 A CN 107615332A
Authority
CN
China
Prior art keywords
image data
processing
dark channel
dark
transmittance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680029023.2A
Other languages
English (en)
Inventor
栗原康平
的场成浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107615332A publication Critical patent/CN107615332A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置(100)具有：缩小处理部(1)，其根据输入图像数据(DIN)生成缩小图像数据(D1)；暗通道计算部(2)，其改变局部区域的位置，针对缩小图像的整个区域进行在局部区域中求出暗通道值(D2)的计算，输出多个暗通道值作为多个第1暗通道值(D2)；图高分辨率化处理部(3)，其进行对由多个第1暗通道值(D2)构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值(D3)构成的第2暗通道图；以及对比度校正部(4)，其根据第2暗通道图和缩小图像数据(D1)生成校正图像数据(DOUT)。

Description

图像处理装置、图像处理方法、程序、记录有该程序的记录介 质、影像拍摄装置和影像记录再现装置
技术领域
本发明涉及进行从基于通过摄像机拍摄而生成的图像数据的输入图像(摄像图像)中去除雾的处理从而生成没有雾的雾校正图像(去雾图像)的图像数据(校正图像数据)的图像处理装置和图像处理方法。并且，本发明涉及应用了所述图像处理装置或图像处理方法的程序、记录该程序的记录介质、影像拍摄装置和影像记录再现装置。
背景技术
作为使通过摄像机拍摄而得到的摄像图像的鲜明度降低的要因，存在包含雾、霾、霭、雪、烟、烟雾和粉尘的气溶胶等。在本申请中，将它们统称作“雾(Haze)”。在存在雾的环境下对被摄体进行摄像机拍摄而得到的摄像图像(雾图像)中，雾的浓度越增加，则对比度越降低，被摄体的判别性和视觉辨认性降低。为了改善这种由雾引起的画质降低，提出了从雾图像中去除雾而生成去雾图像的图像数据(校正图像数据)的雾校正技术。
在这种雾校正技术中，估计摄像图像中的透射率(transmission)并根据估计出的透射率来校正对比度的方法是有效的。例如，在非专利文献1中，作为校正对比度的方法，提出了基于暗原色先验(Dark Channel Prior)的方法。暗原色先验是根据不存在雾的室外自然图像得到的统计法则。暗原色先验是如下法则：在按照每个颜色通道调查出天空以外的室外自然图像的局部区域的多个颜色通道(红色通道、绿色通道和蓝色通道即R通道、G通道和B通道)中的光强度的情况下，多个颜色通道中的至少一个颜色通道的局部区域中的光强度的最小值是非常小的值(一般是接近0的值)。并且，将多个颜色通道(即R通道、G通道和B通道)的局部区域内的光强度的最小值(即R通道的最小值、G通道的最小值和B通道的最小值)中的最小的值称作暗通道(Dark Channel)或暗通道值。根据暗原色先验，根据通过摄像机拍摄而生成的图像数据计算每个局部区域的暗通道值，由此，能够按照摄像图像中的每个像素估计由多个透射率构成的图(透射率图)。然后，使用估计出的透射率图，能够进行用于根据摄像图像(例如雾图像)数据生成作为去雾图像的图像数据的校正图像数据的图像处理。
如非专利文献1所示，摄像图像(例如雾图像)的生成模型用下式(1)表示。
I(X)＝J(X)·t(X)+A·(1-t(X)) 式(1)
在式(1)中，X是像素位置，能够用二维直角坐标系下的坐标(x,y)表现。并且，I(X)是摄像图像(例如雾图像)中的像素位置X的光强度。J(X)是雾校正图像(去雾图像)的像素位置X处的光强度，t(X)是像素位置X处的透射率，0<t(X)<1。并且，A是大气光参数，是固定值(系数)。
为了根据式(1)求出J(X)，需要估计透射率t(X)和大气光参数A。J(X)中的某个局部区域的暗通道值Jdark(X)用下式(2)表示。
在式(2)中，Ω(X)是摄像图像内的包含像素位置X(例如以像素位置X为中心)的局部区域。JC(Y)是R通道、G通道和B通道的雾校正图像的局部区域Ω(X)内的像素位置Y处的光强度。即，JR(Y)是R通道的雾校正图像的局部区域Ω(X)内的像素位置Y处的光强度，JG(Y)是G通道的雾校正图像的局部区域Ω(X)内的像素位置Y处的光强度，JB(Y)是B通道的局部区域Ω(X)内的像素位置Y处的光强度。min(JC(Y))是局部区域Ω(X)内的JC(Y)的最小值。min(min(JC(Y)))是R通道的min(JR(Y))、G通道的min(JG(Y))和B通道的min(JB(Y))中的最小值。
根据暗原色先验，公知不存在雾的图像即雾校正图像的局部区域Ω(X)内的暗通道值Jdark(X)是非常低的值(接近0的值)。但是，雾的浓度越高，则雾图像中的暗通道值Jdark(X)是越大的值。因此，能够根据由多个暗通道值Jdark(X)构成的暗通道图，估计摄像图像中的由多个透射率t(X)构成的透射率图。
对式(1)进行变形后，得到下式(3)。
这里，IC(X)是摄像图像中的R通道、G通道和B通道的像素位置X的光强度。JC(X)是雾校正图像中的R通道、G通道和B通道的像素位置X的光强度。AC是R通道、G通道和B通道的大气光参数(每个颜色通道的固定值)。
根据式(3)，得到下式(4)。
在式(4)中，任意颜色通道中的min(JC(Y))是接近0的值，因此，式(4)的右边第1项中的
能够利用值0来近似。因此，式(4)能够如下式(5)那样表示。
根据式(5)，将(IC(X)/AC)作为输入，求出式(5)左边的值即暗通道值Jdark(X)，由此能够估计透射率t(X)。能够根据将(IC(X)/AC)作为输入而得到的透射率即校正透射率t′(X)的图(即校正透射率图)，进行摄像图像数据的光强度I(X)的校正。将式(1)的透射率t(X)置换成校正透射率t′(X)，由此得到下式(6)。
在设式(6)的右边第1项的分母的最小值为表示最低透射率的正常数t0的情况下，式(6)用下式(7)表示。
这里，max(t′(X),t0)是t′(X)和t0中较大的值。
图1的(a)～(c)是用于说明非专利文献1的雾校正技术的图。图1的(a)对从非专利文献1的图9引用的图标注了解说，图1的(c)根据图1的(a)进行了图像处理。根据式(7)，能够根据图1的(a)所示的雾图像(摄像图像)估计图1的(b)所示的透射率图，得到图1的(c)所示的校正图像。在图1的(b)中，示出越是颜色深的区域(暗的区域)，则透射率越低(接近0)。但是，根据在计算暗通道值Jdark(X)时设定的局部区域的尺寸，产生区组效应。该区组效应的影响表现在图1的(b)所示的透射率图中，在图1的(c)所示的去雾图像中，产生被称作光晕(halo)的边界线附近的白缘。
在非专利文献1提出的技术中，为了在摄像图像即雾图像中对暗通道值进行优化，进行基于匹配模型的高分辨率化(这里，将边缘与输入图像更加一致定义成高分辨率化)处理。
并且，在非专利文献2提出的技术中，为了对暗通道值进行高分辨率化，提出了将雾图像作为引导图像对暗通道值进行边缘保存平滑化处理的导向滤波器(GuidedFilter)。
并且，在专利文献1提出的技术中，将通常的局部区域的尺寸较大(较疏)的暗通道值分割成变化区域和不变区域，根据变化区域和不变区域，生成减小了求出暗通道时的局部区域的尺寸(较密)的暗通道，与较疏的暗通道进行合成，由此估计出高分辨率的透射率图。
现有技术文献
非专利文献
非专利文献1：Kaiming He、Jian Sun和Xiaoou Tang著、“Single Image HazeRemoval Using Dark Channel Prior”、2009年、IEEE第1956-1963页
非专利文献2：Kaiming He、Jian Sun和Xiaoou Tang著、“Guided ImageFiltering”、ECCV 2010
专利文献
专利文献1：日本特开2013-156983号公报(第11～12页)
发明内容
发明要解决的课题
但是，在非专利文献1中的暗通道值的估计法中，需要针对雾图像的各颜色通道的各像素设定局部区域，求出所设定的局部区域各自的最小值。并且，需要考虑噪声耐性而使局部区域的尺寸成为一定尺寸以上。因此，在非专利文献1中的暗通道值的估计法中，存在运算量增大这样的问题。
并且，非专利文献2中的导向滤波器需要按照每个像素设定窗口，针对滤波处理的对象图像和引导图像进行按照每个窗口求解线性模型的运算，因此，存在运算量增多这样的问题。
并且，在专利文献1中，为了进行将暗通道分割成变化区域和不变区域的处理，需要能够保持多个帧的图像数据的帧存储器，存在需要大容量帧存储器这样的问题。
本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供能够以较少的运算量且不需要大容量帧存储器的方式从输入图像得到高品质去雾图像的图像处理装置和图像处理方法。并且，本发明的目的在于，提供应用了所述图像处理装置或图像处理方法的程序、记录该程序的记录介质、影像拍摄装置和影像记录再现装置。
用于解决课题的手段
本发明的一个方式的图像处理装置的特征在于，所述图像处理装置具有：缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；图高分辨率化处理部，其进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及对比度校正部，其进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
并且，本发明的另一个方式的图像处理装置的特征在于，所述图像处理装置具有：缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及对比度校正部，其进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
本发明的一个方式的图像处理方法的特征在于，所述图像处理方法具有以下步骤：缩小步骤，通过对输入图像数据实施缩小处理，生成缩小图像数据；计算步骤，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；图高分辨率化步骤，进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及校正步骤，进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
并且，本发明的另一个方式的图像处理方法的特征在于，所述图像处理方法具有以下步骤：缩小步骤，通过对输入图像数据实施缩小处理，生成缩小图像数据；计算步骤，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及校正步骤，进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
发明效果
根据本发明，进行从基于通过摄像机拍摄而生成的图像数据的摄像图像中去除雾的处理，由此，能够生成作为没有雾的去雾图像的图像数据的校正图像数据。
并且，根据本发明，不是针对摄像图像数据本身进行运算量较大的暗通道值的计算，而是对缩小图像数据进行该计算，因此，能够削减运算量。因此，本发明适合于实时进行从视觉辨认性由于雾而降低的图像中去除雾的处理的装置。
并且，根据本发明，不进行对多个帧的图像数据进行比较的处理，并且，对缩小图像数据进行暗通道值的计算，因此，能够减小帧存储器所要求的存储容量。
附图说明
图1的(a)～(c)是示出基于暗原色先验的雾校正技术的图。
图2是概略地示出本发明的实施方式1的图像处理装置的结构的框图。
图3的(a)是示意地示出根据摄像图像数据计算暗通道值的方法(比较例)的图，(b)是示意地示出根据缩小图像数据计算第1暗通道值的方法(实施方式1)的图。
图4的(a)是示意地示出比较例的导向滤波器的处理的图，(b)是示意地示出实施方式1的图像处理装置的图高分辨率化处理部进行的处理的图。
图5是概略地示出本发明的实施方式2的图像处理装置的结构的框图。
图6是概略地示出本发明的实施方式3的图像处理装置的结构的框图。
图7是概略地示出本发明的实施方式4的图像处理装置的对比度校正部的结构的框图。
图8的(a)和(b)是示意地示出图7的大气光估计部进行的处理的图。
图9是概略地示出本发明的实施方式5的图像处理装置的结构的框图。
图10是概略地示出图9的对比度校正部的结构的框图。
图11是概略地示出本发明的实施方式6的图像处理装置的结构的框图。
图12是概略地示出图11的对比度校正部的结构的框图。
图13是示出本发明的实施方式7的图像处理方法的流程图。
图14是示出本发明的实施方式8的图像处理方法的流程图。
图15是示出本发明的实施方式9的图像处理方法的流程图。
图16是示出本发明的实施方式10的图像处理方法中的对比度校正步骤的流程图。
图17是示出本发明的实施方式11的图像处理方法的流程图。
图18是示出实施方式11的图像处理方法中的对比度校正步骤的流程图。
图19是示出本发明的实施方式12的图像处理方法中的对比度校正步骤的流程图。
图20是示出本发明的实施方式13的图像处理装置的硬件结构图。
图21是概略地示出应用本发明的实施方式1～6和13的图像处理装置作为图像处理部的影像拍摄装置的结构的框图。
图22是概略地示出应用本发明的实施方式1～6和13的图像处理装置作为图像处理部的影像记录再现装置的结构的框图。
具体实施方式
《1》实施方式1
图2是概略地示出本发明的实施方式1的图像处理装置100的结构的框图。实施方式1的图像处理装置100例如进行从基于通过摄像机拍摄而生成的输入图像数据DIN的输入图像(摄像图像)即雾图像中去除雾的处理，由此，生成作为没有雾的图像(去雾图像)的图像数据的校正图像数据DOUT。并且，图像处理装置100是能够实施后述实施方式7(图13)的图像处理方法的装置。
如图2所示，实施方式1的图像处理装置100具有：缩小处理部1，其通过对输入图像数据DIN实施缩小处理，生成缩小图像数据D1；以及暗通道计算部2，其改变关注像素的位置(即改变局部区域的位置)，针对缩小图像的整个区域进行在基于缩小图像数据D1的缩小图像中的包含关注像素的局部区域(后述图3的(b)所示的k×k像素的区域)中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值(缩小暗通道值)D2。并且，图像处理装置100具有图高分辨率化处理部(暗通道图处理部)3，该图高分辨率化处理部3进行将基于缩小图像数据D1的缩小图像作为引导图像对由多个第1暗通道值D2构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值D3构成的第2暗通道图。进而，图像处理装置100具有对比度校正部4，该对比度校正部4进行根据第2暗通道图和缩小图像数据D1对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT。在图像处理装置100中，为了减轻需要较多运算量和帧存储器的暗通道计算和暗通道的高分辨率化处理的处理负荷，能够通过缩小输入图像数据和暗通道图的尺寸，由此维持对比度校正效果，并且实现运算量和必要帧存储器的存储容量的削减。
接着，更加详细地对图像处理装置100的功能进行说明。缩小处理部1对输入图像数据DIN实施缩小处理，使得以1/N倍(N为大于1的值)的缩小率对基于输入图像数据DIN的图像(输入图像)的尺寸进行缩小。通过该缩小处理，根据输入图像数据DIN生成缩小图像数据D1。缩小处理部1的缩小处理例如是基于输入图像数据DIN的图像中的像素的间疏处理。并且，缩小处理部1的缩小处理也可以是对基于输入图像数据DIN的图像中的多个像素进行平均化而生成缩小处理后的像素的处理(例如基于双线性法的处理和基于双三次法的处理等)。但是，缩小处理部1的缩小处理方法不限于上述例子。
暗通道计算部2在缩小图像内改变局部区域的位置，针对缩小图像的整个区域进行在基于缩小图像数据D1的缩小图像中的包含关注像素的局部区域中求出第1暗通道值D2的计算。暗通道计算部2输出通过求出第1暗通道值D2的计算而得到的多个第1暗通道值D2。局部区域是将基于缩小图像数据D1的缩小图像的包含作为某一点的关注像素的k×k像素(k行k列的像素，k为2以上的整数)的区域设为关注像素的局部区域。但是，局部区域的行数和列数也可以是相互不同的数量。并且，关注像素也可以是局部区域的中心像素。
更具体进行说明时，暗通道计算部2针对R、G、B的各颜色通道，在局部区域中求出最小的像素值(最小像素值)。接着，暗通道计算部2在相同的局部区域中求出R通道的最小像素值、G通道的最小像素值和B通道的最小像素值中的值最小的像素值(全部颜色通道中的最小像素值)即第1暗通道值D2。暗通道计算部2使局部区域移动，求出与缩小图像的整个区域有关的多个第1暗通道值D2。暗通道计算部2的处理内容与上述式(2)所示的处理相同。但是，第1暗通道值D2是式(2)的左边即Jdark(X)，关于局部区域，全部颜色通道中的最小像素值是式(2)的右边。
图3的(a)是示意地示出比较例的暗通道值的计算方法的图，图3的(b)是示意地示出实施方式1的图像处理装置100的暗通道计算部2对第1暗通道值D2的计算方法的图。在非专利文献1、2记载的方法(比较例)中，如图3的(a)上段所示，使局部区域移动而反复进行计算未接受缩小处理的输入图像数据DIN中的L×L像素(L为2以上的整数)的局部区域中的暗通道值的处理，由此，如图3的(a)下段所示，生成由多个暗通道值构成的暗通道图。与此相对，如图3的(b)上段所示，实施方式1的图像处理装置100的暗通道计算部2改变局部区域的位置，针对缩小图像的整个区域进行在基于由缩小处理部1生成的缩小图像数据D1的缩小图像中的包含关注像素的k×k像素的局部区域中求出第1暗通道值D2的计算，如图3的(b)下段所示，作为由通过求出第1暗通道值D2的计算而得到的多个第1暗通道值D2构成的第1暗通道图进行输出。
在实施方式1中，在设定图3的(b)上段所示的基于缩小图像数据D1的缩小图像中的局部区域(例如k×k像素)的尺寸(行数和列数)时，考虑图3的(a)上段所示的基于输入图像数据DIN的图像中的局部区域(例如L×L像素)的尺寸。例如，设定基于缩小图像数据D1的缩小图像中的局部区域(例如k×k像素)的尺寸(行数和列数)，使得局部区域相对于图3的(b)中的一个画面的比率(视野角的比率)与局部区域相对于图3的(a)中的一个画面的比率(视野角的比率)大致相等。因此，图3的(b)所示的k×k像素的局部区域的尺寸小于图3的(a)所示的L×L像素的局部区域的尺寸。这样，在实施方式1中，如图3的(b)所示，在第1暗通道值D2的计算中使用的局部区域的尺寸比图3的(a)所示的比较例的情况小，因此，能够削减基于缩小图像数据D1的缩小图像的每一个关注像素的暗通道值计算用的运算量。
作为图3的(a)所示的比较例中的局部区域的尺寸L×L像素，在将基于使输入图像数据DIN缩小至1/N倍的缩小图像数据D1的缩小图像的局部区域的尺寸设定成k×k(k＝L/N)的情况(图3的(b)的情况)下，通过对图像尺寸的缩小率(长度的缩小率)的平方即(1/N)2倍和每一个关注像素的局部区域的尺寸的缩小率的平方即(1/N)2倍进行相乘，得到暗通道计算部2所要求的运算量。因此，在实施方式1的情况下，与比较例相比，最大能够使运算量降低至(1/N)4倍。并且，在实施方式1中，能够将第1暗通道值D2的计算所要求的帧存储器的存储容量削减至比较例中要求的存储容量的(1/N)2倍。
但是，局部区域的尺寸的缩小率不需要必须与缩小处理部1中的图像的缩小率1/N相同。例如，也可以将局部区域的缩小率设为比图像的缩小率即1/N大的值。即，使局部区域的缩小率大于1/N，扩大局部区域的视野角，由此，能够提高暗通道计算针对噪声的鲁棒(robust)性。特别是在将局部区域的缩小率设定成比1/N大的值的情况下，局部区域的尺寸增大，能够提高暗通道值的估计精度，其结果是，能够提高雾浓度的估计精度。
图高分辨率化处理部3进行将基于缩小图像数据D1的缩小图像作为引导图像对由多个第1暗通道值D2构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值D3构成的第2暗通道图。由图高分辨率化处理部3进行的高分辨率化处理例如是基于联合双边滤波器(Joint Bilateral Filter)的处理和基于导向滤波器的处理等。但是，由图高分辨率化处理部3进行的高分辨率化处理不限于此。
联合双边滤波器和导向滤波器进行如下的滤波：在根据校正对象图像p(由雾图像和噪声构成的输入图像)求出校正图像(校正后图像)q时，使用与校正对象图像p不同的图像作为引导图像Hh。联合双边滤波器根据未包含噪声的图像H决定平滑化的权重系数，因此，与双边滤波器(Bilateral Filter)相比，能够在高精度地保存边缘的同时去除噪声。
下面，对在图高分辨率化处理部3中使用导向滤波器的情况下的处理例进行说明。导向滤波器的特征在于，能够通过假设引导图像Hh和校正图像q的线性关系，大幅削减运算量。这里，小文字的h表示像素位置。
通过从校正对象图像(由雾图像qh和噪声nh构成的输入图像)ph中去除噪声成分nh，能够得到雾图像(校正图像)qh。这能够用下式(8)表示。
qh＝ph-nh式(8)
并且，校正图像qh能够作为引导图像Hh的一次函数而如下式(9)那样表示。
qh＝a×Hh+b式(9)
通过求出下式(10)中的矩阵a、b，能够得到校正图像qh。
这里，ε是归一化常数，H(x,y)是Hh，p(x,y)是ph。并且，式(10)是公知的式子。
为了求出坐标(x,y)的某个关注像素中的校正图像的像素值，需要设定包含关注像素的(关注像素周边的)s×s像素(s为2以上的整数)作为局部区域，根据校正对象图像p(x,y)和引导图像H(x,y)各自的局部区域求出矩阵a、b的值。即，需要针对校正对象图像p(x,y)的关注像素这1个像素进行s×s像素的尺寸的运算。
图4的(a)是示意地示出作为比较例的非专利文献2所示的导向滤波器的处理的图，图4的(b)是示意地示出实施方式1的图像处理装置的图高分辨率化处理部3进行的处理的图。在图4的(a)中，设关注像素的附近s×s像素(s为2以上的整数)为局部区域，根据式(7)计算第2暗通道值D3的关注像素的像素值。与此相对，在图4的(b)的实施方式1中，在利用第1暗通道值D2设定局部区域的尺寸(行数和列数)时，考虑图4的(a)所示的基于输入图像数据DIN的图像中的局部区域(例如s×s像素)的尺寸。例如，设定基于缩小图像数据D1的缩小图像中的局部区域(例如t×t像素)的尺寸(行数和列数)，使得局部区域相对于图4的(b)中的一个画面的比率(视野角的比率)与局部区域相对于图4的(a)中的一个画面的比率(视野角的比率)大致相等。因此，图4的(b)所示的t×t像素的局部区域的尺寸小于图4的(a)所示的s×s像素的局部区域的尺寸。这样，在实施方式1中，如图4的(b)所示，在第1暗通道值D2的计算中使用的局部区域的尺寸比图4的(a)所示的比较例的情况小，因此，能够削减基于缩小图像数据D1的缩小图像的每一个关注像素的第1暗通道值D2的计算用的运算量和第2暗通道值D3的计算用的运算量(每一个像素的运算量)。
假设对如下情况进行研究：在图4的(a)的比较例中，设暗通道图的某个关注像素的局部区域的尺寸为s×s像素，将在图4的(b)的实施方式1中相对于输入图像数据DIN为1/N倍规模的第1暗通道值D2的某个关注像素的局部区域的尺寸设定成t×t像素(t＝s/N)。该情况下，图高分辨率化处理部3所要求的运算量是对图像的缩小率即1/N的平方即(1/N)2倍和每一个关注像素的局部区域的缩小率即1/N的平方即(1/N)2倍合起来而成的缩小率，能够最大削减至(1/N)4倍。并且，图像处理装置100具有的帧存储器的存储容量也能够削减至(1/N)2倍。
接着，对比度校正部4进行根据由多个第2暗通道值D3构成的第2暗通道图和缩小图像数据D1对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT。
如图4的(b)所示，在对比度校正部4中，由第2暗通道值D3构成的第2暗通道图为高分辨率，但是，其规模是与输入图像数据DIN相比长度缩小至1/N倍的状态。因此，优选在对比度校正部4内进行对由第2暗通道值D3构成的第2暗通道图进行放大(例如通过双线性法进行放大)等处理。
如以上说明的那样，根据实施方式1的图像处理装置100，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为没有雾的去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式1的图像处理装置100，不是针对输入图像数据DIN本身进行运算量较大的暗通道值的计算，而是对缩小图像数据D1进行该计算，因此，能够削减第1暗通道值D2的计算用的运算量。这样削减了运算量，因此，实施方式1的图像处理装置100适合于实时进行从视觉辨认性由于雾而降低的图像中去除雾的处理的装置。另外，在实施方式1中，虽然由于缩小处理而追加了运算，但是，与第1暗通道值D2的计算中的运算量削减相比，由于追加的运算而引起的运算量增加非常小。并且，在实施方式1中，能够构成为使削减运算量优先而选择运算量的削减效果较高的间疏缩小，或者使针对图像内的含有噪声的耐性优先而选择进行基于耐性较高的双线性法的缩小处理。
并且，根据实施方式1的图像处理装置100，不是在图像整体进行缩小处理，而是按照对图像整体进行分割后的每个局部区域逐次进行缩小处理，由此，缩小处理部后级的暗通道计算部、图高分辨率化处理部、对比度校正部也能够进行每个局部区域的处理或每个像素的处理，因此，能够削减处理整体所需要的存储器。
《2》实施方式2
图5是概略地示出本发明的实施方式2的图像处理装置100b的结构的框图。在图5中，对与图2(实施方式1)所示的结构要素相同或对应的结构要素标注与图2中的标号相同的标号。实施方式2的图像处理装置100b与实施方式1的图像处理装置100的不同之处在于，还具有缩小率生成部5这点、以及缩小处理部1使用由缩小率生成部5生成的缩小率1/N进行缩小处理这点。并且，图像处理装置100b是能够实施后述实施方式8的图像处理方法的装置。
缩小率生成部5进行输入图像数据DIN的分析，根据通过该分析而得到的特征量决定缩小处理部1中进行的缩小处理的缩小率1/N，将表示所决定的缩小率1/N的缩小率控制信号D5输出到缩小处理部1。输入图像数据DIN的特征量例如是通过对输入图像数据DIN实施高通滤波处理而得到的输入图像数据DIN的高频成分的量(例如高频成分的量的平均值)。在实施方式2中，缩小率生成部5例如设定成，输入图像数据DIN的特征量越少，则缩小率控制信号D5的分母N越大。这是因为，特征量越小，则图像的高频成分越少，因此，即使增大缩小率的分母N也能够生成适当的暗通道图，并且，运算量的削减效果较大。并且，这是因为，在特征量较大时增大缩小率的分母N时，无法生成精度较高的适当的暗通道图。
如以上说明的那样，根据实施方式2的图像处理装置100b，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式2的图像处理装置100b，缩小处理部1能够以根据输入图像数据DIN的特征量设定的适当的缩小率1/N进行缩小处理。因此，根据实施方式2的图像处理装置100b，能够适当地进行暗通道计算部2和图高分辨率化处理部3中的运算量削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
另外，关于上述以外的方面，实施方式2与实施方式1相同。
《3》实施方式3
图6是概略地示出本发明的实施方式3的图像处理装置100c的结构的框图。在图6中，对与图5(实施方式2)所示的结构要素相同或对应的结构要素标注与图5中的标号相同的标号。实施方式3的图像处理装置100c与实施方式2的图像处理装置100b的不同之处在于，缩小率生成部5c的输出不仅提供给缩小处理部1而且提供给暗通道计算部2这点、以及暗通道计算部2的计算处理。并且，图像处理装置100c是能够实施后述实施方式9的图像处理方法的装置。
缩小率生成部5c进行输入图像数据DIN的分析，根据通过该分析而得到的特征量决定缩小处理部1中进行的缩小处理的缩小率1/N，将表示所决定的缩小率1/N的缩小率控制信号D5输出到缩小处理部1和暗通道计算部2。输入图像数据DIN的特征量例如是通过对输入图像数据DIN实施高通滤波处理而得到的输入图像数据DIN的高频成分的量(例如平均值)。缩小处理部1使用由缩小率生成部5c生成的缩小率1/N进行缩小处理。在实施方式3中，缩小率生成部5c例如设定成，输入图像数据DIN的特征量越少，则缩小率控制信号D5的分母N越大。并且，暗通道计算部2根据由缩小率生成部5c生成的缩小率1/N，决定求出第1暗通道值D2的计算中的局部区域的尺寸。例如，当设缩小率为1的情况下的局部区域的尺寸为L×L像素时，基于使输入图像数据DIN缩小至1/N倍的缩小图像数据D1的缩小图像的局部区域的尺寸设定为k×k像素(k＝L/N)。这是因为，特征量越少，则图像的高频成分越少，因此，即使增大缩小率的分母也能够计算适当的暗通道值，并且，运算量的削减效果较大。
如以上说明的那样，根据实施方式3的图像处理装置100c，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式3的图像处理装置100c，缩小处理部1能够以根据输入图像数据DIN的特征量设定的适当的缩小率1/N进行缩小处理。因此，根据实施方式3的图像处理装置100c，能够适当地进行暗通道计算部2和图高分辨率化处理部3中的运算量削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
另外，关于上述以外的方面，实施方式3与实施方式2相同。
《4》实施方式4
图7是示出本发明的实施方式4的图像处理装置中的对比度校正部4的结构的一例的图。实施方式4的图像处理装置中的对比度校正部4能够用作实施方式1～3中的任意一个对比度校正部。并且，实施方式4的图像处理装置是能够实施后述实施方式10的图像处理方法的装置。另外，在说明实施方式4时也参照图2。
如图7所示，对比度校正部4具有根据从缩小处理部1输出的缩小图像数据D1和由图高分辨率化处理部3生成的第2暗通道值D3估计缩小图像数据D1中的大气光成分D41的大气光估计部41、以及根据大气光成分D41和第2暗通道值D3生成基于缩小图像数据D1的缩小图像中的透射率图D42的透射率估计部42。并且，对比度校正部4具有通过进行放大透射率图D42的处理而生成放大透射率图D43的透射率图放大部43、以及根据放大透射率图D43和大气光成分D41对输入图像数据DIN实施雾校正处理而生成校正图像数据DOUT的雾去除部44。
大气光估计部41根据缩小图像数据D1和第2暗通道值D3估计输入图像数据DIN中的大气光成分D41。能够在缩小图像数据D1中从雾最浓的区域中估计大气光成分D41。雾的浓度越高，则暗通道值越增加，因此，大气光成分D41能够由第2暗通道值(高分辨率暗通道值)D3具有最高值的区域中的缩小图像数据D1的各颜色通道的值进行定义。
图8的(a)和(b)是示意地示出图7的大气光估计部41进行的处理的图。图8的(a)对从非专利文献1的图5引用的图标注了解说，图8的(b)根据图8的(a)进行了图像处理。首先，如图8的(b)所示，从由第2暗通道值D3构成的第2暗通道图中提取任意数量的暗通道值最大的像素，将包含提取出的像素的区域设定为暗通道值的最大区域。接着，如图8的(a)所示，从缩小图像数据D1中提取与暗通道值的最大区域对应的区域的像素值，按照R、G、B的每个颜色通道计算平均值，由此生成R、G、B的各颜色通道的大气光成分D41。
透射率估计部42使用大气光成分D41和第2暗通道值D3估计透射率图D42。
在式(5)中，在大气光成分D41的各颜色通道的成分AC表示相同的值(大致相同的值)的情况下，R、G、B的各颜色通道的大气光成分AR、AG、AB为AR≒AG≒AB，因此，能够如下式(11)那样表示式(5)的左边。
因此，式(5)能够如下式(12)那样表示。
式(12)表示能够根据第2暗通道值D3和大气光成分D41估计由多个透射率t(X)构成的透射率图D42。
另外，在实施方式4中，说明了为了省略透射率估计部42中的计算，假设大气光成分D41的各颜色通道的成分表示相同的值的情况，但是，透射率估计部42也可以针对R、G、B的各颜色通道计算IC/AC，求出与R、G、B的各颜色通道有关的暗通道值，根据求出的暗通道值生成透射率图。这种结构将在后述的实施方式5、6中进行说明。
透射率图放大部43根据缩小处理部1的缩小率1/N对透射率图D42进行放大(例如以放大率N进行放大)，输出放大透射率图D43。放大处理例如是基于双线性法的处理和基于双三次法的处理。
雾去除部44进行使用放大透射率图D43针对输入图像数据DIN去除雾的校正处理(雾去除处理)，由此生成校正图像数据DOUT。
在式(7)中，设输入图像数据DIN为I(X)、大气光成分D41为A、放大透射率图D43为t′(X)，由此能够求出校正图像数据DOUT即J(X)。
如以上说明的那样，根据实施方式4的图像处理装置，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式4的图像处理装置，能够适当地进行暗通道计算部2和图高分辨率化处理部3中的运算量削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
并且，根据实施方式4的图像处理装置，假设大气光成分D41的R、G、B的各颜色通道的成分具有相同的值，由此，能够省略与R、G、B的各颜色通道有关的暗通道值的计算，能够削减运算量。
另外，关于上述以外的方面，实施方式4与实施方式1相同。
《5》实施方式5
图9是概略地示出本发明的实施方式5的图像处理装置100d的结构的框图。在图9中，对与图2(实施方式1)所示的结构要素相同或对应的结构要素标注与图2中的标号相同的标号。实施方式5的图像处理装置100d与实施方式1的图像处理装置100的不同之处在于，不具有图高分辨率化处理部3这点、以及对比度校正部4d的结构和功能这点。并且，实施方式5的图像处理装置100d是能够实施后述实施方式11的图像处理方法的装置。另外，实施方式5的图像处理装置100d也可以具有实施方式2中的缩小率生成部5或实施方式3中的缩小率生成部5c。
如图9所示，实施方式5的图像处理装置100d具有：缩小处理部1，其通过对输入图像数据DIN实施缩小处理，生成缩小图像数据D1；以及暗通道计算部2，其改变局部区域的位置，针对缩小图像的整个区域进行在基于缩小图像数据D1的缩小图像中的包含关注像素的局部区域中求出暗通道值D2的计算，输出通过所述计算而得到的多个暗通道值作为由多个第1暗通道值D2构成的第1暗通道图。并且，图像处理装置100d具有对比度校正部4d，该对比度校正部4d进行根据第1暗通道图和缩小图像数据D1对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT。
图10是概略地示出图9的对比度校正部4d的结构的框图。如图10所示，对比度校正部4d具有根据第1暗通道图和缩小图像数据D1估计缩小图像数据D1中的大气光成分D41d的大气光估计部41d、以及根据大气光成分D41d和缩小图像数据D1生成基于缩小图像数据D1的缩小图像中的第1透射率图D42d的透射率估计部42d。并且，对比度校正部4d具有：图高分辨率化处理部(透射率图处理部)45d，其进行将基于缩小图像数据D1的缩小图像作为引导图像对第1透射率图D42d进行高分辨率化的处理，由此生成分辨率比第1透射率图D42d高的第2透射率图(高分辨率透射率图)D45d；以及透射率图放大部43d，其进行放大第2透射率图D45d的处理，由此生成第3透射率图(放大透射率图)D43d。进而，对比度校正部4d具有雾去除部44d，该雾去除部44d对输入图像数据DIN实施根据第3透射率图D43d和大气光成分D41d对输入图像的像素值进行校正的雾去除处理，由此生成校正图像数据DOUT。
在上述实施方式1～4中，是对第1暗通道图进行高分辨率化处理，但是，在实施方式5中，是对比度校正部4d的图高分辨率化处理部45d对第1透射率图D42d进行高分辨率化处理。
在实施方式5中，透射率估计部42d根据缩小图像数据D1和大气光成分D41d估计第1透射率图D42d。具体而言，在式(5)中的Ic(Y)(Y为局部区域内的像素位置)中代入缩小图像数据D1的像素值，在Ac中代入大气光成分D41d的像素值，估计式(5)左边的值即暗通道值。估计出的暗通道值与式(5)的右边即1-t(X)(X为像素位置)相等，因此，能够计算透射率t(X)。
图高分辨率化处理部45d生成将基于缩小图像数据D1的缩小图像作为引导图像对第1透射率图D42d进行高分辨率化而得到的第2透射率图D45d。高分辨率化处理是在实施方式1中说明的基于联合双边滤波器的处理和基于导向滤波器的处理等。但是，由图高分辨率化处理部45d进行的高分辨率化处理不限于此。
透射率图放大部43d根据缩小处理部1的缩小率1/N对第2透射率图D45d进行放大(例如以放大率N进行放大)，由此生成第3透射率图D43d。放大处理例如是基于双线性法的处理和基于双三次法的处理等。
如以上说明的那样，根据实施方式5的图像处理装置100d，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式5的图像处理装置100d，能够适当地进行暗通道计算部2和对比度校正部4d中的运算量削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
并且，实施方式5的图像处理装置100d的对比度校正部4d针对R、G、B的各颜色通道求出大气光成分D41d，因此，在大气光有色、希望对校正图像数据DOUT的白平衡进行调整的情况下，能够进行有效的处理。由此，根据图像处理装置100d，例如，在由于烟雾等的影响而使图像整体发黄的情况下，能够生成黄色得到抑制的校正图像数据DOUT。
另外，关于上述以外的方面，实施方式5与实施方式1相同。
《6》实施方式6
图11是概略地示出本发明的实施方式6的图像处理装置100e的结构的框图。在图11中，对与图9(实施方式5)所示的结构要素相同或对应的结构要素标注与图9中的标号相同的标号。实施方式6的图像处理装置100e与图9所示的图像处理装置100d的不同之处在于，不从缩小处理部1对对比度校正部4e提供缩小图像数据D1这点、以及对比度校正部4e的结构和功能这点。并且，实施方式6的图像处理装置100e是能够实施后述实施方式12的图像处理方法的装置。另外，实施方式6的图像处理装置100e也可以具有实施方式2中的缩小率生成部5或实施方式3中的缩小率生成部5c。
如图11所示，实施方式6的图像处理装置100e具有：缩小处理部1，其通过对输入图像数据DIN实施缩小处理，生成缩小图像数据D1；以及暗通道计算部2，其改变局部区域的位置，针对缩小图像的整个区域进行在基于缩小图像数据D1的缩小图像中的包含关注像素的局部区域中求出暗通道值D2的计算，输出通过所述计算而得到的多个暗通道值作为由多个第1暗通道值D2构成的第1暗通道图。并且，图像处理装置100e具有对比度校正部4e，该对比度校正部4e进行根据第1暗通道图对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT。
图12是概略地示出图11的对比度校正部4e的结构的框图。如图12所示，对比度校正部4e具有根据输入图像数据DIN和第1暗通道图估计输入图像数据DIN的大气光成分D41e的大气光估计部41e、以及根据大气光成分D41e和输入图像数据DIN生成基于输入图像数据DIN的第1透射率图D42e的透射率估计部42d。并且，对比度校正部4e具有图高分辨率化处理部(透射率图处理部)45e，该图高分辨率化处理部45e进行将基于输入图像数据DIN的图像作为引导图像对第1透射率图D42e进行高分辨率化的处理，由此生成分辨率比第1透射率图D42e高的第2透射率图(高分辨率透射率图)D45e。进而，对比度校正部4e具有雾去除部44e，该雾去除部44e对输入图像数据DIN实施根据第2透射率图D45e和大气光成分D41e对输入图像的像素值进行校正的雾去除处理，由此生成校正图像数据DOUT。
在上述实施方式1～4中，是对第1暗通道图进行高分辨率化处理，但是，在实施方式6中，是对比度校正部4e的图高分辨率化处理部45e对第1透射率图D42e进行高分辨率化处理。
在实施方式6中，透射率估计部42e根据输入图像数据DIN和大气光成分D41e估计第1透射率图D42e。具体而言，在式(5)中的Ic(Y)中代入缩小图像数据D1的像素值，在Ac中代入大气光成分D41e的像素值，估计式(5)左边的值即暗通道值。估计出的暗通道值与式(5)的右边即1-t(X)相等，因此，能够计算透射率t(X)。
图高分辨率化处理部45e生成将基于输入图像数据DIN的图像作为引导图像对第1透射率图D42e进行高分辨率化而得到的第2透射率图(高分辨率透射率图)D45e。高分辨率化处理是在实施方式1中说明的基于联合双边滤波器的处理和基于导向滤波器的处理等。但是，由图高分辨率化处理部45e进行的高分辨率化处理不限于此。
如以上说明的那样，根据实施方式6的图像处理装置100e，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式6的图像处理装置100e，能够适当地进行暗通道计算部2和对比度校正部4e中的运算量削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
并且，实施方式6的图像处理装置100e的对比度校正部4e针对R、G、B的各颜色通道求出大气光成分D41e，因此，在大气光有色、希望对校正图像数据DOUT的白平衡进行调整的情况下，能够进行有效的处理。由此，根据图像处理装置100e，例如，在图像整体由于烟雾等的影响而发黄的情况下，能够生成黄色得到抑制的校正图像数据DOUT。并且，实施方式6的图像处理装置100e在调整白平衡并取得高分辨率的第2透射率图D45e，并且希望削减暗通道计算的运算量的情况下是有效的。
另外，关于上述以外的方面，实施方式6与实施方式5相同。
《7》实施方式7
图13是示出本发明的实施方式7的图像处理方法的流程图。实施方式7的图像处理方法由处理装置(例如处理电路、或存储器和执行该存储器中存储的程序的处理器)来执行。实施方式7的图像处理方法能够由实施方式1的图像处理装置100来执行。
如图13所示，在实施方式7的图像处理方法中，首先，处理装置实施对基于输入图像数据DIN的输入图像进行缩小的处理(输入图像数据DIN的缩小处理)，生成与缩小图像有关的缩小图像数据D1(缩小步骤S11)。该步骤S11的处理相当于实施方式1(图2)中的缩小处理部1的处理。
接着，处理装置改变基于缩小图像数据D1的缩小图像中的包含关注像素的局部区域的位置，针对基于缩小图像数据D1的缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，生成通过该计算而得到的多个暗通道值即多个第1暗通道值D2(计算步骤S12)。多个第1暗通道值D2构成第1暗通道图。该步骤S12的处理相当于实施方式1(图2)中的暗通道计算部2的处理。
接着，处理装置进行将基于缩小图像数据D1的缩小图像作为引导图像对第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值D3构成的第2暗通道图(高分辨率暗通道图)(图高分辨率化步骤S13)。该步骤S13的处理相当于实施方式1(图2)中的图高分辨率化处理部3的处理。
接着，处理装置进行根据第2暗通道图和缩小图像数据D1对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT(校正步骤S14)。该步骤S14的处理相当于实施方式1(图2)中的对比度校正部4的处理。
如以上说明的那样，根据实施方式7的图像处理方法，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式7的图像处理方法，不是针对输入图像数据DIN本身进行运算量较大的暗通道值的计算，而是对缩小图像数据D1进行该计算，因此，能够削减第1暗通道值D2的计算用的运算量。并且，根据实施方式7的图像处理方法，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
《8》实施方式8
图14是示出实施方式8的图像处理方法的流程图。图14所示的图像处理方法由处理装置(例如处理电路、或存储器和执行该存储器中存储的程序的处理器)来执行。实施方式8的图像处理方法能够由实施方式2的图像处理装置100b来执行。
在图14所示的图像处理方法中，首先，处理装置根据输入图像数据DIN的特征量生成缩小率1/N(步骤S20)。该步骤的处理相当于实施方式2(图5)中的缩小率生成部5的处理。
接着，处理装置实施使用缩小率1/N对基于输入图像数据DIN的输入图像进行缩小的处理(输入图像数据DIN的缩小处理)，生成与缩小图像有关的缩小图像数据D1(缩小步骤S21)。该步骤S21的处理相当于实施方式2(图5)中的缩小处理部1的处理。
接着，处理装置改变基于缩小图像数据D1的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，生成通过该计算而得到的多个暗通道值即多个第1暗通道值D2(计算步骤S22)。多个第1暗通道值D2构成第1暗通道图。该步骤S22的处理相当于实施方式2(图5)中的暗通道计算部2的处理。
接着，处理装置进行将缩小图像作为引导图像对第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值D3构成的第2暗通道图(高分辨率暗通道图)(图高分辨率化步骤S23)。该步骤S23的处理相当于实施方式2(图5)中的图高分辨率化处理部3的处理。
接着，处理装置进行根据第2暗通道图和缩小图像数据D1对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT(校正步骤S24)。该步骤S24的处理相当于实施方式2(图5)中的对比度校正部4的处理。
如以上说明的那样，根据实施方式8的图像处理方法，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式8的图像处理方法，能够以根据输入图像数据DIN的特征量设定的适当的缩小率1/N进行缩小处理。因此，根据实施方式8的图像处理方法，能够适当地进行运算量的削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
《9》实施方式9
图15是示出实施方式9的图像处理方法的流程图。图15所示的图像处理方法由处理装置(例如处理电路、或存储器和执行该存储器中存储的程序的处理器)来执行。实施方式9的图像处理方法能够由实施方式3的图像处理装置100c来执行。图15所示的步骤S30的处理与图14所示的步骤S20的处理相同。该步骤S30的处理相当于实施方式3中的缩小率生成部5c的处理。图15所示的步骤S31的处理与图14所示的步骤S21的处理相同。该步骤S31的处理相当于实施方式3(图6)中的缩小处理部1的处理。
接着，处理装置根据缩小率1/N决定求出第1暗通道值D2的计算中的局部区域的尺寸。例如，当设未进行缩小处理的情况下的局部区域的尺寸为L×L像素时，将基于使输入图像数据DIN成为(缩小至)1/N倍的缩小图像数据D1的缩小图像的局部区域的尺寸设定成k×k像素(k＝L/N)。处理装置改变局部区域的位置，针对所述缩小图像的整个区域进行在该局部区域中求出暗通道值的计算，生成通过该计算而得到的多个暗通道值即多个第1暗通道值D2(计算步骤S32)。多个第1暗通道值D2构成第1暗通道图。该步骤S32的处理相当于实施方式3(图6)中的暗通道计算部2的处理。
图15所示的步骤S33的处理与图14所示的步骤S23的处理相同。该步骤S33的处理相当于实施方式3(图6)中的图高分辨率化处理部3的处理。
图15所示的步骤S34的处理与图14所示的步骤S24的处理相同。该步骤S34的处理相当于实施方式3(图6)中的对比度校正部4的处理。
如以上说明的那样，根据实施方式9的图像处理方法，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式9的图像处理方法，能够以根据输入图像数据DIN的特征量设定的适当的缩小率1/N进行缩小处理。因此，根据实施方式9的图像处理方法，能够适当地进行暗通道计算(步骤S31)和高分辨率化处理(步骤S32)中的运算量的削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
《10》实施方式10
图16是示出实施方式10的图像处理方法中的对比度校正步骤的流程图。图16所示的处理能够应用于图13中的步骤S14、图14中的步骤S24和图15中的步骤S34。图16所示的图像处理方法由处理装置(例如处理电路、或存储器和执行该存储器中存储的程序的处理器)来执行。实施方式10的图像处理方法中的对比度校正步骤能够由实施方式4的图像处理装置的对比度校正部4来执行。
在图16所示的步骤S14中，首先，处理装置根据由多个第2暗通道值D3构成的第2暗通道图和缩小图像数据D1，估计基于缩小图像数据D1的缩小图像中的大气光成分D41(步骤S141)。该步骤的处理相当于实施方式4(图7)中的大气光估计部41的处理。
接着，处理装置根据由多个第2暗通道值D3构成的第2暗通道图和大气光成分D41估计第1透射率，生成由多个第1透射率构成的第1透射率图D42(步骤S142)。该步骤的处理相当于实施方式4(图7)中的透射率估计部42的处理。
接着，处理装置根据在缩小处理中缩小的缩小率(例如使用缩小率的倒数作为放大率)对第1透射率图进行放大，生成第2透射率图(放大透射率图)(步骤S143)。该步骤的处理相当于实施方式4(图7)中的透射率图放大部43的处理。
接着，处理装置进行根据放大透射率图D43和大气光成分D41对基于输入图像数据DIN的图像的像素值进行校正而去除雾的处理(雾去除处理)，对输入图像的对比度进行校正，由此生成校正图像数据DOUT(步骤S144)。该步骤的处理相当于实施方式4(图7)中的雾去除部44的处理。
如以上说明的那样，根据实施方式10的图像处理方法，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式10的图像处理方法，能够适当地进行运算量的削减，并且，能够适当地削减在缩小处理和暗通道计算中使用的帧存储器的存储容量。
《11》实施方式11
图17是示出实施方式11的图像处理方法的流程图。图17所示的图像处理方法能够由实施方式5(图9)的图像处理装置100d来实施。图17所示的图像处理方法由处理装置(例如处理电路、或存储器和执行该存储器中存储的程序的处理器)来执行。实施方式11的图像处理方法能够由实施方式5的图像处理装置100d来执行。
在图17所示的图像处理方法中，首先，处理装置对基于输入图像数据DIN的输入图像实施缩小处理，生成与缩小图像有关的缩小图像数据D1(步骤S51)。该步骤S51的处理相当于实施方式5(图9)中的缩小处理部1的处理。
接着，处理装置针对缩小图像数据D1，按照每个局部区域计算第1暗通道值D2，生成由多个第1暗通道值D2构成的第1暗通道图(步骤S52)。该步骤S52的处理相当于实施方式5(图9)中的暗通道计算部2的处理。
接着，处理装置进行根据第1暗通道图和缩小图像数据D1对输入图像数据DIN的对比度进行校正的处理，由此生成校正图像数据DOUT(步骤S54)。该步骤S54的处理相当于实施方式5(图9)中的对比度校正部4d的处理。
图18是示出实施方式11的图像处理方法中的对比度校正步骤S54的流程图。图18所示的处理相当于图10中的对比度校正部4d的处理。
在图18所示的步骤S54中，首先，处理装置根据由多个第1暗通道值D2构成的第1暗通道图和缩小图像数据D1估计大气光成分D41d(步骤S541)。该步骤S541的处理相当于实施方式5(图10)中的大气光估计部41d的处理。
接着，处理装置根据缩小图像数据D1和大气光成分D41d生成缩小图像中的第1透射率图D42d(步骤S542)。该步骤S542的处理相当于实施方式5(图10)中的透射率估计部42d的处理。
接着，处理装置进行将基于缩小图像数据D1的缩小图像作为引导图像对第1透射率图D42d进行高分辨率化的处理，由此生成分辨率比第1透射率图高的第2透射率图D45d(步骤S542a)。该步骤S542a的处理相当于实施方式5(图10)中的图高分辨率化处理部45d的处理。
接着，处理装置进行对第2透射率图D45d进行放大的处理，由此生成第3透射率图D43d(步骤S543)。能够根据在缩小处理中缩小的缩小率(例如使用缩小率的倒数作为放大率)来设定此时的放大率。该步骤S543的处理相当于实施方式5(图10)中的透射率图放大部43d的处理。
接着，处理装置对输入图像数据DIN实施根据第3透射率图D43d和大气光成分D41d对输入图像的像素值进行校正的雾去除处理，由此生成校正图像数据DOUT(步骤S544)。该步骤S544的处理相当于实施方式5(图10)中的雾去除部44d的处理。
如以上说明的那样，根据实施方式11的图像处理方法，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式11的图像处理方法，能够适当地进行运算量的削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
《12》实施方式12
实施方式11中说明的图17的图像处理方法也可以是能够由实施方式6(图11)的图像处理装置100e来实施的处理内容。在实施方式12中的图像处理方法中，首先，处理装置对基于输入图像数据DIN的输入图像实施缩小处理，生成与缩小图像有关的缩小图像数据D1(步骤S51)。该步骤S51的处理相当于实施方式6(图11)中的缩小处理部1的处理。
接着，处理装置针对缩小图像数据D1，按照每个局部区域计算第1暗通道值D2，生成由多个第1暗通道值D2构成的第1暗通道图(步骤S52)。该步骤S52的处理相当于实施方式6(图11)中的暗通道计算部2的处理。
接着，处理装置进行根据第1暗通道图进行对输入图像数据DIN的对比度校正的处理，由此生成校正图像数据DOUT(步骤S54)。该步骤S54的处理相当于实施方式6(图11)中的对比度校正部4e的处理。
图19是示出实施方式12的图像处理方法中的对比度校正步骤S54的流程图。图19所示的处理相当于图12中的对比度校正部4e的处理。
在图19所示的步骤S54中，首先，处理装置根据由多个第1暗通道值D2构成的第1暗通道图和输入图像数据DIN估计大气光成分D41(步骤S641)。该步骤S641的处理相当于实施方式6(图12)中的大气光估计部41e的处理。
接着，处理装置根据输入图像数据DIN和大气光成分D41e生成缩小图像中的第1透射率图D42e(步骤S642)。该步骤S642的处理相当于实施方式6(图12)中的透射率估计部42e的处理。
接着，处理装置进行将输入图像数据DIN作为引导图像对第1透射率图D42e进行高分辨率化的处理，由此生成分辨率比第1透射率图D42e高的第2透射率图(高分辨率透射率图)D45e(步骤S642a)。该步骤S642a的处理相当于实施方式6中的图高分辨率化处理部45e的处理。
接着，处理装置对输入图像数据DIN实施根据第2透射率图D45e和大气光成分D41e对输入图像的像素值进行校正的雾去除处理，由此生成校正图像数据DOUT(步骤S644)。该步骤S644的处理相当于实施方式6(图12)中的雾去除部44e的处理。
如以上说明的那样，根据实施方式12的图像处理方法，通过进行从基于输入图像数据DIN的图像中去除雾的处理，能够生成作为去雾图像的图像数据的校正图像数据DOUT。
并且，根据实施方式12的图像处理方法，能够适当地进行运算量的削减，并且，能够适当地削减在暗通道计算和图高分辨率化处理中使用的帧存储器的存储容量。
《13》实施方式13
图20是示出本发明的实施方式13的图像处理装置的硬件结构图。实施方式13的图像处理装置能够实现实施方式1～6的图像处理装置。如图20所示，实施方式13的图像处理装置(处理装置90)能够由集成电路等处理电路构成。并且，处理装置90能够由存储器91和能够执行存储器91中存储的程序的CPU(Central Processing Unit)92构成。并且，处理装置90可以具有由半导体存储器等构成的帧存储器93。CPU92也被称作中央处理装置、运算装置、微处理器、微计算机、处理器或DSP(Digital Signal Processor)。存储器91例如是RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(Erasable ProgrammableRead Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等非易失性或易失性半导体存储器或磁盘、软盘、光盘、高密度盘、迷你盘、DVD(DigitalVersatile Disc)等。
实施方式1(图2)的图像处理装置100中的缩小处理部1、暗通道计算部2、图高分辨率化处理部3和对比度校正部4的功能能够由处理装置90来实现。这些各部1、2、3、4的功能能够由处理装置90即软件、固件或软件与固件的组合来实现。软件和固件作为程序进行记述，存储在存储器91中。CPU92读出并执行存储器91中存储的程序，由此实现实施方式1(图2)的图像处理装置100中的各结构的功能。该情况下，处理装置90执行图13中的步骤S11～S14的处理。
同样，实施方式2(图5)的图像处理装置100b中的缩小处理部1、暗通道计算部2、图高分辨率化处理部3、对比度校正部4和缩小率生成部5的功能能够由处理装置90来实现。这些各部1、2、3、4、5的功能能够由处理装置90即软件、固件、或软件与固件的组合来实现。CPU92读出并执行存储器91中存储的程序，由此实现实施方式2(图5)的图像处理装置100b中的各结构的功能。该情况下，处理装置90执行图14的步骤S20～S24的处理。
同样，实施方式3(图6)的图像处理装置100c中的缩小处理部1、暗通道计算部2、图高分辨率化处理部3、对比度校正部4和缩小率生成部5c的功能能够由处理装置90来实现。这些各部1、2、3、4、5c的功能能够由处理装置90即软件、固件或软件与固件的组合来实现。CPU92读出并执行存储器91中存储的程序，由此实现实施方式3(图6)的图像处理装置100c中的各结构的功能。该情况下，处理装置90执行图15的步骤S30～S34的处理。
同样，实施方式4(图7)的图像处理装置的对比度校正部4的大气光估计部41、透射率估计部42和透射率图放大部43的功能能够由处理装置90来实现。这些各部41、42、43的功能能够由处理装置90即软件、固件或软件与固件的组合来实现。CPU92读出并执行存储器91中存储的程序，由此实现实施方式4的图像处理装置的对比度校正部4中的各结构的功能。该情况下，处理装置90执行图16的步骤S141～S144的处理。
同样，实施方式5(图9和图10)的图像处理装置100d的缩小处理部1、暗通道计算部2和对比度校正部4d的功能能够由处理装置90来实现。这些各部1、2、4d的结构的功能能够由处理装置90即软件、固件或软件与固件的组合来实现。CPU92读出并执行存储器91中存储的程序，由此实现实施方式5的图像处理装置100d中的各结构的功能。该情况下，处理装置90执行图17的步骤S51、S52、S54的处理。并且，在步骤S54中，执行图18的步骤S541、S542、S542a、S543、S544的处理。
同样，实施方式6(图11和图12)的图像处理装置100e的缩小处理部1、暗通道计算部2和对比度校正部4e的功能能够由处理装置90来实现。这些各部1、2、4e的功能能够由处理装置90即软件、固件或软件与固件的组合来实现。CPU92读出并执行存储器91中存储的程序，由此实现实施方式6的图像处理装置100e中的各结构的功能。该情况下，处理装置90执行图17的步骤S51、S52、S54的处理。并且，在步骤S54中，执行图19的步骤S641、S642、S642a、S644的处理。
《14》变形例
上述实施方式1～13的图像处理装置和图像处理方法例如能够应用于摄像机这样的影像拍摄装置。图21是概略地示出应用本发明的实施方式1～6和实施方式13中的任意图像处理装置作为图像处理部72的影像拍摄装置的结构的框图。应用实施方式1～6和实施方式13的图像处理装置的影像拍摄装置具有通过摄像机拍摄而生成输入图像数据DIN的摄像部71、以及具有与实施方式1～6和实施方式13中的任意图像处理装置相同的结构和功能的图像处理部72。并且，应用实施方式7～12的图像处理方法的影像拍摄装置具有生成输入图像数据DIN的摄像部71、以及执行实施方式7～12中的任意图像处理方法的图像处理部72。这种影像拍摄装置在拍摄到雾图像的情况下，也能够实时输出能够显示去雾图像的校正图像数据DOUT。
并且，上述实施方式1～13的图像处理装置和图像处理方法能够应用于影像记录再现装置(例如硬盘记录器和光盘记录器等)。图22是概略地示出应用本发明的实施方式1～6和实施方式13中的任意图像处理装置作为图像处理部82的影像记录再现装置的结构的框图。应用实施方式1～6和实施方式13的图像处理装置的影像记录再现装置具有：记录再现部81，其在信息记录介质83中记录图像数据，输出信息记录介质83中记录的图像数据，作为被输入到作为图像处理装置的图像处理部82的输入图像数据DIN；以及图像处理部82，其对从该记录再现部81输出的输入图像数据DIN实施图像处理，生成校正图像数据DOUT。该图像处理部82具有与实施方式1～6和实施方式13中的任意图像处理装置相同的结构和功能。或者，图像处理部82构成为能够执行实施方式7～12中的任意图像处理方法。这种影像记录再现装置在信息记录介质83中记录有雾图像的情况下，也能够在再现时输出能够显示去雾图像的校正图像数据DOUT。
并且，上述实施方式1～13的图像处理装置和图像处理方法能够应用于在显示器画面中显示基于图像数据的图像的图像显示装置(例如电视机和个人电脑等)。应用实施方式1～6和实施方式13的图像处理装置的图像显示装置具有根据输入图像数据DIN生成校正图像数据DOUT的图像处理部、以及在画面中显示基于从该图像处理部输出的校正图像数据DOUT的图像的显示部。该图像处理部具有与实施方式1～6和实施方式13中的任意图像处理装置相同的结构和功能。或者，图像处理部构成为能够执行实施方式7～12的图像处理方法。这种图像显示装置在被输入雾图像作为输入图像数据DIN的情况下，也能够实时显示去雾图像。
进而，本发明包含用于使计算机执行上述实施方式1～13的图像处理装置和图像处理方法中的处理的程序、以及记录有该程序的计算机可读取的记录介质。
标号说明
100、100b、100c、100d、100e：图像处理装置；1：缩小处理部；2：暗通道计算部；3：图高分辨率化处理部(暗通道图处理部)；4、4d、4e：对比度校正部；5、5c：缩小率生成部；41、41d、41e：大气光估计部；42、42d、42e：透射率估计部；43、43d：透射率图放大部；44、44d、44e：雾去除部；45、45d、45e：图高分辨率化处理部(透射率图处理部)；71：摄像部；72、82：图像处理部；81：记录再现部；83：信息记录介质；90：处理装置；91：存储器；92：CPU；93：帧存储器。

Claims (20)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：
缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；
暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；
图高分辨率化处理部，其进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及
对比度校正部，其进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述对比度校正部具有：
大气光估计部，其根据所述第2暗通道图和所述缩小图像数据估计所述缩小图像数据中的大气光成分；
透射率估计部，其根据所述第2暗通道图和所述大气光成分生成所述缩小图像中的第1透射率图；
透射率图放大部，其进行对所述第1透射率图进行放大的处理，由此生成第2透射率图；以及
雾去除部，其对所述输入图像数据实施根据所述第2透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。
3.一种图像处理装置，其特征在于，所述图像处理装置具有：
缩小处理部，其通过对输入图像数据实施缩小处理，生成缩小图像数据；
暗通道计算部，其改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及
对比度校正部，其进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述对比度校正部具有：
大气光估计部，其根据所述第1暗通道图和所述输入图像数据估计所述输入图像数据中的大气光成分；
透射率估计部，其根据所述输入图像数据和所述大气光成分生成基于所述输入图像数据的输入图像中的第1透射率图；
图高分辨率化处理部，其进行将基于所述输入图像数据的输入图像作为引导图像对所述第1透射率图进行高分辨率化的处理，由此生成分辨率比所述第1透射率图高的第2透射率图；以及
雾去除部，其对所述输入图像数据实施根据所述第2透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。
5.根据权利要求3所述的图像处理装置，其特征在于，
所述对比度校正部具有：
大气光估计部，其根据所述第1暗通道图和所述缩小图像数据估计所述缩小图像数据中的大气光成分；
透射率估计部，其根据所述缩小图像数据和所述大气光成分生成所述缩小图像中的第1透射率图；
图高分辨率化处理部，其进行将所述缩小图像作为引导图像对所述第1透射率图进行高分辨率化的处理，由此生成分辨率比所述第1透射率图高的第2透射率图；
透射率图放大部，其进行对所述第2透射率图进行放大的处理，由此生成第3透射率图；以及
雾去除部，其对所述输入图像数据实施根据所述第3透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。
6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
所述缩小处理是基于所述输入图像数据的输入图像中的像素的间疏处理。
7.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
所述缩小处理是对基于所述输入图像数据的输入图像中的多个像素的像素值进行平均化而生成新像素的处理。
8.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，
所述图像处理装置还具有缩小率生成部，该缩小率生成部生成在所述缩小处理中使用的缩小率，使得从所述输入图像数据得到的特征量越小，则所述缩小图像的尺寸越大。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述暗通道计算部根据由所述缩小率生成部生成的所述缩小率，决定求出所述第1暗通道值的计算中的所述局部区域的尺寸。
10.一种图像处理方法，其特征在于，所述图像处理方法具有以下步骤：
缩小步骤，通过对输入图像数据实施缩小处理，生成缩小图像数据；
计算步骤，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；
图高分辨率化步骤，进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及
校正步骤，进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
11.根据权利要求10所述的图像处理方法，其特征在于，
所述校正步骤具有以下步骤：
大气光估计步骤，根据所述第2暗通道图和所述缩小图像数据估计所述缩小图像中的大气光成分；
透射率估计步骤，根据所述第2暗通道图和所述大气光成分生成所述缩小图像中的第1透射率图；
透射率图放大步骤，进行对所述第1透射率图进行放大的处理，由此生成第2透射率图；以及
雾去除步骤，对所述输入图像数据实施根据所述第2透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。
12.一种图像处理方法，其特征在于，所述图像处理方法具有以下步骤：
缩小步骤，通过对输入图像数据实施缩小处理，生成缩小图像数据；
计算步骤，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及
校正步骤，进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
13.根据权利要求12所述的图像处理方法，其特征在于，
所述校正步骤具有以下步骤：
大气光估计步骤，根据所述第1暗通道图和所述输入图像数据估计所述输入图像数据中的大气光成分；
透射率估计步骤，根据所述输入图像数据和所述大气光成分生成基于所述输入图像数据的输入图像中的第1透射率图；
图高分辨率化步骤，进行将基于所述输入图像数据的输入图像作为引导图像对所述第1透射率图进行高分辨率化的处理，由此生成分辨率比所述第1透射率图高的第2透射率图；以及
雾去除步骤，对所述输入图像数据实施根据所述第2透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。
14.根据权利要求12所述的图像处理方法，其特征在于，
所述校正步骤具有以下步骤：
大气光估计步骤，根据所述第1暗通道图和所述缩小图像数据估计所述缩小图像数据中的大气光成分；
透射率估计步骤，根据所述缩小图像数据和所述大气光成分生成所述缩小图像中的第1透射率图；
图高分辨率化步骤，进行将所述缩小图像作为引导图像对所述第1透射率图进行高分辨率化的处理，由此生成分辨率比所述第1透射率图高的第2透射率图；
图放大步骤，进行对所述第2透射率图进行放大的处理，由此生成第3透射率图；以及
雾去除步骤，对所述输入图像数据实施根据所述第3透射率图和所述大气光成分对基于所述输入图像数据的输入图像的像素值进行校正的雾去除处理，由此生成所述校正图像数据。
15.一种程序，其中，所述程序用于使计算机执行以下处理：
缩小处理，通过对输入图像数据实施缩小处理，生成缩小图像数据；
计算处理，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；
图高分辨率化处理，进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及
校正处理，进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
16.一种程序，其中，所述程序用于使计算机执行以下处理：
缩小处理，通过对输入图像数据实施缩小处理，生成缩小图像数据；
计算处理，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及
校正处理，进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
17.一种计算机可读取的记录介质，其中，所述记录介质记录有用于使计算机执行以下处理的程序：
缩小处理，通过对输入图像数据实施缩小处理，生成缩小图像数据；
计算处理，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；
图高分辨率化处理，进行将所述缩小图像作为引导图像对由所述多个第1暗通道值构成的第1暗通道图进行高分辨率化的处理，由此生成由多个第2暗通道值构成的第2暗通道图；以及
校正处理，进行根据所述第2暗通道图和所述缩小图像数据对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
18.一种计算机可读取的记录介质，其中，所述记录介质记录有用于使计算机执行以下处理的程序：
缩小处理，通过对输入图像数据实施缩小处理，生成缩小图像数据；
计算处理，改变基于所述缩小图像数据的缩小图像中的包含关注像素的局部区域的位置，针对所述缩小图像的整个区域进行在所述局部区域中求出暗通道值的计算，输出通过所述计算而得到的多个暗通道值作为多个第1暗通道值；以及
校正处理，进行根据由所述多个第1暗通道值构成的第1暗通道图对所述输入图像数据的对比度进行校正的处理，由此生成校正图像数据。
19.一种影像拍摄装置，其特征在于，所述影像拍摄装置具有：
图像处理部，其是权利要求1～9中的任意一项所述的图像处理装置；以及
摄像部，其生成被输入到所述图像处理部的输入图像数据。
20.一种影像记录再现装置，其特征在于，所述影像记录再现装置具有：
图像处理部，其是权利要求1～9中的任意一项所述的图像处理装置；以及
记录再现部，其输出信息记录介质中记录的图像数据作为被输入到所述图像处理部的输入图像数据。
CN201680029023.2A 2015-05-22 2016-02-16 图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置 Pending CN107615332A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-104848 2015-05-22
JP2015104848 2015-05-22
PCT/JP2016/054359 WO2016189901A1 (ja) 2015-05-22 2016-02-16 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置

Publications (1)

Publication Number Publication Date
CN107615332A true CN107615332A (zh) 2018-01-19

Family

ID=57394102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680029023.2A Pending CN107615332A (zh) 2015-05-22 2016-02-16 图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置

Country Status (5)

Country Link
US (1) US20180122056A1 (zh)
JP (1) JP6293374B2 (zh)
CN (1) CN107615332A (zh)
DE (1) DE112016002322T5 (zh)
WO (1) WO2016189901A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909545B (zh) * 2017-11-17 2021-05-14 南京理工大学 一种提升单帧图像分辨率的方法
KR102016838B1 (ko) * 2018-01-30 2019-08-30 한국기술교육대학교 산학협력단 안개 제거를 위한 영상처리장치
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
JP6595649B2 (ja) * 2018-03-22 2019-10-23 上銀科技股▲分▼有限公司 画像処理方法
CN110232666B (zh) * 2019-06-17 2020-04-28 中国矿业大学(北京) 基于暗原色先验的地下管道图像快速去雾方法
CN111127362A (zh) * 2019-12-25 2020-05-08 南京苏胜天信息科技有限公司 基于图像增强的视频除尘方法、系统、装置及可存储介质
CN113450284B (zh) * 2021-07-15 2023-11-03 淮阴工学院 一种基于线性学习模型和平滑形态学重建的图像去雾方法
CN116739608B (zh) * 2023-08-16 2023-12-26 湖南三湘银行股份有限公司 基于人脸识别方式的银行用户身份验证方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013179549A (ja) * 2012-02-29 2013-09-09 Nikon Corp 適応的階調補正装置および方法
JP2013247471A (ja) * 2012-05-24 2013-12-09 Toshiba Corp 画像処理装置及び画像処理方法
CN103761720A (zh) * 2013-12-13 2014-04-30 中国科学院深圳先进技术研究院 图像去雾方法以图像去雾装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
US9197789B2 (en) * 2011-08-03 2015-11-24 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist, or haze from images and videos
JP2015192338A (ja) * 2014-03-28 2015-11-02 株式会社ニコン 画像処理装置および画像処理プログラム
JP5911525B2 (ja) * 2014-04-07 2016-04-27 オリンパス株式会社 画像処理装置及び方法、画像処理プログラム、撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013179549A (ja) * 2012-02-29 2013-09-09 Nikon Corp 適応的階調補正装置および方法
JP2013247471A (ja) * 2012-05-24 2013-12-09 Toshiba Corp 画像処理装置及び画像処理方法
CN103761720A (zh) * 2013-12-13 2014-04-30 中国科学院深圳先进技术研究院 图像去雾方法以图像去雾装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAORAN XU 等: "Fast Image Dehazing Using Improved Dark Channel Prior", 《2012 IEEE INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY》 *
ZHEQI LIN等: "Dehazing for Image and Video Using Guided Filter", 《2012年国际工程应用数学研讨会论文集》 *
ZHIMING TAN 等: "Fast Single-image Defogging", 《FUJITSU SCI.TECH. J.》 *

Also Published As

Publication number Publication date
DE112016002322T5 (de) 2018-03-08
JP6293374B2 (ja) 2018-03-14
US20180122056A1 (en) 2018-05-03
JPWO2016189901A1 (ja) 2017-09-21
WO2016189901A1 (ja) 2016-12-01

Similar Documents

Publication Publication Date Title
CN107615332A (zh) 图像处理装置、图像处理方法、程序、记录有该程序的记录介质、影像拍摄装置和影像记录再现装置
US11244432B2 (en) Image filtering based on image gradients
JP4585456B2 (ja) ボケ変換装置
Wang et al. Practical deep raw image denoising on mobile devices
Hu et al. Deblurring low-light images with light streaks
KR101686926B1 (ko) 이미지 블러링 방법 및 장치, 그리고 전자 장치
Gallo et al. Artifact-free high dynamic range imaging
CN109034017B (zh) 头部姿态估计方法及机器可读存储介质
US8588551B2 (en) Multi-image sharpening and denoising using lucky imaging
ES2253542T3 (es) Procedimiento y sistema para producir informaciones formateadas relacionadas con los defectos, como minimo, de una aparato de una cadena, en especial por efecto borroso.
US20160063684A1 (en) Method and device for removing haze in single image
CN101902547A (zh) 图像处理方法以及图像处理装置
JP5703255B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107784637B (zh) 一种红外图像增强的方法
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
US8488899B2 (en) Image processing apparatus, method and recording medium
US20110293175A1 (en) Image processing apparatus and method
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
CN108492259A (zh) 一种图像处理方法及图像处理系统
CN112785572B (zh) 图像质量评估方法、装置以及计算机可读存储介质
CN108234826A (zh) 图像处理方法及装置
WO2013161111A1 (ja) 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム
TWI588584B (zh) 用於確定圖像感測器與被照射體之間的距離的方法及裝置
Mohd Jain Noordin et al. Saturation avoidance color correction for digital color images
Saxena et al. An efficient single image haze removal algorithm for computer vision applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180119