CN108140237B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN108140237B
CN108140237B CN201680056437.4A CN201680056437A CN108140237B CN 108140237 B CN108140237 B CN 108140237B CN 201680056437 A CN201680056437 A CN 201680056437A CN 108140237 B CN108140237 B CN 108140237B
Authority
CN
China
Prior art keywords
value
pixel
image
channel
influence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680056437.4A
Other languages
English (en)
Other versions
CN108140237A (zh
Inventor
藤川哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108140237A publication Critical patent/CN108140237A/zh
Application granted granted Critical
Publication of CN108140237B publication Critical patent/CN108140237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4076—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种能够不使高亮度被摄体的细节消失而去除雾度(减少雾度的影响)的图像处理装置以及图像处理方法。本发明的方式中，当输入图像(I)相对于原始图像(J)、气辉像素值(A)、透射率(t)由I＝J·t+A·(1‑t)表示时，计算输入图像(I)的各像素的暗通道值D，使单调减小的值的透射率(t)与D在0至1范围的像素建立对应关联，并使单调增加的值的透射率(t)与针对雾度的D在1至Dmax范围的像素建立对应关联，从而生成原始图像(J)作为校正图像。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及一种图像处理装置以及图像处理方法，涉及一种去除图像中所含的霭或雾这种雾度的图像处理装置以及图像处理方法。
背景技术
用相机拍摄的图像中，景色有时因霭或雾等雾度而发白，雾度叠加于直接反映拍摄目的的被摄体的原始颜色的图像(以下，称为原始图像)上，被摄体的可见度有时会由于对比度的下降、整个图像的亮度的上升等而降低。
作为从包含这种雾度的图像(以下，称为校正前图像或输入图像)去除雾度的图像处理技术，已知有暗原色先验(dark channel prior)这一方法(例如，参照专利文献1等)。
暗原色先验基于不存在雾度的图像、尤其大部分户外图像的局部区域内的至少一个像素中，R、G、B各颜色通道中的任一强度值表示极小(通常接近0)的值这一经验事实。而且，根据该经验事实，包含雾度的校正前图像中各局部区域的各像素的各颜色通道的强度值中的最小值表示各局部区域中雾度的影响程度的大小，通过如使各局部区域中雾度的影响程度的大小成为0的这种处理来去除雾度。
以往技术文献
专利文献
专利文献1：美国专利第8340461号说明书
发明内容
发明要解决的技术课题
为了通过暗原色先验来适当地去除雾度，如上述那样在不存在雾度的图像(原始图像)中局部区域内的至少一个像素的一个颜色通道的强度值表示接近0的值这一情况成为前提。
然而，当原始图像中存在高亮度被摄体(图像范围)时，该高亮度的图像范围内的局部区域中，有时在所有像素的所有颜色通道中表示强的强度值。
若针对这种叠加有原始图像和雾度的校正前图像，对高亮度的图像范围也通过与其他图像范围相同的暗原色先验的处理来进行去除雾度的校正，则根据上述情况，在高亮度的图像范围中，无法正确地得到雾度对原始图像的影响程度，并且无关于实际的影响程度而作为雾度的影响程度极大且原始图像的影响程度极小的图像来进行处理。
此时，若想要去除雾度，则存在高亮度的图像范围在校正图像中饱和，从而导致细节(亮度和颜色的细微变化)消失这一问题。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够不使高亮度被摄体的细节消失而去除雾度(减少雾度的影响)的图像处理装置以及图像处理方法。
用于解决技术课题的手段
为了实现上述目的，本发明的一种方式所涉及的图像处理装置具备：输入图像捕捉单元，捕捉输入图像，所述输入图像由原始图像和叠加于原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至0范围的透射率设为t时原始图像的各像素的像素值乘以t而得到的值、与去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；叠加像素值计算单元，根据输入图像，计算叠加像素值；影响推测值计算单元，根据输入图像和叠加像素值，计算影响推测值，所述影响推测值为推测了去除图像对输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则影响程度越大，并且与透射率t的值预先建立了对应关联，所述第1极限值为最小值与最大值中的一个极限值；以及校正处理单元，根据输入图像、影响推测值以及叠加像素值，对输入图像的各像素的像素值实施校正，由此生成从输入图像降低了去除图像的影响的校正图像，校正处理单元为如下单元：对于影响推测值在第1极限值到边界值的范围的像素，以根据作为从1向0减小的值而建立了对应关联的透射率t而得的校正量来实施校正，对于影响推测值在边界值到最小值与最大值中不同于第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为0时的像素值的校正量小的校正量的校正。
根据本方式，对于推测去除图像对输入图像的影响程度的影响推测值表示从边界值到第2极限值的范围的值的像素，设为通过高亮度被摄体而非去除图像并未正确地推测去除图像的影响程度，从而校正量得到抑制。因此，能够防止高亮度被摄体的细节消失。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：对于第1极限值到边界值的范围的影响推测值，透射率t通过从1单调减小到0的线性函数建立了对应关联。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：对于第1极限值到边界值的范围的影响推测值，透射率t作为向上凸起并单调减小的值而建立了对应关联。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：校正处理单元对于影响推测值在边界值到第2极限值的范围的像素，根据与影响推测值预先建立了对应关联的透射率t来实施校正。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：对于边界值到第2极限值的范围的影响推测值，透射率t作为从0向1增加的值而建立了对应关联。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：对于边界值到第2极限值的范围的影响推测值，透射率t作为大于0且1以下的恒定值而建立了对应关联。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：叠加像素值计算单元为如下单元：针对各像素计算差分值，所述差分值是将表示白色图像与输入图像的差分的差分图像中各像素的像素值作为变量并通过预先确定的函数导出的，求出从差分值小的像素依次进行累计时的像素的累计数成为预先确定的特定数时的差分值作为边界差分值，计算具有边界差分值的像素在输入图像中的像素值的平均值作为叠加像素值。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：输入图像的各像素的像素值和叠加像素值由颜色空间中的多个通道的通道值组成，叠加像素值计算单元为如下单元：将输入图像的各像素依次作为关注像素，求出包含输入图像中的关注像素的局部区域内的所有像素的所有通道的通道值中的最小值作为被设为关注像素的像素的评价值，求出从评价值大的像素依次进行累计时的像素的累计数成为预先确定的特定数时的评价值作为边界评价值，计算具有边界评价值的像素在输入图像中的像素值的平均值作为叠加像素值。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：差分图像的各像素的像素值由颜色空间中的多个通道的通道值组成，叠加像素值计算单元计算多个通道的通道值分别乘以预先确定的系数并相加而得的值作为差分值。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：若作为差分图像的多个通道的通道值，将亮度成分的通道值设为Y、将亮度成分的通道值的最大值设为Ymax、将蓝色色差成分的通道值设为Cb、将红色色差成分的通道值设为Cr、将系数设为α、β，则叠加像素值计算单元通过α(Ymax-Y)+β|Cb|+β|Cr|来计算差分值。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：输入图像的各像素的像素值和叠加像素值由颜色空间中的多个通道的通道值组成，影响推测值计算单元中，将输入图像的各像素依次作为关注像素，并计算关注像素的影响推测值，在关注像素的影响推测值的计算中，对于包含输入图像中的关注像素的局部区域内的所有像素的所有通道，计算暗通道值，所述暗通道值为通道值除以叠加像素值中相同通道的通道值而得到的值中的最小值。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：输入图像的各像素的像素值和叠加像素值由颜色空间中的亮度成分、蓝色色差成分以及红色色差成分的通道值组成，影响推测值计算单元将输入图像的各像素依次作为关注像素，并计算关注像素的影响推测值，关注像素的影响推测值的计算中，对于包含输入图像中的关注像素的局部区域内的所有像素，计算如下最大值，所述最大值为亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，除以叠加像素值中的亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，从而得到的值中的最大值。
本发明的另一方式所涉及的图像处理装置中，能够设为如下方式：影响推测值的边界值为1。
本发明的另一方式所涉及的图像处理装置中，输入图像为由大气干扰引起的去除图像叠加于原始图像而得的图像。
并且，为了实现上述目的，本发明的另一方式所涉及的图像处理方法具备：输入图像捕捉工序，捕捉输入图像，所述输入图像由原始图像和叠加于原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至0范围的透射率设为t时原始图像的各像素的像素值乘以t而得到的值、与去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；叠加像素值计算工序，根据输入图像，计算叠加像素值；影响推测值计算工序，根据输入图像和叠加像素值，计算影响推测值，所述影响推测值为推测了去除图像对输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则影响程度越大，并且与透射率t的值预先建立了对应关联，所述第1极限值为最小值与最大值中的一个极限值；以及校正处理工序，根据输入图像、影响推测值以及叠加像素值，对输入图像的各像素的像素值实施校正，由此生成从输入图像降低了去除图像的影响的校正图像，所述图像处理方法中，校正处理工序为如下工序：对于影响推测值在第1极限值到边界值的范围的像素，以根据作为从1向0减小的值而建立了对应关联的透射率t而得的校正量来实施校正，对于影响推测值在边界值到最小值与最大值中不同于第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为0时的像素值的校正量小的校正量的校正。
根据本方式，对于推测去除图像对输入图像的影响程度的影响推测值表示从边界值到第2极限值的范围的值的像素，设为通过高亮度被摄体而非去除图像并未正确地推测去除图像的影响程度，从而校正量得到抑制。因此，能够防止高亮度被摄体的细节消失。
发明效果
根据本发明，能够不使高亮度被摄体的细节消失而去除雾度。
附图说明
图1是应用本发明的图像处理装置的结构图。
图2是表示利用图1的图像处理装置实施的图像校正方法的所有步骤(工序)的流程图。
图3是拍摄包含雾度的图像时的示意图。
图4是表示气辉像素值计算工序中的处理步骤的流程图。
图5是表示气辉像素值计算工序中的处理步骤的说明图。
图6是表示第1实施方式中的暗通道值与透射率之间的对应关系的图。
图7是表示由本发明产生的效果的图。
图8是表示第2实施方式中的暗通道值与透射率之间的对应关系的图。
图9是表示第3实施方式中的暗通道值与透射率之间的对应关系的图。
图10是表示第4实施方式中的暗通道值与透射率之间的对应关系的图。
图11是表示暗通道值与透射率之间的对应关系的图，并且是改变了图6的局部的图。
具体实施方式
以下，根据附图对本发明的优选实施方式进行详细说明。
图1是表示应用本发明的图像处理装置的结构图。图1所示的图像处理装置10是捕捉校正前的图像作为输入图像，并将从该输入图像去除霭或雾等雾度而得的图像作为校正图像而输出的装置。另外，本说明书中，雾度的去除还包含减少雾度的影响。
该图像处理装置10通过数码相机、带摄像功能的便携式电话、摄像机、监控摄像机、数码双筒望远镜等摄像单元搭载于获取图像的装置中，将通过摄像单元获取的图像捕捉为输入图像，并输出从该输入图像去除了雾度的校正图像。
并且，图像处理装置10可以安装于如个人计算机这种不直接具备摄像单元的装置中，也可以将通过用户等选择的任意的图像作为输入图像并输出从该输入图像去除了雾度的校正图像。
如图1所示，图像处理装置10具备：输入图像捕捉单元12，捕捉设为校正对象的校正前的图像作为输入图像；气辉像素值计算单元14，根据输入图像，计算气辉像素值；暗通道值计算单元16，根据输入图像和气辉像素值，计算针对输入图像的各像素的暗通道值；以及校正处理单元18，根据输入图像、暗通道值以及气辉像素值，生成从输入图像去除了雾度而得的校正图像。
并且，图2是表示在图像处理装置10中实施的图像校正方法的所有处理步骤的流程图，本实施方式的图像校正方法包括：输入图像捕捉工序S1，通过输入图像捕捉单元12捕捉输入图像；气辉像素值计算工序S2，通过气辉像素值计算单元14计算气辉像素值；暗通道值计算工序S3，通过暗通道值计算单元16计算暗通道值；透射率计算工序S4，其为通过校正处理单元18生成校正图像的校正处理工序，并计算后述的透射率；以及校正图像生成工序(雾度去除工序)S5，从输入图像去除雾度。
以下，对图1的各单元以及图2的各工序依次进行说明。
如图3的示意图所示，在输入图像捕捉工序S1中通过输入图像捕捉单元12捕捉的设为校正对象的输入图像例如为户外图像，并设为在直接反映拍摄目的的被摄体的原始颜色的原始图像、即通过来自拍摄目的的被摄体的直射光形成的原始图像中叠加有霭或雾等雾度的包含雾度的校正前图像。
在此，x设为表示用于从1帧份的图像中的所有像素中指定一个像素的位置信息(坐标等)或识别号等变量，将校正前图像即输入图像I中的像素x的像素值设为I(x)，将原始图像J中的像素x的像素值设为J(x)，将通过雾度分散的气辉的像素值(气辉像素值)设为A，将像素x中的直射光的透射率t设为t(x)。此时，输入图像I的像素x的像素值I(x)通过下式(1)来表示。
I(x)＝J(x)·t(x)+A·(1-t(x))……(1)
其中，透射率t表示1至0范围的值(0以上且1以下的范围的值)。
因此，如下述，通过求出气辉像素值A和透射率t(x)，能够求出原始图像J作为去除了雾度的校正图像。
另外，本实施方式的图像处理装置10将具有颜色信息的彩色图像设为处理对象的输入图像I，如输入图像I的像素值I(x)、原始图像J的像素值J(x)、气辉像素值A等像素值由表示颜色空间中的多个颜色通道的强度的多个强度值(以下，称为通道值)组成。其中，可以将仅由亮度信息组成的黑白图像设为输入图像I，该情况下，像素值设为仅由一个颜色通道(亮度通道)的强度值(亮度值)组成。
在气辉像素值计算工序S2中，作为气辉像素值计算处理，气辉像素值计算单元14根据通过输入图像捕捉单元12捕捉的输入图像I，计算如上述那样表示通过雾度分散的气辉的颜色(雾度的颜色)的气辉像素值A。
在此，对于气辉像素值计算工序S2中的处理步骤、即气辉像素值计算单元14中的气辉像素值计算处理的处理步骤，利用图4的流程图和图5的说明图来进行说明。
首先，步骤S10中，生成整个图像为均匀的白色的白色图像W(参照图5的(A))与输入图像I(参照图5的(B))的差分图像S(参照图5的(C))。差分图像S由下式(2)来表示。
S(x)＝W(x)-I(x)……(2)
其中，S(x)、W(x)以及I(x)分别表示差分图像S、白色图像W以及输入图像I中的像素x的像素值。
并且，在气辉像素值计算处理中，作为表达图像的颜色空间，使用YCbCr颜色空间，并通过表示由亮度成分、蓝色色差成分以及红色色差成分组成的三个颜色通道各自的强度的三个通道值来表示像素值。
例如，当由变量Y表示亮度成分(亮度通道)的通道值、由变量Cb表示蓝色色差成分(蓝色色差通道)的通道值、由变量Cr表示红色色差成分(红色色差通道)的通道值时，像素值由各通道值Y、Cb、Cr组成，并如(Y,Cb,Cr)这样进行成分显示。
并且，用P表示任意的图像中的像素值，用WP、IP、SP表示白色图像W、输入图像I、差分图像S各自在图像中的像素值P，用[WY,WCb,WCr]、[IY,ICb,ICr]、[SY,SCb,SCr]表示图像W、I、S各自在图像中的各通道值[Y,Cb,Cr]。
另外，各像素x中的像素值P、各通道值Y、Cb、Cr表示每个像素x的值，而当清楚表达该情况时，如Y(x)、Cb(x)、Cr(x)这样表示为x的函数。对于白色图像W、输入图像I、差分图像S各自限定于图像的像素值、各通道值的表示也相同。
因此，若在上式(2)中用成分显示来表示差分图像S的各像素的像素值SP，则得到下式(3)。
SP＝(SY,SCb,SCr)＝(WY-IY,WCb-ICb,WCr-ICr)……(3)
示出具体例，各颜色通道的通道值由8位的256灰度来表示，亮度通道的通道值Y的取值范围在[0,255]的范围内，蓝色色差通道和红色色差通道的通道值Cb、Cr的取值范围在[-128，127]的范围内。
此时，白色图像W中的所有像素的像素值WP为
WP＝(WY,WCb,WCr)＝(255,0,0)。
而且，输入图像I中的规定的像素x的像素值IP例如为
SP＝(SY,SCb,SCr)＝(230,110,120)。
该情况下，差分图像S中的该像素x的像素值SP、即各通道值SY、SCb、SCr通过上式(3)而成为
SP＝(SY,SCb,SCr)＝(25,-110,-120)。
接着，步骤S12中，计算差分图像S的各像素的差分值SV。
各像素的差分值SV通过将各像素的通道值Y、Cb、Cr作为变量、将预先确定的实数α、β、γ作为系数的函数α·(Ymax-Y)+β·|Cb|+γ·|Cr|来计算。其中，本实施方式中，γ＝β。并且，Ymax表示亮度通道的最大值，本实施方式中表示255。
并且，如上所述，用SY、SCb、SCr表示差分图像S中的各像素的通道值Y、Cb、Cr，从而差分值SV通过下式(4)来计算。
SV＝α·(Ymax-SY)+β·|SCb|+β·|SCr|……(4)
接着，步骤S14中，根据差分图像S的各像素的差分值SV，生成差分图像S的直方图。
差分图像S的直方图是表示如图5的(D)那样在横轴表示差分值SV、在纵轴表示具有横轴所示的差分值的像素数的图表。
接着，步骤S16中，检测差分图像S的直方图中从差分值SV小的值(下位的值)开始进行累计而得的像素数成为差分图像S中的所有像素数的5％的边界差分值SVa。
即，作为步骤S14和步骤S16的处理，未必需要如步骤S14那样生成差分图像S的直方图，求出从差分值SV小的像素依次进行累计时的像素的累计数成为相当于所有像素数的5％的特定数K时的差分值作为边界差分值SVa。
另外，特定数K无需一定是成为所有像素数的5％的数，优选为所有像素数的1％以上且7％以下的范围内的数。
接着，步骤S18中，计算具有边界差分值SVa的像素在输入图像I中的像素值IP的平均值作为气辉像素值A。例如当图5的(E)的线30上的像素具有边界差分值SVa时，若计算该线30上的像素的像素值IP的平均值，则可以计算图5的(F)的气辉像素值A。
在此，像素值IP的平均值是表示将像素值IP中的各成分(各颜色通道的通道值)进行了平均而得的值。
即，若将具有边界差分值SVa的像素设为x1～xm(m为正整数)，并用各颜色通道的通道值对输入图像I中的这些像素x1～xm的像素值IP(x1)～IP(xm)进行成分显示，则为(IY(x1),ICb(x1),ICr(x1))～(IY(xm),ICb(xm),ICr(xm))。
另一方面，用各颜色通道的通道值对气辉像素值A进行成分显示时，为(AY,ACb,ACr)。
此时，气辉像素值A的各颜色通道的通道值AY、ACb、ACr为像素值IP(x1)～IP(xm)的各颜色通道的通道值IY(x1)～IY(xm)、ICb(x1)～ICb(xm)、ICr(x1)～ICr(xm)各自的平均值，通过下式(5)～(7)来计算。
[数式1]
Figure GDA0003251930820000101
Figure GDA0003251930820000102
Figure GDA0003251930820000103
如上所述，图1的气辉像素值计算单元14根据输入图像I计算气辉像素值A。
在暗通道值计算工序S3中，作为暗通道值计算处理，暗通道值计算单元16根据通过输入图像捕捉单元12捕捉的输入图像I和通过气辉像素值计算单元14计算出的气辉像素值A，针对每个像素计算成为推测雾度对输入图像I的各像素的影响程度而得的值的暗通道值D。
在此，例如雾度的影响程度越大，暗通道值D表示越大的值，并表示与上式(1)中的直射光的透射率t的值预先建立了对应关联的值。即，与像素x无关地，暗通道值D与透射率t通过一定的关系而预先建立了对应关联。
因此，根据输入图像I和气辉像素值A求出各像素的暗通道值D，由此能够如后述那样计算各像素x的透射率t作为t(x)。
另外，在本实施方式的暗通道值D的计算处理中，作为表达图像的颜色空间，主要使用RGB颜色空间，假定通过由红色成分(R通道)、绿色成分(G通道)以及蓝色成分(B通道)组成的三个颜色通道的通道值来表示像素值。
其中，能够使用除RGB颜色空间以外的YCbCr颜色空间或HSV颜色空间等任意形态(方式)的颜色空间，用c表示具有任意形态的颜色空间中指定各颜色通道的文字或值作为具体值的变量，将输入图像I的像素x的像素值I(x)或气辉像素值A中的颜色通道c的通道值表示为Ic(x)、Ac。
例如，在RGB颜色空间中，若用r表示R通道、用g表示G通道、用b表示B通道，则变量c具有[r,g,b]作为具体值。
在此，不存在雾度的图像、尤其户外图像的大部分在局部区域内的至少一个像素中各颜色通道中的任一通道值极小，因此推测为在包含雾度的图像中各局部区域中各像素的各颜色通道的通道值中的最小值表示各局部区域中雾度的影响程度的大小。
因此，暗通道值计算单元16将输入图像I的各像素依次作为关注像素而计算关注像素的暗通道值D，并计算输入图像I的所有像素的暗通道值D。
而且，关注像素的暗通道值D的计算中，对于包含作为关注像素的像素x的局部区域Ω(x)内的所有像素y的所有颜色通道，计算通道值Ic(y)除以气辉像素值A中相同通道的通道值Ac而得到的值中的最小值。将该最小值设为像素x的暗通道值D。
即，若将像素x的暗通道值D设为D(x)，则D(x)通过下式(8)来计算。
[数式2]
Figure GDA0003251930820000121
其中，
Figure GDA0003251930820000122
表示将像素y依次变更为局部区域Ω(x)内的像素时的最小值，
Figure GDA0003251930820000123
表示依次变更颜色通道c时的最小值。
另外，局部区域Ω(x)例如为包含以像素x为中以而包围其周围的共计9个像素的区域，优选为假定雾度的影响程度大致均匀的大小的区域。
并且，也可以针对由多个像素组成的各区域计算成为共用的值的一个暗通道值D，而并非求出所有像素的暗通道值D(x)。
在校正处理工序的一部分即透射率计算工序S4中，作为透射率计算处理，校正处理单元18根据通过暗通道值计算单元16计算出的输入图像I的各像素的暗通道值D(x)，求出上式(1)中的直射光的透射率t(x)。
如上所述，与像素x无关地，暗通道值D与透射率t通过一定的关系而预先建立了对应关联。
图6是表示第1实施方式中的暗通道值D与透射率t之间的对应关系的图。
图6中，最大值Dmax表示输入图像I中的所有像素的暗通道值D(x)中的最大值，暗通道值D表示0以上且Dmax以下的范围的值。
当存在亮度比雾度高的被摄体时，产生暗通道值D超过1的情况。此时，最大值Dmax也成为大于1的值。
另一方面，透射率t表示0以上且1以下的范围的值。
而且，对于暗通道值D在0以上且1以下的范围(0至1的范围)的值，暗通道值D与透射率t具有下式(9)的关系即图6的直线L1的关系，通过下式(9)来求出透射率t。
t＝1-D……(9)
在此，对于以1为边界值并且暗通道值D成为0到该边界值1的范围的值的像素，推测为暗通道值D越大即暗通道值D从0越接近边界值1，雾度的影响程度越大，因此如上式(9)那样，透射率t通过从1单调减小到0的线性函数来与暗通道值D建立了对应关联。
相对于此，对于暗通道值D大于1的范围(从1到最大值Dmax的范围)的值，暗通道值D与透射率t具有下式(10)的关系即直线L2的关系，通过下式(10)来求出透射率t。
t＝(D-1)/(Dmax-1)……(10)
在此，对于暗通道值D成为超过边界值1的范围的值的像素，推测暗通道值D中高亮度被摄体的影响程度大于雾度的影响程度，因此如上式(10)那样，透射率t作为单调增加的值而与暗通道值D建立了对应关联。
校正处理单元18通过这种暗通道值D与透射率t之间的一定的对应关系，根据输入图像I的各像素的暗通道值D(x)，求出各像素中的直射光的透射率t(x)。
而且，在校正处理工序的一部分即校正图像生成工序(雾度去除工序)S5中，校正处理单元18根据各像素中的透射率t(x)与气辉像素值A，生成去除了雾度的原始图像J作为校正图像。
即，根据上式(1)，原始图像J的像素x中的像素值J(x)通过下式(11)来表示。
J(x)＝{I(x)-A·(1-t(x))}/t(x)
＝A+(I(x)-A)/t(x)……(11)
该式(11)中，通过将像素x中的输入图像I的像素值I(x)和气辉像素值A代入右边，能够求出原始图像J中的像素x的像素值J(x)。而且，通过求出原始图像J中的所有像素的像素值J(x)，能够生成原始图像J作为校正图像。
校正处理单元18从图像处理装置10输出这样生成的校正图像。
另外，如上述那样计算的气辉像素值A或透射率t(x)并不一定是准确的值，因此通过上式(11)得到的校正图像并不一定与原始图像J完全一致。
并且，也可以进行如残留雾度的影响并强调透视感这样的校正处理等，而不是从输入图像I完全去除雾度。例如，与暗通道值D建立对应关联的透射率t的值的范围可以设为0至1的值范围中的一部分，也可以设为S(0＜S＜1)至1的值的范围等。
因此，校正图像是对输入图像I减少了雾度的影响的图像即可。
若对以上图像处理装置10的效果进行说明，则图7中，图7的(A)为输入图像I的一例，并且由于雾度而整体发白。
相对于此，图7的(B)示出通过现有的校正处理去除了雾度的校正图像，图7的(C)示出通过本实施方式的图像处理装置10去除了雾度的校正图像。
若对图7的(B)的校正图像与图7的(C)的校正图像进行比较，两者均从图7的(A)的输入图像I完全去除了雾度，并去除了白度。
另一方面，图7的(A)的被放大显示的区域40中含有高亮度的天空和透射率低的树叶的图像。
若关注该区域40内的图像，则推测现有的校正处理中，区域40内的像素的暗通道值D超过1，并且雾度的影响程度大。而且，识别为透射率t极小的图像即原始图像J的影响程度极小的图像。
其结果，区域40内对像素值的增加方向的校正量变得极大。即，作为表示像素值的校正量的大小的指标，例如,若通过上式(11)求出成为校正图像的原始图像J的像素值J(x)与输入图像I的像素值I(x)的差分值Δd，则成为Δd＝(I(x)-A)(1-t(x))/t(x)。从该差分值Δd可知，当透射率t极小时，差分值Δd变得极大，从而校正量变得极大。
由此，区域40内的像素值饱和，并且如图7的(B)的区域40内的图像那样成为细节消失的图像。
相对于此，本实施方式的图像处理装置10中设为，即使在暗通道值D超过1的情况下，也如图6的直线L2那样并不一定识别为透射率t极小的图像。因此，区域40内的像素值的校正量的增加得到抑制。
由此，区域40内的像素值的饱和得到抑制，并且如图7的(C)的区域40内的图像那样成为细节不消失而残留的图像。
接着，对暗通道值D与透射率t之间的对应关系不同的图像处理装置10的另一实施方式进行说明。
图8是表示第2实施方式中的暗通道值D与透射率t之间的对应关系的图。
校正处理单元18在透射率计算处理中，能够代替图6而使用图8的关系。
如图8所示，对于暗通道值D为0以上且1以下的范围的值，通过下式(12)的关系、即图8的曲线L3的关系来求出透射率t。
t＝1-Dr1……(12)
其中，r1设为小于1的值。
相对于此，对于暗通道值D大于1的范围的值，通过下式(13)的关系、即图8的曲线L4来求出透射率t。
t＝{(D-1)/(Dmax-1)}r2……(13)
其中，r2设为大于1的值。
在此，上式(12)、(13)中，优选r1设为小于1的值，r2设为大于1的值，但r1也可以设为1以上的值，并且，r2也可以设为1以下的值。
并且，上式(12)、(13)为一例，作为代替上式(12)的函数，是透射率t相对于暗通道值D的增加而单调减小的函数即可，作为代替上式(13)的函数，是透射率t相对于暗通道值D的增加而单调增加的函数即可。而且，作为代替上式(12)、(13)的函数，优选向上凸起的函数、即透射率t关于暗通道值D的二阶导数为负数的函数。
而且，暗通道值D与透射率t之间的对应关联并非是由函数产生的，如查找表那样可以是具体值彼此之间的对应关联。
图9是表示第3实施方式中的暗通道值D与透射率t之间的对应关系的图。
在此，本实施方式中的暗通道值D与上述第1实施方式和第2实施方式不同，虽然不符合原始含义中的暗通道值，但本实施方式中仍称为暗通道值。
作为暗通道值计算处理，本实施方式中的暗通道值计算单元16使用下式(14)针对每个像素计算像素x的暗通道值D(x)。
[数式3]
Figure GDA0003251930820000161
上式(14)专用于使用YCbCr颜色空间作为表达图像的颜色空间的情况，Ar、Acb以及Acr表示气辉像素值A中的亮度通道、蓝色色差通道以及红色色差通道的通道值，Iy(y)、Icb(y)以及Icr(y)表示输入图像I的y像素中的亮度通道、蓝色色差通道以及红色色差通道的通道值。α、β为系数，ε为用于防止除以0的常数。
即，对于包含作为关注像素的像素x的局部区域Ω(x)内的所有像素y，计算如下值，并将其中的最大值设为像素x的暗通道值D，所述值为亮度通道的通道值Iy(y)与亮度通道的通道值的最大值255的差分值、蓝色色差通道的通道值Icb(y)的绝对值以及红色色差通道的通道值Icr(y)的绝对值分别乘以预先确定的系数并相加而得的值，除以气辉像素值A中的亮度通道的通道值Ay与亮度通道的通道值的最大值255的差分值、蓝色色差通道的通道值Acb的绝对值以及红色色差通道的通道值Acr的绝对值分别乘以预先确定的系数并相加而得的值，从而得到的值。
并且，上式(14)假设雾度的影响程度大到输入图像I中发白的被摄体的程度，并将包含作为关注像素的像素x的局部区域Ω(x)内的像素中右边括号内的值变得最大的最大值设为暗通道值D(x)。
校正处理单元18在透射率计算处理中使用与图6相同的图9的关系。
如图9所示，对于暗通道值D在0以上且小于1的范围的值，通过与上式(9)相同的下式(15)的关系即图9的曲线L5来求出透射率t。
t＝1-D……(15)
其中，本实施方式的暗通道值D中，对于暗通道值为小于边界值1的范围的值的像素，推测为暗通道值D中高亮度被摄体的影响程度大于雾度的影响程度。因此，如上式(15)那样，对于暗通道值D，透射率t作为单调减小的值而建立了对应关联。
相对于此，对于暗通道值D为1以上的范围的值，暗通道值D与透射率t作为具有与上式(10)相同的下式(16)的关系即图9的直线L6的关系的值，通过下式(16)来求出透射率t。
t＝(D-1)/(Dmax-1)……(16)
在此，Dmax表示输入图像I中的所有像素的暗通道值D(x)中的最大值。
并且，本实施方式的暗通道值D中，对于以1为边界值并且暗通道值D成为从边界值1到最大值Dmax的范围的值的像素，推测为暗通道值D越大，雾度的影响程度越小，即推测暗通道值D从Dmax越接近边界值1，雾度的影响程度越大，因此如上式(16)那样，对于暗通道值D，透射率t作为单调增加的值而建立了对应关联。
图10是表示第4实施方式中的暗通道值D与透射率t之间的对应关系的图。
另外，暗通道值D通过与上述第3实施方式相同的暗通道计算处理来计算，并使用上式(14)。
校正处理单元18在透射率计算处理中使用与图8相同的图10的关系。
如图10所示，对于暗通道值D在0以上且小于1的范围的值，通过与上式(12)相同的下式(17)的关系即图10的曲线L7的关系来求出透射率t。
t＝1-Dr1……(17)
其中，r1设为小于1的值。
相对于此，对于暗通道值D为1以上的范围的值，通过与上式(13)相同的下式(18)的关系即图10的曲线L8的关系来求出透射率t。
t＝{(D-1)/(Dmax-1)}r2……(18)
其中，r2设为大于1的值。
另外，与上式(12)、(13)相同地，在上式(17)、(18)中，优选r1设为小于1的值，r2设为大于1的值，但r1也可以设为1以上的值，并且，r2也可以设为1以下的值。
并且，上式(17)、(18)为一例，作为代替上式(17)的函数，是透射率t相对于暗通道值D的增加而单调减小的函数即可，作为代替上式(18)的函数，是透射率t相对于暗通道值D的增加而单调增加的函数即可。而且，作为代替上式(17)、(18)的函数，优选为向上凸起的函数、即透射率t关于暗通道值D的二阶导数为负数的函数。
而且，暗通道值D与透射率t之间的对应关联并非是由函数产生的，如查找表那样可以是具体值彼此之间的对应关联。
作为以上第1～第4实施方式，在图6、图8、图9以及图10所示的暗通道值D与透射率t之间的关系中，关于推测为高亮度被摄体的影响程度大于雾度的影响程度的暗通道值D的特定范围，即，关于图6和图8中超过1的范围、图9和图10中小于1的范围，是与透射率t为0时相比至少成为比像素值的校正量小的校正量的关系即可。
例如，如添加了修改图6的一部分的图11所示，对于暗通道值D大于1的范围(1到最大值Dmax的范围)的值，可以如图11的直线L9那样，透射率t作为大于0且1以下的恒定值a而建立对应关联。
并且，只要是对暗通道值D的上述特定范围的像素的校正效果弱而不是将透射率t设为恒定值a，则可以采用任意方法，还可以采用完全不实施校正处理的方法。
以上，上述实施方式中的气辉像素值计算单元14能够采用任意方法作为气辉像素值计算处理。例如，也可以利用如下方法来计算气辉像素值A。将输入图像I的各像素依次作为关注像素，并求出输入图像I中包含关注像素的局部区域内的所有像素的所有颜色通道的通道值中的最小值作为被设为关注像素的像素的评价值。接着，求出从评价值大的像素依次进行累计时的像素的累计数成为预先确定的特定数时的评价值作为边界评价值。而且，计算具有边界评价值的像素在输入图像I中的像素值的平均值作为气辉像素值A。
并且，上述实施方式中，通过暗通道值计算单元16计算出的暗通道值D并不限定于利用特定的方法计算出的值。
即，暗通道值计算单元16并不限定于上述实施方式的暗通道值D，是作为影响推测值计算单元，根据输入图像I和气辉像素值A，计算影响推测值的单元即可，能够将该影响推测值应用为上述实施方式的暗通道值D。所述影响推测值为推测了雾度对输入图像I的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则影响程度越大，并且与透射率t的值预先建立了对应关联，所述第1极限值为最小值与最大值中的一个极限值。另外，边界值表示推测为影响程度变得最大的值。
在此，在第1实施方式和第2实施方式中使用且在图6和图8中示出的暗通道值D中，0、Dmax以及1相当于影响推测值中的最小值、最大值以及边界值，暗通道值D的极限值即0和Dmax中的0相当于影响推测值的第1极限值，Dmax相当于另一极限值(第2极限值)。
并且，在第3实施方式和第4实施方式中使用且在图9和图10中示出的暗通道值D中，0、Dmax以及1相当于影响推测值中的最小值、最大值以及边界值，暗通道值D的极限值即0和Dmax中的Dmax相当于影响推测值的第1极限值，0相当于另一极限值(第2极限值)。
而且，第1～第4实施方式中的任一校正处理单元18中均例示了如下形态：对于影响推测值在第1极限值到边界值的范围的像素，根据作为从1向0减小的值而建立了对应关联的透射率t来实施校正，对于影响推测值从边界值到第2极限值的范围的像素，实施至少成为比将透射率t设为0时的像素值的校正量小的校正量的校正。
另外，第1～第4实施方式中的任一校正处理单元18中均示出如下形态：对于从边界值到第2极限值的范围的影响推测值，透射率t作为从0向1增加的值而建立了对应关联的形态，图11中示出对于从边界值到第2极限值的范围的影响推测值，透射率t作为大于0且1以下的恒定值而建立了对应关联的形态。
并且，上述实施方式中，作为校正对象的输入图像I设为霭等雾度叠加于通过来自被摄体的直射光形成的原始图像上的图像，但并不限定于此。例如，当由大气干扰引起的图像或镜头光晕等不存在于原始图像中的任意图像叠加于原始图像时，将这种图像设为输入图像I，将不存在于原始图像的图像设为应去除的去除图像，从而能够以与上述实施方式中雾度的去除相同的方式从输入图像I去除去除图像(减少去除图像的影响)。
此时，输入图像I作为将气辉像素值A称为叠加像素值A的图像，能够由上式(1)来表示，气辉像素值计算单元14作为叠加像素值计算单元，能够与气辉像素值A相同地计算叠加像素值A。
符号说明
10-图像处理装置，12-输入图像捕捉单元，14-气辉像素值计算单元，16-暗通道值计算单元，18-校正处理单元，I-输入图像，x-像素，J-原始图像，t-透射率，A-气辉像素值。

Claims (15)

1.一种图像处理装置，其具备：
输入图像捕捉单元，捕捉输入图像，所述输入图像由原始图像和叠加于所述原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至0范围的透射率设为t时所述原始图像的各像素的像素值乘以t而得到的值、与所述去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；
叠加像素值计算单元，根据所述输入图像，计算所述叠加像素值；
影响推测值计算单元，根据所述输入图像和所述叠加像素值，计算影响推测值，所述影响推测值为推测了所述去除图像对所述输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则所述影响程度越大，并且与所述透射率t的值预先建立了对应关联，所述第1极限值为所述最小值与所述最大值中的一方的极限值；以及
校正处理单元，根据所述输入图像、所述影响推测值以及所述叠加像素值，对所述输入图像的各像素的像素值实施校正，由此生成从所述输入图像降低了所述去除图像的影响的校正图像，
所述校正处理单元为如下单元：
对于所述影响推测值在所述第1极限值到所述边界值的范围的像素，以根据作为从1向0减小的值而建立了对应关联的透射率t而得的校正量来实施所述校正，
对于所述影响推测值在所述边界值到所述最小值与最大值中不同于所述第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为0时的像素值的校正量小的校正量的校正。
2.根据权利要求1所述的图像处理装置，其中，
对于所述第1极限值到所述边界值的范围的所述影响推测值，所述透射率t通过从1单调减小到0的线性函数建立了对应关联。
3.根据权利要求1所述的图像处理装置，其中，
对于所述第1极限值到所述边界值的范围的所述影响推测值，所述透射率t作为向上凸并单调减小的值而建立了对应关联。
4.根据权利要求1所述的图像处理装置，其中，
所述校正处理单元对于所述影响推测值在所述边界值到所述第2极限值的范围的像素，根据与所述影响推测值预先建立了对应关联的透射率t来实施所述校正。
5.根据权利要求4所述的图像处理装置，其中，
对于所述边界值到所述第2极限值的范围的所述影响推测值，所述透射率t作为从0向1增加的值而建立了对应关联。
6.根据权利要求4所述的图像处理装置，其中，
对于所述边界值到所述第2极限值的范围的所述影响推测值，所述透射率t作为大于0且1以下的恒定值而建立了对应关联。
7.根据权利要求1所述的图像处理装置，其中，
所述叠加像素值计算单元为如下单元：
针对各像素计算差分值，所述差分值是将表示白色图像与所述输入图像的差分的差分图像中各像素的像素值作为变量并通过预先确定的函数导出的，
求出从所述差分值小的像素依次进行累计时的像素的累计数成为预先确定的相当于所有像素的一定比例的数时的差分值作为边界差分值，
计算具有所述边界差分值的像素在所述输入图像中的像素值的平均值作为所述叠加像素值。
8.根据权利要求1所述的图像处理装置，其中，
所述输入图像的各像素的像素值和所述叠加像素值由颜色空间中的多个通道的通道值组成，
所述叠加像素值计算单元为如下单元：
将所述输入图像的各像素依次作为关注像素，求出包含所述输入图像中的所述关注像素的局部区域内的所有像素的所有通道的通道值中的最小值作为被设为关注像素的像素的评价值，
求出从所述评价值大的像素依次进行累计时的像素的累计数成为预先确定的相当于所有像素的一定比例的数时的评价值作为边界评价值，
计算具有所述边界评价值的像素在所述输入图像中的像素值的平均值作为所述叠加像素值。
9.根据权利要求7所述的图像处理装置，其中，
所述差分图像的各像素的像素值由颜色空间中的多个通道的通道值组成，
所述叠加像素值计算单元计算所述多个通道的通道值分别乘以预先确定的系数并相加而得的值作为所述差分值。
10.根据权利要求9所述的图像处理装置，其中，
若作为所述差分图像的所述多个通道的通道值，将亮度成分的通道值设为Y、将亮度成分的通道值的最大值设为Ymax、将蓝色色差成分的通道值设为Cb、将红色色差成分的通道值设为Cr、将系数设为α、β，则所述叠加像素值计算单元通过α(Ymax-Y)+β|Cb|+β|Cr|来计算所述差分值。
11.根据权利要求1所述的图像处理装置，其中，
所述输入图像的各像素的像素值和所述叠加像素值由颜色空间中的多个通道的通道值组成，
所述影响推测值计算单元中，
将所述输入图像的各像素依次作为关注像素，并计算关注像素的所述影响推测值，
所述关注像素的影响推测值的计算中，对于包含所述输入图像中的所述关注像素的局部区域内的所有像素的所有通道，计算暗通道值，所述暗通道值为通道值除以所述叠加像素值中相同通道的通道值而得到的值中的最小值。
12.根据权利要求1所述的图像处理装置，其中，
所述输入图像的各像素的像素值和所述叠加像素值由颜色空间中的亮度成分、蓝色色差成分以及红色色差成分的通道值组成，
所述影响推测值计算单元将所述输入图像的各像素依次作为关注像素，并计算关注像素的所述影响推测值，
所述关注像素的影响推测值的计算中，对于包含所述输入图像中的所述关注像素的局部区域内的所有像素，计算如下最大值，所述最大值为亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，除以所述叠加像素值中的亮度成分的通道值与亮度成分的通道值的最大值的差分值、蓝色色差成分的通道值的绝对值以及红色成分的通道值的绝对值分别乘以预先确定的系数并相加而得的值，从而得到的值中的最大值。
13.根据权利要求11所述的图像处理装置，其中，
所述影响推测值的所述边界值为1。
14.根据权利要求1至13中任一项所述的图像处理装置，其中，
所述输入图像为由大气干扰引起的去除图像叠加于所述原始图像而得的图像。
15.一种图像处理方法，其具备：
输入图像捕捉工序，捕捉输入图像，所述输入图像由原始图像和叠加于所述原始图像的应去除的去除图像组成，并且将如下相加值设为各像素的像素值，所述相加值为将与各像素对应的1至0范围的透射率设为t时所述原始图像的各像素的像素值乘以t而得到的值、与所述去除图像的各像素的像素值即从1减去t而得的值乘以叠加像素值而得到的值的相加值；
叠加像素值计算工序，根据所述输入图像，计算所述叠加像素值；
影响推测值计算工序，根据所述输入图像和所述叠加像素值，计算影响推测值，所述影响推测值为推测了所述去除图像对所述输入图像的各像素的影响程度的值，并且表示值从第1极限值越靠近最小值与最大值之间的预先确定的边界值则所述影响程度越大，并且与所述透射率t的值预先建立了对应关联，所述第1极限值为所述最小值与所述最大值中的一方的极限值；以及
校正处理工序，根据所述输入图像、所述影响推测值以及所述叠加像素值，对所述输入图像的各像素的像素值实施校正，由此生成从所述输入图像降低了所述去除图像的影响的校正图像，所述图像处理方法中，
所述校正处理工序为如下工序：
对于所述影响推测值在所述第1极限值到所述边界值的范围的像素，以根据作为从1向0减小的值而建立了对应关联的透射率t而得的校正量来实施所述校正，
对于所述影响推测值在所述边界值到所述最小值与最大值中不同于所述第1极限值的另一第2极限值的范围的像素，实施至少成为比将透射率t设为0时的像素值的校正量小的校正量的校正。
CN201680056437.4A 2015-09-29 2016-08-31 图像处理装置以及图像处理方法 Active CN108140237B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015191762 2015-09-29
JP2015-191762 2015-09-29
PCT/JP2016/075456 WO2017056834A1 (ja) 2015-09-29 2016-08-31 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN108140237A CN108140237A (zh) 2018-06-08
CN108140237B true CN108140237B (zh) 2021-11-19

Family

ID=58423269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680056437.4A Active CN108140237B (zh) 2015-09-29 2016-08-31 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US10521887B2 (zh)
JP (1) JP6352547B2 (zh)
CN (1) CN108140237B (zh)
WO (1) WO2017056834A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
CN109522941B (zh) * 2018-10-28 2022-11-29 北京工业大学 一种基于图像的大气光强估计方法
CN110232666B (zh) * 2019-06-17 2020-04-28 中国矿业大学(北京) 基于暗原色先验的地下管道图像快速去雾方法
CN111489308B (zh) * 2020-04-03 2022-09-06 南京理工大学 一种实时长波红外透雾性能增强算法
US20220051050A1 (en) * 2020-08-12 2022-02-17 Micron Technology, Inc. Presentation of digitized images from user drawings
CN112767278A (zh) * 2021-01-28 2021-05-07 湖南大学 基于非均匀大气光先验的图像去雾方法及相关设备
CN115063404B (zh) * 2022-07-27 2022-11-08 建首(山东)钢材加工有限公司 基于x射线探伤的耐候钢焊缝质量检测方法
CN117808712A (zh) * 2024-02-28 2024-04-02 山东科技大学 一种基于水下相机的图像校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348045A (zh) * 2010-07-21 2012-02-08 柯尼卡美能达商用科技株式会社 图像处理装置以及图像处理方法
JP2012221237A (ja) * 2011-04-08 2012-11-12 Olympus Corp 霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラム
WO2015075952A1 (ja) * 2013-11-25 2015-05-28 日本システムウエア株式会社 画像処理装置、画像処理方法、及び制御プログラム
CN104823216A (zh) * 2012-11-13 2015-08-05 日本电气株式会社 图像处理装置、图像处理方法和程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620843B2 (en) 2010-01-29 2013-12-31 Hewlett-Packard Development Company, L.P. Pattern recognition using active media
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
JP6320115B2 (ja) * 2014-03-28 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9177363B1 (en) * 2014-09-02 2015-11-03 National Taipei University Of Technology Method and image processing apparatus for image visibility restoration
US9361670B2 (en) * 2014-09-04 2016-06-07 National Taipei University Of Technology Method and system for image haze removal based on hybrid dark channel prior
US9478016B2 (en) * 2014-09-16 2016-10-25 National Taipei University Of Technology Image restoration method and image processing apparatus using the same
US9508126B2 (en) * 2015-02-17 2016-11-29 Adobe Systems Incorporated Image haze removal using fast constrained transmission estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348045A (zh) * 2010-07-21 2012-02-08 柯尼卡美能达商用科技株式会社 图像处理装置以及图像处理方法
JP2012221237A (ja) * 2011-04-08 2012-11-12 Olympus Corp 霞除去画像処理装置、霞除去画像処理方法及び霞除去画像処理プログラム
CN104823216A (zh) * 2012-11-13 2015-08-05 日本电气株式会社 图像处理装置、图像处理方法和程序
WO2015075952A1 (ja) * 2013-11-25 2015-05-28 日本システムウエア株式会社 画像処理装置、画像処理方法、及び制御プログラム

Also Published As

Publication number Publication date
US20180232862A1 (en) 2018-08-16
WO2017056834A1 (ja) 2017-04-06
US10521887B2 (en) 2019-12-31
JPWO2017056834A1 (ja) 2018-08-02
JP6352547B2 (ja) 2018-07-04
CN108140237A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108140237B (zh) 图像处理装置以及图像处理方法
JP6351903B1 (ja) 画像処理装置、画像処理方法、及び撮影装置
US20070047803A1 (en) Image processing device with automatic white balance
JP2017138647A (ja) 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
CN107533756B (zh) 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质
JP2010039758A (ja) 画像処理装置及び画像処理方法
JP2008205737A (ja) 撮像システム、画像処理プログラム、画像処理方法
JP5392560B2 (ja) 画像処理装置および画像処理方法
JP2022036179A (ja) 画像処理装置およびその制御方法及びプログラム
JP5901667B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
JP6613697B2 (ja) 画像処理装置、プログラムおよび記録媒体
US20110286680A1 (en) Medium storing image processing program, image processing device, and image processing method
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
CN110782400A (zh) 一种自适应的光照均匀实现方法和装置
KR101854432B1 (ko) 역광 프레임을 검출하고, 보정하는 방법 및 장치
CN111654686B (zh) 去除图像彩噪的方法、去除视频彩噪的方法及相关装置
US10970822B2 (en) Image processing method and electronic device thereof
US20190149720A1 (en) Imaging apparatus
JP5225491B2 (ja) 画像処理装置及び画像処理方法
KR101488641B1 (ko) 영상처리장치 및 영상처리방법
JP6543786B2 (ja) 画像処理装置および画像処理方法
KR20140124985A (ko) 자동 백광 조정을 위한 다크 채널 프라이어 기반의 백색 영역 추정 장치 및 방법
CN111726596B (zh) 影像处理方法及其电子装置
EP4209990A2 (en) Blended gray image enhancement
KR102315200B1 (ko) 자동 화이트 밸런스를 위한 영상 처리 장치 및 그 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant