CN112001853A - 图像处理设备、图像处理方法、摄像设备和存储介质 - Google Patents

图像处理设备、图像处理方法、摄像设备和存储介质 Download PDF

Info

Publication number
CN112001853A
CN112001853A CN202010460486.2A CN202010460486A CN112001853A CN 112001853 A CN112001853 A CN 112001853A CN 202010460486 A CN202010460486 A CN 202010460486A CN 112001853 A CN112001853 A CN 112001853A
Authority
CN
China
Prior art keywords
tone correction
tone
image processing
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010460486.2A
Other languages
English (en)
Inventor
浦上博行
大森广崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020028363A external-priority patent/JP7510258B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112001853A publication Critical patent/CN112001853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种图像处理设备、图像处理方法、摄像设备和存储介质。所述图像处理设备包括：获取部件，用于获取图像数据；第一色调校正部件，用于估计所述图像数据的各区域的透射度，并且校正色调；第二色调校正部件，用于使用色调曲线来校正所述图像数据的色调；以及控制部件，用于控制要使用哪个色调校正部件来进行色调校正。

Description

图像处理设备、图像处理方法、摄像设备和存储介质
技术领域
本发明涉及用于去除在存在雾或霾的状况下拍摄到的图像中的雾或霾、并且提高可视性的技术。
背景技术
对于诸如监视等的应用中所使用的传统照相机，当在户外拍摄图像时，存在发生雾或霾并且可视性下降的情况。为了挽救这样的图像，已知有用于进行用于在存在雾或霾的情况下去除雾或霾的校正处理的技术。校正处理涉及用于使用色调曲线来校正整个画面的对比度的方法、以及采用散射分离法的方法，该散射分离法用于在大气模型中将米氏散射(Mie scattering)和瑞利散射(Rayleigh scattering)分离，并且去除诸如雾或霾等的不依赖于波长的米氏散射分量。
散射分离法是如下的方法：通过使用图像的各区域的暗通道值(dark channelvalue)估计透射度(即，雾或霾的浓度)、并且控制色调，来去除雾或霾。具体地，提出了用于估计由大气模型中的雾或霾的浓度引起的透射度、并且进行色调控制的技术。
在日本特开2017-138647中，计算天空区域或背光区域，校正该天空区域或背光区域中的暗通道值，根据这些暗通道值计算透射度，并且使用所计算出的透射度来从输入图像中去除雾或霾分量。
在日本特开2015-103167中，从彩色图像中选择用于导出散射光的基准强度的像素，并且导出与散射光的第一颜色分量相对应的第一基准强度和与第二颜色分量相对应的第二基准强度。使用第一基准强度和权重值来校正彩色图像的第一颜色分量的像素值，并且使用第二基准强度和权重值来校正第二颜色分量的像素值，由此生成校正图像。
然而，利用日本特开2017-138647所公开的传统技术，可以使用暗通道值来进行关于散射光的校正，但在图像中的轮廓部处产生光晕(halo)噪声，并且不能抑制该光晕噪声。
此外，利用日本特开2015-103167所公开的传统技术，同样地，可以通过使用大气模型中的散射光去除由雾或霾的浓度引起的分量来进行校正，但在图像中的轮廓部处产生光晕噪声，并且不能抑制该光晕噪声。
发明内容
本发明是有鉴于上述问题而作出的，并且提供能够良好地去除图像中的雾或霾的图像处理设备。
根据本发明的第一方面，提供一种图像处理设备，包括：获取部件，用于获取图像数据；第一色调校正部件，用于估计所述图像数据的各区域的透射度，并且校正色调；第二色调校正部件，用于使用色调曲线来校正所述图像数据的色调；以及控制部件，用于控制要使用哪个色调校正部件来进行色调校正。
根据本发明的第二方面，提供一种摄像设备，包括：摄像部件，用于拍摄被摄体的图像；以及上述的图像处理设备。
根据本发明的第三方面，提供一种图像处理方法，包括：获取步骤，用于获取图像数据；第一色调校正步骤，用于估计所述图像数据的各区域的透射度，并且校正色调；第二色调校正步骤，用于使用色调曲线来校正所述图像数据的色调；以及控制步骤，用于控制要使用哪个色调校正步骤来进行色调校正。
根据本发明的第四方面，提供一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行上述的图像处理方法。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出作为本发明的图像处理设备的第一实施例的数字照相机的结构的图。
图2是示出第一实施例中的图像处理电路120的结构的框图。
图3A和3B是示出与雾或霾的有无有关的亮度直方图的图。
图4A和4B是示出与雾或霾的存在程度相对应的色调曲线校正的示例的图。
图5是示出第一实施例中的用于去除雾或霾的操作的流程图。
图6是示出第二实施例中的用于去除雾或霾的操作的流程图。
图7是示出第三实施例中的图像处理电路121的结构的框图。
图8是示出第三实施例中的用于去除雾或霾的操作的流程图。
图9是示出第四实施例中的用于去除雾或霾的操作的流程图。
图10是示出第五实施例中的摄像系统的结构的图。
图11是示出第五实施例中的用于去除雾或霾的操作的流程图。
具体实施方式
以下将参考附图来详细说明实施例。注意，以下实施例并不意图限制要求保护的发明的范围。在实施例中说明了多个特征，但并未限制成需要所有这些特征的发明，并且可以适当组合多个这样的特征。此外，在附图中，向相同或相似的结构赋予相同的附图标记，并且省略了对这些结构的重复说明。
第一实施例
图1是示出作为本发明的图像处理设备的第一实施例的数字照相机100的结构的图。
在图1中，镜头单元102在具有由CCD和CMOS传感器构成的图像传感器的摄像单元101上形成被摄体的光学图像。此外，利用镜头驱动设备103进行变焦控制、调焦控制和光阑控制等。摄像信号处理电路104对从摄像单元101输出的图像信号进行各种类型的校正处理和数据压缩处理等。此外，摄像信号处理电路104在内部包括用于去除图像中的雾或霾的图像处理电路120。图像传感器驱动电路105将用于向各种电源和摄像模式发出指示的信号、以及各种定时信号输出至摄像单元101中的图像传感器。
存储器单元106用作用于临时存储图像数据的存储器，并且总体控制计算单元107进行各种计算和数字照相机100的总体控制。记录介质控制I/F单元108是用于将数据记录在记录介质上或从记录介质读出数据的接口。记录介质109是用于记录或读出图像数据的可拆卸的半导体存储器。此外，显示单元110是诸如液晶显示设备等的用于显示各种信息和拍摄图像的显示装置。
图2是示出图1所示的图像处理电路120的结构的框图。图像处理电路120具有在对图像的轮廓部处产生的光晕噪声进行抑制的同时去除雾或霾的功能。
在图2中，图像处理电路120包括第一图像处理单元11、第一雾或霾校正单元12、第二雾或霾校正单元14、第二图像处理单元15、图像输出单元16、以及直方图获取和分析单元13。
将与摄像单元101所拍摄到的图像有关的数据输入至图像处理电路120。第一图像处理单元11是用于处理图像数据的第一级图像处理单元。具体地，第一图像处理单元11对从摄像单元101获取到的图像数据进行传感器校正处理、缺陷校正处理、用于将拜尔型的RGB信号转换成YC信号的转换处理、轮廓增强处理、降噪处理和白平衡处理等。第一雾或霾校正单元12是第一级色调校正单元，该第一级色调校正单元使用图像的各区域的暗通道值来估计透射度(浓度图)，并且进行用于控制色调的第一色调校正处理(色调校正操作)。直方图获取和分析单元13在经过了第一色调校正处理的校正图像中获取亮度分量的直方图，并且通过计算直方图的方差值来检测图像的对比度。第二雾或霾校正单元14是第二级色调校正单元，该第二级色调校正单元使用色调曲线来进行用于控制对比度和中间色调的第二色调校正处理(色调校正操作)。
以下将详细说明第一色调校正处理。首先，在通过公式(1)表示的大气模型中，具有雾或霾的图像I和在去除了雾或霾之后获得的图像J彼此相关联。
I(x,y)＝J(x,y)×t(x,y)+A(1-t(x,y)) 公式(1)
x和y表示图像中的水平方向和垂直方向上的二维坐标，t表示雾或霾的浓度图，并且A表示环境光。这里，浓度图t(x,y)意味着由于大气引起的衰减，并且从照相机起的被摄体距离越长，衰减量(像素值)越大，以及从照相机起的被摄体距离越短，衰减量(像素值)越小。在公式(1)中，可以通过估计环境光A和浓度图t(x,y)来获得雾或霾去除后的J(x,y)。
首先，将使用数学公式来说明用于估计环境光A的方法。环境光A表示天空区域的RGB分量的平均像素值，并且使用公式(2)来计算。
Figure BDA0002510759820000051
ave函数表示用于计算自变量的平均值的函数，c表示颜色分量，并且Ωsky表示天空区域中的局部区域。这里，例如，可以使用基于直方图分布的计算方法、利用预先指定的坐标的方法、或者利用用户所指定的位置的方法等来指定天空区域。
接着，将说明用于估计浓度图t(x,y)的方法。本实施例中的第一色调处理是用于基于暗通道值来估计浓度图t(x,y)的处理，并且假定为在不存在雾或霾的户外图像中，RGB分量至少之一的像素值局部非常小。使用公式(3)来计算暗通道值Idrk。
Figure BDA0002510759820000052
c表示颜色分量，并且Ω表示包括目标坐标(x,y)的局部区域。如公式(3)所示，暗通道值是包括目标像素的局部区域中的RGB分量的最小值。可以通过将暗通道计算公式(3)代入公式(1)的大气模型来获得用于根据大气模型计算暗通道值的公式(4)。
Idrk＝Jdrk(x,y)×t(x,y)+A(1-t(x,y)) 公式(4)
这里，如果考虑在不存在雾或霾的图像中RGB分量至少之一的像素值局部小这一假定，则在公式(4)中雾或霾去除图像的暗通道值Jdrk(x,y)是尽可能接近0的值。因而，可以与通过公式(5)表示的方式同样地对公式(4)进行近似。
Ⅰdrk(x,y)≈A(1-t(x,y)) 公式(5)
可以通过修改公式(5)的近似公式来使用公式(6)估计浓度图t(x,y)。
t(x,y)≈1-{ω×Idrk(x,y)/A} 公式(6)
这里，ω是用于控制雾或霾的校正程度的参数，并且被定义在0.0～1.0的范围内，并且值越大，雾或霾校正效果可被设置得越高。可以通过将使用上述的公式(2)～(6)计算出的环境光A和浓度图t(x,y)代入公式(7)来获得雾或霾去除后的J(x,y)。
J(x,y)＝{(I(x,y)-A)/t(x,y)}+A 公式(7)
如公式(1)所示，在基于暗通道的第一色调校正处理中，通过除了考虑环境光A之外、还考虑根据从照相机起的被摄体距离而改变的浓度图，来针对各像素计算校正量。因此，不仅针对近景的被摄体而且还针对远景的被摄体，都可以有效地去除雾或霾。然而，如公式(3)所示在不考虑边缘信息的情况下计算暗通道值，并且如公式(4)所示通过近似来获得浓度图，因而在边缘部附近发生误校正，具体为发生在边缘部处出现白点的现象(以下将该现象称为“光晕噪声(白区域)”)。
接着，将详细说明第二雾或霾校正单元14。首先，直方图获取和分析单元13生成输入图像的直方图，并且计算表示所生成的直方图的分布密度的统计值。例如，使用公式(8)来获得直方图的方差σ2。
σ2＝{(x1-μ)2×f1+(x2-μ)2×f2+...+(xN-μ)2}/n 公式(8)
这里，xi表示输入亮度水平，xN表示输入亮度水平的最大值，f表示频率，n表示数据的总和(总像素数)，并且μ表示其平均值。注意，尽管在本实施例中使用直方图的方差作为表示分布密度的统计值，但不限于此。
此外，直方图获取和分析单元13基于上述的直方图和统计值来计算雾或霾的存在程度。通常，如图3A所示，在存在雾或霾的图像中，直方图的分布集中在部分区域中，从而得到对比度低的图像。因而，在存在雾或霾的情况下，方差值是相对较小的值。有鉴于此，第二雾或霾校正单元14通过将任意阈值Th和方差值σ2进行比较来计算雾或霾的存在程度H。例如，使用公式(9)来计算该存在程度H。
Figure BDA0002510759820000071
这里，通过公式(9)表示的雾或霾的存在程度H被归一化在0.0～1.0的范围内，并且该值用作如下的指标：值越大、雾或霾的存在程度越高。
然后，第二雾或霾校正单元14根据直方图获取和分析单元13所计算出的雾或霾的存在程度来调整色调曲线。具体地，如图4A和4B所示，随着雾或霾的存在程度增加，应用用于降低暗部的色调并增加明部的色调的色调曲线。如图3B所示，通过应用上述色调曲线来获得具有平滑分布的直方图，并且可以去除雾或霾。
因而，第二雾或霾校正单元14能够根据直方图分布(雾或霾的存在程度)，通过提高整个画面的对比度，来在抑制不利影响的同时去除雾或霾。然而，由于没有考虑到被摄体距离来计算校正量，因此该方法对远景的被摄体的效果差。
注意，在上述说明中，尽管第一雾或霾校正单元12(雾或霾校正单元中的一个雾或霾校正单元)进行第一色调校正处理、然后第二雾或霾校正单元14(另一个雾或霾校正单元)进行第二色调校正处理，但可以颠倒其顺序。也就是说，即使第一雾或霾校正单元12进行第二色调校正处理、然后第二雾或霾校正单元14进行第一色调校正处理，也可以获得同样的雾或霾去除效果。
第二图像处理单元15对作为第一雾或霾校正单元12和第二雾或霾校正单元14去除雾或霾的结果所获得的图像进行第二级图像处理。具体地，第二图像处理单元15进行轮廓增强处理、降噪处理、颜色校正处理和分辨率转换处理等。这里，轮廓增强处理、降噪处理和颜色校正处理等可以由第一图像处理单元11进行，或者可以由第二图像处理单元15进行。图像输出单元16将经过了图像处理和雾或霾去除处理的图像输出至用于进行图像压缩处理等的另一图像处理单元、或者显示单元110等。
注意，在第一色调校正处理中执行校正处理，以随时间的经过而逐渐获得校正效果。具体地，公式(6)的值ω从小的值起逐渐增大。然后，在从轮廓部提取光晕噪声的情况下，暂停(停止)第一色调校正处理。这样做使得可以抑制在第一色调校正处理中可能产生的轮廓部的光晕噪声。
此外，如上所述，可以考虑第一雾或霾校正单元12进行第一色调校正处理并且第二雾或霾校正单元14进行第二色调校正处理的情况、以及颠倒第一色调校正处理和第二色调校正处理的顺序的情况。在各情况下，使用以下的方法来进行色调校正处理。
首先，在第一雾或霾校正单元12进行第一色调校正处理并且第二雾或霾校正单元14进行第二色调校正处理的情况下，使用以下的方法。也就是说，如上所述，第一雾或霾校正单元12在检查在何处产生光晕噪声的同时，逐渐地进行第一色调校正处理，并且在该色调校正处理停止之后，通过检查图像的统计量(具体为亮度直方图)来判断色调控制的效果(校正结果)。在色调控制的效果不足的情况下，第二雾或霾校正单元14随时间的经过进行第二色调校正处理，直到达到可以获得足够效果的色调校正量(目标色调)为止。然而，由于无需考虑光晕噪声，因此不必缓慢地进行第二色调校正处理。
此外，在第一雾或霾校正单元12进行第二色调校正处理并且第二雾或霾校正单元14进行第一色调校正处理的情况下，使用如下的方法。也就是说，第一雾或霾校正单元12在检查第二色调校正处理的效果的同时，随时间的经过而逐渐地进行第二色调校正处理。由于第二色调校正处理对远景部分的雾或霾去除效果不好，因此在检查该效果的程度的同时进行处理。然而，如上所述，尽管第二色调校正处理在当随时间的经过进行第二色调校正处理时有可能获得效果的变化方面是有利的，但由于无需考虑光晕噪声，因此不必缓慢地进行第二色调校正处理。此外，在第二色调校正处理停止之后、色调控制的效果不足的情况下，第二雾或霾校正单元14随时间的经过进行第一色调校正处理，直到达到可以获得足够效果的色调校正为止。同样在这种情况下，如果从轮廓部中提取光晕噪声，则暂停第一色调校正处理。
可以使用上述方法来进行抑制了光晕噪声的产生的良好的雾或霾去除处理。
图5是示出用于去除雾或霾、使得在图像的轮廓部处不会产生光晕噪声的操作的流程图。注意，图5示出第一雾或霾校正单元12进行第一色调校正处理并且第二雾或霾校正单元14进行第二色调校正处理的情况的示例。
在开始雾或霾去除处理的流程时，在步骤S31中，将摄像单元101所获取到的图像输入至图像处理电路120。在步骤S32中，第一雾或霾校正单元12进行第一色调校正处理。这里，如上所述，在图像的任何轮廓部处均不会产生光晕噪声的范围中进行校正处理。
在步骤S33中，总体控制计算单元107判断通过在步骤S32中进行第一色调校正处理所获得的图像的对比度的大小。如果对比度低于预定值，则处理进入步骤S34，以及在对比度高于或等于预定值的情况下，色调校正处理结束。
为了去除在步骤S32中执行的第一色调校正处理中不能去除的雾或霾，在步骤S34中执行第二色调校正处理，并且色调校正处理结束。
注意，图5示出在步骤S32中进行第一色调校正处理并且在步骤S34中进行第二色调校正处理的情况的示例。然而，可以采用如下的结构：如上所述，在步骤S32中进行第二色调校正处理，并且在步骤S34中进行第一色调校正处理。在这两种情况下，在第一色调校正处理中，在不会产生光晕噪声的范围中进行校正处理。
如上所述，根据第一实施例，可以在不会产生光晕噪声的范围中进行有效的雾或霾去除处理。
第二实施例
以下说明作为本发明的图像处理设备的第二实施例的数字照相机。第二实施例中的数字照相机的总体结构与图1所示的第一实施例的结构相似，因而将不进行说明。在第二实施例中，通过向在第一实施例中所述的第一色调校正处理和第二色调校正处理添加权重来实现这两个处理。
图6是示出第二实施例中的用于去除雾或霾使得在图像的任何轮廓部处不会产生光晕噪声的操作的流程图。
在开始雾或霾去除处理的流程时，在步骤S41中，将摄像单元101所获取到的图像输入至图像处理电路120。在步骤S42中，第一图像处理单元11获取所输入的图像的亮度值的统计量、具体为亮度直方图。
在步骤S43中，总体控制计算单元107根据在步骤S42中获取到的亮度直方图来判断对比度的大小。如果对比度低于预定值，则判断为雾或霾厚，且处理进入步骤S44，以及在对比度高于或等于预定值的情况下，判断为雾或霾不是很厚，且处理进入步骤S46。
在步骤S44中，增大第一实施例中所述的第一色调校正处理的权重。这里，即使在一定程度上允许在图像的轮廓部处产生的光晕噪声，也增大了雾或霾的去除程度。此外，为了去除在步骤S44中不能去除的雾或霾，在步骤S45中进行第一实施例中所述的第二色调校正处理。然后，雾或霾去除处理结束。注意，即使颠倒步骤S44和步骤S45的顺序，也可以获得相同的效果。
在步骤S46中，由于对比度不是非常低并且雾或霾不厚，因此减小第一色调校正处理的权重，使得在图像的任何轮廓部处均不会产生光晕噪声。为了去除在步骤S46中不能去除的雾或霾，在步骤S47中增大第二色调校正处理的权重。然后，雾或霾去除处理结束。注意，即使颠倒步骤S46和步骤S47的顺序，也可以获得相同的效果。
如上所述，根据第二实施例，可以根据雾或霾的厚度来进行有效的雾或霾去除处理。
第三实施例
以下说明作为本发明的图像处理设备的第三实施例的数字照相机。第三实施例中的数字照相机的总体结构也与图1所示的第一实施例的结构相似。然而，在本实施例中，图像处理电路121的结构不同于第一实施例的图像处理电路120的结构。在第三实施例中，根据目标区域来切换并执行雾或霾去除方法。
图7是示出第三实施例中的图像处理电路121的结构的图。图像处理电路121指定(设置)目标区域，测量到该区域的被摄体距离，根据该被摄体距离来切换色调控制方法，并且去除雾或霾。
在图7中，图像处理电路121包括第一图像处理单元21、目标区域指定单元22、距离信息获取单元23、第一雾或霾校正单元24、第二雾或霾校正单元25、第二图像处理单元26和图像输出单元27。
将与摄像单元101所拍摄到的图像有关的数据输入至图像处理电路121。第一图像处理单元21是用于图像数据的第一级图像处理单元，并且与第一实施例中所述的第一图像处理单元11相似。目标区域指定单元22具有在图像数据中指定目标区域的功能，并且包括供用户指定目标区域用的GUI等。距离信息获取单元23测量到目标区域指定单元22所指定的目标区域的距离。这里，使用与镜头单元102中所配置的调焦透镜或变焦透镜的控制有关的信息来测量到目标区域的距离。
第一雾或霾校正单元24执行第一实施例中所述的第一色调校正处理。第二雾或霾校正单元25执行第一实施例中所述的第二色调校正处理。第二图像处理单元26进行用于选择第一雾或霾校正单元24校正后的图像和第二雾或霾校正单元25校正后的图像、或者将这两个图像混合在一起的处理，并且进行第二级图像处理。由于第一雾或霾校正单元24在去除位于远距离处的目标区域的雾或霾方面是有效的，因此在距离信息获取单元23所获取到的距离信息表示到目标区域的距离长于第一预定距离的情况下，选择第一雾或霾校正单元24。由于第二雾或霾校正单元25在去除位于近距离处的目标区域的雾或霾方面是有效的，因此在距离信息获取单元23所获取到的距离信息表示到目标区域的距离短于第二预定距离的情况下，选择第二雾或霾校正单元25。在距离信息获取单元23所获取到的距离信息表示到目标区域的距离短于或等于第一预定距离且长于或等于第二预定距离的情况下，进行用于将第一雾或霾校正单元24校正后的图像和第二雾或霾校正单元25校正后的图像混合的处理(合成处理)。
这里，使用被摄体的边缘信息来针对各区域确定图像合成比率。具体地，关于被视为边缘的区域，将第一实施例中所述的第二色调校正处理的比率设置得大。另一方面，关于被视为平坦区域的区域，将第一实施例中所述的第一色调校正处理的比率设置得大。通过按这样的比率合成图像，可以在抑制边缘部处的光晕噪声的同时有效地执行雾或霾去除。以下说明具体过程。
首先，从图像中检测边缘。作为用于检测边缘的方法，可以通过对存在雾或霾的输入图像I执行Sobel滤波器来将边缘信息提取为灰度图像。
接着，例如，基于所生成的边缘信息(浓度值F(x,y))，使用公式(10)来获得混合比率Blend(x,y)。
Blend(x,y)＝F(x,y)/Fmax 公式(10)
这里，Fmax表示浓度值的最大值，并且将混合比率归一化在0.0～1.0的值中。
最后，基于使用公式(10)所获得的混合比率，使用公式(11)来对第一雾或霾校正单元24校正后的图像Dehaze1(x,y)和第二雾或霾校正单元25校正后的图像Dehaze2(x,y)进行合成。
DehazeBlend(x,y)＝(1.0-Blend(x,y))×Dehaze1(x,y)+Blend(x,y)×Dehaze2(x,y)
公式(11)
作为使用上述过程的结果，可以在抑制在边缘部处产生的光晕噪声的同时，获得有效地执行了雾或霾去除的混合图像DehazeBlend(x,y)。
注意，第二图像处理单元26与在第一实施例中所述的第二图像处理单元15相似。各图像处理功能可以由第一图像处理单元21进行，或者可以由第二图像处理单元26进行。图像输出单元27将经过了图像处理以及雾或霾去除处理的图像输出至用于进行图像压缩处理等的另一图像处理单元、以及显示单元110等。
图8是示出用于根据到所指定的目标区域的距离来切换色调控制方法、并且去除雾或霾的操作的流程图。
在开始雾或霾去除处理时，在步骤S61中，将摄像单元101所获取到的图像输入至图像处理电路121。在步骤S62中，用户使用GUI等来指定目标区域。在步骤S63中，距离信息获取单元23测量到用户所指定的目标区域的距离。使用与镜头单元102中所配置的调焦透镜或变焦透镜的控制有关的信息来测量到目标区域的距离。
在步骤S64中，总体控制计算单元107判断到目标区域中所包括的被摄体的距离是否长于第一预定距离。在到被摄体的距离长于第一预定距离的情况下，处理进入步骤S65。在到被摄体的距离不长于第一预定距离的情况下，处理进入步骤S66。
在步骤S65中，执行第一实施例中所述的在去除远被摄体上的雾或霾方面有效的第一色调校正处理。
在步骤S66中，判断到目标区域中所包括的被摄体的距离是否短于第二预定距离。在到被摄体的距离短于第二预定距离的情况下，处理进入步骤S67。在到被摄体的距离不短于第二预定距离的情况下，处理进入步骤S68。
在步骤S67中，执行第一实施例中所述的在去除近被摄体上的雾或霾方面有效的第二色调校正处理。在步骤S68中，基于使用公式(10)所获得的合成比率，使用公式(11)来进行用于将通过第一实施例中所述的第一色调校正处理所获得的图像和通过第二色调校正处理所获得的图像进行混合的处理。步骤S68是在到目标区域中所包括的被摄体的距离短于或等于第一预定距离且长于或等于第二预定距离的情况下执行的。在执行了步骤S65或S67或S68之后，雾或霾去除操作结束。
如上所述，根据第三实施例，可以根据到被摄体的距离来进行有效的雾或霾去除处理。
第四实施例
以下说明作为本发明的图像处理设备的第四实施例的数字照相机。第四实施例中的图像处理电路的结构与图7所示的第三实施例的结构相似。然而，在本实施例中，目标区域指定单元22检测目标被摄体，并且自动指定该被摄体存在于的区域。
图9是示出用于检测目标被摄体、基于到该目标被摄体的距离来切换色调控制方法、并且去除雾或霾的操作的流程图。
在开始雾或霾去除处理的流程时，在步骤S71中，将摄像单元101所获取到的图像输入至图像处理电路121。在步骤S72中，检测目标被摄体，并且自动指定该被摄体存在于的区域。为了检测目标被摄体，用户例如指定目标物体或人物。然后，通过物体检测和AI技术等来检测目标物体或人物，并且指定包括目标物体或人物的区域。可选地，可以采用如下的结构：通过运动检测等来检测正在移动的物体或人物，并且指定包括正在移动的物体或人物的区域。
在步骤S73中，距离信息获取单元23测量到包括所指定的目标被摄体的区域的距离。使用与镜头单元102中所配置的调焦透镜或变焦透镜的控制有关的信息来测量到目标区域的距离。
在步骤S74中，总体控制计算单元107判断到目标被摄体的距离是否长于第一预定距离。在到被摄体的距离长于第一预定距离的情况下，处理进入步骤S75。在到被摄体的距离不长于第一预定距离的情况下，处理进入步骤S76。
在步骤S75中，执行第一实施例中所述的在去除远被摄体上的雾或霾方面有效的第一色调校正处理。
在步骤S76中，判断到目标被摄体的距离是否短于第二预定距离。在到被摄体的距离短于第二预定距离的情况下，处理进入步骤S77。在到被摄体的距离不短于第二预定距离的情况下，处理进入步骤S78。
在步骤S77中，执行第一实施例中所述的在去除近被摄体上的雾或霾方面有效的第二色调校正处理。在步骤S78中，进行用于将通过第一实施例中所述的第一色调校正处理所获得的图像和通过第二色调校正处理所获得的图像进行混合的处理。步骤S78是在到目标被摄体的距离短于或等于第一预定距离且长于或等于第二预定距离的情况下执行的。在执行了步骤S75或S77或S78之后，雾或霾去除操作结束。
如上所述，根据第四实施例，可以根据到所检测到的目标被摄体的距离来进行有效的雾或霾去除处理。
第五实施例
以下说明作为本发明的图像处理设备的第五实施例的网络照相机。如图10所示，第五实施例中的图像处理电路的结构由网络照相机、网络和客户端设备构成。
在第五实施例中，根据在客户端设备上执行的识别和分析应用来切换并执行雾或霾去除方法。将使用用于识别人的面部的面部识别应用和用于对画面中所存在的被摄体进行计数的人计数应用来说明本典型实施例。
作为各应用的特征，面部识别应用基于面部的精细特征来进行识别，因而需要尽可能多地抑制以上述的光晕噪声为代表的伪像的发生。另一方面，与面部识别应用相比，人计数应用不是基于精细构造进行检测，而是检测更粗糙的构造和形状，并且对人数进行计数。因而，在执行人计数应用时去除雾或霾的情况下，通过优先雾或霾去除效果而不是优先抑制光晕噪声来提高被摄体检测精度。注意，识别和分析应用不限于此，并且例如，可以使用用于将人的行动线路转换成热图的分析应用、用于追踪特定人物的应用、以及用于分析被摄体的属性的应用等。
图11是示出本实施例中的用于去除雾或霾的操作的流程图。
在开始雾或霾去除处理的流程时，在步骤S111中，将摄像单元101所获取到的图像输入至图像处理电路121。在步骤S112中，获取与在客户端设备上执行的识别和分析应用有关的信息。
在步骤S113中，总体控制计算单元107判断所获取到的识别和分析应用的类型是否是面部识别应用。在应用的类型是面部识别应用的情况下，处理进入步骤S114。在应用的类型不是面部识别应用的情况下，处理进入步骤S115。
在步骤S114中，执行第一实施例中所述的在抑制不利影响的同时去除雾或霾方面有效的第二色调校正处理。
在步骤S115中，判断所获取到的识别和分析应用的类型是否是人计数应用。在应用的类型是人计数应用的情况下，处理进入步骤S116。在应用的类型不是人计数应用的情况下，处理进入步骤S117。
在步骤S116中，执行第一实施例中所述的在去除远被摄体上的雾或霾方面有效的第一色调校正处理。
在步骤S117中，与第三实施例中所述的步骤S68相似，基于边缘信息来进行用于将通过第一色调校正处理所获得的图像和通过第二色调校正处理所获得的图像进行混合的处理。在执行了步骤S114或S116或S117之后，雾或霾去除操作结束。
如上所述，根据第五实施例，可以根据在客户端设备上执行的识别和分析应用来进行有效的雾或霾去除处理。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (20)

1.一种图像处理设备，包括：
获取部件，用于获取图像数据；
第一色调校正部件，用于估计所述图像数据的各区域的透射度，并且校正色调；
第二色调校正部件，用于使用色调曲线来校正所述图像数据的色调；以及
控制部件，用于控制要使用哪个色调校正部件来进行色调校正。
2.根据权利要求1所述的图像处理设备，其中，
所述控制部件使得所述第一色调校正部件和所述第二色调校正部件中的一个对所述图像数据进行第一级色调校正，并且基于经过了所述第一级色调校正的图像数据的校正结果，使得所述第一色调校正部件和所述第二色调校正部件中的另一个对经过了所述第一级色调校正的图像数据进行第二级色调校正。
3.根据权利要求2所述的图像处理设备，其中，
在经过了所述第一级色调校正的图像数据的对比度低于预定值的情况下，所述控制部件使得所述第一色调校正部件和所述第二色调校正部件中的另一个对经过了所述第一级色调校正的图像数据进行所述第二级色调校正。
4.根据权利要求3所述的图像处理设备，其中，
所述对比度是基于经过了所述第一级色调校正的图像数据的亮度直方图来计算的。
5.根据权利要求3所述的图像处理设备，其中，
所述控制部件使得所述第一色调校正部件和所述第二色调校正部件中的另一个进行所述第二级色调校正，直到所述对比度达到目标值为止。
6.根据权利要求2所述的图像处理设备，其中，
所述控制部件使得所述第一色调校正部件进行所述第一级色调校正。
7.根据权利要求2所述的图像处理设备，其中，
所述控制部件使得所述第二色调校正部件进行所述第一级色调校正。
8.根据权利要求1所述的图像处理设备，其中，
所述控制部件使得所述第一色调校正部件随时间的经过而逐渐地进行色调校正，并且在从图像数据的轮廓部提取白区域的情况下，停止所述第一色调校正部件的色调校正操作。
9.根据权利要求1所述的图像处理设备，还包括：
计算部件，用于计算所述图像数据的亮度值的统计量的方差值，
其中，在所计算出的方差值大于或等于预定值的情况下，所述控制部件减弱所述第一色调校正部件所进行的色调校正，并且增强所述第二色调校正部件所进行的色调校正。
10.根据权利要求1所述的图像处理设备，还包括：
设置部件，用于设置所述图像数据中的目标被摄体；以及
测量部件，用于测量到所述目标被摄体的距离，
其中，所述控制部件基于到所述目标被摄体的距离，来控制所述第一色调校正部件的色调校正操作和所述第二色调校正部件的色调校正操作。
11.根据权利要求1所述的图像处理设备，还包括：
分析部件，用于使用所述图像数据进行分析，
其中，所述控制部件基于所述分析部件所进行的分析的结果，来控制所述第一色调校正部件的色调校正操作和所述第二色调校正部件的色调校正操作。
12.根据权利要求10所述的图像处理设备，其中，
在到所述目标被摄体的距离长于第一预定距离的情况下，所述控制部件使得所述第一色调校正部件对所述图像数据进行色调校正。
13.根据权利要求10所述的图像处理设备，其中，
在到所述目标被摄体的距离短于第二预定距离的情况下，所述控制部件使得所述第二色调校正部件对所述图像数据进行色调校正。
14.根据权利要求10所述的图像处理设备，其中，
在到所述目标被摄体的距离短于或等于第一预定距离、且长于或等于比所述第一预定距离短的第二预定距离的情况下，所述控制部件将所述第一色调校正部件所进行的对所述图像数据的色调校正的结果与所述第二色调校正部件所进行的对所述图像数据的色调校正的结果进行混合。
15.根据权利要求14所述的图像处理设备，还包括：
边缘检测部件，用于检测与所述图像数据有关的边缘信息，
其中，所述图像处理设备被配置为基于所检测到的边缘信息来计算所述混合的比率。
16.根据权利要求10所述的图像处理设备，还包括：
指定部件，其被用户用来指定所述目标被摄体。
17.根据权利要求10所述的图像处理设备，还包括：
指定部件，用于自动指定所述目标被摄体。
18.一种摄像设备，包括：
摄像部件，用于拍摄被摄体的图像；以及
根据权利要求1至17中任一项所述的图像处理设备。
19.一种图像处理方法，包括：
获取步骤，用于获取图像数据；
第一色调校正步骤，用于估计所述图像数据的各区域的透射度，并且校正色调；
第二色调校正步骤，用于使用色调曲线来校正所述图像数据的色调；以及
控制步骤，用于控制要使用哪个色调校正步骤来进行色调校正。
20.一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行根据权利要求19所述的图像处理方法。
CN202010460486.2A 2019-05-27 2020-05-27 图像处理设备、图像处理方法、摄像设备和存储介质 Pending CN112001853A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019098808 2019-05-27
JP2019-098808 2019-05-27
JP2020028363A JP7510258B2 (ja) 2019-05-27 2020-02-21 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
JP2020-028363 2020-02-21

Publications (1)

Publication Number Publication Date
CN112001853A true CN112001853A (zh) 2020-11-27

Family

ID=70861224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010460486.2A Pending CN112001853A (zh) 2019-05-27 2020-05-27 图像处理设备、图像处理方法、摄像设备和存储介质

Country Status (3)

Country Link
US (1) US11301974B2 (zh)
EP (1) EP3745348B1 (zh)
CN (1) CN112001853A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686105B (zh) * 2020-12-18 2021-11-02 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
CN112581411B (zh) * 2021-02-26 2021-06-15 深圳金三立视频科技股份有限公司 一种图像去雾的方法及终端
CN114565519B (zh) * 2022-01-13 2024-08-09 深圳市文立科技有限公司 一种图像透雾方法、装置和存储介质
CN117094914B (zh) * 2023-10-18 2023-12-12 广东申创光电科技有限公司 基于计算机视觉的智慧城市道路监控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646014A (zh) * 2008-08-05 2010-02-10 佳能株式会社 图像处理设备和图像处理方法
CN102422628A (zh) * 2009-05-07 2012-04-18 佳能株式会社 图像处理方法和图像处理设备
US20170024865A1 (en) * 2014-04-07 2017-01-26 Olympus Corporation Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus
CN107895357A (zh) * 2017-12-25 2018-04-10 北京航空航天大学 一种基于fpga的实时水面浓雾场景图像增强方法
CN108288254A (zh) * 2017-01-09 2018-07-17 三星电子株式会社 用于图像去噪的系统和方法
JP2019053402A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014103565A (ja) * 2012-11-21 2014-06-05 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP6282095B2 (ja) 2013-11-27 2018-02-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2017138647A (ja) 2016-02-01 2017-08-10 三菱電機株式会社 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
CN105913385B (zh) * 2016-03-31 2018-12-25 宇龙计算机通信科技(深圳)有限公司 雾霾图像的清晰化方法、系统和图像处理装置
JP6922399B2 (ja) * 2017-05-15 2021-08-18 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2019111529A1 (ja) * 2017-12-08 2019-06-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および画像処理方法
KR101893368B1 (ko) * 2018-01-31 2018-09-04 공간정보기술 주식회사 교통 모니터링 카메라를 이용하는 3차원 시정 측정 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646014A (zh) * 2008-08-05 2010-02-10 佳能株式会社 图像处理设备和图像处理方法
CN102422628A (zh) * 2009-05-07 2012-04-18 佳能株式会社 图像处理方法和图像处理设备
US20170024865A1 (en) * 2014-04-07 2017-01-26 Olympus Corporation Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus
CN108288254A (zh) * 2017-01-09 2018-07-17 三星电子株式会社 用于图像去噪的系统和方法
JP2019053402A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
CN107895357A (zh) * 2017-12-25 2018-04-10 北京航空航天大学 一种基于fpga的实时水面浓雾场景图像增强方法

Also Published As

Publication number Publication date
EP3745348A1 (en) 2020-12-02
EP3745348B1 (en) 2023-05-03
US11301974B2 (en) 2022-04-12
US20200380649A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN112001853A (zh) 图像处理设备、图像处理方法、摄像设备和存储介质
JP4748244B2 (ja) 画像選択装置、画像選択方法及びプログラム
US8508599B2 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
US8698910B2 (en) Apparatus, camera, method, and computer-readable storage medium for generating advice for capturing an image
US8116521B2 (en) Moving body image extraction apparatus and computer readable storage medium storing program
JP4840426B2 (ja) 電子機器、ぼけ画像選別方法及びプログラム
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
US20120133797A1 (en) Imaging apparatus, imaging method and computer program
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017138647A (ja) 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
US20030099044A1 (en) Autofocusing apparatus
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
JPH0944670A (ja) 特定画像領域抽出方法及び特定画像領域抽出装置
KR101548183B1 (ko) 화상처리장치 및 그 제어 방법
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
JP2016126750A (ja) 画像処理システム、画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2009123081A (ja) 顔検出方法及び撮影装置
JP5504990B2 (ja) 撮像装置、画像処理装置及びプログラム
US20230274398A1 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
JP2010050651A (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP7510258B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
JP6464553B2 (ja) レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP5631181B2 (ja) 画像処理装置及びその制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination