CN105374013B - 基于双暗通道先验的图像能见度修复方法及图像处理装置 - Google Patents

基于双暗通道先验的图像能见度修复方法及图像处理装置 Download PDF

Info

Publication number
CN105374013B
CN105374013B CN201510212080.1A CN201510212080A CN105374013B CN 105374013 B CN105374013 B CN 105374013B CN 201510212080 A CN201510212080 A CN 201510212080A CN 105374013 B CN105374013 B CN 105374013B
Authority
CN
China
Prior art keywords
image
local light
block
block size
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510212080.1A
Other languages
English (en)
Other versions
CN105374013A (zh
Inventor
黄士嘉
陈柏豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Taipei University of Technology
Original Assignee
National Taipei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Taipei University of Technology filed Critical National Taipei University of Technology
Publication of CN105374013A publication Critical patent/CN105374013A/zh
Application granted granted Critical
Publication of CN105374013B publication Critical patent/CN105374013B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种基于双暗通道先验的图像能见度修复方法及图像处理装置。本发明的图像能见度修复方法包括：在接收输入雾气图像后，根据各输入像素的像素值，判断输入像素属于局部光区域或是非局部光区域；根据关联于训练集合中的图像尺寸的每一区块尺寸，分割局部光区域为多个区块；根据对应于各区块尺寸的费雪线性判别模型，判断各区块是否属于局部光区块，据以自各区块尺寸中判定指定区块尺寸；判定适应性色彩参数以及分别对应于指定区块尺寸以及小区块尺寸的双暗通道；根据适应性色彩参数、大气光以及根据双暗通道所判定的介质图，修复输入雾气图像，据以产生除雾图像。

Description

基于双暗通道先验的图像能见度修复方法及图像处理装置
技术领域
本发明涉及一种基于费雪线性判别的双暗通道先验(Fisher’s lineardiscriminant-based dual dark channel prior)的图像能见度修复方法及图像处理装置。
背景技术
在户外场景中所拍摄的图像往往会因为雾气、霾、沙尘暴等恶劣天气中的混浊介质而导致能见度的降低。就光学上而言，数字图像的低能见度为不同的大气粒子吸收并且散射数字相机与拍摄物之间的光线所导致。图像低能见度会使得例如是户外物体辨识系统、障碍物检测系统、视频监控系统以及智能型运输系统等必须运作在任何天气状况下的系统产生问题。
为了恢复降质图像的能见度以及鲜艳色彩，许多图像除雾技术已被视为有效的图像修复工具，以利用场景深度信息来产生可用于各种计算机视觉应用的无雾图像。基此，许多图像除雾方法相继被提出。根据许多研究显示，现有的图像除雾技术可以分为两大主要类别：单张图像信息以及非单张图像信息。非单张图像信息的方式可通过多张图像或是特殊的硬件设备取得同一场景的附加几何信息来估测未知的深度信息，以移除图像的雾气并且恢复图像的能见度。然而，此种方式需要额外的硬件设备，其具复杂的技术以及昂贵的修复成本。近来图像除雾的研究主要是朝向基于单张图像信息的方式，在判别无雾图像与输入雾气图像的差异时，采用强烈假设(strong assumption) 或是先验(prior)来达到图像的修复。在一种现有技术所提出的单张图像除雾方法中，其观察到相对于拍摄到的雾气图像，修复图像具有较高的对比度，因此可通过将局部对比度最大化的方式来修复场景辐射(scene radiance)。
然而，此种方式会使得深度边缘产生假影(artifact)。另一种现有技术所提出的单张图像除雾方法中，其基于透射率和表面投影在局部上是没有关联的假设上来估测场景的反照率并且推导介质图(transmission map)。然而，此种方法不适用于雾气密度较大的图像。
另一种现有技术观察到在户外无雾图像中，局部区域的像素在至少一个色彩通道中具有较低的像素值，因此提出一种以单像图像并且利用暗通道先验(dark channelprior)来有效地移除雾气的图像除雾算法。目前为止，此种以单张图像来有效地进行除雾已在本领域引起广泛的研究与讨论。延续上述暗通道先验技术，另一种图像除雾算法采用暗通道先验以及多阶仿视觉 (multi-scale Retinex)的技术来快速地进行图像的修复。然而，在恶劣的天气下，局部光源以及色偏(color-shift)往往会使得整体处理程序变为复杂。在此情境下，前述暗通道先验技术将会无法得到满意的修复结果。
发明内容
本发明提供一种基于双暗通道先验的图像能见度修复方法及图像处理装置，可在各种实际拍摄情况中有效地针对单张图像进行除雾。
本发明提出一种基于双暗通道先验的图像能见度修复方法，适用于图像处理装置。此方法包括下列步骤：接收对应于多个图像尺寸以及多个类别的多个训练图像，其中各所述类别对应于一局部光源；根据所述训练图像，利用费雪线性判别模型，产生多个判别模式；接收包括多个输入像素的输入雾气图像，并且根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域；根据关联于所述图像尺寸的多个区块尺寸，分割局部光区域为多个区块；根据对应于各所述区块尺寸的费雪线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸；根据所述输入像素在每一色彩通道的像素值，判定对应于每一色彩通道的一组适应性色彩参数；判定分别对应于指定区块尺寸以及小区块尺寸的双暗通道；根据对应于指定区块尺寸的暗通道，判定在各所述色彩通道的大气光，并且根据对应于小区块尺寸的暗通道，判定介质图；根据对应于各所述色彩通道的适应性色彩参数、大气光以及介质图，修复输入雾气图像，据以产生除雾图像；以及输出除雾图像。
在本发明的一实施例中，上述根据所述训练图像，利用费雪线性判别模型，产生所述判别模式的步骤包括：计算对应于所述训练图像的各所述图像尺寸的类别间散布矩阵以及类别内散布矩阵；最大化对应的类别间散布矩阵与对应的类别内散布矩阵之间的比值，以计算对应于所述训练图像的各所述图像尺寸的最佳投影向量；以及根据对应的最佳投影向量以及对应的训练图像，取得各所述判别模式。
在本发明的一实施例中，上述根据所述训练图像，利用费雪线性判别模型，产生所述判别模式的公式包括方程式(1)～方程式(4)：
其中，为对应于图像尺寸f的类别间散布矩阵，为对应于图像尺寸f的类别内散布矩阵，u为所述类别中的平均训练图像，ui为第i个类别中的平均训练图像，ni为属于第i个类别中的训练图像的数量，xk为第i个类别中的第 k个训练图像，H为所述类别的数量并且为正整数，
其中，Wopt为对应于图像尺寸f的最佳投影向量，[w1,w2,…,wr]为与的一组广义特征向量，r为一较低维度经验值，其中r为正整数并且r＜H，
其中，为图像尺寸f的第k个训练图像所对应的判别模式。
在本发明的一实施例中，上述彩色通道为红色通道、绿色通道以及蓝色通道；根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域的步骤包括：计算各所述输入像素在指定色彩通道的像素值所出现的概率，以取得对应于各所述像素值的pmf值；判断所述pmf值中的最大概率值，并且设定对应于最大机率值的像素值为二值化屏蔽门槛值；判断各所述输入像素在指定色彩通道的像素值是否大于二值化屏蔽门槛值；若是，确定属于局部光区域；若否，确定属于非局部光区域，其中指定色彩通道为所述色彩通道之一。
在本发明的一实施例中，上述根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域的公式包括方程式(5)～方程式(6)：
其中，PMF(Ic)为输入雾气图像在指定色彩通道c中对应于像素值I的pmf值， MN为所述输入像素的数量，
其中，B(x,y)为位于(x,y)的输入像素的二值化屏蔽，δ为二值化屏蔽门槛值，并且
在本发明的一实施例中，上述根据对应于各所述区块尺寸的费雪线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸的步骤包括：针对各所述区块尺寸计算各所述区块的投影；判断各所述投影与对应的最佳投影向量之间的相似度是否超过经验门槛值；若是，确定该区块不属于局部光区块；若否，确定该区块属于局部光区块；针对各所述区块尺寸，累计属于局部光区块的所述区块的数量，以及设定所述局部光区块中具有最多区块数量的区块尺寸为指定区块尺寸。
在本发明的一实施例中，上述根据对应于各所述区块尺寸的费雪线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸的公式包括方程式(7)～方程式(8)：
其中，为输入雾气图像中区块尺寸为f的第k个区块的投影，Ik为输入雾气图像的第k个区块，
其中，Δ为经验门槛值，class1表示不属于局部光区块，以及class2表示属于局部光区块。
在本发明的一实施例中，上述根据所述输入像素在各所述色彩通道的像素值，判定对应于各所述色彩通道的适应性色彩参数的公式包括方程式(9)：
其中，s为所述色彩通道中不与指定色彩通道c相同的其它色彩通道，(μs,νs) 为对应于其它色彩通道的适应性色彩参数。
在本发明的一实施例中，上述判定分别对应于指定区块尺寸以及小区块尺寸的双暗通道的公式包括方程式(10)～方程式(11)：
其中，以及为对应于所述双暗通道的指定区块尺寸ω以及小区块尺寸τ，以及Ic(x,y)为位于(x,y)的输入像素在色彩通道c的像素值。
在本发明的一实施例中，上述根据对应于各所述色彩通道的适应性色彩参数、大气光以及介质图，修复输入雾气图像，据以产生除雾图像的公式包括方程式(12)～方程式(13)：
其中，t为介质图，ω为介于0到1之间的常数，
其中，Jc为除雾图像在色彩通道c的像素值，Ic为输入雾气图像在色彩通道c 的像素值，Ac为在色彩通道c的大气光，以及t0为介质下限。
本发明提出一种图像处理装置，包括：图像接收模块、局部光检测模块、适应性参数产生模块、图像修复模块以及图像输出模块。图像接收模块，用以接收对应于多个图像尺寸以及多个类别的多个训练图像，并且接收包括多个输入像素的输入雾气图像，又根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域，其中各所述类别对应于一局部光源。局部光检模块，用以根据所述训练图像，利用费雪线性判别模型，产生多个判别模式，并且根据关联于所述图像尺寸的多个区块尺寸，分割局部光区域为多个区块，以及根据对应于各所述区块尺寸的费雪线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸。适应性参数产生模块，用以根据所述输入像素在每一色彩通道的像素值，判定对应于每一色彩通道的一组适应性色彩参数。图像修复模块用以判定分别对应于指定区块尺寸以及小区块尺寸的双暗通道，又根据对应于指定区块尺寸的暗通道，判定在各所述色彩通道的大气光，并且根据对应于小区块尺寸的暗通道，判定介质图，以及根据对应于各所述色彩通道的适应性色彩参数、大气光以及介质图，修复输入雾气图像，据以产生除雾图像。图像输出模块，用于输出除雾图像。
在本发明的一实施例中，上述的局部光检测模块，还用于计算对应于所述训练图像的各所述图像尺寸的类别间散布矩阵以及类别内散布矩阵，又最大化对应的类别间散布矩阵与对应的类别内散布矩阵之间的比值，以计算对应于所述训练图像的各所述图像尺寸的最佳投影向量，以及根据对应的最佳投影向量以及对应的训练图像，取得各所述判别模式。
在本发明的一实施例中，上述的局部光检测模块，还用于根据方程式 (1)～方程式(4)，利用费雪线性判别模型，自所述训练图像产生各所述判别模式：
其中，为对应于图像尺寸f的类别间散布矩阵，为对应于图像尺寸f的类别内散布矩阵，u为所述类别中的平均训练图像，ui为第i个类别中的平均训练图像，ni为属于第i个类别中的训练图像的数量，xk为第i个类别中的第 k个训练图像，H为所述类别的数量并且为正整数，
其中，Wopt为对应于图像尺寸f的最佳投影向量，[w1,w2,…,wr]为与的一组广义特征向量，r为一较低维度经验值，其中r为正整数并且r＜H，
其中，为图像尺寸f的第k个训练图像所对应的判别模式。
在本发明的一实施例中，所述色彩通道为红色通道、绿色通道以及蓝色通道；上述的局部光检测模块，还用于计算各所述输入像素在指定色彩通道的像素值所出现的概率，以取得对应在各所述像素值的pmf值，又判断所述 pmf值中的最大概率值，并且设定对应于最大机率值的像素值为二值化屏蔽门槛值，以及判断各所述输入像素在指定色彩通道的像素值是否大于二值化屏蔽门槛值，若是，确定输入像素属于局部光区域，若否，确定输入像素属于非局部光区域，其中指定色彩通道为所述色彩通道之一。
在本发明的一实施例中，局部光检测模块，还用于根据方程式(5)以及方程式(6)，利用各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域：
其中，PMF(Ic)为输入雾气图像在指定色彩通道c中对应于像素值I的pmf值， MN为所述输入像素的数量，
其中，B(x,y)为位于(x,y)的输入像素的二值化屏蔽，δ为二值化屏蔽门槛值，并且
在本发明的一实施例中，上述的局部光检测模块，还用于针对各所述区块尺寸计算各所述区块的投影，并且判断各所述投影与对应的最佳投影向量之间的相似度是否超过经验门槛值，若是，确定该区块不属于局部光区块，若否，确定该区块属于局部光区块。此外，上述的局部光检测模块，还用于针对各所述区块尺寸，累计属于局部光区块的所述区块的数量，并且设定所述局部光区块中具有最多区块数量的区块尺寸为指定区块尺寸。
在本发明的一实施例中，上述的局部光检测模块，还用于根据方程式 (7)～方程式(8)，基于对应于各所述区块尺寸的费雪线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸：
其中，为输入雾气图像中区块尺寸为f的第k个区块的投影，Ik为输入雾气图像的第k个区块，
其中，Δ为经验门槛值，class1表示不属于局部光区块，以及class2表示属于局部光区块。
在本发明的一实施例中，上述的适应性参数产生模块，还用于根据方程式(9)，利用所述输入像素在各所述色彩通道的像素值，判定对应于各所述色彩通道的适应性色彩参数：
其中，s为所述色彩通道中不与指定色彩通道c相同的其它色彩通道，(μs,νs) 为对应于其它色彩通道的适应性色彩参数。
在本发明的一实施例中，上述的图像修复模块，还用于根据方程式(10)～方程式(11)判定分别对应于指定区块尺寸以及小区块尺寸的双暗通道：
其中，以及为对应于双暗通道的指定区块尺寸ω以及小区块尺寸τ，以及Ic(x,y)为位于(x,y)的输入像素在色彩通道c的像素值。
在本发明的一实施例中，上述的图像修复模块，还用于根据方程式(12)～方程式(13)，利用对应于各所述色彩通道的适应性色彩参数、大气光以及介质图，修复输入雾气图像，据以产生除雾图像：
其中t为介质图，ω为介于0到1之间的常数，
其中，Jc为除雾图像在色彩通道c的像素值，Ic为输入雾气图像在色彩通道c 的像素值，Ac为在色彩通道c的大气光，以及t0为介质下限。
本发明提供的基于双暗通道先验的图像能见度修复方法及图像处理装置，在费雪线性判别的双暗通道先验的架构下，结合局部光的检测、适应性色彩参数以及图像的修复的技术，其可隐藏局部光源并且抑制色偏的产生，以有效地达到图像的修复。
为让本揭露的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1示出本发明一实施例的一种图像处理装置的结构示意图；
图2示出本发明一实施例的基于双暗通道先验的图像能见度修复方法的流程图；
图3示出本发明一实施例的不同的输入雾气图像的概率值变化的示意图；
图4示出本发明一实施例的基于双暗通道先验的图像能见度修复方法的功能方块图。
附图标记说明：
100：图像处理装置；
10：储存单元；
20：处理单元；
110、410：图像接收模块；
120、420：局部光检测模块；
130、430：适应性参数产生模块；
140、440：图像修复模块；
150、450：图像输出模块；
S202～S220：图像能见度修复方法的步骤；
31、32、33：输入雾气图像；
310、320、330：pmf图；
312、322、332：天空区域；
314、324、334：局部光源；
410a：输入雾气图像；
422：判别模式撷取操作；
424：光点警示操作；
424a：滤除结果；
426：区块尺寸选择操作；
426a：局部光源检测结果；
432：色彩统计分析；
434：适应性色彩参数计算；
441：双暗通道先验程序；
442：另一区块尺寸的暗通道；
443：指定区块尺寸的暗通道；
442a、443a：暗通道；
444：介质图产生操作；
444a：介质图；
445：大气光估测操作；
445a：大气光；
448：图像除雾程序；
450a：除雾图像。
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的组件符号，当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的装置与方法的范例。
图1示出本发明一实施例的一种图像处理装置的结构示意图。该图像处理装置为利用图像能见度修复方法的一种硬件架构。请参照图1，图像处理装置100包括储存单元10以及处理单元20，其中处理单元20耦接于储存单元10。
图像处理装置100可以是外接或是内建于例如是个人计算机、笔记本电脑、数码相机、数码摄像机、网络摄像机、智能手机、平板电脑、行车纪录仪、汽车影音系统等电子装置。
储存单元10可以例如是任意型式的固定式或可移动式的随机存取存储器(RandomAccess Memory，简称RAM)、只读存储器(Read-Only Memory，简称ROM)、闪存(Flashmemory)、硬盘、其它类似装置或是这些装置的组合，其可用以记录可由处理器20执行的多个模块。这些模块包括图像接收模块110、局部光检测模块120、适应性参数产生模块130、图像修复模块140 以及图像输出模块150。这些模块可加载至处理单元20以对数字图像进行能见度修复的处理。
处理单元20可以例如是中央处理单元(Central Processing Unit，简称 CPU)，或是其它可程序化的一般用途或特殊用途的微处理器 (Microprocessor)、数字信号处理器(Digital Signal Processor，简称DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，简称ASIC)、可程序化逻辑装置(Programmable Logic Device，简称PLD) 或其它类似装置或这些装置的组合。处理单元20可存取以及执行记录在储存单元10的模块以执行图像的能见度修复。
图2示出本发明一实施例的基于双暗通道先验的图像能见度修复方法的流程图。本实施例所提出的方法是基于费雪线性判别的双暗通道先验的架构，其可解决局部光源以及色偏等相关问题，从而达到有效的图像的能见度修复。本实施例所提出的方法可由图1的图像处理装置100来执行。
请同时参照图1以及图2，图像接收模块110可执行步骤S202，接收对应于多个图像尺寸以及多个类别的多个训练图像，其中各所述类别对应于一局部光源。接着，局部光检测测模块120执行步骤S204，根据所述训练图像，利用费雪线性判别模型(Fisher＇s LinearDiscriminant model，简称FLD模型)，产生多个判别模式(discriminant pattern)。换言之，为了检测出雾气图像中的局部光源，在训练阶段中可通过FLD技术，利用最佳投影向量(optimum projection vector)来产生较低维度的判别模式。图像接收模块110可先接收不同尺寸、不同种类以及不同局部光源的训练图像。在本实施例中，训练图像是尺寸分别为15×15、33×33以及51×51且具有光图案的图像，而局部光源可以是车头灯或是街灯。在此具有不同图像尺寸的训练集合中，第k个图像x 属于第i个类别。最佳投影向量可通过最大化类别间散布矩阵(between-class scatter matrix)与类别内散布矩阵(within-classscatter matrix)之间的比值而取得。
详言之，局部光检测模块120可先计算对应于所述训练图像的各所述图像尺寸的类别间散布矩阵以及类别内散布矩阵，再将对应的类别间散布矩阵与对应的类别内散布矩阵之间的比值最大化，以计算对应于所述训练图像的各所述图像尺寸的最佳投影向量。局部光检测模块120即可根据对应的最佳投影向量以及对应的训练图像，取得各所述判别模式。
在一实施例中，局部光检测模块120可根据方程式(1)～方程式(4)产生判别模式：
其中，为对应于图像尺寸f的类别间散布矩阵，为对应于图像尺寸f的类别内散布矩阵，u为所述类别中的平均训练图像，ui为第i个类别中的平均训练图像，ni为属于第i个类别中的训练图像的数量，xk为第i个类别中的第k个训练图像，H为所述类别的数量并且为正整数，
其中Wopt为对应于图像尺寸f的最佳投影向量，[w1,w2,…,wr]为与的一组广义特征向量，r为较低维度经验值，其中r为正整数并且r＜H，
其中为图像尺寸f的第k个训练图像所对应的判别模式。
以现有的暗通道先验法而言，局部光源会使得修复图像产生色彩的过饱和(over-saturated)效应，这是由于此现有方法容易将局部光源误判为大气光。为了加速检测图像中的局部光源，可采用概率质量函数值(probability mass function evaluation，简称pmf值)来滤除非局部光区域。也就是说，局部光检测模块120执行步骤S206，将接收包括多个输入像素的输入雾气图像，并且根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域。在本实施例中，输入雾气图像是建立在RGB色域中，其包括红(red，简称R)、绿(green，简称G)以及蓝(blue，简称B)三个色彩通道。
一般而言，大气光的误判是基于两种现象：1)雾气图像中的局部光源的亮度高过大气光的亮度；2)户外图像中的天空区域存在大量的亮像素。举例而言，图3示出本发明一实施例的不同的输入雾气图像的概率值变化的示意图。图3中，不同的输入雾气图像31～33的pmf图310～330，其中pmf图 310～330分别代表输入雾气图像31～33的概率值变化与像素值的关系。pmf 图310～330中的312、322、332代表天空区域，并且314、324、334代表局部光源。根据观察，代表非局部光源所对应的像素值将会局限于pmf图中最高概率值的左侧。
基此，局部光检测模块120可先计算各所述输入像素在指定色彩通道的像素值所出现的概率，以取得对应于各所述像素值的pmf值，其中指定色彩通道为上述三个色彩通道之一。在本实施例中，指定色彩通道可以例如为绿色通道。接着，局部光检测模块120将判断所述pmf值中的最大概率值，并且设定对应于最大概率值的像素值为二值化屏蔽门槛值。之后，局部光检测模块120又判断各所述输入像素在指定色彩通道的像素值是否大于二值化屏蔽门槛值：若是，将对应的输入像素属确定为属于局部光区域；若否，将对应的输入像素确定为属于非局部光区域。
在一实施例中，局部光检测模块120可根据方程式(5)以及方程式(6)来区分各所述输入像素属于局部光区域或是非局部光区域：
其中，PMF(Ic)为输入雾气图像在指定色彩通道c中对应于像素值I的 pmf值，MN为所述输入像素的数量。
其中，B(x,y)为位于(x,y)的输入像素的二值化屏蔽，δ为二值化屏蔽门槛值，并且也就是说，若二值化屏蔽B(x,y)属于局部光区域，其将会被标示为“1”；若二值化屏蔽B(x,y)属于非局部光区域，其将会被标示为“0”。
在滤除输入雾气图像中的非局部光区域后，可通过FLD技术来精确地检测局部光源。换言之，局部光源的检测可通过较低维度的判别模式来检测输入雾气图像中具有较高概率包含局部光源的区域。在通过FLD技术检测局部光源的大小后，可判断区块尺寸，并且可在后续的步骤中隐藏局部光源，以避免修复影出现色彩的过饱和现象。
因此，局部光检测模块120可执行步骤S208，将根据关联于所述图像尺寸的每一区块尺寸，分割局部光区域为多个区块，执行步骤S210，根据对应于各所述区块尺寸的费雪线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸。详言之，为了检测出输入雾气图像中的局部光源，在局部光区域以关联于训练图像中的其中一个图像尺寸的特定区块尺寸(例如是15×15)被分割为多个区块后，局部光检测模块 120可先计算各所述区块的投影。接着，局部光侦测模块120可判断各所述投影与对应的最佳投影向量之间的相似度是否超过经验门槛值；若是，将对应的区块确定为不属于局部光区块；若否，将对应的区块确定为属于局部光区块。类似地，局部光检测模块120将针对关联于例如是33×33或是51×51等其它区块尺寸执行相同的程序。接着，局部光检测模块120可分别累计各个区块尺寸中属于局部光区块的区块数量，并且将所述局部光区块中具有最多区块数量的区块尺寸设定为指定区块尺寸。
在一实施例中，局部光检测模块120可根据方程式(7)以及方程式(8)判断各所述区块是否属于局部光区块：
其中，为输入雾气图像中区块尺寸为f的第k个区块的投影，Ik为输入雾气图像的第k个区块，
其中Δ为经验门槛值。也就是说，若区块Ik不属于局部光区块，其将被标示为“class1”；若区块Ik属于局部光区块，其将被标示为“class2”。
在此将步骤S206、S208以及S210定义为输入雾气图像的“局部光检测阶段”。在完成局部光检测阶段后，为了避免图像产生色偏，适应性参数产生模块130执行步骤S212，根据所述输入像素在每一色彩通道的像素值，判定对应于每一色彩通道的一组适应性色彩参数。在此定义步骤S212为“适应性参数产生阶段”。产生适应性色彩参数的方式是结合灰色世界假设(gray world assumption)与仿视觉理论(Retinex theory)的混合频谱分析技术。
根据观察，当图像具有足够的色彩变化时，灰色世界假设认为该图像的各色彩通道的平均像素值将偏向于一个共同灰度值。此外，相较于红色通道以及蓝色通道，绿色通道的平均像素值更接近上述共同灰度值，因此绿色通道的像素值将维持不变，而红色通道以及蓝色通道的像素值可利用灰色世界假设的适应性色彩参数，经由Von Kries转换来进行调整，其中灰色世界假设中的适应性色彩参数可以下述公式来取得：
其中，α以及β为在RGB色彩空间中修改图像的红色通道以及蓝色通道的增益系数，而Ir(x,y)、Ig(x,y)以及Ib(x,y)分别为图像I中位于(x,y)在红色通道、绿色通道以及蓝色通道的像素值。
再者，根据精神视觉(psychovisual)上的研究，仿视觉理论认为可感知的白度(perceived whiteness)是关联于人类视觉系统(human visual system) 的最大锥体信号(cone signal)。仿视觉理论中的适应性色彩参数可通过各个色彩通道的最大像素值而取得。因此，除了灰色世界假设外，绿色通道的像素值将维持不变，而红色通道以及蓝色通道的像素值可利用仿视觉理论的适应性色彩参数来进行调整，其中仿视觉理论中的适应性色彩参数可以下述公式来取得：
灰色世界假设对于带有足够色彩变化的图像具有良好的功效，而相对地，仿视觉理论则是对色彩变化不大的图像具有良好的功效。在此可结合两者的优点来产生适应性色彩参数来避免因沙尘暴等天气状况而造成图像的色偏。因此，适应性参数产生模块130可结合灰色世界假设与仿视觉理论的混合频谱分析技术，采用两个额外的适应性色彩参数来抑制色偏现象。适应性参数产生模块130可根据方程式(9)，通过上述色彩通道中不与指定色彩通道c相同的其它色彩通道的像素值进行二次映像(quadratic mapping)，以得到混合频谱分析技术的适应性色彩参数(μs,νs)：
s为其它色彩通道。
当局部光检测模块120在局部光检测阶段决定区块尺寸，并且适应性参数产生模块130在适应性参数产生阶段产生适应性色彩参数后，图像修复模块140可通过双暗通道先验程序以及图像除雾程序来产生无过饱和以及无色偏的修复图像。
详言之，在双暗通道先验程序中，图像修复模块140执行步骤S214，判定分别对应于指定区块尺寸以及小区块尺寸的双暗通道。其中，指定区块尺寸已在前述的局部光检测阶段中取得，其用以产生输入雾气图像的暗通道以隐藏局部光，进而避免修复图像的过饱和。因此，不同区块尺寸的暗通道可有效隐藏局部光，并且可估测大气光的所在位置。
然而，现有的暗通道先验技术中，介质图中的区块尺寸是一致的，因此修复后的图像将会出现光晕(halo artifact)。为了避免出现此区块效应，在此可利用最小尺寸的区块(例如是3×3)来建立介质图，其更可有效地保留图像中对象所呈现的特性。因此，在此无须使用现有的暗通道先验技术所使用的软消光(soft matting)技术。
图像修复模块140可根据方程式(10)以及方程式(11)来判定双暗通道：
其中以及为对应于所述双暗通道的指定区块尺寸ω以及小区块尺寸τ，以及Ic(x,y)为位于(x,y)的输入像素在色彩通道c的像素值。
接着，图像修复模块140执行步骤S216，根据对应于指定区块尺寸的暗通道，判定于各所述色彩通道的大气光，并且根据对应于小区块尺寸的暗通道，判定介质图。在本实施例中，可根据指定区块尺寸来判定大气光的所在位置进而判定的暗通道中，自前0.1％最亮的输入像素中取得输入雾气图像在各个色彩通道的最高像素值。这是由于指定区块尺寸的暗通道可隐藏局部光源，以进一步地避免修复图像的过饱和。另外，小局部区块的介质图可根据方程式(12)来建立：
其中t为介质图，ω为介于0到1之间的常数。在本实施例中，ω可依经验设为0.95。
在图像除雾程序中，图像修复模块140执行步骤S218，根据对应于各所述色彩通道的该组适应性色彩参数、大气光以及介质图，修复输入雾气图像，据以产生除雾图像。详言之，由于输入雾气图像例如是在色彩偏向于不透明的黄色、橘色、甚至棕色的沙尘暴下所撷取的图像，图像修复模块140可利用适应性色彩参数来消除修复图像中的色偏现象。
在一实施例中，图像修复模块140可根据方程式(13)来修复输入雾气图像：
其中Jc为除雾图像在色彩通道c的像素值，Ic为输入雾气图像在色彩通道c的像素值，Ac为于色彩通道c的大气光，以及t0为介质下限(lower bound)。在一实施例中，t0可以为0.1。此外，μc以及νc为方程式(9)以及方程式(10)所定义的绿色通道以及蓝色通道的适应性色彩参数，而红色通道的适应性色彩参数可以设为1。
图像修复模块140在产生除雾图像后，图像输出模块150执行步骤S220, 输出除雾图像。其中输出图像将不包含不必要的假影。
图4示出本发明一实施例的基于双暗通道先验的图像能见度修复方法的功能方块图。
请参照图4，局部光检测模块420先自图像接收模块410接收输入雾气图像410a，并且可通过光点警示操作424来滤除非局部光区域以取得滤除结果424a。接着，根据训练阶段中根据FLD技术取得的判别模式撷取操作422 后的结果，通过区块尺寸选择操作426来检测局部光源。此外，在区块尺寸选择操作426中，更可根据局部光源检测结果426a来判定指定区块尺寸。为了抑制色偏现象，适应性参数产生模块430可针对输入雾气图像410a执行色彩统计分析432以及适应性色彩参数计算434来产生适应性色彩参数。
接着，图像修复模块440可在双暗通道先验程序441 中，判定具有指定区块尺寸的暗通道443以及另一区块尺寸的暗通道442(例如是3×3的小区块尺寸)，并且可根据暗通道442a，通过介质图产生操作444来产生介质图444a，以及根据暗通道443a，通过大气光估测操作445来估测大气光445a。在图像除雾程序448中，可通过双暗通道先验技术以及适应性参数产生模块430所产生的适应性色彩参数来产生除雾图像450a。图像输出模块450将输出除雾图像450a，而结束图像能见度修复方法的流程。
综上所述，在费雪线性判别的双暗通道先验的架构下，本发明结合局部光的检测、适应性色彩参数以及图像的修复的技术，其可隐藏局部光源并且抑制色偏的产生，以有效地达到图像的修复。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种基于双暗通道先验的图像能见度修复方法，其特征在于，适用于图像处理装置，包括：
接收对应于多个图像尺寸以及多个类别的多个训练图像，其中各所述类别对应于局部光源；
根据所述训练图像，利用Fisher线性判别模型，产生多个判别模式；
接收包括多个输入像素的输入雾气图像，并且根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域，其中该局部光区域关联于所述局部光源，该非局部光区域为所述输入雾气图像中该局部光区域以外的区域；
根据关联于所述图像尺寸的多个区块尺寸，分割该局部光区域为多个区块；
根据对应于各所述区块尺寸的该Fisher线性判别模型，判断各所述区块是否属于一局部光区块，据以自所述区块尺寸中判定指定区块尺寸，其中该指定区块尺寸为所述局部光区块中具有最多区块数量的该区块尺寸；
根据所述输入像素在多个色彩通道的像素值，判定对应于每一所述色彩通道的一组适应性色彩参数；
判定分别对应于该指定区块尺寸以及小区块尺寸的双暗通道，其中该小区块尺寸小于该指定区块尺寸；
根据对应于该指定区块尺寸的暗通道，判定在各所述色彩通道的大气光，并且根据对应于该小区块尺寸的暗通道，判定介质图；
根据对应于各所述色彩通道的该组适应性色彩参数、该大气光以及该介质图，修复该输入雾气图像，产生除雾图像；以及
输出该除雾图像。
2.根据权利要求1所述的方法，其特征在于，根据所述训练图像，利用Fisher线性判别模型，产生多个判别模式的步骤包括：
计算对应于所述训练图像的各所述图像尺寸的类别间散布矩阵以及类别内散布矩阵；
最大化对应的该类别间散布矩阵与对应的该类别内散布矩阵之间的比值，以计算对应于所述训练图像的各所述图像尺寸的最佳投影向量；以及
根据对应的该最佳投影向量以及对应的该训练图像，取得各所述判别模式。
3.根据权利要求2所述的方法，其特征在于，根据所述训练图像，利用该Fisher线性判别模型，产生所述判别模式的公式包括方程式(1)～方程式(4)：
其中，为对应于图像尺寸f的该类别间散布矩阵，为对应于图像尺寸f的该类别内散布矩阵，u为所述多个类别中的平均训练图像，ui为第i个类别中的平均训练图像，ni为属于第i个类别中的训练图像的数量，xk为第i个类别中的第k个训练图像，H为所述类别的数量并且为正整数，
其中W为投影向量，WT为该投影向量的转置运算，为对应于图像尺寸f的该最佳投影向量，[w1,w2,…,wr]为与的一组广义特征向量，r为一较低维度经验值，其中r为正整数并且r＜H，
其中，为图像尺寸f的第k个训练图像所对应的判别模式。
4.根据权利要求3所述的方法，其特征在于，所述色彩通道为红色通道、绿色通道以及蓝色通道；
根据各所述输入像素的像素值，判断各所述输入像素属于该局部光区域或是该非局部光区域的步骤包括：
计算各所述输入像素在指定色彩通道的像素值所出现的概率，以取得对应于各所述像素值的概率质量函数值(pmf值)，其中该指定色彩通道为所述色彩通道之一；
判断所述pmf值中的最大概率值，并且设定对应于该最大概率值的像素值为二值化屏蔽门槛值；
判断各所述输入像素在该指定色彩通道的像素值是否大于该二值化屏蔽门槛值；
若是，确定该输入像素属于该局部光区域；以及
若否，确定该输入像素属于该非局部光区域。
5.根据权利要求4所述的方法，其特征在于，根据各所述输入像素的像素值，判断各所述输入像素属于该局部光区域或是该非局部光区域的公式包括方程式(5)～方程式(6)：
其中，PMF(Ic)为输入雾气图像在该指定色彩通道c中的像素值的该pmf值，MN为所述输入像素的数量；
其中，B(x,y)为位于(x,y)的该输入像素的二值化屏蔽，Ic(x,y)为位于(x,y)的该输入像素在该指定色彩通道c的像素值，PMF(Ic(x,y))为Ic(x,y)的该pmf值，δ为该二值化屏蔽门槛值，并且
<mrow> <mi>&amp;delta;</mi> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>I</mi> <mo>&amp;le;</mo> <mn>255</mn> </mrow> </munder> <mi>P</mi> <mi>M</mi> <mi>F</mi> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>c</mi> </msup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
6.根据权利要求5所述的方法，其特征在于，根据对应于各所述区块尺寸的该Fisher线性判别模型，判断各所述区块是否属于该局部光区块，据以自所述区块尺寸中判定该指定区块尺寸的步骤包括：
针对各所述区块尺寸计算各所述区块的投影；
判断各所述投影与对应的该最佳投影向量之间的相似度是否超过经验门槛值；
若是，确定该区块不属于该局部光区块；
若否，确定该区块属于该局部光区块；
针对各所述区块尺寸，累计属于该局部光区块的所述区块的数量；以及
设定所述局部光区块中具有最多区块数量的该区块尺寸为该指定区块尺寸。
7.根据权利要求6所述的方法，其特征在于，根据对应于各所述区块尺寸的该Fisher线性判别模型，判断各所述区块是否属于该局部光区块，据以自所述区块尺寸中判定该指定区块尺寸的公式包括方程式(7)～方程式(8)：
其中，为该输入雾气图像中区块尺寸为f的第k个区块的该投影，Ik为该输入雾气图像的第k个区块，
其中，Δ为该经验门槛值，class1表示不属于该局部光区块，以及class2表示属于该局部光区块。
8.根据权利要求7项所述的方法，其特征在于，根据所述输入像素在各所述色彩通道的像素值，判定对应于各所述色彩通道的该组适应性色彩参数的公式包括方程式(9)：
其中，s为所述色彩通道中不与指定色彩通道c相同的其它色彩通道，(μs,νs)为对应于所述其它色彩通道的所述组适应性色彩参数。
9.根据权利要求8所述的方法，其特征在于，判定分别对应于该指定区块尺寸以及该小区块尺寸的所述双暗通道的公式包括方程式(10)～方程式(11)：
其中，以及为对应于该指定区块尺寸ω以及该小区块尺寸τ的所述双暗通道。
10.根据权利要求9所述的方法，其特征在于，根据对应于各所述色彩通道的该组适应性色彩参数、该大气光以及该介质图，修复该输入雾气图像，据以产生该除雾图像的公式包括方程式(12)～方程式(13)：
其中t为该介质图，ρ为介于0到1之间的常数，
其中，Jc(x,y)为该除雾图像中位于(x,y)的像素在色彩通道c的像素值，，Ac为在色彩通道c的该大气光，(μc,νc)为对应于色彩通道c的该组适应性色彩参数以及t0为一介质下限。
11.一种图像处理装置，其特征在于，包括：
图像接收模块，用于接收对应于多个图像尺寸以及多个类别的多个训练图像，并且接收包括多个输入像素的输入雾气图像，并且根据各所述输入像素的像素值，判断各所述输入像素属于局部光区域或是非局部光区域，其中各所述类别对应于局部光源，其中该局部光区域关联于所述局部光源，该非局部光区域为所述输入雾气图像中该局部光区域以外的区域；
局部光检测模块，用于根据所述训练图像，利用Fisher线性判别模型，产生多个判别模式，并且根据关联于所述图像尺寸的多个区块尺寸，分割该局部光区域为多个区块，以及根据对应于各所述区块尺寸的该Fisher线性判别模型，判断各所述区块是否属于局部光区块，据以自所述区块尺寸中判定指定区块尺寸，其中该指定区块尺寸为所述局部光区块中具有最多区块数量的该区块尺寸；
适应性参数产生模块，用于根据所述输入像素在多个色彩通道的像素值，判定对应于每一所述色彩通道的一组适应性色彩参数；
图像修复模块，判定分别对应于该指定区块尺寸以及小区块尺寸的双暗通道，根据对应于该指定区块尺寸的暗通道，判定在各所述色彩通道的大气光，并且根据对应于该小区块尺寸的暗通道，判定介质图，以及根据对应于各所述色彩通道的该一组适应性色彩参数、该大气光以及该介质图，修复该输入雾气图像，据以产生除雾图像，其中该小区块尺寸小于该指定区块尺寸；
图像输出模块，输出该除雾图像。
12.根据权利要求11所述的图像处理装置，其特征在于，该局部光检测模块，还用于计算对应于所述训练图像的各所述图像尺寸的类别间散布矩阵以及类别内散布矩阵，又最大化对应的该类别间散布矩阵与对应的该类别内散布矩阵之间的比值，以计算对应于所述训练图像的各所述图像尺寸的最佳投影向量，以及根据对应的该最佳投影向量以及对应的该训练图像，取得各所述判别模式。
13.根据权利要求12所述的图像处理装置，其特征在于，该局部光检测模块，还用于根据方程式(1)～方程式(4)，利用该Fisher线性判别模型，自所述训练图像产生各所述判别模式：
其中，为对应于图像尺寸f的该类别间散布矩阵，为对应于图像尺寸f的该类别内散布矩阵，u为所述多个类别中的平均训练图像，ui为第i个类别中的平均训练图像，ni为属于第i个类别中的训练图像的数量，xk为第i个类别中的第k个训练图像，H为所述类别的数量并且为正整数，
其中W为投影向量，WT为该投影向量的转置运算，为对应于图像尺寸f的该最佳投影向量，[w1,w2,…,wr]为与的一组广义特征向量，r为较低维度经验值，其中r为正整数并且r＜H，
其中为图像尺寸f的第k个训练图像所对应的判别模式。
14.根据权利要求13项所述的图像处理装置，其特征在于，所述色彩通道为红色通道、绿色通道以及蓝色通道；
该局部光检测模块，还用于计算各所述输入像素在指定色彩通道的像素值所出现的概率，以取得对应于各所述像素值的概率质量函数值(pmf值)，又判断所述pmf值中的最大概率值，并且设定对应于该最大概率值的像素值为二值化屏蔽门槛值，以及判断各所述输入像素在该指定色彩通道的像素值是否大于该二值化屏蔽门槛值，若是，确定该输入像素属于该局部光区域，若否，确定该输入像素属于该非局部光区域，其中该指定色彩通道为所述色彩通道之一。
15.根据权利要求14所述的图像处理装置，其特征在于，该局部光检测模块，还用于根据方程式(5)以及方程式(6)，利用各所述输入像素的像素值，判断各所述输入像素属于该局部光区域或是该非局部光区域：
其中PMF(Ic)为输入雾气图像在该指定色彩通道c中的该pmf值，MN为所述输入像素的数量，
其中，B(x,y)为位于(x,y)的该输入像素的二值化屏蔽，Ic(x,y)为位于(x,y)的该输入像素在该指定色彩通道c的像素值，PMF(Ic(x,y))为Ic(x,y)的该pmf值，δ为该二值化屏蔽门槛值，并且
16.根据权利要求15所述的图像处理装置，其特征在于：
该局部光检测模块，还用于针对各所述区块尺寸计算各所述区块的投影，并且判断各所述投影与对应的该最佳投影向量之间的相似度是否超过经验门槛值，若是，确定该区块不属于该局部光区块，若否，确定该区块属于该局部光区块；以及
该局部光检测模块，还用于针对各所述区块尺寸，累计属于该局部光区块的所述区块的数量，并且设定所述局部光区块中具有最多区块数量的该区块尺寸为该指定区块尺寸。
17.根据权利要求16所述的图像处理装置，其特征在于，该局部光检测模块，还用于根据方程式(7)～方程式(8)，基于对应于各所述区块尺寸的该Fisher线性判别模型，判断各所述区块是否属于该局部光区块，据以自所述区块尺寸中判定该指定区块尺寸：
其中，为该输入雾气图像中区块尺寸为f的第k个区块的该投影，Ik为该输入雾气图像的第k个区块，
其中，Δ为该经验门槛值，class1表示不属于该局部光区块，以及class2表示为属于该局部光区块。
18.根据权利要求17所述的图像处理装置，其特征在于，该适应性参数产生模块，还用于根据方程式(9)，利用所述输入像素在各所述色彩通道的像素值，判定对应于各所述色彩通道的该组适应性色彩参数：
其中，s为所述色彩通道中不与指定色彩通道c相同的其它色彩通道，(μs，vs)为对应于所述其它色彩通道的所述组适应性色彩参数。
19.根据权利要求18所述的图像处理装置，其特征在于，该图像修复模块，还用于根据方程式(10)～方程式(11)判定分别对应于该指定区块尺寸以及该小区块尺寸的所述双暗通道：
其中，以及为对应于该指定区块尺寸ω以及该小区块尺寸τ的所述双暗通道。
20.根据权利要求18所述的图像处理装置，其特征在于，该图像修复模块，还用于根据方程式(12)～方程式(13)，利用对应于各所述色彩通道的该组适应性色彩参数、该大气光以及该介质图，修复该输入雾气图像，据以产生该除雾图像：
其中，t为该介质图，ω为介于0到1之间的常数，
其中，Jc(x,y)为该除雾图像中位于(x,y)的像素在色彩通道c的像素值，Ic为该输入雾气图像在色彩通道c的像素值，Ac为在色彩通道c的该大气光，(μc,vc)为对应于色彩通道c的该组适应性色彩参数以及t0为一介质下限。
CN201510212080.1A 2014-08-15 2015-04-29 基于双暗通道先验的图像能见度修复方法及图像处理装置 Expired - Fee Related CN105374013B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/460,378 2014-08-15
US14/460,378 US9305242B2 (en) 2014-08-15 2014-08-15 Method and image processing apparatus for image visibility restoration using fisher's linear discriminant based dual dark channel prior

Publications (2)

Publication Number Publication Date
CN105374013A CN105374013A (zh) 2016-03-02
CN105374013B true CN105374013B (zh) 2018-06-01

Family

ID=54608159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510212080.1A Expired - Fee Related CN105374013B (zh) 2014-08-15 2015-04-29 基于双暗通道先验的图像能见度修复方法及图像处理装置

Country Status (3)

Country Link
US (1) US9305242B2 (zh)
CN (1) CN105374013B (zh)
TW (1) TWI501194B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631831B (zh) * 2016-03-14 2018-07-27 北京理工大学 一种雾霾条件下视频图像增强方法
CN105931220B (zh) * 2016-04-13 2018-08-21 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN106248635B (zh) * 2016-07-22 2019-01-22 福州大学 一种基于数字摄像的能见度检测方法
US10026160B2 (en) * 2016-08-20 2018-07-17 Adobe Systems Incorporated Systems and techniques for automatic image haze removal across multiple video frames
CN108734670B (zh) * 2017-04-20 2021-05-18 天津工业大学 单幅夜间弱照度雾霾图像的复原方法
CN107317846B (zh) * 2017-06-07 2018-07-24 上海储翔信息科技有限公司 基于云平台的车辆管理系统
CN107316284B (zh) * 2017-07-19 2019-01-08 山东财经大学 强光源下图像去雾方法和装置
CN107564014A (zh) * 2017-08-17 2018-01-09 南京信息工程大学 一种基于数码相机的大气能见度和埃指数的测量方法
US10367976B2 (en) 2017-09-21 2019-07-30 The United States Of America As Represented By The Secretary Of The Navy Single image haze removal
CN110189259B (zh) * 2018-02-23 2022-07-08 荷兰移动驱动器公司 图像去雾霾方法、电子设备及计算机可读存储介质
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN109993708B (zh) * 2019-03-05 2021-03-30 华南理工大学 一种基于暗原色与b样条配准的水下扭曲图像恢复方法
CN110298809B (zh) * 2019-07-08 2021-03-30 广东工业大学 一种图像去雾方法及装置
CN113763254B (zh) * 2020-06-05 2024-02-02 中移(成都)信息通信科技有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN112070693B (zh) * 2020-08-27 2024-03-26 西安理工大学 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628833B1 (en) * 1999-06-30 2003-09-30 Minolta Co., Ltd. Image processing apparatus, image processing method, and recording medium with image processing program to process image according to input image
CN103914813A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 彩色雾霾图像去雾与光照补偿的复原方法
CN103942758A (zh) * 2014-04-04 2014-07-23 中国人民解放军国防科学技术大学 基于多尺度融合的暗通道先验图像去雾方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072635A (ja) * 2003-08-21 2005-03-17 Sharp Corp 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
US8775555B2 (en) * 2011-05-13 2014-07-08 Sap Ag Rest interface interaction with expectation management
JP5782838B2 (ja) * 2011-05-27 2015-09-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
EP2740100A1 (en) * 2011-08-03 2014-06-11 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN102968760B (zh) * 2011-08-30 2016-08-17 富士通株式会社 图像去雾方法和系统
CN103020902B (zh) * 2011-09-20 2016-08-31 富士通株式会社 用于去雾图像的曝光增强方法和装置
CN103516959B (zh) * 2012-06-30 2016-10-05 华为技术有限公司 图像处理方法及设备
EP2922019B1 (en) * 2012-11-13 2021-03-10 Nec Corporation Image processing device, image processing method, and program
US9031345B2 (en) * 2013-03-11 2015-05-12 Adobe Systems Incorporated Optical flow accounting for image haze
US9305339B2 (en) * 2014-07-01 2016-04-05 Adobe Systems Incorporated Multi-feature image haze removal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628833B1 (en) * 1999-06-30 2003-09-30 Minolta Co., Ltd. Image processing apparatus, image processing method, and recording medium with image processing program to process image according to input image
CN103942758A (zh) * 2014-04-04 2014-07-23 中国人民解放军国防科学技术大学 基于多尺度融合的暗通道先验图像去雾方法
CN103914813A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 彩色雾霾图像去雾与光照补偿的复原方法

Also Published As

Publication number Publication date
US20160048742A1 (en) 2016-02-18
TW201606705A (zh) 2016-02-16
US9305242B2 (en) 2016-04-05
TWI501194B (zh) 2015-09-21
CN105374013A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN105374013B (zh) 基于双暗通道先验的图像能见度修复方法及图像处理装置
US9361670B2 (en) Method and system for image haze removal based on hybrid dark channel prior
Ancuti et al. Night-time dehazing by fusion
Park et al. Single image dehazing with image entropy and information fidelity
Zhang et al. Enhancement and noise reduction of very low light level images
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
Ancuti et al. Single image dehazing by multi-scale fusion
Huang et al. An advanced single-image visibility restoration algorithm for real-world hazy scenes
Peng et al. Image haze removal using airlight white correction, local light filter, and aerial perspective prior
US9177363B1 (en) Method and image processing apparatus for image visibility restoration
CN103218778B (zh) 一种图像和视频的处理方法及装置
US9478016B2 (en) Image restoration method and image processing apparatus using the same
Chen et al. Hazy image restoration by bi-histogram modification
US20110235905A1 (en) Image processing apparatus and method, and program
Chen et al. An advanced visibility restoration algorithm for single hazy images
CN107767356B (zh) 一种图像处理方法和装置
Kim et al. Adaptive patch based convolutional neural network for robust dehazing
Cheng et al. Visibility enhancement of single hazy images using hybrid dark channel prior
Wang et al. Haze removal algorithm based on single-images with chromatic properties
Manu Rain removal from still images using L0 gradient minimization technique
Chen et al. Visual depth guided image rain streaks removal via sparse coding
US9589337B2 (en) Apparatus and method for recovering images damaged by weather phenomena
KR101535630B1 (ko) 밝기변환 모델을 이용한 야간 영상의 밝기 개선 장치
Hmue et al. Image enhancement and quality assessment methods in turbid water: A review article

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180601

Termination date: 20190429

CF01 Termination of patent right due to non-payment of annual fee