CN107680054A - 雾霾环境下多源图像融合方法 - Google Patents

雾霾环境下多源图像融合方法 Download PDF

Info

Publication number
CN107680054A
CN107680054A CN201710878260.2A CN201710878260A CN107680054A CN 107680054 A CN107680054 A CN 107680054A CN 201710878260 A CN201710878260 A CN 201710878260A CN 107680054 A CN107680054 A CN 107680054A
Authority
CN
China
Prior art keywords
mrow
image
msub
msup
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710878260.2A
Other languages
English (en)
Other versions
CN107680054B (zh
Inventor
朴燕
马国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201710878260.2A priority Critical patent/CN107680054B/zh
Publication of CN107680054A publication Critical patent/CN107680054A/zh
Application granted granted Critical
Publication of CN107680054B publication Critical patent/CN107680054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种雾霾环境下多源图像融合方法，将可见光图像去雾霾，得到去雾霾图像；进行图像配准；将待融合的图像进行融合，获得视觉效果好的可见光目标且突出了红外目标的图像。经实验证明，提出的方法能够提高可见光目标的清晰度，同时突出被遮挡的红外目标，便于目标识别。

Description

雾霾环境下多源图像融合方法
技术领域
本发明属于图像处理技术领域，特别是涉及一种雾霾环境下多源图像融合方法。
背景技术
单一传感器采集的可见光图像能够对目标的形状、颜色、纹理等细节信息进行良好的表达，单一传感器采集的红外图像由于是对于热辐射的表达、具有较强的穿透能力，可以清晰地表达目标主体。但在雾霾环境下，由于雾霾遮挡，清晰度较低，部分目标主体丢失。因此亟需一种多源图像的融合方法，从而发挥其各自的优势。
多源图像融合是图像处理、计算机视觉领域的重要研究热点之一。多源图像融合技术就是利用不同传感器在时空上的相关性及信息上的互补性，将同一场景的多光谱图像信息特征组合到一起，从而完成对该场景更全面、清晰的描述。它在军事、航天、医疗等领域应用广泛。
多源图像融合可分为三个层次：像素级融合、特征级融合、决策级融合。其中像素级融合是最低层次的融合，它保留了尽可能多图像信息，精度比较高，是应用最广泛的融合技术。加权平均融合是较为成熟的一种像素级融合算法。该算法的最优性、无偏性、均方误差最小等特性在许多研究结果中都已经被证明。加权平均融合算法的核心问题是如何确定权重，权重的选取直接影响融合的结果。
目前，常用的加权平均融合算法为平均融合法，该方法可以提高图像的信噪比，但由于权重的确定具有一定的主观性，在实际应用中，如本文提到的雾霾环境，其效果并未达到最优。
发明内容
本发明实施例的目的在于提供一种雾霾环境下多源图像融合方法，以实现多源图像融合效果最好的作用。
本发明所采用的技术方案是，一种雾霾环境下多源图像融合方法，按照以下步骤进行：
步骤1，将可见光图像去雾霾，得到去雾霾图像；
步骤2，进行图像配准；
步骤3，将待融合的图像进行融合，获得视觉效果好的可见光目标且突出了红外目标的图像。
进一步的，所述步骤1按照以下步骤进行：
步骤1-1，获得暗原色图像，进行全局大气光A的估计；
步骤1-2，采用双边滤波器对原始灰度图进行处理获得引导图；
步骤1-3，使用引导滤波器对获得的透射率估计图进行优化，获得透射率t(x)；
步骤1-4，将求得的全局大气光A的估计值和透射率t(x)带入大气光散射模型中求解出去雾霾图像。
进一步的，所述步骤1-1的具体过程是：从暗原色图像中按照亮度的大小取前0.1％的像素点，再从这些像素点中选择亮度最大的像素点作为大气光值，从而求的全局大气光A；其中，暗原色表示为：x为图像像素点的二维空间坐标；Ω(x)为以像素点x为中心的局部区域；Jdark(x)表示图像局部区域的暗原色；Jc(y)c∈(r,g,b)为无雾霾图像一个颜色通道的亮度值。
进一步的，所述步骤1-2采用双边滤波器对原始灰度图进行处理获得引导图的具体过程是：
(1)建立源图像灰度图的空间域高斯核函数，即计算卷积核内像素之间的空间高斯权重，表示为：其中x、y代表源图像灰度图的不同像素点(即两个不同的图像像素的二维空间坐标)；d(x,y)＝||x-y||表示两个像素点之间的空间距离；σd是核函数参数；
(2)建立源图像灰度图的强度域上的高斯核函数，即计算卷积核内像素值之间的相似程度权重，表示为：其中，Ig(x)和Ig(y)为像素点x和y对应的亮度值；σ(Ig(x),Ig(y))＝|Ig(x)-Ig(y)|表示两个像素值之间距离；σr是核函数参数；
(3)使用源图像灰度图作为基础，对其进行双边滤波，生成引导图：其中H(x)表示滤波后产生的引导图，N(x)表示源图像灰度图上以x为中心的领域。
进一步的，所述步骤1-3使用引导滤波器对获得的透射率估计图进行优化，获得透射率t(x)的具体过程是：
(1)求的均值：
求引导图H的均值：其中ωk为以像素点k为中心的窗口，i表示像素位置索引；
|ω|是ωk内像素数，为透射率估计图在i点的像素值，为在窗口ωk内像素的均值，Hi为引导图H在i点的像素值，fmean(H)为Hi在窗口ωk内像素的均值；
(2)求引导图H的方差：
求引导图H和透射率估计图的协方差：
其中，μk是引导图像H在ωk内像素的均值，即meanH；是透射率估计图在ωk内像素的均值，即
fmean(H*H)为求H*H的均值，公式(9)中的就是varH，所以上式使 为求的均值，
(3)线性模型：
ε为正则化参数；
(4)考虑到盒子滤波器的对称性，修正线性模型系数：
fmean(a)、fmean(b)分别为求均值，原理同上面求均值。
(5)根据引导滤波输入输出关系求出优化后透射率t(x)：
t(x)＝meana*H+meanb。
进一步的，所述步骤1-4的具体过程是：
(1)求max(t(x),t0)，其中t0＝0.1；
max(t(x),t0)为求t(x)和t0的最大值；
(2)将步骤1得到的大气光估计A，步骤3得到的透射率t(x)，依据图像复原公式：求得去雾霾图像J(x)；其中，I(x)是观测到的有雾霾图像。
进一步的，所述步骤2按照以下步骤进行：
步骤2-1，采用Canny算子分别提取红外图像和步骤1得到的可见光去雾霾图像的Canny边缘，得到粗边缘图像；
步骤2-2，利用SURF算法分别检测两幅粗边缘图像的特征点，以及确定这些点的64维描述子；
步骤2-3，采用最邻近向量匹配方法进行特征点粗匹配；
步骤2-4，采用基于斜率一致性的特征点精匹配方法进行特征点精匹配，并求取变换矩阵M；具体如下：
1)将粗匹配特征点集按欧式距离尺寸由小到大排序，并选取前40个最佳匹配点对确定其向量坐标；
2)根据匹配点对的向量坐标，自适应确定斜率k(i)的范围，i＝1:40，设置一个误差范围L，L＝0.5，则斜率在容错范围(K(i)-L，K(i)+L)内的均为符合条件的直线，然后再去除错误点，并初步确定仿射变换矩阵；
3)选取前30个较准确的匹配点对，首先将斜率为负的一些点先排除掉，然后从剩下的点对中随机选取三个点对确定最终的仿射变换矩阵M；
4)根据已有的仿射变换矩阵M，采用双三次插值法对红外图像进行仿射变换，得到精配准图像；
步骤2-5，通过双三次插值法并利用变换矩阵进行仿射变换实现两幅图像的配准。
进一步的，所述步骤3按照以下步骤进行：
步骤3-1，将配准图像求反；
步骤3-2，将求反后的灰度图像进行灰度变换；
步骤3-3，根据各待融合图像的不同特征区域的信息量，基于信息互补原则，自适应地选取加权系数α、β；
步骤3-4，将加权系数α、β代入下式对待融合图像进行融合；
F(x,y)＝αA(x,y)+βB(x,y)
其中F为融合图像，A、B分别为待融合源图；(x,y)为像素点坐标；α和β分别为图像A和图像B的加权系数，α+β＝1，当α＝β＝0.5时，为平均融合。
进一步的，所述步骤3-2按照以下步骤进行：
采用下式进行灰度变换：
g(x,y)＝T(f(x,y))
式中f(x,y)为输入图像，g(x,y)为输出图像，T为灰度映射函数；
灰度调整过程用Imadjust函数实现，Imadjust函数接受一个附加变量：Gamma因子，将输入图像的灰度值映射到输出图像的新值，在调用Imadjust函数时，根据图像的特征，采取交互的方式，对输入图像和输出图像的数据范围，即Gamma因子进行指定。
进一步的，所述步骤3-3按照以下步骤进行：
1)将输入的待融合可见光去雾霾图像转换成灰度图，并利用Sobel算子计算灰度图的梯度值；
2)定义梯度阈值t和通过迭代法求得灰度直方图阈值T；
3)将图像按列由上往下扫描，计算像素点梯度值gradmag(y,x)和灰度值image(y,x)，并分别与阈值t和阈值T进行比较，这样得到一个边界；
4)通过不断的调整梯度阈值t，可以得到不同的边界；然后，通过计算所有边界的能量函数来得到最优边界；
5)定义一个能量函数J，每次得到一个边界后，图像上的区域被分成天空区域和建筑目标区域，当能量函数最大时，此时天空区域和建筑目标区域内的像素相似度最高，此时的边界被称为最优边界；
∑s、∑g分别为天空区域和建筑目标区域像素点的协方差矩阵，它们都是3×3矩阵，定义如下：
其中：Ns、Ng分别为天空区域和建筑目标区域的像素数；(y,x)∈s代表天空区域像素点位置；(y,x)∈g代表建筑目标区域像素点位置；
Is(y,x)和Ig(y,x)为3×1矩阵，定义如下：
其中：分别为天空区域和建筑目标区域内像素点的红颜色通道值； 分别为天空区域和建筑目标区域内像素点的绿颜色通道值；分别为天空区域和建筑目标区域内像素点的蓝颜色通道值；
μs、μg分别表示为天空区域和建筑目标区域内像素点值的均值，定义如下：
其中i＝{1,2,3}，分别为矩阵∑s、∑g的特征值，|λ1｜＞＞｜λ2|≈|λ3|≈0，能量函数重新定义为：
γ是为了强调天空区域，γ＝2；
6)确定待融合可见光去雾霾图像的天空区域边界后，对于建筑目标区域，为了在融合图像中有突出，则对应的加权系数应较大；反之，对应的加权系数较小，即加权系数随着不同目标区域自适应的变换。
本发明的有益效果是针对雾霾环境，并充分利用红外图像与可见光图像中的互补信息，提出一种基于信息互补的加权平均融合方法，首先，采用改进的暗原色先验算法对可见光雾霾图像进行去雾霾预处理。其次，采用改进的SURF算法对红外图像和可见光去雾霾图像进行配准。最后，采用基于信息互补的加权融合算法对待融合图像进行融合。经实验证明，提出的方法能够提高可见光目标的清晰度，同时突出被遮挡的红外目标，便于目标识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明去雾霾方法流程图。
图2是采用本发明和两个现有方法对透射率估算图进行优化的结果图。
图3是现有技术与本发明方法复原对比结果图。
图4是本发明配准方法流程图。
图5是本发明与文献6方法的配准结果比较图。
图6是融合流程图。
图7是红外图像和可见光雾霾图像。
图8是图7的融合图像。
图9是图8配准图像求反操作图。
图10是灰度变换对比结果。
图11是仿真实验结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一、现有的可见光图像去雾霾的方法如下：
1.1暗原色先验算法：
1.1.1大气散射模型
在计算机视觉领域，通常用下述物理模型来描述雾、霾等恶劣天气条件下单色大气散射模型，该模型包括直接衰减模型和环境光模型两部分，其表达式为：
I(x)＝J(x)e-rd(x)+A(1-e-rd(x)) (1)
其中：x为图像像素的二维空间坐标，I(x)是观测到的有雾霾图像，J(x)是待恢复的无雾霾图像，r代表大气粒子散射系数，d(x)代表景物深度，A是全局大气光。直接衰减J(x)e-rd(x)描述物体表面的反射光在介质中传播时因散射等作用而衰减。A(1-e-rd(x))描述图像色彩和亮度的偏移。
用介质透射率t(x)来代替指数衰减项e-rd(x)，即
t(x)＝e-rd(x)
则(1)式可以简化为：
I(x)＝J(x)t(x)+A(1-t(x)) (2)
图像去雾霾的目的就是通过已得的I(x)求出J(x)，但式(2)中t(x)和A均为未知，J(x)的求解成为一个无限制的病态方程求解问题。
1.1.2暗原色先验
暗原色先验是对单幅图像去雾霾简单且有效的方法。该先验是对大量户外无雾霾图像的统计规律，即对于绝大多数无雾霾图像的每个局部区域(不包括天空部分)都存在某些至少有一个颜色通道的强度值很低的像素点，这些像素点成为“darkpixels”。
因此，对于满足暗原色先验的户外无雾霾图像J(x)，假设以x为中心的局部区域为Ω(x)，则其暗原色可以表示为：
其中：x、y为图像像素的二维空间坐标；Jdark(x)表示图像局部区域的暗原色；Jc(y)c∈(r,g,b)为无雾霾图像一个颜色通道的亮度值。
1.1.3透射率初步估计
利用He方法(HE K,SUN J,TANG X.Singal imagehaze removal using dakechannel prior[C],in Proc.IEEE Conf.Computer Visionand Pattern Recognition,2009:1956-1963.)中暗原色先验和大气散射模型可以很快估计出成像时刻的雾霾浓度和透射率。假设局部区域Ω(x)内的透射率保持不变，且已准确估计出全局大气光A，对方程(2)左右进行最小值滤波操作，可得：
其中：x、y为图像像素的二维空间坐标；Ic(y)c∈(r,g,b)代表有雾霾图像一个颜色通道的亮度值；Ac为一个颜色通道上的全局大气光值；为透射率初步估计值；Jc(y)c∈(r,g,b)为无雾霾图像一个颜色通道的亮度值。
根据无雾霾图像的暗原色的值趋近于0这一先验，则：
根据空间透视原理，为了保持图像的深度信息，在式中引入一个常数ω(0＜ω≤1)，有针对性地保留一部分覆盖遥远景物的雾霾，则可求得透射率的初步估计：
其中ω的值随具体情况而定，在本文取值为1。
初步估计的透射率图存在“halo”现象，即图像边缘模糊不清。为了提高其估计的准确度和去雾霾效果，需要优化和平滑透射率图。
二、本文改进算法
本文基于暗原色先验算法，提出一种双边滤波和引导滤波联合的去雾霾算法。该算法以原始灰度图像为基础，先对其进行双边滤波，平滑纹理信息，保持边缘细节，从而得到引导图像。再利用引导滤波实现透射率的优化。该算法能较好地保持体现深度变化的边缘细节信息，同时平滑无用的内部纹理，具有较好的去雾霾效果。
算法可分为4个步骤，流程如图1所示：
(1)获得暗原色图像，进行全局大气光A的估计；
(2)采用双边滤波器对原始灰度图进行处理获得引导图；
(3)使用引导滤波器对获得的透射率估计图进行优化，获得透射率t(x)；
(4)将求得的大气光估计A和透射率t(x)带入大气光散射模型中求解出去雾霾图像。
1.2.1全局大气光A的估计
利用暗原色值选择大气光值，能够得到更为准确的结果，可以成功避免选择一些参考价值不大的物体作为大气光。具体方法是从暗原色图像中按照亮度的大小取前0.1％的像素点，再从这些像素点中选择亮度最大的像素点作为大气光值。本文实验中使用这种方法来求得全局大气光A。
1.2.2基于引导滤波和双边滤波的透射率优化算法
利用引导滤波器代替软抠图法进行透射率优化。
引导滤波包括引导图像H、输入图像和输出图像t(x)。引导图像H为原始灰度图经双边滤波后的图像。
引导滤波基于局部线性模型的假设推导，即在以像素点k为中心的窗口ωk中，输出图像t(x)是引导图像H的线性变换，如式(7)所示。
t(x)i＝akHi+bk, (7)
其中：i表示像素位置索引；H代表引导图像；t(x)代表输出图像；ak、bk是假定在窗口ωk中为常量的线性系数。
定义代价函数：
其中：代表输入图像；ε表示正则化参数，作用是防止ak太大。式(8)可以通过线性回归的方法解出：
其中：μk、是引导图像H在ωk内像素的均值、方差；|ω|是ωk内像素数；
是在ωk内像素的均值。
最后滤波的输出通过下式(11)得到：
其中和表示当前处理窗口内的均值，通过均值滤波得到。正因为这两个系数是通过均值滤波得到，所以他们的梯度十分小，这样更好的满足引导滤波的需求。
图2给出了采用本文方法及文献3“Stark J A.Adaptive image contrastenhancement using generalization of histogram equalization[J].IEEETransactions on Image Processing,2000,9(5):889-896.”和文献4“TAN RT.Visibility in bad weather from a single image[C].Proceedings of the 2008IEEE Conference on Computer Vision and Patterm Recognition.Washington,DC:IEEEComputer Society,2008:1-8.”方法对透射率估算图进行优化的结果。其中图2a为雾霾图像，图2b为按通道图，图2c是透射率估算图，图2d是文献3优化结果，图2e是文献4优化结果，图2f是本文优化结果；
由图2及表1可知，透射率估算图2c存在“halo”效应。文献3采用引导滤波法获得的透射图(d)层次感较好，细节信息丰富，其处理速度最快，但仍存在部分边缘细节丢失的情况。文献4采用软抠图法获得的透射图2e同样具有一定的优化效果，但如表1所示，其处理时间最长，去雾霾速度不够理想。采用本文方法处理得到的图2f边缘细节信息有所加强，能够有效去除“halo”现象，图像变得更加细腻，平滑，其处理速度适中。
表1不同优化方法运行时间对比
图2a(640×480) 文献3 文献4 本文
处理时间(s) 0.63 70.02 10.22
1.2.3图像复原
求得透射率t(x)和大气光A之后，依据大气散射模型：I(x)＝J(x)t(x)+A(1-t(x))，可复原得到去雾霾图像J(x)。
对于浓雾霾区域，为了避免求透射率t(x)的过程中噪声被放大，设置透射率下限t0。t0的值根据实验情况选取，本文取值为0.1，则最终的图像复原公式为：
图3给出了采用文献3方法和本文方法的复原对比结果。图3a为文献3方法结果图，图3b是本文方法结果图，图3c为图3a的局部细节图，图3d为图3b的局部细节图。结果显示：图3a和图3b整体上比较清晰，色彩较真实，更接近实际场景，视觉效果良好。将图3a和图3b分别截取局部区域进行放大，如图3c和图3d所示。由图3c和图3d可以看出，采用本文方法较文献3方法处理后的图像局部对比度明显提高，视觉效果更好。
上面内容介绍的是图像配准之前的步骤，即图像去雾霾，只有去掉雾霾才能进行图像配准，最后进行图像融合。图像去雾霾和图像配准是为最后进行图像融合做铺垫的。图像去雾霾，图像配准和图像融合是完整的方案，不能分割。
图像配准
2.1 SURF算法
2006年Herbert Bay在SIFT算法(文献5，M.Brown,D.GLowe,Recognisingpanoramas[C].Proceedings of International Conference Computer Vision,2003.1218-1225.)的基础上提出了SURF算法(Speeded-Up Robust Features，SURF，文献6，H.Bay,T.Tuytelaars,and L.Van Gool.SURF:Speeded Up Robust Features[C].EuropeanConference on Computer Vision,2006.404-417.)，它在特征点检测的准确性和鲁棒性方面均近似甚至优于SIFT算法，且速度得到了大大的提高。SURF算法主要包括两个部分：一是快速Hessian点特征提取；二是SURF特征描述子生成。具体提取步骤如下：
1)建立尺度空间并检测特征点，初步确定关键点位置和所在尺度；
2)确认关键点的位置和尺度，去除对比度低的关键点和不稳定的边缘响应点，增强匹配抗噪声能力和稳定性；
3)确定主方向，让算子具备旋转不变性；
4)特征点描述子的生成，即SURF特征向量的生成。
SURF特征匹配算法采用的是最邻近向量匹配算法，该算法采用关键点特征向量的欧式距离作为相似性测度。设N1和N2分别是图像p′和q′的SURF特征点集合，对于N1中的任一特征点p1i′，在N2中与p1i′的特征向量的欧式距离最小的特征点是qij′和qij″，对应的欧式距离分别为dij′和dij″。如果dij′/dij″≤k(k为阈值)，则认为p1i′和qij′为对应匹配点，不同的应用可以取不同的k(取值小于1，一般取0.75)。通过匹配可以得到两个特征点集之间的粗匹配。粗匹配缺乏对特征点集的全局描述，含有较多的无匹配或错匹配。
2.2本文改进算法
本文基于SURF算法进行了改进：
1)针对异源传感器在图像配准时如何精确地找到相应的匹配特征问题，结合红外图像与可见光图像的特征，利用两种传感器对同一场景成像时具有一定的边缘轮廓相似特性，本文提出了提取图像的Canny边缘，在边缘轮廓上根据边缘曲线上像素点的位置夹角的相似性寻找对应匹配点。
2)SURF算法在提取特征与匹配的过程中，主要是针对图像特征点处的局部信息，即图像的尺度变化和旋转变化，而对图像的几何信息没有考虑，这样导致粗匹配的过程中存在大量的误匹配现象。本文根据正确的匹配点对之间斜率一致性的先验知识对SURF算子进行改进，提出一种基于斜率一致性的特征点精匹配方法，实现特征点的精确匹配。
算法具体实现步骤如下，流程如图4所示：
1)采用Canny算子分别提取红外图像和可见光去雾霾图像的Canny边缘，得到粗边缘图像；
2)利用SURF算法分别检测两幅边缘图像的特征点，以及确定这些点的64维描述子；
3)采用最邻近向量匹配方法进行特征点粗匹配；
4)采用基于斜率一致性的特征点精匹配方法进行特征点精匹配，并求取变换矩阵M；
5)通过双三次插值法并利用变换矩阵进行仿射变换实现两幅图像的配准。
2.2.1基于斜率一致性的特征点精匹配方法：
传统特征点精匹配方法是采用随机选取一致性(RANSAC)方法，但是仍存在部分误匹配的现象。改进后的方法直接通过两条匹配直线斜率的一致性判断，剔除不在斜率范围内的匹配点对。此方法简单，且能较大提高特征点匹配的正确率。具体实现过程如下：
1)将粗匹配特征点集按欧式距离尺寸由小到大排序，并选取前40个最佳匹配点对确定其向量坐标；
2)根据匹配点对的向量坐标，自适应确定斜率k(i)的范围，i＝1:40，设置一个误差范围L(L＝0.5)，则斜率在容错范围(K(i)-L，K(i)+L)内的均为符合条件的直线，然后再去除错误点(重复出现的，有多余0的)，并初步确定仿射变换矩阵；
3)选取前30个较准确的匹配点对，首先将斜率为负的一些点先排除掉，然后从剩下的点对中随机选取三个点对确定最终的仿射变换矩阵M；
4)根据已有的仿射变换矩阵M，采用双三次插值法对红外图像进行仿射变换，得到精配准图像。
图5给出了采用本文方法和文献6方法的配准结果比较。图5a为文献6方法匹配图，图5b为本文方法匹配图，图5c为文献6方法配准结果图，图5d为本文方法配准结果图。由图5可知，针对异源图像配准，采用文献6中的SURF方法得到的匹配图5a存在很多误匹配点对，导致得到的配准图存在大量明显错误现象，如图5c所示；采用本文方法可以明显消除误匹配点对，如图5b所示，匹配点对全部正确，而且所有匹配点对之间的连线都相互平行，取得较好的匹配效果，配准成功。如图5d所示，这充分验证了本文方法的正确性。
图像融合
3.1图像融合理论
图像融合流程主要包括：图像预处理、图像配准、图像融合、特征提取以及识别与决策，如图6所示。本文前面部分已经对可见光雾霾图像进行了去雾霾预处理以及红外图像和可见光去雾霾图像进行了配准。
3.2加权平均融合算法
加权平均融合法就是选取适当的权值，对源图像的每个像素值做加权平均。其表达式表示如下：
F(x,y)＝αA(x,y)+βB(x,y) (13)
其中F为融合图像，A、B分别为待融合源图；(x,y)为像素点坐标；α和β分别为图像A和图像B的加权系数，α+β＝1，当α＝β＝0.5时，为平均融合。采用加权平均融合方法可以提高图像的信噪比，但融合后的图像局部颜色失真，对比度降低，视觉效果较差。
3.3基于信息互补的加权融合算法
算法基于加权平均融合算法进行改进，具体步骤如下：
1)将配准图像求反；
2)将求反后的灰度图像进行灰度变换；
3)根据各待融合图像的不同特征区域的信息量，基于信息互补原则，自适应地选取加权系数α、β；
4)将加权系数α、β代入公式(13)对待融合图像进行融合。
3.3.1配准图像求反
由于红外图像的成像机理与可见光图像不同，它是通过将红外探测器接受到的场景的红外辐射映射成灰度值，转化为红外图像，场景中某一部分的辐射强度越大，反映在图像中的这一部分的灰度值越高，也就越亮。这样导致红外图形与可见光去雾霾图像对于同一场景的某些局部区域的灰度差异较大，如图7线框部分所示。因此直接采用加权平均融合算法得到的融合图像局部颜色失真，如图8线框部分所示。所以需先将配准图像进行求反操作，得到的图像如图9所示，其线框部分亮度适中，与可见光去雾霾图像相应区域的灰度差异较小。
3.3.2灰度变换
灰度变换是将求反后的灰度图像进行非线性映射输出，其目的是对图像进行灰度调整，可以有效地突出融合图像中的红外目标。表示形式如下：
g(x,y)＝T(f(x,y)) (14)
式中f(x,y)为输入图像，g(x,y)为输出图像，T为灰度映射函数。
本文的灰度调整过程用Imadjust函数实现。Imadjust函数接受一个附加变量(Gamma因子)，将输入图像的灰度值映射到输出图像的新值。在调用Imadjust函数时，本文根据图像的特征，采取交互的方式，对输入图像和输出图像的数据范围，即Gamma因子进行指定。图10给出了灰度变换对比结果。其中，图10a为变换前图像，图10b为变换后图像。
3.3.3加权系数自适应选取方法
本方法基于不同特征区域信息互补原则自适应地选取加权系数α、β。方法如下：
1)将输入的待融合可见光去雾霾图像转换成灰度图，并利用Sobel算子计算灰度图的梯度值；
2)定义梯度阈值t和通过迭代法求得灰度直方图阈值T；
3)将图像按列由上往下扫描，计算像素点梯度值gradmag(y,x)和灰度值image(y,x)，并分别与阈值t和阈值T进行比较，这样得到一个边界；
4)通过不断的调整梯度阈值t，可以得到不同的边界；然后，通过计算所有边界的能量函数来得到最优边界；
5)定义一个能量函数J，每次得到一个边界后，图像上的区域被分成天空区域和建筑目标区域。当能量函数最大时，此时天空区域和建筑目标区域内的像素相似度最高。此时的边界被称为最优边界。
∑s、∑g分别为天空区域和建筑目标区域像素点的协方差矩阵。它们都是3×3矩阵，定义如下：
其中：Ns、Ng分别为天空区域和建筑目标区域的像素数；(y,x)∈s代表天空区域像素点位置；(y,x)∈g代表建筑目标区域像素点位置。
Is(y,x)和Ig(y,x)为3×1矩阵，定义如下：
其中：分别为天空区域和建筑目标区域内像素点的红颜色通道值； 分别为天空区域和建筑目标区域内像素点的绿颜色通道值；分别为天空区域和建筑目标区域内像素点的蓝颜色通道值。
μs、μg分别表示为天空区域和建筑目标区域内像素点值的均值，定义如下：
λi s、λi g(i＝{1,2,3})分别为矩阵∑s、∑g的特征值，经实验发现|λ1｜＞＞｜λ2|≈|λ3|≈0，所以能量函数重新定义为：
γ是为了强调天空区域，本文取γ＝2。
6)确定待融合可见光去雾霾图像的天空区域边界后，对于建筑目标区域，为了在融合图像中有突出，则对应的加权系数应较大；反之，对应的加权系数较小，即加权系数随着不同目标区域自适应的变换。
融合实验及性能评价
本文采用雾霾环境下拍摄的户外可见光雾霾图像和红外图像进行实验测试(实验平台：PC机、MATLAB R2017a)，结果如图11所示。其中图11a为可见光雾霾图像，图11b为红外图像，图11c为采用加权平均方法(定为方法一)的融合图像，图11d是本文提出方法的融合图像。
由图11可知，采用本文方法获得的图像11d既有视觉效果良好的可见光目标又突出了红外目标，其效果明显优于其它三幅图像。为了对本文方法进行客观评价，分别引入图像的标准差、平均梯度和信息熵作为融合图像的评价指标。
由表2可知，本文方法得到的融合图像的标准差、平均梯度等指标均为最大，这客观上验证了采用本文方法融合后的图像最清晰，包含的信息量最大，从源图像继承的信息最多，融合效果最好。
表2融合效果比较
结论：
本文针对雾霾环境，并充分利用可见光图像和红外图像的特征，提出一种适用于雾霾环境的多源图像融合方法。本文首先介绍了暗原色先验去雾霾理论及其改进方法，SURF配准理论及其改进方法；其次重点介绍了多源图像融合理论及其改进方法，并针对改进方法进行实验验证，给出了实验结果；最后采用图像质量评价标准对本文方法和其它融合方法的实验结果进行分析对比。视觉效果和实验数据均证明了本文方法的有效性。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种雾霾环境下多源图像融合方法，其特征在于，按照以下步骤进行：
步骤1，将可见光图像去雾霾，得到去雾霾图像；
步骤2，进行图像配准；
步骤3，将待融合的图像进行融合，获得视觉效果好的可见光目标且突出了红外目标的图像。
2.根据权利要求1所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤1按照以下步骤进行：
步骤1-1，获得暗原色图像，进行全局大气光A的估计；
步骤1-2，采用双边滤波器对原始灰度图进行处理获得引导图；
步骤1-3，使用引导滤波器对获得的透射率估计图进行优化，获得透射率t(x)；
步骤1-4，将求得的全局大气光A的估计值和透射率t(x)带入大气光散射模型中求解出去雾霾图像。
3.根据权利要求2所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤1-1的具体过程是：从暗原色图像中按照亮度的大小取前0.1％的像素点，再从这些像素点中选择亮度最大的像素点作为大气光值，从而求的全局大气光A；
其中，暗原色表示为：x为图像像素点的二维空间坐标；Ω(x)为以像素点x为中心的局部区域；Jdark(x)表示图像局部区域的暗原色；Jc(y)c∈(r,g,b)为无雾霾图像一个颜色通道的亮度值。
4.根据权利要求2所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤1-2采用双边滤波器对原始灰度图进行处理获得引导图的具体过程是：
(1)建立源图像灰度图的空间域高斯核函数，即计算卷积核内像素之间的空间高斯权重，表示为：其中x、y代表源图像灰度图的不同像素点(即两个不同的图像像素的二维空间坐标)；d(x,y)＝||x-y||表示两个像素点之间的空间距离；σd是核函数参数；
(2)建立源图像灰度图的强度域上的高斯核函数，即计算卷积核内像素值之间的相似程度权重，表示为：其中，Ig(x)和Ig(y)为像素点x和y对应的亮度值；σ(Ig(x),Ig(y))＝|Ig(x)-Ig(y)|表示两个像素值之间距离；σr是核函数参数；
(3)使用源图像灰度图作为基础，对其进行双边滤波，生成引导图：其中H(x)表示滤波后产生的引导图，N(x)表示源图像灰度图上以x为中心的领域。
5.根据权利要求2所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤1-3使用引导滤波器对获得的透射率估计图进行优化，获得透射率t(x)的具体过程是：
(1)求的均值：
求引导图H的均值：其中ωk为以像素点k为中心的窗口，i表示像素位置索引；
|ω|是ωk内像素数，为透射率估计图在i点的像素值，为在窗口ωk内像素的均值，Hi为引导图H在i点的像素值，fmean(H)为Hi在窗口ωk内像素的均值；
(2)求引导图H的方差：
<mrow> <msub> <mi>var</mi> <mi>H</mi> </msub> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>H</mi> <mo>*</mo> <mi>H</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>mean</mi> <mi>H</mi> </msub> <mo>*</mo> <msub> <mi>mean</mi> <mi>H</mi> </msub> <mo>=</mo> <msubsup> <mi>&amp;sigma;</mi> <mi>k</mi> <mn>2</mn> </msubsup> <mo>,</mo> </mrow>
求引导图H和透射率估计图的协方差：
其中，μk是引导图像H在ωk内像素的均值，即meanH；是透射率估计图在ωk内像素的均值，即
fmean(H*H)为求H*H的均值， 为求
的均值，
(3)线性模型：
ε为正则化参数；
(4)考虑到盒子滤波器的对称性，修正线性模型系数：
<mrow> <msub> <mi>mean</mi> <mi>a</mi> </msub> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <mi>&amp;omega;</mi> <mo>|</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;omega;</mi> <mi>k</mi> </msub> </mrow> </munder> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>mean</mi> <mi>b</mi> </msub> <mo>=</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <mi>&amp;omega;</mi> <mo>|</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;omega;</mi> <mi>k</mi> </msub> </mrow> </munder> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>;</mo> </mrow>
fmean(a)、fmean(b)分别为求均值；
(5)根据引导滤波输入输出关系求出优化后透射率t(x)：
t(x)＝meana*H+meanb。
6.根据权利要求2所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤1-4的具体过程是：
(1)求max(t(x),t0)，其中t0＝0.1；
max(t(x),t0)为求t(x)和t0的最大值；
(2)将步骤1得到的大气光估计A，步骤3得到的透射率t(x)，依据图像复原公式：求得去雾霾图像J(x)；其中，I(x)是观测到的有雾霾图像。
7.根据权利要求1所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤2按照以下步骤进行：
步骤2-1，采用Canny算子分别提取红外图像和步骤1得到的可见光去雾霾图像的Canny边缘，得到粗边缘图像；
步骤2-2，利用SURF算法分别检测两幅粗边缘图像的特征点，以及确定这些点的64维描述子；
步骤2-3，采用最邻近向量匹配方法进行特征点粗匹配；
步骤2-4，采用基于斜率一致性的特征点精匹配方法进行特征点精匹配，并求取变换矩阵M；具体如下：
1)将粗匹配特征点集按欧式距离尺寸由小到大排序，并选取前40个最佳匹配点对确定其向量坐标；
2)根据匹配点对的向量坐标，自适应确定斜率k(i)的范围，i＝1:40，设置一个误差范围L，L＝0.5，则斜率在容错范围(K(i)-L，K(i)+L)内的均为符合条件的直线，然后再去除错误点，并初步确定仿射变换矩阵；
3)选取前30个较准确的匹配点对，首先将斜率为负的一些点先排除掉，然后从剩下的点对中随机选取三个点对确定最终的仿射变换矩阵M；
4)根据已有的仿射变换矩阵M，采用双三次插值法对红外图像进行仿射变换，得到精配准图像；
步骤2-5，通过双三次插值法并利用变换矩阵进行仿射变换实现两幅图像的配准。
8.根据权利要求1所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤3按照以下步骤进行：
步骤3-1，将配准图像求反；
步骤3-2，将求反后的灰度图像进行灰度变换；
步骤3-3，根据各待融合图像的不同特征区域的信息量，基于信息互补原则，自适应地选取加权系数α、β；
步骤3-4，将加权系数α、β代入下式对待融合图像进行融合；
F(x,y)＝αA(x,y)+βB(x,y)
其中F为融合图像，A、B分别为待融合源图；(x,y)为像素点坐标；α和β分别为图像A和图像B的加权系数，α+β＝1，当α＝β＝0.5时，为平均融合。
9.根据权利要求8所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤3-2按照以下步骤进行：
采用下式进行灰度变换：
g(x,y)＝T(f(x,y))
式中f(x,y)为输入图像，g(x,y)为输出图像，T为灰度映射函数；
灰度调整过程用Imadjust函数实现，Imadjust函数接受一个附加变量：Gamma因子，将输入图像的灰度值映射到输出图像的新值，在调用Imadjust函数时，根据图像的特征，采取交互的方式，对输入图像和输出图像的数据范围，即Gamma因子进行指定。
10.根据权利要求8所述的雾霾环境下多源图像融合方法，其特征在于，所述步骤3-3按照以下步骤进行：
1)将输入的待融合可见光去雾霾图像转换成灰度图，并利用Sobel算子计算灰度图的梯度值；
2)定义梯度阈值t和通过迭代法求得灰度直方图阈值T；
3)将图像按列由上往下扫描，计算像素点梯度值gradmag(y,x)和灰度值image(y,x)，并分别与阈值t和阈值T进行比较，这样得到一个边界；
4)通过不断的调整梯度阈值t，可以得到不同的边界；然后，通过计算所有边界的能量函数来得到最优边界；
5)定义一个能量函数J，每次得到一个边界后，图像上的区域被分成天空区域和建筑目标区域，当能量函数最大时，此时天空区域和建筑目标区域内的像素相似度最高，此时的边界被称为最优边界；
<mrow> <mi>J</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mrow> <mo>|</mo> <msub> <mi>&amp;Sigma;</mi> <mi>s</mi> </msub> <mo>|</mo> </mrow> <mo>+</mo> <mrow> <mo>|</mo> <msub> <mi>&amp;Sigma;</mi> <mi>g</mi> </msub> <mo>|</mo> </mrow> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>1</mn> <mi>s</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>2</mn> <mi>s</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>3</mn> <mi>s</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>1</mn> <mi>g</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>2</mn> <mi>g</mi> </msubsup> <mo>+</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>3</mn> <mi>g</mi> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </mfrac> </mrow>
∑s、∑g分别为天空区域和建筑目标区域像素点的协方差矩阵，它们都是3×3矩阵，定义如下：
<mrow> <msub> <mi>&amp;Sigma;</mi> <mi>s</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>s</mi> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>s</mi> </mrow> </munder> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>s</mi> </msup> <mo>(</mo> <mrow> <mi>y</mi> <mo>,</mo> <mi>x</mi> </mrow> <mo>)</mo> <mo>-</mo> <msup> <mi>&amp;mu;</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>s</mi> </msup> <mo>(</mo> <mrow> <mi>y</mi> <mo>,</mo> <mi>x</mi> </mrow> <mo>)</mo> <mo>-</mo> <msup> <mi>&amp;mu;</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
<mrow> <msub> <mi>&amp;Sigma;</mi> <mi>g</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>g</mi> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>g</mi> </mrow> </munder> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>g</mi> </msup> <mo>(</mo> <mrow> <mi>y</mi> <mo>,</mo> <mi>x</mi> </mrow> <mo>)</mo> <mo>-</mo> <msup> <mi>&amp;mu;</mi> <mi>g</mi> </msup> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>g</mi> </msup> <mo>(</mo> <mrow> <mi>y</mi> <mo>,</mo> <mi>x</mi> </mrow> <mo>)</mo> <mo>-</mo> <msup> <mi>&amp;mu;</mi> <mi>g</mi> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
其中：Ns、Ng分别为天空区域和建筑目标区域的像素数；(y,x)∈s代表天空区域像素点位置；(y,x)∈g代表建筑目标区域像素点位置；
Is(y,x)和Ig(y,x)为3×1矩阵，定义如下：
<mrow> <msup> <mi>I</mi> <mi>s</mi> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>R</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>s</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>G</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>s</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>B</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>s</mi> </msubsup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mi>S</mi> </mrow>
<mrow> <msup> <mi>I</mi> <mi>g</mi> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msubsup> <mi>R</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>g</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>G</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>g</mi> </msubsup> </mtd> </mtr> <mtr> <mtd> <msubsup> <mi>B</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>g</mi> </msubsup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mi>g</mi> </mrow>
其中：分别为天空区域和建筑目标区域内像素点的红颜色通道值； 分别为天空区域和建筑目标区域内像素点的绿颜色通道值；分别为天空区域和建筑目标区域内像素点的蓝颜色通道值；
μs、μg分别表示为天空区域和建筑目标区域内像素点值的均值，定义如下：
<mrow> <msup> <mi>&amp;mu;</mi> <mi>s</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>s</mi> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>s</mi> </mrow> </munder> <msup> <mi>I</mi> <mi>s</mi> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>&amp;mu;</mi> <mi>g</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mi>g</mi> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>g</mi> </mrow> </munder> <msup> <mi>I</mi> <mi>g</mi> </msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow>
其中i＝{1,2,3}，分别为矩阵∑s、∑g的特征值，|λ1|＞＞|λ2|≈|λ3|≈0，能量函数重新定义为：
<mrow> <msup> <mi>J</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>&amp;gamma;</mi> <mrow> <mo>|</mo> <msub> <mi>&amp;Sigma;</mi> <mi>s</mi> </msub> <mo>|</mo> </mrow> <mo>+</mo> <mrow> <mo>|</mo> <msub> <mi>&amp;Sigma;</mi> <mi>g</mi> </msub> <mo>|</mo> </mrow> <mo>+</mo> <mi>&amp;gamma;</mi> <mrow> <mo>|</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>1</mn> <mi>s</mi> </msubsup> <mo>|</mo> </mrow> <mo>+</mo> <mrow> <mo>|</mo> <msubsup> <mi>&amp;lambda;</mi> <mn>1</mn> <mi>g</mi> </msubsup> <mo>|</mo> </mrow> </mrow> </mfrac> </mrow>
γ是为了强调天空区域，γ＝2；
6)确定待融合可见光去雾霾图像的天空区域边界后，对于建筑目标区域，为了在融合图像中有突出，则对应的加权系数应较大；反之，对应的加权系数较小，即加权系数随着不同目标区域自适应的变换。
CN201710878260.2A 2017-09-26 2017-09-26 雾霾环境下多源图像融合方法 Active CN107680054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710878260.2A CN107680054B (zh) 2017-09-26 2017-09-26 雾霾环境下多源图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710878260.2A CN107680054B (zh) 2017-09-26 2017-09-26 雾霾环境下多源图像融合方法

Publications (2)

Publication Number Publication Date
CN107680054A true CN107680054A (zh) 2018-02-09
CN107680054B CN107680054B (zh) 2021-05-18

Family

ID=61137342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710878260.2A Active CN107680054B (zh) 2017-09-26 2017-09-26 雾霾环境下多源图像融合方法

Country Status (1)

Country Link
CN (1) CN107680054B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399620A (zh) * 2018-03-19 2018-08-14 嘉兴学院 一种基于低秩稀疏矩阵分解的图像质量评价方法
CN108537782A (zh) * 2018-04-02 2018-09-14 东北大学 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN108680529A (zh) * 2018-04-03 2018-10-19 北京英思创科技有限公司 媒质成分实时精准检测设备的次红外测量系统及方法
CN108710910A (zh) * 2018-05-18 2018-10-26 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及系统
CN108986101A (zh) * 2018-05-31 2018-12-11 浙江大学 基于循环“抠图-分割”优化的人体图像分割方法
CN109102534A (zh) * 2018-08-29 2018-12-28 长光卫星技术有限公司 雾霾天气条件下的光学遥感图像配准方法及系统
CN109285110A (zh) * 2018-09-13 2019-01-29 武汉大学 基于鲁棒匹配与变换的红外可见光图像配准方法及系统
CN109886906A (zh) * 2019-01-25 2019-06-14 武汉大学 一种细节敏感的实时弱光视频增强方法和系统
CN109934780A (zh) * 2019-02-21 2019-06-25 北京以萨技术股份有限公司 一种基于暗原色先验的道路监控视频去雾方法
CN109978876A (zh) * 2019-04-03 2019-07-05 北京环境特性研究所 一种基于快速双边滤波的烟雾识别方法和装置
CN110211096A (zh) * 2019-04-30 2019-09-06 安徽四创电子股份有限公司 一种雾霾图像的检测方法
CN111429389A (zh) * 2020-02-28 2020-07-17 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法
CN111476732A (zh) * 2020-04-03 2020-07-31 江苏宇特光电科技股份有限公司 一种图像融合及去噪的方法及系统
CN111507970A (zh) * 2020-04-20 2020-08-07 北京英迈琪科技有限公司 一种图像融合质量检测方法及装置
CN111612725A (zh) * 2020-04-29 2020-09-01 中国科学院西安光学精密机械研究所 一种基于可见光图像对比度增强的图像融合方法
CN112435223A (zh) * 2020-11-11 2021-03-02 马鞍山市瀚海云星科技有限责任公司 目标检测方法、装置及存储介质
CN112991218A (zh) * 2021-03-23 2021-06-18 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN113053044A (zh) * 2020-11-17 2021-06-29 泰州芯源半导体科技有限公司 应用大数据服务的现场计价平台
CN113139947A (zh) * 2021-04-28 2021-07-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
WO2021147418A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 一种图像去雾方法、装置、设备及计算机存储介质
CN113223033A (zh) * 2021-05-10 2021-08-06 广州朗国电子科技有限公司 基于图像融合的家禽体温检测方法、设备以及介质
CN113379619A (zh) * 2021-05-12 2021-09-10 电子科技大学 去雾成像、能见度提取和景深估计的一体化处理方法
CN118691502A (zh) * 2024-08-22 2024-09-24 江苏北方湖光光电有限公司 恶劣天气下图像增强方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231205A (zh) * 2011-06-24 2011-11-02 北京戎大时代科技有限公司 一种多模监控装置及方法
CN102262191A (zh) * 2011-04-28 2011-11-30 北京航空航天大学 一种固体钽电解电容器寿命预测方法
CN103049890A (zh) * 2013-01-17 2013-04-17 四川川大智胜软件股份有限公司 一种基于cuda的图像实时去雾方法
CN104766307A (zh) * 2015-03-13 2015-07-08 青岛海信电器股份有限公司 一种图像处理的方法及设备
CN105279735A (zh) * 2015-11-20 2016-01-27 沈阳东软医疗系统有限公司 一种图像拼接的融合方法、装置及设备
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
CN105761230A (zh) * 2016-03-16 2016-07-13 西安电子科技大学 基于天空区域分割处理的单幅图像去雾方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN106408940A (zh) * 2016-11-02 2017-02-15 南京慧尔视智能科技有限公司 基于微波和视频数据融合的交通检测方法及装置
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN107147877A (zh) * 2017-06-01 2017-09-08 大连海事大学 固定区域夜雾天况全天候彩色视频成像系统及其构建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262191A (zh) * 2011-04-28 2011-11-30 北京航空航天大学 一种固体钽电解电容器寿命预测方法
CN102231205A (zh) * 2011-06-24 2011-11-02 北京戎大时代科技有限公司 一种多模监控装置及方法
CN103049890A (zh) * 2013-01-17 2013-04-17 四川川大智胜软件股份有限公司 一种基于cuda的图像实时去雾方法
CN105447838A (zh) * 2014-08-27 2016-03-30 北京计算机技术及应用研究所 一种红外与微光/可见光融合成像的方法及系统
CN104766307A (zh) * 2015-03-13 2015-07-08 青岛海信电器股份有限公司 一种图像处理的方法及设备
CN105279735A (zh) * 2015-11-20 2016-01-27 沈阳东软医疗系统有限公司 一种图像拼接的融合方法、装置及设备
CN105761230A (zh) * 2016-03-16 2016-07-13 西安电子科技大学 基于天空区域分割处理的单幅图像去雾方法
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN106408940A (zh) * 2016-11-02 2017-02-15 南京慧尔视智能科技有限公司 基于微波和视频数据融合的交通检测方法及装置
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法
CN107147877A (zh) * 2017-06-01 2017-09-08 大连海事大学 固定区域夜雾天况全天候彩色视频成像系统及其构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. SHEN AND Q. WANG.: "Sky Region Detection in a Single Image for Autonomous Ground Robot Navigation.", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》 *
钱小燕: "单一图像多滤波联合快速去雾算法", 《科学技术与工程》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399620B (zh) * 2018-03-19 2022-04-19 嘉兴学院 一种基于低秩稀疏矩阵分解的图像质量评价方法
CN108399620A (zh) * 2018-03-19 2018-08-14 嘉兴学院 一种基于低秩稀疏矩阵分解的图像质量评价方法
CN108537782A (zh) * 2018-04-02 2018-09-14 东北大学 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN108537782B (zh) * 2018-04-02 2021-08-31 东北大学 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN108680529A (zh) * 2018-04-03 2018-10-19 北京英思创科技有限公司 媒质成分实时精准检测设备的次红外测量系统及方法
CN108710910A (zh) * 2018-05-18 2018-10-26 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及系统
CN108710910B (zh) * 2018-05-18 2020-12-04 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及系统
CN108986101B (zh) * 2018-05-31 2021-07-06 浙江大学 基于循环“抠图-分割”优化的人体图像分割方法
CN108986101A (zh) * 2018-05-31 2018-12-11 浙江大学 基于循环“抠图-分割”优化的人体图像分割方法
CN109102534A (zh) * 2018-08-29 2018-12-28 长光卫星技术有限公司 雾霾天气条件下的光学遥感图像配准方法及系统
CN109102534B (zh) * 2018-08-29 2020-09-01 长光卫星技术有限公司 雾霾天气条件下的光学遥感图像配准方法及系统
CN109285110A (zh) * 2018-09-13 2019-01-29 武汉大学 基于鲁棒匹配与变换的红外可见光图像配准方法及系统
CN109886906A (zh) * 2019-01-25 2019-06-14 武汉大学 一种细节敏感的实时弱光视频增强方法和系统
CN109886906B (zh) * 2019-01-25 2020-09-08 武汉大学 一种细节敏感的实时弱光视频增强方法和系统
CN109934780A (zh) * 2019-02-21 2019-06-25 北京以萨技术股份有限公司 一种基于暗原色先验的道路监控视频去雾方法
CN109978876A (zh) * 2019-04-03 2019-07-05 北京环境特性研究所 一种基于快速双边滤波的烟雾识别方法和装置
CN110211096B (zh) * 2019-04-30 2021-01-05 安徽四创电子股份有限公司 一种雾霾图像的检测方法
CN110211096A (zh) * 2019-04-30 2019-09-06 安徽四创电子股份有限公司 一种雾霾图像的检测方法
US11861810B2 (en) 2020-01-20 2024-01-02 Tencent Technology (Shenzhen) Company Limited Image dehazing method, apparatus, and device, and computer storage medium
WO2021147418A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 一种图像去雾方法、装置、设备及计算机存储介质
CN111429389A (zh) * 2020-02-28 2020-07-17 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法
CN111429389B (zh) * 2020-02-28 2023-06-06 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法
CN111476732A (zh) * 2020-04-03 2020-07-31 江苏宇特光电科技股份有限公司 一种图像融合及去噪的方法及系统
CN111507970A (zh) * 2020-04-20 2020-08-07 北京英迈琪科技有限公司 一种图像融合质量检测方法及装置
CN111507970B (zh) * 2020-04-20 2022-01-11 重庆七腾科技有限公司 一种图像融合质量检测方法及装置
CN111612725B (zh) * 2020-04-29 2023-04-11 中国科学院西安光学精密机械研究所 一种基于可见光图像对比度增强的图像融合方法
CN111612725A (zh) * 2020-04-29 2020-09-01 中国科学院西安光学精密机械研究所 一种基于可见光图像对比度增强的图像融合方法
CN112435223B (zh) * 2020-11-11 2021-11-23 马鞍山市瀚海云星科技有限责任公司 目标检测方法、装置及存储介质
CN112435223A (zh) * 2020-11-11 2021-03-02 马鞍山市瀚海云星科技有限责任公司 目标检测方法、装置及存储介质
CN113053044B (zh) * 2020-11-17 2021-11-19 赵以龙 应用大数据服务的现场计价平台
CN113053044A (zh) * 2020-11-17 2021-06-29 泰州芯源半导体科技有限公司 应用大数据服务的现场计价平台
CN112991218A (zh) * 2021-03-23 2021-06-18 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN112991218B (zh) * 2021-03-23 2024-07-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN113139947A (zh) * 2021-04-28 2021-07-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113139947B (zh) * 2021-04-28 2024-06-07 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113223033A (zh) * 2021-05-10 2021-08-06 广州朗国电子科技有限公司 基于图像融合的家禽体温检测方法、设备以及介质
CN113379619A (zh) * 2021-05-12 2021-09-10 电子科技大学 去雾成像、能见度提取和景深估计的一体化处理方法
CN118691502A (zh) * 2024-08-22 2024-09-24 江苏北方湖光光电有限公司 恶劣天气下图像增强方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107680054B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN107680054A (zh) 雾霾环境下多源图像融合方法
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
Iwasokun et al. Image enhancement methods: a review
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
Liu et al. Texture filtering based physically plausible image dehazing
CN112101283A (zh) 一种交通标志智能识别方法及系统
Gupta et al. Fast single image haze removal method for inhomogeneous environment using variable scattering coefficient
CN116342519A (zh) 一种基于机器学习的图像处理方法
Hao et al. Texture enhanced underwater image restoration via laplacian regularization
Rekik et al. Review of satellite image segmentation for an optimal fusion system based on the edge and region approaches
CN105608683A (zh) 一种单幅图像去雾方法
CN117152016A (zh) 基于改进暗通道先验的图像去雾方法及其系统
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
Li et al. Single image dehazing via model-based deep-learning
Chi et al. Single image dehazing using a novel histogram tranformation network
CN114841907A (zh) 面向红外与可见光图像的多尺度生成对抗融合网络的方法
CN114972276A (zh) 一种车辆自动驾驶距离判断算法
CN109961413B (zh) 大气光方向优化估计的图像去雾迭代算法
CN112949389A (zh) 一种基于改进目标检测网络的雾霾图像目标检测方法
CN116309386B (zh) 一种光照复杂条件下的空间目标可见光图像线段检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant