CN103778618A - 一种可见光图像和红外图像的融合方法 - Google Patents

Abstract

本发明公开一种可见光图像与红外图像的融合方法，该方法使用红外域的扩展前景作为可见光及灰度图像的初始掩膜，然后对红外前景和掩膜可见光前景进行融合，实现来自不同域的互补区域的合成，对红外前景使用此融合信息进行掩膜处理，把结果得到的前景图像中连通区域作为候选目标提取出来，最后对红外域中每一个连通区域应用主动轮廓模型，检测出目标的边界。本发明抽取可见光图像和红外图像互补信息实现二者融合，与其它方法相比能获得更好的回想率。

Description

一种可见光图像和红外图像的融合方法

技术领域

本发明涉及一种基于可见光和红外图像互补信息的图像融合方法，用以融合同一场景的可见光和红外图像，可用于变电站高压设备识别。

背景技术

产生可见光图像的可见光摄像机需要外部照明。产生红外图像的红外摄像仪可昼夜使用，但红外图像缺少纹理和色彩等信息。由于可见光摄像机和红外摄像仪具有互补的特性，二者结合使用可以提高对象检测应用的性能。然而，可见光域和红外域都存在各自的问题。在可见光域，突然光照变化，阴影存在，夜间可视度差等都会导致可见光图像问题。红外图像也存在低信噪比，极性反转，在热或冷的对象周围出现光环效应等问题。因此，主要问题是如何将这两个域图像融合。

精度和回想是用来衡量对象检测应用性能的度量。精度是检测方法检测到的对象像素个数除以检测到的像素总个数的商。它决定了正确的对象像素与检测到的像素之比。回想是检测方法检测到的对象像素个数除以对象实际像素总个数的商。它是检测到的像素与对象实际像素之比。

可见光和红外信息的融合对于提高对象检测的回想率具有重要意义，但这种融合总是导致精度率的下降。由于红外图像能有效地提供前景信息，检测到的像素中大都是对象像素，这样当仅使用红外域时，精度就很高。可见光图像中前景检测通常很差，这样精度就很低。因此，当这些域融合后，精度下降，红外域和可见光域的回想率总是很低。

发明内容

针对现有技术的不足，本发明提出一种可见光图像和红外图像的融合方法，它可以将红外图像和可见光图像进行像素层级上的融合，形成综合互补信息的融合图像，最终实现回想率的大幅提高。

本发明的目的是通过以下技术方案予以实现的，一种可见光图像和红外图像的融合方法，其特征在于，包括如下具体步骤：

（1）使用红外域的扩展前景作为可见光域及灰度域的初始掩膜，分别对红外域、灰度域和可见光域每个像素的每个信道分别进行背景建模、前景检测和阴影检测；（2）对红外域的前景区域应用膨胀形态操作，使用膨胀的红外域前景像素对灰度域和可见光域前景像素进行掩膜处理；（3）掩膜处理过的灰度域和可见光域信道前景区域进行合成并对合成的结果去除阴影；（4）阴影去除后的可见光域前景图像和膨胀的红外光域前景图像进行融合，得到的前景区域用作对红外域图像掩膜处理；（5）最后对红外域中每一个连通区域应用主动轮廓模型（snake），检测出目标的边界。

进一步地，所述背景建模中，使用最近的帧计算背景模型的均值、方差和中值（I_med），为最小化孤立点效果，借助中值图像，使用以I_med(x,y)为中心的高斯分布为每个像素计算权值：

 （1）

这里

表示标准差，取值为5，通过计算加权均值和加权方差，构建每个像素的统计背景模型：

                              （2）

                    （3）

背景模型使用设计的更新因子

持续更新：

                        （4）

        （5）

所述前景检测中使用马氏距离平方（squared Mahalanobis distance）：

                           （6）

这里，C是协方差矩阵，Z表示门限值；

参照背景模型，为每个像素计算亮度和色度的减少基础上实现阴影检测，仅当下列条件满足时，像素p是一个阴影像素：

(1) 0.8≤C_L≤0.98, 这里C_L=p_L/B_L，

(2) C_UV≤20, 这里

这里，C_L是亮度变化；C_UV是色度变化；B_L，B_U和B_V是每一信道的平均背景值，另外，一个像素标记为阴影像素还需满足以下条件：

R=|S|/|F|                                                   （7）

利用(7)式计算候选阴影区域的面积|S|与检测到的前景区域面积|F|的比，如果α≤R≤β为真，阴影区域最终确定，这里参数α和β限制阴影区域面积相对于对应的重叠前景区域面积的大小。

进一步地，所述主动轮廓模型（snake）是基于Mumford-Shah分割技术和水平集方法，通过对曲线的评价，检测给定图像中对象的边界，表达式为：

   （8）

这里C是待演化的曲线，u₀(x,y)是给定的图像， c₁和c₂是曲线C内部和外部的平均灰度值，对象C₀的边界使得(8)式最小化，对(8)式加入正则项，能量函数变为

                        （9）

这里μ≥0,=0,λ₁=λ₂=1，需要对F(c₁,c₂,C)最小化，轮廓C

Ω由Lipschitz函数φ：Ω→R的0水平集表示，那么

通过引入Heaviside函数H和一维Dirac测度δ₀, 能量函数F中的项可被表示如下：

                     （10）

灰度项表示如下：

          （11）

平均灰度c₁和c₂用下式计算：

                             （12）

设c₁和c₂为常量,通过Euler-Lagrange方程，求φ使得F最小化：

                     （13）

这里曲度k表示为：

                               （14）

本算法用于从红外信道中提取的最终前景图像的每个连通区域。本发明在使用时，首先生成监测对象的可见光图像，然后读入红外热像仪拍摄的红外图像，使用本发明提出的可见光图像和红外图像融合算法对二者进行融合，达到识别红外热像仪拍摄的红外图像的目的。

本发明可见光图像和红外图像融合算法分别对红外域、灰度域和可见光域进行背景建模和前景检测。对掩膜灰度前景和掩膜可见光前景进行合成，再对合成的结果去除阴影。然后，对红外前景和掩膜可见光前景进行融合，实现来自不同域的互补区域的合成。对红外前景使用此融合信息进行掩膜处理，把结果得到的前景图像中连通区域作为候选目标提取出来。最后，对红外域中每一个连通区域应用主动轮廓模型，检测出目标的边界。本发明使用光环效应在红外图像中检测目标，使用snake模型获得目标的边界，光环效应帮助snake模型易于拟合边界。

本发明将红外图像中感兴趣的区域作为可见光图像的掩膜，由于前景对象的温度与背景模型非常接近，红外图像中一些对象区域未能检测到，在可见光图像中找到对应的前景区域后，可获得的可视线索被加到红外图像的前景区域，因此，使用对应的可视信息，热前景掩膜中丢失的区域被补全。最后对得到的红外图像运用snake算法，成功得到对象识别结果。

通常红外域的精度很高，这表明检测到的前景像素中大部分是对象像素。但是，当前景对象在背景对象前面时，若背景对象的温度值与前景对象接近，前景对象中的一些像素将检测不到。如果红外前景中未检测到像素所在区域在可见光图像中可被检测到，那么红外前景对象中未检测到的区域可被补全检测。根据上述思想，本发明综合可见光图像和红外图像的有用信息，提出一种新的融合算法，对二者融合后实现回想率的大幅提高。

附图说明

图1为本发明的流程图。

具体实施方式

可见光和红外域的同步和配准

时间上的同步通过手工标记在两个域中共存的明显线索并计算二者间的帧差来实现。空间上的配准通过手工方式在两个域开始部分的帧上选择对应的点并使用最小均方优化方法计算形态矩阵来实现。

背景建模和前景检测

由于SG（Single Gaussian）方法简单、速度快，并且精度和回想率都很高，在背景建模中使用SG方法。对每个像素的每个信道分别建模。使用最近的帧计算背景模型的均值、方差和中值（I_med）。为最小化孤立点效果，借助中值图像，使用以I_med(x,y)为中心的高斯分布为每个像素计算权值：

 （1）

这里

表示标准差，取值为5。通过计算加权均值和加权方差，构建每个像素的统计背景模型：

                             （2）

                    （3）

背景模型使用设计的更新因子

持续更新：

                          （4）

        （5）

前景检测中使用马氏距离平方（squared Mahalanobis distance）：

                           （6）

这里，C是协方差矩阵，Z表示门限值。红外、灰度和可见光信道的参数根据经验设置。

阴影检测

参照背景模型，在为每个像素计算亮度和色度的减少基础上实现阴影检测。阴影检测方法工作在L-U-V彩色空间。仅当下列条件满足时，像素p是一个阴影像素：

(1) 0.8≤C_L≤0.98, 这里C_L=p_L/B_L，

(2) C_UV≤20, 这里

这里，C_L是亮度变化；C_UV是色度变化；B_L，B_U和B_V是每一信道的平均背景值。另外，一个像素标记为阴影像素还需满足以下条件：R=|S|/|F|                                               （7）

利用(7)式计算候选阴影区域的面积|S|与检测到的前景区域面积|F|的比。如果α≤R≤β为真，阴影区域最终确定。这里参数α和β限制了阴影区域面积相对于对应的重叠前景区域面积的大小。

图像融合

在对红外、灰度和可见光背景建模以后，使用膨胀的红外前景像素对灰度和可见光前景像素通过按像素“与”操作进行掩膜处理。在掩膜处理过的灰度和可见光信道前景区域间，应用按像素“或”操作从这些域中去除阴影。然后，在阴影被去除的可见光前景图像和膨胀的红外前景图像间应用按像素“或”操作。最后，得到的前景区域被用作对红外图像的掩膜。

应用主动轮廓模型（snake）分割图像

主动轮廓模型的主要目标是通过对曲线的评价，检测给定图像中对象的边界。该方法基于Mumford-Shah分割技术和水平集方法。(8)式表达其主要思想：

   （8）

这里C是待演化的曲线，u₀(x,y)是给定的图像，假定两个区域在图像中具有近似恒定的灰度，c₁和c₂是曲线C内部和外部的平均灰度值，对象C₀的边界使得(8)式最小化。对(8)式加入正则项，能量函数变为

                        （9）

这里μ≥0,=0,λ₁=λ₂=1，需要对F(c₁,c₂,C)最小化，轮廓C

Ω由Lipschitz函数

φ：Ω→R的0水平集表示，那么

通过引入Heaviside函数H和一维Dirac测度δ₀, 能量函数F中的项可被表示如下：

                     （10）

灰度项表示如下：

          （11）

平均灰度c1和c2用下式计算：

                             （12）

设c1和c2为常量,通过Euler-Lagrange方程，求φ使得F最小化：

                     （13）

这里曲度k可表示为：

                                    （14）

本算法能被应用于从红外信道中提取的最终前景图像的每个连通区域，为获得更精确的结果，计算出每一个连通区域的面积和中心，用于Snake算法的初始化。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (3)

1.一种可见光图像和红外图像的融合方法，其特征在于，包括如下具体步骤：

（1）使用红外域的扩展前景作为可见光域及灰度域的初始掩膜，分别对红外域、灰度域和可见光域每个像素的每个信道分别进行背景建模、前景检测和阴影检测；（2）对红外域的前景区域应用膨胀形态操作，使用膨胀的红外域前景像素对灰度域和可见光域前景像素进行掩膜处理；（3）掩膜处理过的灰度域和可见光域信道前景区域进行合成并对合成的结果去除阴影；（4）阴影去除后的可见光域前景图像和膨胀的红外光域前景图像进行融合，得到的前景区域用作对红外域图像掩膜处理；（5）最后对红外域中每一个连通区域应用主动轮廓模型，检测出目标的边界。

2.根据权利要求1所述一种可见光图像和红外图像的融合方法，其特征在于，所述背景建模中，使用SG方法对每个像素的每个信道分别建模，使用最近的帧计算背景模型的均值、方差和中值（I_med），为最小化孤立点效果，借助中值图像，使用以I_med(x,y)为中心的高斯分布为每个像素计算权值：

 （1）

这里

表示标准差，取值为5，通过计算加权均值和加权方差，构建每个像素的统计背景模型：

                              （2）

                    （3）

背景模型使用设计的更新因子

持续更新：

                        （4）

        （5）

所述前景检测中使用马氏距离平方（squared Mahalanobis distance）：

                           （6）

这里，C是协方差矩阵，Z表示门限值；

参照背景模型，为每个像素计算亮度和色度的减少基础上实现阴影检测，仅当下列条件满足时，像素p是一个阴影像素：

(1) 0.8≤C_L≤0.98, 这里C_L=p_L/B_L，

(2) C_UV≤20, 这里

这里，C_L是亮度变化；C_UV是色度变化；B_L，B_U和B_V是每一信道的平均背景值，另外，一个像素标记为阴影像素还需满足以下条件：

R=|S|/|F|                                                   （7）

利用(7)式计算候选阴影区域的面积|S|与检测到的前景区域面积|F|的比，如果α≤R≤β为真，阴影区域最终确定，这里参数α和β限制阴影区域面积相对于对应的重叠前景区域面积的大小。

3.根据权利要求1所述一种可见光图像和红外图像的融合方法，其特征在于，所述主动轮廓模型是基于Mumford-Shah分割技术和水平集方法，通过对曲线的评价，检测给定图像中对象的边界，表达式为：

   （8）

这里C是待演化的曲线，u₀(x,y)是给定的图像， c₁和c₂是曲线C内部和外部的平均灰度值，对象C₀的边界使得(8)式最小化，对(8)式加入正则项，能量函数变为

                        （9）

这里μ≥0,

=0,λ₁=λ₂=1，需要对F(c₁,c₂,C)最小化，轮廓C

Ω由Lipschitz函数φ：Ω→R的0水平集表示，那么

通过引入Heaviside函数H和一维Dirac测度δ₀, 能量函数F中的项可被表示如下：

                     （10）

灰度项表示如下：

          （11）

平均灰度c₁和c₂用下式计算：

                             （12）

设c₁和c₂为常量,通过Euler-Lagrange方程，求φ使得F最小化：

                     （13）

这里曲度k表示为：

                               （14）

本算法用于从红外信道中提取的最终前景图像的每个连通区域。

Images