CN109214439A - 一种基于多特征融合的红外图像结冰河流检测方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的红外图像结冰河流检测方法，涉及图像检测河流领域，包括以下步骤：1.获取待处理的红外图像(x，y)，并提取红外图像(x，y)中的全局特征；2.将提取的红外图像(x，y)的全局特征进行多特征融合得到预处理图像，对预处理图像进行特征增强得到特征图像；3.对特征图像进行图像分割得到二值化图像，对二值化图像进行检测处理得到检测结果。本方法通过直接提取红外图像的全局特征，对全局特征进行融合及处理得到特征图像，提高了计算效率。通过形态学方法和Frangi滤波方法对图像进行特征增强，便于提取特征图像及对特征图像的处理，提高了检测的准确率。

Description

一种基于多特征融合的红外图像结冰河流检测方法

技术领域

本发明涉及图像检测河流领域，具体涉及一种基于多特征融合的红外图像结冰河流检测 方法。

背景技术

红外图像在军事和生活中有着极为广泛的应用，如安防监控、地理信息系统更新、环境 检测等，由此对于红外图像中不同种类的目标进行提取成为了近年来的研究热点，针对结 冰河流的提取就是其中的一个问题。目前针对河流检测的方法数量较少，且由于红外图像 成像距离远且分辨率较低，因此，红外图像中的目标容易与背景等其他干扰信息混淆，使 得检测难度增大。

目前，遥感图像中的结冰河流检测方法主要是利用边缘信息或复杂的数学模型，例如 snake、genetic。Sun和Mao在2011年提出了在小波变换区域提取边缘信息并结合脊追踪技 术的合成孔径雷达(synthetic aperture radar，SAR)图像中的河流检测方法。Dillabaugh等人在 2002年提出了使用最小成本路径搜索方法和snake模型的河流检测算法。除此之外，一些 方法将边缘信息与数学模型相结合来检测河流，例如Niedermeier等人将小波分解、Mallet 边缘提取、区域生长及snake模型相结合，成功检测出了SAR图像中的海岸线。

此外，遥感图像中的目标检测方法也常常使用融合方法，但目前大部分的融合方法都是 将不同种类的原始数据进行融合或者将大量的处理结果在决策级进行融合。例如Nikolakopoulos等人在2004年将多传感器多时空数据与全色图、多光谱数据进行融合，检测出了河道的变化。Cao和Jin在2013年将红外数据与微波数据进行融合从而减少了噪声和其他干扰。Pradhan等人在2016年将机载激光扫描数据与QuickBird遥感数据进行了融合， 提取出了图像中的滑坡。除此之外，还有一些决策级的融合方法用于遥感图像中的目标检 测，例如Chanussot等人在1999年将多时空数据的不同检测结果通过相补和相反操作进行 了融合，Cui等人在2012年使用多分类器决策融合成功检测出了图像中的滑坡区域。

然而，利用图像的局部信息(如边缘信息)和数学模型检测结冰河流的效率低下，并且， 现有的遥感图像处理方法使用的数据融合及决装级融合方法需要一定数量且类型丰富的原 始数据，存在无法解决类型单一、数据量少的问题。

发明内容

本发明的目的在于：为解决通过局部信息和数学模型检测结冰河流的计算复杂、效率低 以及数据融合或决策级融合方法难以依据数据量少、种类单一的图像准确地检测出结冰河 流的问题，提供了一种基于多特征融合的红外图像结冰河流检测方法。

本发明采用的技术方案如下：

一种基于多特征融合的红外图像结冰河流检测方法，包括以下步骤：

步骤1.获取待处理的红外图像(x，y)，并提取红外图像(x，y)中的全局特征；

步骤2.将提取的红外图像(x，y)的全局特征进行多特征融合得到预处理图像，对预处理 图像进行特征增强得到特征图像；

步骤3.对特征图像进行图像分割得到二值化图像，对二值化图像进行检测处理得到检测 结果。

进一步地，提取的全局特征包括灰度特征、频率调制特征、相位谱、谱残差特征，各个 特征的计算公式如下：

s＝T(r) (1)

S_FT(x，y)＝||I_G(x，y)-I_μ|| (2)

I_F(f)＝F(I(x)) (3)

L(f)＝Log{R[I_F(f)]} (4)

P(f)＝I[I_F(f)] (5)

SR(f)＝L(f)-H*L(f) (6)

S(x)＝G*F^-1{exp[SR(f)+iP(f)]}² (7)

其中，公式(1)中，r表示红外图像(x，y)中每个像素的灰度值，T()表示Matlab中的灰 度调整函数imadjust()，s表示红外图像(x，y)的灰度特征；公式(2)中，x表示红外图像(x，y)中 像素的横坐标，y表示红外图像(x，y)中像素的纵坐标，I_G(x，y)表示红外图像(x，y)经高斯算 子G＝exp(-(x²+y²)/2σ²)滤波后的处理图像A，σ表示高斯滤波方差，I_μ表示红外图像 (x，y)的灰度均值，S_FT(x，y)表示红外图像(x，y)的频率调制特征；公式(3)中，I_F(f)表示红 外图像(x，y)经傅里叶变换函数F()变换后得到的处理图像B，F＝∫I(x)exp(-ifx)dx，I(x)表 示红外图像(x，y)的像素值，f表示频率，x表示红外图像(x，y)中像素的横坐标；公式(4)中， R[I_F(f)]表示取处理图像B实数部分得到的幅度谱b，L(f)表示对幅度谱b取对数Log后的 幅度谱B，幅度谱B即为红外图像(x，y)的幅度谱；公式(5)中，I[]表示处理图像B的虚 数部分的值，P(f)表示红外图像(x，y)的相位谱；公式(6)中，H表示平滑算子且 E_5×5表示大小为5×5的单位矩阵，SR(f)表示红外图像(x，y)的谱残差；公式(7)中，G表示 高斯算子，F^-1表示傅里叶逆变换函数，i表示虚数单位，x表示红外图像(x，y)中像素的横坐 标，S(x)表示红外图像(x，y)的谱残差特征；将计算得到的灰度特征、频率调制特征、相位 谱、谱残差特征放入数组I(I₁，I₂，...，I_n)中。

进一步地，步骤2中，采用主成分分析方法对提取的全局特征进行融合，融合步骤如下：

步骤2.1.计算红外图像(x，y)的偏差特征：

其中，i表示数组I中元素的下标，I_i表示数组I中下标为i的特征，表示特征I_i规范化后 的特征，即从下标为i的特征I_i中减去红外图像(x，y)的灰度均值后得到的特征，S_i表示特征I_i经低通滤波后的特征，S_i＝I_i*G，*表示卷积，G表示高斯算子，D_i表示数组I中下标为i的 特征对应的偏差特征；

步骤2.2.基于红外图像(x，y)的偏差特征，通过主成分分析法对红外图像(x，y)的全局特征 进行融合，融合规则如下：

其中，i表示数组I中元素的个数，λ_i表示数组I中下标为i的特征对应的特征值，a_i表示 数组I中下标为i的特征的权值，表示经主成分分析后重建的特征，W_i表示特征经高斯 低通滤波处理后的特征，M表示预处理图像。

进一步地，步骤2中，根据预处理图像得到特征图像的方法为：对预处理图像做形态学 腐蚀和膨胀操作得到初始特征图像，初始特征图像经Frangi滤波处理得到特征图像。

进一步地，Frangi滤波处理的计算公式如下：

其中，σ表示高斯滤波方差，R_B表示像素结构的判断函数且 和表示初 始特征图像的每个像素点经其对应的Hessian矩阵计算求得的两个特征值和且 P表示对前景和背景的判断值且β和c表示常数阈值，V₀表示响应结果；选 取不同高斯滤波方差进行计算，以根据高斯滤波方差为ρ时计算得到的最大的响应结果为特 征图像。

进一步地，根据特征图像得到二值化图像的具体方法如下：利用Ostu方法对特征图像 进行图像二值化得到初始二值化图像，对初始二值化图像进行形态学孔洞填充及面积筛选， 得到二值化图像。

进一步地，通过二值化图像得到检测结果的具体方法如下：根据河流性质，利用检测规 则得到检测结果，其中，检测规则如下：

其中，width表示包含河流区域的最小矩形框的宽，length表示包含河流区域的最小矩 形框的长，根据width＜length得到检测结果，即检测出红外图像(x，y)中的结冰河流。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，通过提取红外图像中的全局特征信息，降低了利用数学模型来检测结冰 河流的计算复杂度，利用基于偏差特征的主成分分析方法进行多特征融合，在保留了主成 分的情况下，同时保留了更多的高频信息，解决了难以根据种类单一、数据量少的图像准 确地检测出结冰河流的问题。

2、本发明中，将Frangi滤波方法引入到结冰河流的检测中，对已经通过形态学处理后 的初始特征图像进行特征增强，通过Frangi滤波方法实现对已通过形态学特征增强后的图 像中的河流区域突出，有利于后期提取特征图像等一系列操作，提高了检测的准确率。

3、本发明中，以一种简单高效的结冰河流检测规则，避免了利用边缘信息及数学模型 检测结冰河流导致的计算效率低的问题，在保证了准确率的同时，提高了计算效率，其计 算效率可降到200ms/幅图像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简 单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围 的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他相关的附图。

图1为本发明的方法的流程图；

图2为本发明的多特征融合流程图；

图3为本发明的实施例1中的待处理的红外图像；

图4为本发明的实施例1中提取的红外图像的灰度特征图；

图5为本发明的实施例1中提取的红外图像的频率调制特征图；

图6为本发明的实施例1中提取的红外图像的谱残差特征图；

图7为本发明的实施例1中融合后的预处理图像；

图8为本发明的实施例1中的初始特征图像；

图9为本发明的实施例1中的特征图像；

图10为本发明的实施例1中的二值化图像；

图11为本发明的检测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本 发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不 用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。 通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设 计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本 发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员 在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与 另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实 际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包 含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包 括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要 素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述 要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

本发明较佳实施例提供的一种基于多特征融合的红外图像结冰河流检测方法，包括以下 步骤：

步骤1.获取待处理的红外图像(x，y)，如图3所示，提取红外图像(x，y)中的全局特征。 其中，全局特征包括灰度特征、频率调制特征、相位谱、谱残差特征，各个特征的计算公式如下：

s＝T(r) (1)

S_FT(x，y)＝||I_G(x，y)-I_μ|| (2)

I_F(f)＝F(I(x)) (3)

L(f)＝Log{R[I_F(f)]} (4)

P(f)＝I[I_F(f)] (5)

SR(f)＝L(f)-H*L(f) (6)

S(x)＝G*F^-1{exp[SR(f)+iP(f)]}² (7)

其中，公式(1)中，r表示红外图像(x，y)中每个像素的灰度值，T()表示Matlab中的灰 度调整函数imadjust()，s表示红外图像(x，y)的灰度特征；公式(2)中，x表示红外图像(x，y)中 像素的横坐标，y表示红外图像(x，y)中像素的纵坐标，I_G(x，y)表示红外图像(x，y)经高斯算 子G＝exp(-(x²+y²)/2σ²)滤波后的处理图像A，σ表示高斯滤波方差，I_μ表示红外图像 (x，y)的灰度均值，灰度均值为红外图像(x，y)中每个像素的灰度值相加总和除以红外图像 (x，y)的像素总数，S_FT(x，y)表示红外图像(x，y)的频率调制特征；公式(3)中，I_F(f)表示红 外图像(x，y)经傅里叶变换函数F()变换后得到的处理图像B，F＝∫I(x)exp(-ifx)dx，I(x)表 示红外图像(x，y)的像素值，f表示频率，x表示红外图像(x，y)中像素的横坐标；公式(4)中， R[I_F(f)]表示取处理图像B实数部分得到的幅度谱b，L(f)表示对幅度谱b取对数Log后的 幅度谱B，幅度谱B即为红外图像(x，y)的幅度谱；公式(5)中，I[]表示处理图像B的虚 数部分的值，P(f)表示红外图像(x，y)的相位谱；公式(6)中，H表示平滑算子且 E_5×5表示大小为5×5的单位矩阵，SR(f)表示红外图像(x，y)的谱残差；公式(7)中，G表示 高斯算子，F^-1表示傅里叶逆变换函数，i表示虚数单位，x表示红外图像(x，y)中像素的横坐 标，S(x)表示红外图像(x，y)的谱残差特征；将计算得到的灰度特征、频率调制特征、相位 谱、谱残差特征放入数组I(I₁，I₂，...，I_n)中。

步骤2.将提取的红外图像(x，y)的全局特征进行多特征融合得到预处理图像，对预处理 图像进行特征增强得到特征图像。采用主成分分析方法对提取的全局特征进行融合，融合 全局特征的步骤如下：

步骤2.1.计算红外图像(x，y)的偏差特征：

其中，i表示数组I中元素的下标，I_i表示数组I中下标为i的特征，表示特征I_i规范化后 的特征，即从下标为i的特征I_i中减去红外图像(x，y)的灰度均值后得到的特征，S_i表示特征I_i经低通滤波后的特征，S_i＝I_i*G，*表示卷积，G表示高斯算子，D_i表示数组I中下标为i的 特征对应的偏差特征。

步骤2.2.基于红外图像(x，y)的偏差特征，通过主成分分析法对红外图像(x，y)的全局特征 进行融合，融合规则如下：

其中，i表示数组I中元素的个数，λ_i表示数组I中下标为i的特征对应的特征值，a_i表示 数组I中下标为i的特征的权值，表示红外图像(x，y)经主成分分析后重建的特征，即选取 红外图像(x，y)所包含的内容中最主要的部分特征，W_i表示特征经高斯低通滤波处理后的 特征，M表示预处理图像，如图7所示。

根据预处理图像得到特征图像的具体方法如下：对预处理图像做形态学腐蚀和膨胀操作 得到初始特征图像，如图8所示，通过Frangi滤波方法对初始特征图像进行处理得到特征 图像，如图9所示。其中，腐蚀操作具体表现为：选取形状为线性的图像作为线性结构元， 将选取的线性结构元与预处理图像进行比对，若该线性结构元与预处理图像的交集区域完 全属于预处理图像区域，则保留预处理图像中与线性结构元的交集区域，反之则不保留。 膨胀操作具体表现为：利用选取的线性结构元与预处理图像进行卷积操作，若移动线性结 构元的过程中，线性结构元与预处理图像存在重叠区域，则保留该区域。

Frangi滤波处理的计算公式如下：

其中，σ表示高斯滤波方差，R_B表示像素结构的判断函数且 和表示初 始特征图像的每个像素点经其对应的Hessian矩阵计算求得的两个特征值和每个像素 点对应的Hessian矩阵为该像素点的二阶导数矩阵，且P表示对前景和背景的判断 值且β和c表示常数阈值，本实施例中，β＝0.5，c＝5，V₀表示响应结果。 选取不同高斯滤波方差进行计算，以根据高斯滤波方差为ρ(ρ∈[0.1，1])时计算得到的最大的响 应结果为特征图像，即：

步骤3.对特征图像进行图像分割得到二值化图像，对二值化图像进行检测处理得到检测 结果。根据特征图像得到二值化图像的具体方法如下：1)利用Ostu方法对特征图像进行 图像二值化得到初始二值化图像；2)对初始二值化图像进行形态学孔洞填充及面积筛选， 得到二值化图像，如图10所示，其中面积筛选的方法为：先对初始二值化图像进行面积筛 选，去除过大和过小的面积以增强检测准确率。再根据河流性质设定检测规则，河流性质 即河流为长条形或管状，长大于宽，检测规则如下：

其中，width表示包含河流区域的最小矩形框的宽，length表示包含河流区域的最小矩 形框的长，根据width＜length得到检测结果，即检测出红外图像(x，y)中的结冰河流，如图 11所示，白色区域为检测出的结冰河流。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原 则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，包括以下步骤：

步骤1.获取待处理的红外图像(x，y)，并提取红外图像(x，y)中的全局特征；

步骤2.将提取的红外图像(x，y)的全局特征进行多特征融合得到预处理图像，对预处理图像进行特征增强得到特征图像；

步骤3.对特征图像进行图像分割得到二值化图像，对二值化图像进行检测处理得到检测结果。

2.根据权利要求1所述的一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，提取的全局特征包括灰度特征、频率调制特征、相位谱、谱残差特征，各个特征的计算公式如下：

s＝T(r) (1)

S_FT(x，y)＝||I_G(x，y)-I_μ|| (2)

I_F(f)＝F(I(x)) (3)

L(f)＝Log{R[I_F(f)]} (4)

P(f)＝I[I_F(f)] (5)

SR(f)＝L(f)-H*L(f) (6)

S(x)＝G*F^-1{exp[SR(f)+iP(f)]}² (7)

其中，公式(1)中，r表示红外图像(x，y)中每个像素的灰度值，T()表示Matlab中的灰度调整函数imadjust()，s表示红外图像(x，y)的灰度特征；公式(2)中，x表示红外图像(x，y)中像素的横坐标，y表示红外图像(x，y)中像素的纵坐标，I_G(x，y)表示红外图像(x，y)经高斯算子G＝exp(-(x²+y²)/2σ²)滤波后的处理图像A，σ表示高斯滤波方差，I_μ表示红外图像(x，y)的灰度均值，S_FT(x，y)表示红外图像(x，y)的频率调制特征；公式(3)中，I_F(f)表示红外图像(x，y)经傅里叶变换函数F()变换后得到的处理图像B，F＝∫I(x)exp(-ifx)dx，I(x)表示红外图像(x，y)的像素值，f表示频率，x表示红外图像(x，y)中像素的横坐标；公式(4)中，R[I_F(f)]表示取处理图像B实数部分得到的幅度谱b，L(f)表示对幅度谱b取对数Log后的幅度谱B，幅度谱B即为红外图像(x，y)的幅度谱；公式(5)中，I[]表示处理图像B的虚数部分的值，P(f)表示红外图像(x，y)的相位谱；公式(6)中，H表示平滑算子且E_5×5表示大小为5×5的单位矩阵，SR(f)表示红外图像(x，y)的谱残差；公式(7)中，G表示高斯算子，F^-1表示傅里叶逆变换函数，i表示虚数单位，x表示红外图像(x，y)中像素的横坐标，S(x)表示红外图像(x，y)的谱残差特征；将计算得到的灰度特征、频率调制特征、相位谱、谱残差特征放入数组I(I₁，I₂，...，I_n)中。

3.根据权利要求2所述的一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，步骤2中，采用主成分分析方法对提取的全局特征进行融合，融合步骤如下：

步骤2.1.计算红外图像(x，y)的偏差特征：

其中，i表示数组I中元素的下标，Ii表示数组I中下标为i的特征，表示特征Ii规范化后的特征，即从下标为i的特征I_i中减去红外图像(x，y)的灰度均值后得到的特征，S_i表示特征I_i经低通滤波后的特征，S_i＝I_i*G，*表示卷积，G表示高斯算子，D_i表示数组I中下标为i的特征对应的偏差特征；

步骤2.2.基于红外图像(x，y)的偏差特征，通过主成分分析法对红外图像(x，y)的全局特征进行融合，融合规则如下：

其中，i表示数组I中元素的个数，λ_i表示数组I中下标为i的特征对应的特征值，a_i表示数组I中下标为i的特征的权值，表示经主成分分析后重建的特征，W_i表示特征经高斯低通滤波处理后的特征，M表示预处理图像。

4.根据权利要求3所述的一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，步骤2中，根据预处理图像得到特征图像的方法为：对预处理图像做形态学腐蚀和膨胀操作得到初始特征图像，初始特征图像经Frangi滤波处理得到特征图像。

5.根据权利要求4所述的一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，Frangi滤波处理的计算公式如下：

其中，σ表示高斯滤波方差，R_B表示像素结构的判断函数且 和表示初始特征图像的每个像素点经其对应的Hessian矩阵计算求得的两个特征值和且P表示对前景和背景的判断值且β和c表示常数阈值，V₀表示响应结果；选取不同高斯滤波方差进行计算，以根据高斯滤波方差为ρ时计算得到的最大的响应结果为特征图像。

6.根据权利要求1或5所述的一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，根据特征图像得到二值化图像的具体方法如下：利用Ostu方法对特征图像进行图像二值化得到初始二值化图像，对初始二值化图像进行形态学孔洞填充及面积筛选，得到二值化图像。

7.根据权利要求6所述的一种基于多特征融合的红外图像结冰河流检测方法，其特征在于，通过二值化图像得到检测结果的具体方法如下：根据河流性质，利用检测规则得到检测结果，其中，检测规则如下：

其中，width表示包含河流区域的最小矩形框的宽，length表示包含河流区域的最小矩形框的长，根据width＜length得到检测结果，即检测出红外图像(x，y)中的结冰河流。