CN107451595A - 基于混合算法的红外图像显著性区域检测方法 - Google Patents

Abstract

本发明公开一种基于混合算法的红外图像显著性区域检测方法，首先，对原始红外图像进行局部稀疏表示，得到基于局部稀疏表示的初始显著图；其次，提出了融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对原始红外图像进行处理，得到突显目标并抑制背景的前景预测图；第三，将原始图像与前景预测图相减，得到原始红外图像的背景图；最后，将初始显著图减去背景图，得到最终的显著性区域检测结果。该结果与初始显著图相比，显著性区域的轮廓更加清晰，且非显著性区域被充分抑制。本发明通过混合局部稀疏表示理论、信息熵、及最大标准差，来实现红外图像的显著性区域检测，可以获得更加精确的结果。

Description

基于混合算法的红外图像显著性区域检测方法

技术领域

本发明涉及一种基于混合算法的红外图像显著性区域检测方法，属于图像处理技术领域。

背景技术

随着图像处理技术的快速发展，图像视觉显著性检测成为一个备受关注的课题。显著性检测广泛用于图像处理各个领域，比如图像分割、图像搜索、物体检测和识别等。而图像的显著性检测，就是让计算机快速地辨别出红外图像中含有有用信息、且人类视觉中最为关注的显著性区域。显著性的结果是能够获得完整，清晰且无背景干扰的突显显著性区域的显著图。

目前，我国在该领域相关专利有：一种基于移动视觉焦点的图像视觉显著性检测方法(公开号：CN103810707A)，该方法首先运用基于图的分割算法将原始图像进行分割；然后对原始图像进行量化及高频颜色筛选；利用分割图像获得量化图像对应的分割区域并进行区域对比计算，以获得某一区域的显著值，从而获得初始显著图；利用显著性引力模型计算视觉焦点的移动距离及移动方向以获取下一个视觉焦点，直到当前焦点距离与上一焦点距离小于1为止；运用最终的视觉焦点对获得最终视觉焦点的前一次获得显著图加权而获得最终显著图。该检测方法虽然可以突出显著物体，并很好地抑制图像背景，但仍然存在不足的是，该方法获得的显著性物体目标不均匀，而且无法保留目标的完整边界。

基于色彩直方图和全局对比度的图像视觉显著性计算方法(公开号：CN102129693A)，该方法同时考虑了全局对比度和空间相干性，但是由于仅利用了颜色直方图和空间关系，得到的显著图是基于分割区域而非像素，使得最终的显著图比较粗糙，并且在背景较为复杂时检测结果不太理想。

综上所述，目前关于图像显著性检测的方法挺多，但是依然存在不足，算法不够成熟，不足之处体现在，目标突显不均匀，边界信息容易缺失，在面对复杂的背景时，难以去除背景噪声，依然存在大量的背景干扰。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种专门面向红外图像的显著性检测方法，它能够保证在完全抑制背景噪声的同时，清晰突显出显著性区域。

技术方案：一种基于混合算法的红外图像显著性区域检测方法，包括如下步骤：

步骤一：对原始红外图像S进行局部稀疏表示，在进行局部稀疏表示的时候采用多尺度局部稀疏表示方法，得到初始显著图S_M；

步骤二：提出了融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对原始红外图像S进行处理，得到突显目标并抑制背景的前景预测图S_y；

步骤三：将原始红外图像S与步骤二获得的前景预测图相减，得到原始红外图像的背景图S_b；

步骤四：将步骤一得到的初始显著图S_M减去步骤三得到的背景图S_b，得到最终的显著图S_Map。

其中，在步骤一中，多尺度局部稀疏表示得到初始显著图的具体操作过程如下：

步骤a：给定一个以元素x∈R²为中心的输入图像S，取分块大小为而表示以x为中心并且包含n个元素的块，设定一个大小为的局部搜索框，局部搜索框以x为中心，k为局部搜索框中非中心元素的个数，为以搜索框中每个非中心元素作为中心元素的块，其中i＝1,2...k，因此，用非中心块来线性表示中心块的表达式如下：

其中，是非中心元素块的矩阵，是线性组合的系数向量；

步骤b：将步骤a中中心块的表达式表示为下述等式：

其中为包含少量非零元素的系数向量，表示伪l₀范数，通过正交匹配追踪来解包含少量非零元素的系数向量中心块经过稀疏表示后得到的线性组合如下：

步骤c：图像显著性可通过重构图像与原来图像的残差来获得，用下式来简单的表示图像显著性：

其中||·||₂表示L₂范数；

步骤d：对整个图像进行局部稀疏表示，即将搜索框从上到下，从左到右搜索整个图像，并且在局部搜索框内对每个元素都进行稀疏表示，最后求步骤c中等式的残差得到整个图像的显著图S_M1。

步骤e：将原始图像S的分块大小设置为再进行a～f步骤所述的局部稀疏表示处理，得到图像显著图S_M2；

步骤f：将S_M1和S_M2进行加权融合，得到红外图像初始显著图S_M。

进一步的，所述步骤二中，对原始红外图像进行融合二维最大熵/最小交叉熵和最大标准差操作的操作过程如下：

步骤a：对原始红外图像进行二维最大熵结合最小交叉熵操作如下：

设定二维最大熵为S(t,s)，二维最小交叉熵为I(t,s),(t,s)为阈值向量，通过多目标规划理论，将两种阈值法的目标函数构成新的目标函数：

H(t,s)＝λ₁×S(t,s)+λ₂×I(t,s)

则最佳阈值为：

其中：L为整个图像的灰度级，λ₁＝1-λ₂，λ₂的值由S(t,s)，I(t,s)通过线性加权法获得，而S(t,s)和I(t,s)通过递推算法来获得，最终得到H(t,s)以及我们所需的最佳阈值(t^*,s^*)，通过这个最佳阈值，得到阈值分割的分割图像S_f。

步骤b：对原始红外图像进行最大标准差的操作步骤如下：

对于一个原始红外图像S，其最大标准差图像为：

其中，M×N为红外图像的大小，为图像内像素的平均灰度值，并且

步骤c：融合二维最大熵/最小交叉熵和最大标准差操作的操作过程如下：

本发明将采用相乘融合，对最大熵/最小交叉熵和最大标准差进行融合，将步骤a得到的分割图像S_f和步骤b获得的最大标准差图像S_z进行相乘融合，得到我们的前景预测图像S_y：S_y＝S_f×S_z。

在步骤三中，多尺度局部稀疏表示得到初始显著图的具体操作过程如下：

将原始图像与前景预测图相减，得到原始红外图像的背景图：S_b＝S-S_y

在步骤四中，将初始显著图减去背景图，得到最终的显著性区域检测结果：S_Map＝S_M-S_b。

与现有技术相比，本发明的优点在于：

它能够在抑制背景噪声的同时，将要突显的显著性区域清晰的突显出来，而且突显的显著性区域轮廓非常的明显和清晰，相对于原图中的显著性区域来说，还原度很高，与现有方法相比，它能够保证更高的检测率。

附图说明

图1是本发明的结构框图；

图2是具体实施例中的结构示意图；

图3是具体实施例中获取红外图像背景图的结构框图；

图4是具体实施例中获取最终显著图的示意图；

图5是具体实施例中得出的最终显著图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

基于混合算法的红外图像显著性区域检测方法，首先，对原始红外图像进行局部稀疏表示，得到基于局部稀疏表示的初始显著图；其次，提出了融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对原始红外图像进行处理，得到突显目标并抑制背景的前景预测图；第三，将原始图像与前景预测图相减，得到原始红外图像的背景图；最后，将初始显著图减去背景图，得到最终的显著性区域检测结果。

其中，所述的对红外图像进行局部稀疏表示，采用的是多尺度局部稀疏表示，它是图像进行分割时，在分块时对分块尺寸取不同值进行的一种多尺度，然后将这两者分别进行局部稀疏表示得到的显著图进行加权融合，得到基于局部稀疏表示的初始显著图。

所述的对原始红外图像融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，首先，对原始红外图像进行二维最大熵结合最小交叉熵操作，对原始红外图像进行一定的熵值分析，计算其二维最大熵和最小交叉熵，再通过多目标规划理论将这两种方法有机结合，并运用递推方式进行运算，获得阈值分割的最佳阈值，使得到的阈值既满足二维最大熵原则，又满足二维最小交叉熵原则，从而得到所需的有效且效果更好的分割图像，这个分割图像保证能够突显显著性区域，抑制背景噪声；其次，对原始红外图像进行最大标准差的方法，得到能够很好保持原图结构及细节，并且保证显著性区域和背景有很高的差异的最大标准差图像；最后，将分割图像与最大标准差图像进行相乘融合，取两者优点，得到突显显著性区域以及抑制背景的前景预测图。

所述的获取背景图，是将原始红外图像与获得的前景预测图相减，得到原始红外图像的背景图。

所述的获得最终显著图，是将初始显著图减去得到的背景图，得到最终的显著图。

基于混合算法的红外图像显著性区域检测方法，整体操作过程如图2所示，具体实施步骤如下：

1)对原始图像进行分割处理时，设定分割时分块大小为12×12，再对分割后图像进行局部稀疏表示处理，得到图像显著图S_M1；

2)将原始图像分割的分块大小设置为16×16，再进行局部稀疏表示处理，得到图像显著图S_M2；

3)将S_M1和S_M2进行加权融合，得到红外图像初始显著图S_M。

4)对原始红外图像进行融合二维最大熵/最小交叉熵和最大标准差的前景预测算法，得到突显目标并抑制背景的前景预测图S_y；

5)将原始红外图像S与得到的前景预测图S_y相减，得到背景图S_b；

6)将进行多尺度局部稀疏表示得到的初始显著图S_M与背景图S_b进行相减，得到我们最终所需的清晰突显显著性区域，完全抑制背景噪声的最终显著图S_Map。

A.采用多尺度局部稀疏表示方法得到图像显著图的操作原理如下：

给定一个以元素x∈R²为中心的输入图像，现用来表示以x为中心并且包含n个元素的块，设定一个大小为的局部搜索框，同样这个搜索框是以x为中心的，k即为这个局部搜索框中非中心元素的个数，为以搜索框中每个非中心元素作为中心元素的块，其中i＝1,2...k，因此，可以用非中心块来线性表示我们的中心块，表达式如下：

其中，是非中心元素块的矩阵，是线性组合的系数向量。

为了使得系数能够更好更高效的线性表示输入图像，需要系数向量中只有少数的非零元素，因此，将表达式(1)表示成下面的等式：

其中，为包含少量非零元素的系数向量，表示伪l₀范数，要想精确地解出等式(2)的包含少量非零元素的系数向量通过正交匹配追踪来解得。中心块经过稀疏表示后得到的线性组合如下：

图像显著性可通过重构图像与原来图像的残差来获得。因此，用下式来简单的表示图像显著性：

其中||·||₂表示L₂范数。

对整个图像进行局部稀疏表示，即将搜索框从上到下，从左到右搜索整个图像，并且在局部搜索框内对每个元素都进行稀疏表示，最后求等式(4)的残差得到整个图像的显著图。

上述过程为单尺度局部稀疏表示求取显著图的过程，通过对原始图像S进行分块处理时，选取不同的分块大小，对分块后的图像进行局部稀疏表示处理，可以得到对应的不同的显著图，将这些显著图进行加权融合，最终得到红外图像初始显著图S_M。

B.对原始红外图像进行融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法操作，获得前景预测图并以此获得背景图操作过程如图3所示：

1)设定二维最大熵为S(t,s)，二维最小交叉熵为I(t,s),(t,s)为阈值向量，针对这两种阈值法的目标函数构造其新目标函数H(t,s)：

H(t,s)＝λ₁×S(t,s)+λ₂×I(t,s) (5)

则最佳阈值为：

其中：L为整个图像的灰度级，λ₁＝1-λ₂，其求解过程通过线性加权法得知，λ₂的值由S(t,s)，I(t,s)来决定。而S(t,s)和I(t,s)通过可递推算法来获得，最终得到H(t,s)以及最佳阈值(t^*,s^*)，通过这个最佳阈值，得到阈值分割的分割图像S_f，此分割图像能够有效的分割出显著性区域，为后续操作奠定基础。

2)标准差，也称为均方差，是各数据偏离平均数距离的平均数，标准差是方差的算数平方根，它能反映一个数据集的离散程度。在图像处理中，标准差的意义也类似，像素块的标准差越高，说明像素块区域灰度值越离散，像素点的差异越显著，因此，本发明采用最大标准差方法，以保证显著性区域和背景有很高的差异。

对于一个原始红外图像S，其最大标准差图像为:

其中，M×N为红外图像的大小，为图像内像素的平均灰度值，并且

通过最大标准差方法得到的图像S_z是一个能够很好保持原图结构及细节，并且保证显著性区域和背景有很高的差异，它有利于完成背景图的获得以及获得突显显著性区域，完全抑制背景的最终显著图。

3)融合二维最大熵/最小交叉熵和最大标准差操作：

本发明将采用相乘融合对最大熵/最小交叉熵和最大标准差进行融合。对于相乘融合来说，它得到的融合图像比较大比例的显示像素值最大的区域，能够获得突显显著性区域以及抑制背景的前景预测图，因此，将获得的分割图像S_f和获得的最大标准差图像S_z进行相乘融合，得到我们的前景预测图像S_y：S_y＝S_f×S_z。

4)获取背景图，将原始图像与前景预测图相减，得到原始红外图像的背景图：S_b＝S-S_y，这个背景图不仅能够将背景全部呈现出来，而且还能够获取显著性区域的轮廓。

C.本发明通过基于局部稀疏表示的初始显著图和背景图获得最终的显著图S_Map，具体过程如图4所示：

通过上述的局部稀疏表示我们获取到了能够完整突显显著性区域的基于局部稀疏表示的初始显著图S_M，但由于这个显著图存在突显出的显著性区域模糊，以及残留背景干扰的问题，为了得到更好的突显显著性区域，抑制背景的显著图，我们通过获取原始红外图像的背景图，将基于局部稀疏表示的初始显著图与背景图相减，得到最终所需的显著图S_Map，其表达式如下：

S_Map＝S_M-S_b (8)

这个获得的显著图S_Map能够清晰的，完整的突显显著性区域，并且完全的抑制背景噪声。

结合仿真条件与结果对本发明做进一步的描述

1)仿真条件

本次实验是在PC机(Intel Core,主频2.6GH_Z，内存4GB)中，Matlab2013b编程环境中对俄勒冈州立大学(OSU)热行人数据库以及自己收集制作的红外图像数据库中选取的图片进行实验。

2)仿真内容与结果分析

如图5所示，通过一个实例给出，采用本发明提出的一种基于混合算法的红外图像显著性区域检测方法，以中间过程中利用基于局部稀疏表示初始显著图，前景预测图，背景图而获得最终的显著图。

在本实验中，挑选了三种不同类型的图片，分别是单人体，多人体，非人体图片，从实验结果来看，基于混合算法的红外图像显著性区域检测方法，能够很好的突显显著性区域，所突显出的显著性区域不仅轮廓清晰，内部完整，而且能够完全的抑制背景噪声，而仅仅只经过单纯的局部稀疏表示得到的初始显著图，它突显的显著性区域虽然完整但是模糊，轮廓不清晰，并且依旧包含大量的背景杂波；而通过将信息熵方法结合最大标准差得到的前景预测图，能够初步突显显著性区域，抑制部分背景，通过将原始红外图像减去前景预测图获得背景图，这个背景图能够显示显著性区域的轮廓，再将初始显著图与背景图相减后，能够在抑制背景杂波的同时，清晰突显显著性区域的轮廓，获得更加完整，清晰的突显显著性区域的最终显著图。

综上所述，通过将局部稀疏表示结合信息熵和最大标准差方法，得到最终能够完整，清晰的突显显著性区域，并且完全抑制背景噪声的显著图。局部稀疏表示能够基本突显显著性区域，抑制部分背景，但是显著性区域依然模糊，为了能够去除显著性区域的模糊，以及去除所有噪声，需要获取一个背景图，将初始显著图减去背景图，能够获得更好的效果，而背景图的获得，本发明是通过融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对原始红外图像进行处理，得到突显目标并抑制背景的前景预测图，并将原图像与前景预测图相减获得我们所需的背景图。最后，将初始显著图减去背景图，得到能够完全抑制背景噪声且显著性区域清晰突显的最终显著图。本发明保证了算法的高检测率以及低虚警率。

Claims (6)

1.一种基于混合算法的红外图像显著性区域检测方法，其特征在于，包括如下步骤：

步骤一：对原始红外图像S进行局部稀疏表示，在进行局部稀疏表示的时候采用多尺度局部稀疏表示方法，得到初始显著图S_M；

步骤二：提出了融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对原始红外图像S进行处理，得到突显目标并抑制背景的前景预测图S_y；

步骤三：将原始红外图像S与步骤二获得的前景预测图相减，得到原始红外图像的背景图S_b；

步骤四：将步骤一得到的初始显著图S_M减去步骤三得到的背景图S_b，得到最终的显著图S_Map。

2.如权利要求1所述的基于混合算法的红外图像显著性区域检测方法，其特征在于，所述步骤一中，基于某个单一尺度进行局部稀疏表示，得到显著图的具体操作过程如下：

步骤a：给定一个以元素x∈R²为中心的输入图像S，表示以x为中心并且包含n个元素的块，设定一个大小为的局部搜索框，局部搜索框以x为中心，k为局部搜索框中非中心元素的个数，为以搜索框中每个非中心元素作为中心元素的块，其中i＝1,2...k，因此，用非中心块来线性表示中心块的表达式如下：

其中，是非中心元素块的矩阵，是线性组合的系数向量；

步骤b：将步骤a中中心块的表达式表示为下述等式：

其中为包含少量非零元素的系数向量，表示伪l₀范数，通过正交匹配追踪来解包含少量非零元素的系数向量中心块经过稀疏表示后得到的线性组合如下：

步骤c：图像显著性可通过重构图像与原来图像的残差来获得，用下式来简单的表示图像显著性：

其中||·||₂表示L₂范数；

步骤d：对整个图像进行局部稀疏表示，即将搜索框从上到下，从左到右搜索整个图像，并且在局部搜索框内对每个元素都进行稀疏表示，最后求步骤c中等式的残差得到整个图像的显著图。

3.如权利要求2所述的基于混合算法的红外图像显著性区域检测方法，其特征在于，所述步骤一中，进一步采用“多尺度”局部稀疏表示思想，得到初始显著图的具体操作过程如下：

步骤a：对原始图像S进行分块处理时，为分块大小，再对分块后图像进行局部稀疏表示处理，得到图像显著图S_M1；

步骤b：将原始图像S的分块大小设置为再进行局部稀疏表示处理，得到图像显著图S_M2；

步骤c：将S_M1和S_M2进行加权融合，得到红外图像基于局部稀疏表示的初始显著图S_M。

4.如权利要求1所述的基于混合算法的红外图像显著性区域检测方法，其特征在于，所述步骤二中，提出了融合二维最大熵/最小交叉熵和最大标准差的红外图像前景预测算法，对原始红外图像进行处理，得到突显目标并抑制背景的前景预测图，具体操作过程如下：

步骤a：设定二维最大熵为S(t,s)，二维最小交叉熵为I(t,s),(t,s)为阈值向量，通过多目标规划理论，将两种阈值法的目标函数构成新的目标函数：

H(t,s)＝λ₁×S(t,s)+λ₂×I(t,s)

则最佳阈值为：

其中：L为整个图像的灰度级，λ₁＝1-λ₂，λ₂的值由S(t,s)，I(t,s)通过线性加权法获得，而S(t,s)和I(t,s)通过递推算法来获得，最终得到H(t,s)以及我们所需的最佳阈值(t^*,s^*)，通过这个最佳阈值，得到阈值分割的分割图像S_f；

步骤b：对于一个原始红外图像S，其最大标准差图像为：

<mrow> <msub> <mi>S</mi> <mi>z</mi> </msub> <mo>=</mo> <msqrt> <mrow> <mfrac> <mn>1</mn> <mrow> <mi>M</mi> <mo>&amp;times;</mo> <mi>N</mi> </mrow> </mfrac> <msup> <mrow> <mo>(</mo> <mi>S</mi> <mo>-</mo> <mover> <mi>S</mi> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

其中，M×N为红外图像的大小，为图像内像素的平均灰度值，并且

步骤c：将分割图像S_f和最大标准差图像S_z进行相乘融合，得到前景预测图像S_y：

S_y＝S_f×S_z。

5.如权利要求1所述的基于混合算法的红外图像显著性区域检测方法，其特征在于，所述步骤三中，将原始图像与前景预测图相减，得到原始红外图像的背景图的操作过程如下：

S_b＝S-S_y。

6.如权利要求1所述的基于混合算法的红外图像显著性区域检测方法，其特征在于，所述步骤四中，将初始显著图减去背景图，得到最终的显著性区域检测结果的操作过程如下：

S_Map＝S_M-S_b。