CN108665435A - 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 - Google Patents
基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 Download PDFInfo
- Publication number
- CN108665435A CN108665435A CN201810015843.7A CN201810015843A CN108665435A CN 108665435 A CN108665435 A CN 108665435A CN 201810015843 A CN201810015843 A CN 201810015843A CN 108665435 A CN108665435 A CN 108665435A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- formula
- background
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005457 optimization Methods 0.000 title claims abstract description 25
- 238000009792 diffusion process Methods 0.000 claims abstract description 80
- NTYJJOPFIAHURM-UHFFFAOYSA-N Histamine Chemical compound NCCC1=CN=CN1 NTYJJOPFIAHURM-UHFFFAOYSA-N 0.000 claims abstract description 32
- 230000005764 inhibitory process Effects 0.000 claims abstract description 17
- 229960001340 histamine Drugs 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 238000005267 amalgamation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 13
- 230000001629 suppression Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于拓扑‑图切融合优化的多谱段红外图像背景抑制方法,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制,获得若干个单波段杂波抑制后的目标图像;根据尺度区域能量理论模型对所述获得的若干个单波段杂波抑制后的目标图像进行融合,得到多谱段融合的背景抑制结果图像;对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。本发明能有效地抑制红外图像中所包含的高灰度级、起伏剧烈的红外背景,并能够突出目标信息。
Description
技术领域
本发明属于红外图像处理技术领域,具体涉及一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法。
背景技术
红外图像背景抑制在红外图像处理领域引起了越来越多的关注,由于其在红外弱小目标检测中有着潜在的重要应用;尤其是对于处于背景复杂、对比度较低红外图像中的小目标的检测;如直接对处在复杂的天空背景、海天背景下的小目标,使其准确检测是异常的困难;为了解决此问题,红外图像背景抑制是一项关键的预处理技术,其能够有效地抑制复杂起伏背景,增强目标与背景的对比度,从而有利于提高弱小目标的检测精度。
近年来,红外图像背景抑制的研究成果不断地被报道,其中代表性的有基于背景预测的经典滤波方法,如最大中值滤波和最大均值滤波,形态学Top-Hat 滤波、二维最小均方误差滤波、主成分分析以及基于视觉注意机制的方法等。这些方法都是基于目标灰度值局部相对较高的特性,通过在空域或变换域中寻找图像极值点来实现背景的抑制,均能较好地抑制简单、平稳的背景;且主要针对单谱段的红外图像。但对于复杂多变的非平稳背景,这些方法很难准确区分目标和背景杂波,且极易受窗口大小、结构元素等参数的影响,通常使得背景抑制结果的虚警概率较高。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,能够突破单谱段红外图像背景抑制精度低的瓶颈,且不需引入“硬”阈值优化,实现对复杂背景下的红外图像的背景抑制。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,该方法为:首先,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,其次,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像;然后,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像;最后,对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。
上述方案中,所述分别对多谱段的红外图像进行局部Patch预处理获得局部预处理像素区域,具体为:采用4-邻域算子求取多谱段的红外图像中局部极值点;预处理算法利用式(1)进行表示:
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素, us则表示像素s的灰度值,集合ns={w,e,n,d}表示像素s相邻的四个像素,则表示经过局部预处理后像素s的灰度值。
上述方案中,所述根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,具体通过以下步骤实现:
步骤101:根据所述预处理后的图像的代价泛函表达式及图像在相邻像素方向上的梯度值获得像素扩散系数ks的所有组合;
所述所述预处理后的图像的代价泛函表达式具体表达式为式(2):
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数,表示原始图像在像素s的灰度值,ks,p是像素s在相邻像素p方向上的扩散系数,集合ns={w,e,n,d}表示像素s相邻的四个像素,表示像素p与像素s在迭代次数为t时的梯度值,
所述预处理后的图像在相邻像素方向上的梯度值具体表达式为式 (3):
公式(3)中的利用式(4)进行求解:
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长;
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边),设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示;
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks通过15种组合表示像素s扩散系数的15种不同选择;
步骤102:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks;
对ks进行扰动,设为扰动前的扩散系数,用表示引入扰动后的扩散系数,则引入扰动后的代价泛函用公式(6)表示:
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差,要极小化代价泛函,便是求解DT(s,kε s)的最小值;
引入扰动后的扩散系数属于以上的15种组合,则代价泛函转化为公式 (7):
其中和由公式(4)求得,表示引入扰动后在迭代次数为t时像素p与像素s的梯度值;
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示:
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得 DT(s,kε s)的值最小;此时,kε s便是要求解的最优扩散系数。
上述方案中,所述根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0;根据所述利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的;拓扑加权梯度均值处理的结果如式(9)所示:
根据式(9)对图像进行操作,获得单波段杂波抑制后的目标图像。
上述方案中,所述根据尺度区域能量理论模型对若干单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像,具体为:
步骤201:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像;
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10):
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像;
步骤202:对多尺度低频系数采用基于区域能量优化的加权融合,定义一个阈值T,本发明取1.5,把Mab和阈值T相比较;若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略;
像素的显著特征定义为式(11):
当Mab小于阈值T,按公式(12)进行选择性的融合:
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13) 和(14)进行定义;
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出:
步骤203:对尺度高频特征系数采用绝对值最大方法进行筛选;通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换获得多谱段融合的背景抑制结果图像。
上述方案中,所述对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像,具体通过以下步骤实现:
步骤301:将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数;
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,x和y为两个不同像素点,得到式(16)代价函数;
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中;此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素,用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决;
其中,
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,和分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值;
步骤302:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示:
其中,(μB,σB)分别表示背景高斯模型的均值和标准差;
目标强度模型如式(20)所示:
其中,(μT,σT)分别表示目标高斯模型的均值和标准差;
因此,式(18)中的局部能量转化为式(21):
相邻像素间的能量转化为式(22):
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作;
步骤303:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值,最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
与现有技术相比,本发明的有益效果:
本发明能有效地抑制红外图像中所包含的高灰度级、起伏剧烈的红外背景,并能够突出目标信息,便于后续的目标分割与检测。
附图说明
图1为本发明的流程图;
图2为实验一,其中图2(a)、2(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有2个真实目标点,标注为A、B;
图3为实验二,其中图3(a)、3(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有1个真实目标点,标注为A;
图4为实验三,其中图4(a)、4(b)分别是原始图像在同一场景中的中波红外图像和长波红外图像;其中原始图像含有1个真实目标点,标注为A;
图5为基于Top-hat的红外图像背景抑制的结果图,其中图5(a)、5(b)、5(c)分别是3个不同场景中波红外图像的实验结果图,图5(d)、5(e)、5(f)分别是3个不同场景长波红外实验结果图;
图6为基于Max-Median的红外图像背景抑制的结果图,其中图6(a)、6(b)、 6(c)分别是3个不同场景中波红外图像的实验结果图,图6(d)、6(e)、6(f)分别是3个不同场景长波红外实验结果图;
图7为本发明中的实验结果图,其中图7(a)、7(b)、7(c)分别是实验一、实验二和实验三中图像通过本发明技术处理获得的实验结果。
图8为邻域内扩散系数的情形。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,该方法通过以下步骤实现:
步骤一,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像。
具体地,采用4-邻域算子求取图像中局部极值点,预处理算法可利用式(1) 进行表示,
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值;集合ns={w,e,n,d}表示像素s相邻的四个像素。则表示经过局部预处理后像素s的灰度值。
步骤二,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据所得最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像。
具体地,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得最优扩散系数,通过以下步骤实现:
步骤201:利用图像的代价泛函表达式及图像在相邻像素方向上的梯度值从而得到像素扩散系数ks的所有组合。
Patch预处理后图像u的代价泛函离散形式可用式(2)进行表示。
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数(表示原始图像在像素s的灰度值),ks,p是像素s在相邻像素p方向上的扩散系数。集合ns={w,e,n,d}表示像素s相邻的四个像素。表示像素p与像素s在迭代次数为t时的梯度值,具体表达式为式(3):
公式(3)中的可利用式(4)进行求解:
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长。
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边)。设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示。
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks一共16种不同的组合,其中舍去ks,w=ks,e=ks,n=ks,d=0的情况(这种情况下代价泛函的值为0),剩下的组合如图8所示,这15种组合表示像素s 扩散系数的15种不同选择。
步骤202:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks。
对ks进行扰动,设为扰动前的扩散系数,用表示引入扰动后的扩散系数,则引入扰动后的代价泛函可用公式(6)表示。
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差。要极小化代价泛函,便是求解DT(s,kε s)的最小值。
引入扰动后的扩散系数属于以上的15种组合,则代价泛函可转化为公式(7)。
其中和可以由公式(4)求得,表示引入扰动后在迭代次数为t时像素p与像素s的梯度值。
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示。
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得 DT(s,kε s)的值最小。此时,kε s便是要求解的最优扩散系数。
根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:
对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0。利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的。
拓扑加权梯度均值处理的结果如式(9)所示。
利用式(9)对图像进行操作,便可获得单波段杂波抑制后的目标图像。
步骤三,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像。
具体地,通过以下步骤实现:
步骤301:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像。
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10)。
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像。
步骤302:对多尺度低频系数采用基于区域能量优化的加权融合。定义一个阈值T,本发明取1.5,把Mab和阈值T相比较。若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略。
像素的显著特征定义为式(11)。
当Mab小于阈值T,按公式(12)进行选择性的融合。
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13) 和(14)进行定义。
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出。
步骤303:对尺度高频特征系数采用绝对值最大方法进行筛选。
通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换得到最终的新的红外多波段融合背景抑制图像。
步骤四,对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像。
具体地,通过以下步骤实现:
步骤401:针对需要解决的问题将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数。
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,得到式(16)代价函数。
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中。此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素。用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决。
其中,
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,和分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值。
步骤402:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示。
其中,(μB,σB)分别表示背景高斯模型的均值和标准差。
目标强度模型如式(20)所示。
其中,(μT,σT)分别表示目标高斯模型的均值和标准差。
因此,式(18)中的局部能量可以转化为式(21)。
相邻像素间的能量可以转化为式(22)。
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作。
步骤403:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值。最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
实施例1:
本发明实施例提供一种基于拓扑-图切融合优化的红外多谱段图像背景抑制方法,如图1所示,该方法具体通过以下步骤实现:
步骤101:分别对双波段的红外图像进行局部预处理。
具体为,采用4-邻域算子求取图像中局部极值点,预处理算法可以利用式 (1)进行表示。
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值;集合ns={w,e,n,s}表示像素s相邻的四个像素,则表示经过局部预处理后像素s的灰度值。
步骤201:采用拓扑微分技术对获得的预处理像素区域进行强起伏边缘的抑制。
具体的,预处理后图像u的代价泛函离散形式可表示为式(2)。
其中,u是一个大小为M×N矩阵,下标t≥1表示迭代的次数(表示原始图像在像素s的灰度值),ks,p是像素s在相邻像素p方向上的扩散系数。集合ns={w,e,n,d}表示像素s相邻的四个像素。表示像素p与像素s在迭代次数为t时的梯度值,具体的表达式为式(3)。
在式(3)中的可利用用式(4)求解。
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长。
设每个像素的扩散系数ks,p∈{0,k0},扩散系数所有可能的集合如式(5) 所示。
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
然后对每个像素找到其最佳的扩散系数ks。对其进行扰动,设为扰动前的扩散系数,用kε s表示引入扰动后的扩散系数,则引入扰动后的代价泛函可以表示为式(6)。
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差。要极小化代价泛函,便是求解DT(s,kε s)的最小值。
利用获得的最优扩散系数将图像分解为不同的区域,并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和背景抑制的目的。
拓扑加权梯度均值处理的结果如式(7)所示。
利用式(7)对图像进行操作,便可获得背景抑制后的目标图像。
步骤301:根据尺度空间理论,对多分辨率图像采用区域能量优化的加权融合。
具体的,定义如式(8)所示匹配度量参数。
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两幅背景抑制后的双波段图像。
定义一个阈值T,本发明取1.5,把Mab和阈值T相比较。若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,不显著的系数则被忽略。
当Mab小于阈值T,按式(9)进行选择性的融合。
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数定义如式(10) 和(11)所示。
Wmax(i,j,k)=1-Wmin(i,j,k) (11)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由式(12)给出。
步骤401:对经融合后双波段杂波抑制后的红外图像进行图切策略优化。
具体的,将优化问题转化为对像素x的标记问题,可通过式(13)最小化能量函数E(X)解决。
其中,
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,和分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值。
对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,局部能量可以转化为式(15)求解。
相邻像素间的能量可以转化为式(22)。
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (16)
最后,求解网络图的最小切,即能量函数的最小值,将图像分为前景和背景两部分。
本发明的有益效果通过仿真实验具体说明。
1.实验条件
实验所用的CPU为Intel Core(TM)i3-4170 3.70GHz内存8GB,编程平台为MATLABR2015b。实验采用的是三组包含小目标的真实双波段红外图像。实验一中的背景灰度与目标相近且起伏剧烈,实验二与实验三中目标信噪比低且湮没于背景云层中,其中红外图像的大小分别为220×220、153×105和90 ×90,如图2、图3、图4所示。
实验表明,本发明方法从主观视觉和客观评价指标均优于其他几种方法在不同波段的结果,解决了单一谱段红外图像背景抑制存在的准确度低的问题,同时采用图切优化多波段融合结果,无需引入“硬”阈值判决。图5~7给出了本发明方法及两种对比方法对图2~4的背景抑制结果,从结果图中可以看出, Top-hat与Max-Median方法未能较好地抑制背景杂波,尤其是长波红外图像,而本发明在不同实验中均能获得较好背景杂波抑制效果。表1给出了几种方法的评价指标对比结果,SCRz为信杂比,SCRGz为信杂比增益,BSFz为背景抑制因子(下标z可取m和l,分别代表同一场景的中波和长波图像)。其中,信杂比增益越高,表示处理后目标和背景差异越大,背景抑制因子越高表示背景抑制越完全。
表1为几种方法的评价指标对比表
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (6)
1.一种基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,该方法为:首先,分别对多谱段的红外图像进行局部Patch预处理获得预处理后的图像,其次,根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像;然后,根据尺度区域能量理论模型对所述若干个单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像;最后,对所述多谱段融合的背景抑制结果图像进行图切策略优化,消除融合后图像的局部轮廓效应,最终获得背景抑制后的图像。
2.根据权利要求1所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述分别对多谱段的红外图像进行局部Patch预处理获得局部预处理像素区域,具体为:采用4-邻域算子求取多谱段的红外图像中局部极值点;预处理算法利用式(1)进行表示:
其中,u表示一个大小为M×N的图像,下标s表示图像u中的某一个像素,us则表示像素s的灰度值,集合ns={w,e,n,d}表示像素s相邻的四个像素,则表示经过局部预处理后像素s的灰度值。
3.根据权利要求1或2所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据拓扑微分方法对所述预处理后的图像进行强起伏边缘的抑制获得非线性扩散的最优扩散系数,具体通过以下步骤实现:
步骤101:根据所述预处理后的图像的代价泛函表达式及图像在相邻像素方向上的梯度值获得像素扩散系数ks的所有组合;
所述所述预处理后的图像的代价泛函表达式具体表达式为式(2):
其中,u是一个大小为M×N图像,下标t≥1表示迭代的次数,表示原始图像在像素s的灰度值,ks,p是像素s在相邻像素p方向上的扩散系数,集合ns={w,e,n,d}表示像素s相邻的四个像素,表示像素p与像素s在迭代次数为t时的梯度值,
所述预处理后的图像在相邻像素方向上的梯度值具体表达式为式(3):
公式(3)中的利用式(4)进行求解:
其中,ks={ks,w,ks,e,ks,n,ks,d}表示像素s在四个相邻像素方向上的扩散系数,λ=Δt表示设定的时间步长;
若像素s与像素p之间的扩散系数ks,p=0,表示在像素s和像素p之间引入了一个间断带(没有扩散发生在这个边),设每个像素的扩散系数ks,p∈{0,k0},扩散系数ks所有可能集合可由公式(5)表示;
l(s):={ks=(ks,w,ks,e,ks,n,ks,d);ks,p∈{0,k0},p={w,e,n,d}} (5)
则ks通过15种组合表示像素s扩散系数的15种不同选择;
步骤102:确定图像中所有像素的扩散系数,对每个像素找到其最优扩散系数ks;
对ks进行扰动,设为扰动前的扩散系数,用表示引入扰动后的扩散系数,则引入扰动后的代价泛函用公式(6)表示:
其中,DT(s,kε s)表示引入扰动后代价泛函的总变差,要极小化代价泛函,便是求解DT(s,kε s)的最小值;
引入扰动后的扩散系数属于以上的15种组合,则代价泛函转化为公式(7):
其中和由公式(4)求得,表示引入扰动后在迭代次数为t时像素p与像素s的梯度值;
由(6)式和(7)式可得代价泛函的总变差—拓扑微分,由公式(8)进行表示:
利用上述思路在15种扩散系数之中选择出像素s最合适的扩散系数,使得DT(s,kε s)的值最小;此时,kε s便是要求解的最优扩散系数。
4.根据权利要求3所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据获得的最优扩散系数与梯度均值滤波相结合分别对单波段图像进行背景抑制获得若干个单波段杂波抑制后的目标图像,具体为:对图像的边缘处,其梯度较大,扩散系数为0,对图像的灰度均匀区域,其梯度较小,扩散系数为k0;根据所述利用最优扩散系数将图像分解为不同的区域并采用梯度均值滤波法对不同区域的内部进行处理,达到单波段图像目标增强和杂波抑制的目的;拓扑加权梯度均值处理的结果如式(9)所示:
根据式(9)对图像进行操作,获得单波段杂波抑制后的目标图像。
5.根据权利要求4所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述根据尺度区域能量理论模型对若干单波段杂波抑制后的目标图像进行融合获得多谱段融合的背景抑制结果图像,具体为:
步骤201:根据尺度空间原理构造红外多谱段图像的多分辨率表示,图像分解完毕后,在不同的分解级别上的细节信息被组合起来形成新的已分解的图像;
在此引入匹配度量参数,用于适应不同分辨率级别上的融合方式,该值定义为式(10):
其中,K为分辨率级别,C(i,j)表示像素位置为(i,j)的尺度变换系数,m,n为像素位置偏差,下标A、B分别为两帧背景抑制后的不同波段红外图像;
步骤202:对多尺度低频系数采用基于区域能量优化的加权融合,定义一个阈值T,本发明取1.5,把Mab和阈值T相比较;若Mab小于阈值,选用能量特征较大的系数作为融合后的系数,而不显著的系数将被忽略;
像素的显著特征定义为式(11):
当Mab小于阈值T,按公式(12)进行选择性的融合:
当Mab大于阈值T时,采用加权融合来计算变换系数,加权系数由公式(13)和(14)进行定义;
Wmax(i,j,k)=1-Wmin(i,j,k) (14)
Wmin(i,j,k)用于特征值较低的系数,Wmax(i,j,k)用于具有较高特征值的系数,加权融合过程由公式(15)给出:
步骤203:对尺度高频特征系数采用绝对值最大方法进行筛选;通过区域能量对融合方式的优化选取,对合成的新变换系数进行逆变换获得多谱段融合的背景抑制结果图像。
6.根据权利要求5所述的基于拓扑-图切融合优化的多谱段红外图像背景抑制方法,其特征在于,所述对所述多谱段融合的背景抑制结果图像进行图切策略优化,最终获得背景抑制后的图像,具体通过以下步骤实现:
步骤301:将图像映射成带权的无向图,并建立标签,再根据此标签所反映的图像像素信息建立对应的能量函数;
设G=(V,E)为一个带有非负边的无向图,V是顶点集合,对应所有像素点以及附加的源节点s和汇节点t,E是图的边集,分为两类t连接和n连接,每个像素对之间都由n连接相连,记c为图中一条边的容量,x和y为两个不同像素点,得到式(16)代价函数;
公式(16)将含有源点和汇点的图分为两个顶点的集合S和T,源点s和汇点t分别位于S集合与T集合中;此时问题转化为二元标记问题,即点x满足ux∈{(T=1),(B=0)},其中B表示背景像素,T表示目标像素,用e表示图像中相邻的像素对的集合,v为所有像素的集合,因此,对像素u的标记问题可通过公式(17)所示最小化能量函数E(X)解决;
其中,
E1(ux)为局部能量,E2(ux,uy)为相邻像素间的能量,和分别表示像素ux到两个终结点之间的权值,mx,y表示相邻像素间的权值;
步骤302:对图像I中目标与背景像素强度建模,假设像素强度服从高斯分布,因此,背景强度模型如式(19)所示:
其中,(μB,σB)分别表示背景高斯模型的均值和标准差;
目标强度模型如式(20)所示:
其中,(μT,σT)分别表示目标高斯模型的均值和标准差;
因此,式(18)中的局部能量转化为式(21):
相邻像素间的能量转化为式(22):
E2(ux,uy)=∞(ux,uy)exp(-β(Ix-Iy)2) (22)
其中,β=(2<(Ix-Iy)2>)-1是一个权衡强度对比的参数,<·>表示期望操作;
步骤303:运用最大流最小切算法对上述建立的网络流图进行切割,从而得到网络图的最小切,即能量函数的最小值,最小切将图像分为前景和背景两部分,从而达到背景抑制和目标增强的目的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810015843.7A CN108665435B (zh) | 2018-01-08 | 2018-01-08 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810015843.7A CN108665435B (zh) | 2018-01-08 | 2018-01-08 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108665435A true CN108665435A (zh) | 2018-10-16 |
CN108665435B CN108665435B (zh) | 2021-11-02 |
Family
ID=63784788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810015843.7A Active CN108665435B (zh) | 2018-01-08 | 2018-01-08 | 基于拓扑-图切融合优化的多谱段红外图像背景抑制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108665435B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034239A (zh) * | 2010-12-07 | 2011-04-27 | 北京理工大学 | 一种基于局部灰度突变的红外小目标检测方法 |
CN102222322A (zh) * | 2011-06-02 | 2011-10-19 | 西安电子科技大学 | 基于多尺度非局部均值的红外图像背景抑制方法 |
CN104766334A (zh) * | 2015-04-21 | 2015-07-08 | 西安电子科技大学 | 红外弱小目标检测跟踪方法及其装置 |
CN105551054A (zh) * | 2016-01-14 | 2016-05-04 | 辽宁师范大学 | 全局和局部信息自适应调整的图像分割活动轮廓方法 |
US20160314562A1 (en) * | 2015-04-24 | 2016-10-27 | Koei Tecmo Games Co., Ltd. | Image processing method and recording medium |
CN106447640A (zh) * | 2016-08-26 | 2017-02-22 | 西安电子科技大学 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
CN107403134A (zh) * | 2017-05-27 | 2017-11-28 | 西安电子科技大学 | 基于局部梯度三边的图域多尺度红外弱小目标检测方法 |
-
2018
- 2018-01-08 CN CN201810015843.7A patent/CN108665435B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034239A (zh) * | 2010-12-07 | 2011-04-27 | 北京理工大学 | 一种基于局部灰度突变的红外小目标检测方法 |
CN102222322A (zh) * | 2011-06-02 | 2011-10-19 | 西安电子科技大学 | 基于多尺度非局部均值的红外图像背景抑制方法 |
CN104766334A (zh) * | 2015-04-21 | 2015-07-08 | 西安电子科技大学 | 红外弱小目标检测跟踪方法及其装置 |
US20160314562A1 (en) * | 2015-04-24 | 2016-10-27 | Koei Tecmo Games Co., Ltd. | Image processing method and recording medium |
CN105551054A (zh) * | 2016-01-14 | 2016-05-04 | 辽宁师范大学 | 全局和局部信息自适应调整的图像分割活动轮廓方法 |
CN106447640A (zh) * | 2016-08-26 | 2017-02-22 | 西安电子科技大学 | 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置 |
CN107403134A (zh) * | 2017-05-27 | 2017-11-28 | 西安电子科技大学 | 基于局部梯度三边的图域多尺度红外弱小目标检测方法 |
Non-Patent Citations (5)
Title |
---|
GANDHIMATHI A ET AL: "Improved segmentation and change detection of multi-spectral satellite imagery using graph cut based clustering and multiclass SVM", 《MULTIMEDIA TOOLS AND APPLICATIONS》 * |
H QIN ET AL: "High-order diffusion equation based infrared image background suppression", 《PROCEEDINGS OF SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 * |
WENXIONG CHENG ET AL: "A modified topological derivative based background suppressing for infrared dim small target detection", 《APPLIED OPTICS AND PHOTONICS CHINA (AOPC2017) PROC. SPIE》 * |
张文娟等: "基于拓扑导数的复扩散在图像去噪及边缘提取中的应用", 《数据采集与处理》 * |
秦翰林: "红外监视告警系统中的复杂背景抑制算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN108665435B (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145992B (zh) | 协作生成对抗网络和空谱联合的高光谱图像分类方法 | |
Wang et al. | Adaptive DropBlock-enhanced generative adversarial networks for hyperspectral image classification | |
Shanmugavadivu et al. | Particle swarm optimized multi-objective histogram equalization for image enhancement | |
Xiang et al. | Adaptive superpixel generation for polarimetric SAR images with local iterative clustering and SIRV model | |
Xu et al. | Multiple morphological component analysis based decomposition for remote sensing image classification | |
CN108389188B (zh) | 一种稀疏高光谱异常目标检测方法 | |
Fırat et al. | Classification of hyperspectral remote sensing images using different dimension reduction methods with 3D/2D CNN | |
Khazai et al. | An approach for subpixel anomaly detection in hyperspectral images | |
Liu et al. | Multimorphological superpixel model for hyperspectral image classification | |
Shi et al. | A latent encoder coupled generative adversarial network (le-gan) for efficient hyperspectral image super-resolution | |
CN103150577A (zh) | 基于粒子群优化的高光谱遥感影像自适应波段选择方法 | |
Zhang et al. | Polygon structure-guided hyperspectral image classification with single sample for strong geometric characteristics scenes | |
Yu et al. | CRIM-FCHO: SAR image two-stage segmentation with multifeature ensemble | |
Bhatt et al. | Spectral indices based object oriented classification for change detection using satellite data | |
Xu et al. | Infrared small target detection based on local contrast-weighted multidirectional derivative | |
Gao et al. | Hyperspectral target detection via spectral aggregation and separation network with target band random mask | |
Qian et al. | Infrared small target detection based on saliency and gradients difference measure | |
Wang et al. | Lpi radar signals modulation recognition based on acdca-resnext | |
Huang et al. | A superpixel-correlation-based multiview approach for hyperspectral image classification | |
Wang et al. | [Retracted] Remote Sensing Satellite Image‐Based Monitoring of Agricultural Ecosystem | |
Li | [Retracted] Multilevel Image Edge Detection Algorithm Based on Visual Perception | |
Chen et al. | Indoor location method of interference source based on deep learning of spectrum fingerprint features in Smart Cyber-Physical systems | |
CN114066815B (zh) | 基于模糊c均值聚类的SAR图像变化检测方法 | |
Wang et al. | Patch-based gaussian mixture model for concealed object detection in millimeter-wave images | |
Ahmed Raza et al. | Robust normalization protocols for multiplexed fluorescence bioimage analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |