CN116977199A - 基于图像边缘恢复滤波器的红外图像背景抑制方法 - Google Patents
基于图像边缘恢复滤波器的红外图像背景抑制方法 Download PDFInfo
- Publication number
- CN116977199A CN116977199A CN202310428097.5A CN202310428097A CN116977199A CN 116977199 A CN116977199 A CN 116977199A CN 202310428097 A CN202310428097 A CN 202310428097A CN 116977199 A CN116977199 A CN 116977199A
- Authority
- CN
- China
- Prior art keywords
- image
- background
- pixel
- infrared
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001629 suppression Effects 0.000 title claims abstract description 29
- 238000011084 recovery Methods 0.000 title claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 36
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000002955 isolation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 13
- 230000005764 inhibitory process Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007477 logistic regression Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像边缘恢复滤波器的红外图像背景抑制方法,包括:首先对红外探测器采集的图像进行图像滤波,使用图像边缘恢复滤波器(ERF)将滤波输出中的模糊边缘恢复到清晰。进行边缘检测,用红外图像与背景图像作差得到残差图像;然后对残差图像逐像素阈值化和空间非极大抑制;最后根据背景运动估计的结果进行一致性判别,获得尺寸不变的背景抑制后的红外图像。本发明在面对复杂背景和极低信噪比的目标时,检测率和虚警率都有更良好的改善,适用于下视复杂地物背景下的红外制导任务。
Description
技术领域
本发明属于计算机视觉中的红外图像处理技术,具体为一种基于图像边缘恢复滤波器的红外地物背景抑制方法。
背景技术
单独研究背景抑制的工作不多,均是与红外弱小目标检测结合到一起,作为一个完整的模块进行研究。这些研究中,一副红外图像通常被看做是背景、目标和噪声三种成份的叠加。目前已经提出的红外图像弱小目标检测方法一般分为以下四类:
(1)面向背景的方法
面向背景的方法利用各种滤波方法估计红外图像的背景,滤波之后,利用差分操作从原始图像中减去背景图像,潜在的目标被包含在残差图像中,通过分割方法分割出目标。这类方法只能在简单场景的红外图像中工作良好,一旦红外图像含有复杂背景,获得的残差图像会包含巨大的噪声和背景干扰,一些效果好的方法计算复杂。
(2)面向目标的方法
受人类视觉系统的启发,面向目标的方法通过设计有效的显著性度量突出显著性目标,显著性度量应能使目标相对于背景具有尽可能大的差异。对于复杂场景,采用基于显著性帧间差分的复杂背景目标检测。当目标符合设计的显著性度量假设时,这些方法能获得较好的效果,但是不可避免的是背景也会包含一些区域满足其假设,从而引起许多虚警。
(3)基于分解的方法
充分利用背景采样矩阵的低秩性(即矩阵的列或行向量高度相似),以及目标的图像占比小且稀少的特性,通过背景采样矩阵的低秩稀疏分解来实现背景抑制。这类方法对简单场景以及复杂场景中背景相似性高的场景检测结果非常好,但是容易丢失信号比较弱的目标,因为基于鲁棒主成份分析的分解方法更适合于去除较大的的稀疏噪声。
(4)基于学习的方法
基于学习的红外弱小目标检测方法主要是基于特征提取和分类方法,深度学习技术的不断涌现给弱小目标检测提供了新的解决思路,这类方法利用大量训练样本,训练去噪网络或者分割网络检测或者分割目标,同时具有较强的突出目标的能力和抑制背景的能力,但受模型的表达能力、训练方法以及训练样本是否与测试样本分布一致等的制约,仍会出现一些难以解释的虚警和漏检。
发明内容
本发明的目的在于提供一种红外图像背景抑制方法用于下视地物场景背景估计。
实现本发明目的的技术方案为:一种基于图像边缘恢复滤波器的红外图像背景抑制方法,包括以下步骤:
步骤1、对输入红外图像I进行低通图像滤波,使用图像边缘恢复滤波器ERF将滤波输出中的模糊边缘恢复到清晰。进行边缘检测,得到滤波后的图像B和边缘点;
步骤2、根据图像B和边缘点构建红外背景图像C,将输入红外图像A减去红外背景图像C,得到残差图像D;
步骤3、对残差图像D作逐像素阈值化;
步骤4、对逐像素阈值化的图像进行空间非极大抑制,消除潜在虚警;
步骤5、基于空间非极大抑制和背景运动估计进行一致性判别,获得尺寸不变的背景抑制后的红外图像。
优选地,所述低通图像滤波采用5x5的隔离带均值滤波,即5x5的网格去除中心的3x3网格,使用周围16个像素计算均值;
优选地,所述图像边缘恢复滤波器ERF的实现过程如下:
(1)对输入图像I进行半径为r的低通图像滤波得到Ismooth;
(2)考虑图像I中的像素I(i),通过解下式找出Ismooth中的像素j′:
其中wi是图像Ismooth中像素i为中心的窗口,半径也为r,D(Ismooth(j),I(i))是
平方误差(Ismooth(j),I(i))2,在获得像素j′的值后,得到:
Ierf(i)=Ismooth(j′)
所述边缘检测采用一阶微分方法,使用一阶梯度算子Sobel,梯度阈值为50;
优选地,所述构建红外背景图像C的具体过程为:
对I中每个像素,设其坐标为(x,y),若它不是边缘点,则C中对应像素值取B(x,y),若它是边缘点,则以其为中心设置一个固定窗口;固定窗口的大小与步骤1中均值滤波窗口大小相同或稍大一些,在B中对应的窗口中找与I(x,y)灰度值最接近的像素B(m,n)作为C(x,y)的值。
优选地,所述对残差图像D作逐像素阈值化的具体过程为:
逐个计算残差图像D中每个像素的邻域均值u和标准差s,计算阈值T=μ+k·σ,式中,μ,σ为整幅图像的均值和均方差,k为均方差修正系数;
对D中每个像素作操作max(0,D(x,y)-Thre(x,y))得到输出的背景抑制图像。
优选地,所述空间非极大抑制通过选择适当的窗口,抑制窗口内像素的强度,直接将这些像素强度值设成0利用线性变换来压制。
优选地,所述基于空间非极大抑制和背景运动估计进行一致性判别的具体过程为:
进行背景运动估计,预测N幅历史帧图像到当前帧图像的背景运动;
根据运动结果,对潜在目标进行运动补偿;
收集目标时空连续轨迹,并给出置信度度量,利用度量结果抑制强噪声干扰,并增强目标点强度。
本发明与现有技术相比,其显著优点为:本发明采用边缘保持的均值滤波实现背景的估计,将平滑滤波输出中的模糊边缘恢复到清晰,达到了更好的保护平滑效果;对于鲁棒背景关键点匹配,通过非极大抑制应对密集纹理,图像增强应对弱纹理,分级匹配提升匹配准确性,面对复杂背景和极低信噪比的目标时,检测率和虚警率都有更良好的改善。
附图说明
图1是本发明的方法总体流程图。
图2是本发明ORB特征描述匹配图。
图3是本发明管道滤波前的背景补偿图。
图4是本发明候选轨迹提取图。
图5是本发明测试滤波方法对增强效果的影响对比图;图5(a)为原图,图5(b)为均值滤波,图5(c)为边缘保持均值滤波,图5(d)为超限滤波的图像增强,图5(e)为双窗口均值滤波的图像增强,图5(f)为普通均值滤波的图像增强,图5(g)为边缘保持均值滤波的图像增强。
图6是本发明进行综合测试的测试用例典型帧图;图6(a)为测试用例1,图6(b)为测试用例2,图6(c)为测试用例3。
具体实施方式
本发明基于面向背景的方法,采用边缘保持的均值滤波实现背景的估计,并预测动态背景的运动参数,联合利用空间非极大抑制和时间上的运动连续性实现背景抑制,突出目标信息,有效改善了虚警和漏检,同时所提出的图像边缘恢复滤波器对噪声的修正起到了良好作用。
下面结合说明书附图对本发明作进一步说明。
一种基于图像边缘恢复滤波器的红外图像背景抑制方法,具体步骤为:
步骤1:对输入红外图像I进行低通图像滤波和边缘检测,得到滤波后的图像B和边缘点。
进一步的实施例中,采用图像边缘恢复滤波器(ERF)将平滑滤波输出中的模糊边缘恢复到清晰。具体的,首先定义拟议的图像边缘恢复滤波器(ERF)。考虑输入图像I和其相应的平滑滤波输出Ismooth,它是在半径为r的中心滤波窗口上进行过滤。
Ismooth=smooth(I,r) (1)
其中Smooth()表示一个局部平滑滤波器,如Avg,Gau,Bil,Gui等。提出的图像边缘恢复滤波器(ERF)是一个后处理滤波器,在公式1之后实现。ERF通过对一对图像Ismooth和I的操作产生结果Ierf。
Ierf=ERF(Ismooth,I,r) (2)
其中ERF()是建议的滤波器,r是滤波半径。公式2中的滤波半径与公式1(原始平滑滤波)严格相同。考虑一个具有索引i的目标像素。如果像素I(i)属于边缘像素,并且Ismooth(i)是模糊的,预计Ierf(i)会接近I(i)。相反,如果I(i)属于噪声像素,则不期望Ierf(i)等于I(i)。为了达到这个目标,设计ERF如下。通过解下式找出Ismooth中的像素j′:
其中wi是图像Ismooth中像素i为中心的窗口,D(Ismooth(j),I(i))是平方误差(Ismooth(j),I(i))2,在获得像素j′的值后,得到:
Ierf(i)=Ismooth(j′) (4)
进一步的实施例中,对输入红外图像进行边缘检测。具体的,边缘检测方法可以采用一阶或二阶微分方法,也可以通过衡量背景的亮度变化程度来自适应判断背景边缘,经过处理效果和运行速度权衡,本发明的方法后续步骤对边缘定位误差不敏感,故直接使用一阶梯度算子Sobel,梯度阈值设置为50。
步骤2:根据图像B和边缘点构建红外背景图像C,将输入红外图像I减去红外背景图像C,得到残差图像D;
按下述方法构建红外背景图像C:对I中每个像素,设其坐标为(x,y),若它不是边缘点,则C中对应像素值取B(x,y),若它是边缘点,则以其为中心设置一个固定窗口。固定窗口与前面步骤中的均值滤波窗口大小相同或稍大一些,如均值滤波窗口取3×3,这个固定窗口可以设置成3×3或5×5。在B中对应的窗口中找与I(x,y)灰度值最接近的像素B(m,n)作为C(x,y)的值。
步骤3:对残差图像D作逐像素阈值化;
对于只包含目标和背景两个类别的目标检测问题,选择单阈值处理,而全局阈值会造成目标丢失,因此采取局部阈值处理,计算每个局部区域的阈值T(i)=μ(i)+kσ(i),具体的,均方差系数k通过如下方法选取:
设目标区域周围的局部平均值可以如下计算:
其中,A,W,i,n分别代表目标亮度、尺寸、当前局部窗口的索引和局部窗口内的样本数量(n>W)。而局部标准差为:
其中y(j)和μ(i)分别表示显著性图样本和局部平均值。为了简单起见,假定目标区域以外的值接近于零。得到:
带入局部阈值计算公式为:
为了保证目标在背景抑制过程中不丢失,那么T(i)≤A,即:
在地物场景下,按本发明的设置一般有n=9,W=1,得到k≈3
步骤4、对逐像素阈值化的图像进行空间非极大抑制,消除潜在虚警;
执行逐像素阈值化操作max(0,D(x,y)-T(x,y))后的图像每个像素亮度值高于自适应阈值的强度图像,因为红外图像中弱小目标一般是稀疏,且在没有目标位置先验信息的情况下,可认为目标是均匀随机分布与图像中的,故对于一个强度值高的像素,其局部领域内极少出现另一个目标。故可选择适当的窗口,抑制窗口内像素的强度,直接将这些像素强度值设成0,也可以利用线性变换来压制。
步骤5、进行一致性判别,获得尺寸不变的背景抑制后的红外图像。
在一致性判别获得最终背景抑制后的红外图像前,需要对原输入图像I进行背景运动估计和运动补偿,收集目标时空连续轨迹,给出置信度度量,利用度量结果抑制强噪声干扰,同时增强目标点亮度。所需的模块包括背景特征点提取与匹配模块、候选目标轨迹提取、轨迹一致性度量模型学习、基于Logistic回归的一致性轨迹度量模块、时空后续目标亮度增强。
(1)背景特征点提取与匹配模块
对于相邻两帧,使用计算机视觉中的ORB特征描述子分别提取两帧图像中的特征点,进而使用RANSAC随机采样一致性鲁棒统计方法估算两图像间的仿射变换的三个参数,即旋转角度,水平和垂直方向平移量。如图2所示,取步骤3构建好的红外背景图像输入ORB特征描述算法,通过提取每幅图像的ORB特征点,进而完成匹配,估计背景运动参数。
(2)候选目标轨迹提取
本发明使用管道滤波,通过时空信息对候选目标的轨迹实施初筛,将不满足管道约束的噪声轨迹先尽可能剔除。
将当前帧检测的候选目标压入管道,若管道中的帧数未达到预设的管道长度,继续压入新的图像帧中检测的候选目标,若管道中的帧数已经达到管道长度,则利用存储在管道中的所有时刻的候选目标进行辅助滤波最新的一帧候选目标,即抽取当前帧候选目标,按照仿射变换关系,将管道中所有历史帧候选目标坐标变换到当前帧,对当前帧中每一个候选目标预设相隔两帧的最大位移乘以两帧图像的时间间隔的正方形,选择此时落在该正方形中的历史候选目标进行关联,形成轨迹,而在该正方形之外的目标点不进行关联。
候选目标在输入管道前,要根据背景估计的结果将连续帧目标坐标进行背景补偿。具体的,本发明将历史帧统一转变到当前帧,如图3所示,第k-1,k-2和k-3帧统一变换到与第k帧一致。在每处理一帧时,都会记录上一帧到当前帧的背景运动估计参数,即T1,T2和T3,转换时,只要将它们矩阵连乘,即可得到第k-1,k-2和k-3帧到第k帧的变换矩阵T1T2T3,T2T3,T3。
(3)轨迹一致性度量模型学习
为了提高对小目标检测的正确率,经过管道滤波处理后,需要对所有候选轨迹进行评价。它通过序列图像建立小目标的运动模型,构造帧间轨迹判别模型,分析序列图像中小目标的运动轨迹,将目标与噪声进行区分。
获取连续N帧经过管道滤波后的目标点,以目标最大运动速度限制作为目标位置可达性判决,将相邻若干帧图像上可达的目标点用边相连,即第1、2帧,第2、3帧,直至第N-1、N帧,按时间顺序依次构成的轨迹称为候选轨迹,如图4,共有4条候选轨迹。接下来,建立一致性度量来判别这4条候选轨迹,找出最可能是目标的轨迹。
1)设计一个点击鼠标并记录点击坐标位置的小程序,手工获得一些人类认为的目标轨迹(匀速直线运动、匀速直线运动),以及生成一些杂乱的随机噪声轨迹,得到一个轨迹数据集。每条轨迹信息包含n,x1,y1,x2,y2,..Xn,Yn,其中n表示点数,xi,yi,为点的坐标,目标轨迹存100条,杂乱噪声轨迹存100条。由于图像分辨率为256x256,目标(x,y)坐标尽量在这个宽度和高度范围内。此外,特征提取阶段,对于一条轨迹,每个点的(x,y)都可以减去第一个点的(x,y)转变成相对坐标。
2)对这200条轨迹的每一条进行特征提取,得到d维的特征向量,比如特征第一维,轨迹点数,第二维相邻点距离平均值,相邻点距离方差,轨迹中相邻连线方向变化最大值等特征。然后,给定回归值,目标轨迹标签为1,噪声轨迹标签为0。
先随机生成噪声点集和轨迹点集,后统一处理提取点集特征。生成噪声点集时,因为噪声是无序的,所以每组点用随机函数生成即可。生成轨迹点集时,先生成初始点,然后在生成随机数a,b在[-2,2]范围内,作为后面x和y坐标每次自增(或自减)的值。若a和b均为0,则重新生成a和b。再每隔几组数据后,x和y坐标增加一个-1到1之间的随机数作为干扰。
3)轨迹特征提取
通过研究图像序列发现,弱小运动目标在相邻两帧中的位置不会有突变,即目标在连续帧内的运动速度和方向变化是有规律的。为此,本发明利用逻辑回归方法学习一些有规律的运动轨迹来预测任意轨迹是是真实目标轨迹的可能性。通过对小目标连续N帧的运动图像处理得到N帧图像中目标的位置信息.分析得到以下两类特征:
①速度特征:目标的运动特征在时间t的一阶函数上表现为速度.以连续两帧之间的时间间隔作为单位时间,则目标在两帧之间位置的笛卡尔距离可以来表示速度特征。
②偏向角特征:以物体两帧之间坐标的差值构造运动向量,通过平面向量夹角公式可以近似表示运动的偏向角特征。
在目标运动的序列图像中可以得到平均速度特征(Md),偏向角特征(Mtheta),进一步得到速度方差特征(Sd),偏向角方差特征(Stheta)等统计信息,并以这些特征作为特征向量来够构造机器学习的数据集.通过逻辑回归方法分析数据,如下式:
提取轨迹特征:共有5个特征,分别为点的个数、轨迹上顺序相邻点的速度均值、速度方差、相邻线段的偏向角均值、偏向角方差。
相邻点的速度均值mean0:使用曼哈顿距离计算。
相邻点的速度方差var0:
相邻线段的角度均值Mtheta:先计算相邻点之间的向量集合,然后通过向量计算角度,同时需要考虑顺逆时针以及共线问题。一条轨迹上相邻两线段的夹角α的计算公式为(已知两向量(x1,y1)(x2,y2)):
判断顺逆时针及共线公式为:
x1y2-x2y1>0(15)
若大于0则为逆时针,小于0则为顺时针,等于0则为共线。相邻线段的偏向角均值Mtheta和方差Stheta的计算公式同速度均值和方差。
为了让后续模型更容易训练,还需要对轨迹特征进行标准化操作(数据白化),即对于所有训练样本的每一维计算均值μ和标准差σ,然后对每个样本的该维特征x利用如下公式变换到x′,使得变换后的该维特征整体服从标准高斯分布N(0,1)。
(4)基于Logistic回归的一致性轨迹度量模块
训练一个Logistic回归模型,获得从轨迹特征到是目标轨迹的概率的模型参数。这里,要判断一条候选轨迹到底属于目标还是噪声干扰时,可以按提取轨迹的一些特征,如位移和速度的稳定性、轨迹曲率,记为f1,f2,...,fn,而后,希望定一个统计量p,它与这些特征建立一种映射关系的函数L,而且,要求p的值只在[0,1]之间,这样,越靠近1越可能是目标轨迹,越靠近0,越可能是噪声干扰。Logistic回归就是一种构建函数L的模型,它把线性模型和sigmoid函数结合起来,就能实现上述要求,线性模型通过预测与特征对应的一组权重,利用加权求和实现线性回归,同时sigmoid函数恰好是能将任意实数映射到[0,1]之间的一种非线性函数。Logsitic回归模型的参数就是这组权重,通过足够的训练样本,就可以通过梯度下降获得这组权重的最优参数,这里的最优是相对于训练数据而言的。
Logistic模型验证:另外生成100条目标轨迹和100条噪声轨迹的验证集,然后用训练好的Logistic轨迹来回归轨迹是目标轨迹置信度。如果回归结果满足预定精度要求,则完成轨迹一致性度量模型构建;否则回到步骤3,重新调整模型超参数,优化Logistic回归模型,直至满足预定精度要求。输入200条轨迹的特征,即点数,速度均值,速度方差,偏向角均值,偏向角方差,输出为Logistic模型判断结果,所有轨迹的判别全部正确时,可以存储模型参数,分别对应于每种特征的权值,模型即可用于轨迹的一致性判别。
(5)时空后续目标亮度增强
单从一帧图像来看,输入图像经过处理,背景中的极强的噪声干扰并没有被有效抑制,从而导致目标信号弱于噪声信号,易于在导致后续检测出现漏检和虚警。为此,利用多帧信息收集候选目标的时空证据、进行度量,进而对强噪声进行抑制,并增强候选目标亮度。具体包括:
1)利用ORB特征描述方法预测N幅(实验取N=3)历史帧图像到当前帧图像的背景运动;
2)设置当前帧的自适应阈值,获得亮度大于阈值的候选目标,利用背景运动预测实现背景补偿,而后利用目标最大帧间运动速率构建管道,通过管道滤波获得每个候选目标的可能历史轨迹,并使用离线训练的轨迹一致性度量模型给出每个候选目标所有可能历史轨迹的度量的最大值作为帧间运动证据p;
3)对当前帧候选目标的原始亮度g作如下非线性亮度变换:
该变换的本质是:对帧间运动证据很强或很弱的候选目标亮度分别予以指数级增强和抑制,其余目标亮度不变。
如图5所示,本发明给出不同滤波方式下对增强效果的影响对比,可以看出本发明提出的基于边缘保持均值滤波的图像增强方法可以较好的保持图像的边缘,避免了后续减背景操作中边缘处出现大量虚警。
本发明进行综合测试的测试用例典型帧图像如图6所示,测试用例1为真实地物场景序列,分辨率为256x256,含有一个无人机点目标在图像中心缓慢移动,背景也在缓慢移动;测试用例2为真实地物背景图像序列,分辨率为128x128,叠加一个从左到右下匀速运动的点目标;测试用例3选取一张自然地物场景红外图像A,通过A生成一个仿真序列作为一个测试用例。具体如下:利用双线性插值将A的分辨率升为1024x1024,得到图像B。对于仿真序列的每一帧,将B按某一角度旋转得到C,以256x256的窗口在C上截取块图像D,且该窗口在B上移动dx,dy,以此模拟背景的仿射运动(旋转、水平和垂直运动)。最后在每个块图像D中按一定的信杂比(比如7~10)叠加一个点目标。表1为本发明提出的红外图像背景抑制算法在上述测试用例的测试结果,输入图像标准差在10-50之间,输出图像标准差在0.2-0.6之间,背景抑制因子(输入标准差与输出标准差之比)大于10,且所有测试序列图像标准差最大值的平均值为1.6287,标准差最大值的最大值为5.9455,均小于10倍深空背景图像标准差(参考标准差为1.5)。
表1
与前人方法相比,本发明提出的红外图像背景抑制方法在背景抑制因子、信噪比增益、图像处理速度指标上均有着显著优势,适用于下视复杂地物背景下的红外制导任务。
Claims (6)
1.一种基于图像边缘恢复滤波器的红外图像背景抑制方法,其特征在于,包括以下步骤:
步骤1、对输入红外图像I进行低通图像滤波,使用图像边缘恢复滤波器ERF将滤波输出中的模糊边缘恢复到清晰;进行边缘检测,得到滤波后的图像B和边缘点;
步骤2、根据图像B和边缘点构建红外背景图像C,将输入红外图像I减去红外背景图像C,得到残差图像D;
步骤3、对残差图像D作逐像素阈值化;
步骤4、对逐像素阈值化的图像进行空间非极大抑制,消除潜在虚警;
步骤5、基于空间非极大抑制和背景运动估计进行一致性判别,获得尺寸不变的背景抑制后的红外图像。
2.根据权利要求1所述的基于图像边缘恢复滤波器的红外地物背景抑制方法,其特征在于:
所述低通图像滤波采用5x5的隔离带均值滤波,即5x5的网格去除中心的3x3网格,使用周围16个像素计算均值;
所述图像边缘恢复滤波器ERF的具体实现过程为:
(1)对输如红外图像I行半径为r的低通图像滤波得到Ismooth;
(2)考虑图像I中的像素i(i),通过解下式找出Ismooth中的像素j′:
其中wi是图像Ismooth中像素i为中心的窗口,半径也为r,D(Ismooth(j),I(i))是平方误差(Ismooth(j),I(i))2,在获得像素j′的值后,得到:
Ierf(i)=Ismooth(j′)
所述边缘检测采用一阶微分方法,使用一阶梯度算子Sobel,梯度阈值为50。
3.根据权利要求1所述的基于图像边缘恢复滤波器的红外地物背景抑制方法,其特征在于,所述构建红外背景图像C的具体方法为:
对I中每个像素,设其坐标为(x,y),若它不是边缘点,则C中对应像素值取B(x,y),若它是边缘点,则以其为中心设置一个固定窗口;固定窗口的大小与步骤1中均值滤波窗口大小相同,在B中对应的窗口中找与I(x,y)灰度值最接近的像素B(m,n)作为C(x,y)的值。
4.根据权利要求1所述的基于图像边缘恢复滤波器的红外地物背景抑制方法,其特征在于,所述对残差图像D作逐像素阈值化的具体方法为:
逐个计算残差图像D中每个像素的邻域均值u和标准差s,计算阈值T=μ+k·σ,式中,μ,σ为整幅图像的均值和均方差,k为均方差的修正系数;
对D中每个像素作操作max(0,D(x,y)-Thre(x,y))得到输出的背景抑制图像。
5.根据权利要求1所述的基于图像边缘恢复滤波器的红外地物背景抑制方法,其特征在于:所述空间非极大抑制通过选择适当的窗口,抑制窗口内像素的强度,直接将这些像素强度值设成0利用线性变换来压制。
6.根据权利要求1所述的基于图像边缘恢复滤波器的红外地物背景抑制方法,其特征在于,所述基于空间非极大抑制和背景运动估计进行一致性判别的具体方法为:
进行背景运动估计,预测N幅历史帧图像到当前帧图像的背景运动;
根据运动结果,对潜在目标进行运动补偿;
收集目标时空连续轨迹,并给出置信度度量,利用度量结果抑制强噪声干扰,并增强目标点强度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310428097.5A CN116977199A (zh) | 2023-04-20 | 2023-04-20 | 基于图像边缘恢复滤波器的红外图像背景抑制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310428097.5A CN116977199A (zh) | 2023-04-20 | 2023-04-20 | 基于图像边缘恢复滤波器的红外图像背景抑制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116977199A true CN116977199A (zh) | 2023-10-31 |
Family
ID=88482084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310428097.5A Pending CN116977199A (zh) | 2023-04-20 | 2023-04-20 | 基于图像边缘恢复滤波器的红外图像背景抑制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116977199A (zh) |
-
2023
- 2023-04-20 CN CN202310428097.5A patent/CN116977199A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113012203B (zh) | 一种复杂背景下高精度多目标跟踪方法 | |
CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN110796687B (zh) | 天空背景红外成像多目标跟踪方法 | |
CN103729854A (zh) | 一种基于张量模型的红外弱小目标检测方法 | |
CN104268519B (zh) | 基于模式匹配的图像识别终端及其识别方法 | |
CN109410248B (zh) | 一种基于r-K算法的浮选泡沫运动特征提取方法 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
CN110400294B (zh) | 一种红外目标探测系统及探测方法 | |
Fiaz et al. | Vision based human activity tracking using artificial neural networks | |
CN111402237A (zh) | 基于时空级联自编码器的视频图像异常检测方法及系统 | |
CN112329764A (zh) | 一种基于tv-l1模型的红外弱小目标检测方法 | |
Mirabi et al. | People tracking in outdoor environment using Kalman filter | |
KR20120129301A (ko) | 이동 객체 추출 및 추적 방법 및 장치 | |
CN111914627A (zh) | 一种车辆识别与追踪方法及装置 | |
Angelo | A novel approach on object detection and tracking using adaptive background subtraction method | |
CN117576380A (zh) | 一种目标自主检测跟踪方法及系统 | |
CN116977199A (zh) | 基于图像边缘恢复滤波器的红外图像背景抑制方法 | |
CN116193103A (zh) | 一种视频画面抖动等级评估的方法 | |
CN115439771A (zh) | 一种改进dsst的红外激光光斑跟踪方法 | |
CN114820718A (zh) | 一种视觉动态定位跟踪算法 | |
CN113850843A (zh) | 目标跟踪方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |