CN109934224A - 基于马尔科夫随机场和视觉对比机制的小目标检测方法 - Google Patents

基于马尔科夫随机场和视觉对比机制的小目标检测方法 Download PDF

Info

Publication number
CN109934224A
CN109934224A CN201910177953.8A CN201910177953A CN109934224A CN 109934224 A CN109934224 A CN 109934224A CN 201910177953 A CN201910177953 A CN 201910177953A CN 109934224 A CN109934224 A CN 109934224A
Authority
CN
China
Prior art keywords
image
target
region
area
markov random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910177953.8A
Other languages
English (en)
Other versions
CN109934224B (zh
Inventor
贾海涛
王颖
周兰兰
赵行伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mianyang Huitv Photoelectric Technology Co Ltd
Original Assignee
Mianyang Huitv Photoelectric Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mianyang Huitv Photoelectric Technology Co Ltd filed Critical Mianyang Huitv Photoelectric Technology Co Ltd
Priority to CN201910177953.8A priority Critical patent/CN109934224B/zh
Publication of CN109934224A publication Critical patent/CN109934224A/zh
Application granted granted Critical
Publication of CN109934224B publication Critical patent/CN109934224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于马尔科夫随机场和视觉对比机制的小目标检测方法,对所需识别的小目标的原始红外图像进行预处理;基于九宫格算法,计算出预处理后的红外图像的显著性图;基于马尔科夫随机场对帧间差分图像进行建模,并分割出运动区域和背景区域;将空间域显著性图和时域进行融合,剔除图像中被误认为是目标的孤立噪声点。本发明基于人类视觉对比机制和马尔科夫随机场,结合时域和空域的特点,对运动目标进行检测,实现了对弱小目标的检测,提高了检测性能和效果。

Description

基于马尔科夫随机场和视觉对比机制的小目标检测方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于马尔科夫随机场和视觉对比机制的小目标检测方法。
背景技术
红外弱小目标检测是目标跟踪中的一项重要技术,一直是红外识别领域的研究热点,但是由于跟踪检测的距离比较远使得红外目标成像面积太小,形状、结构特征不明显,目标几乎淹没在复杂的背景中,使得检测不易实现。
目前,红外目标检测方法可分为单帧检测和多帧检测。多帧检测的方法主要有帧差法、混合高斯模型、光流估计法等。多帧检测方法要求目标背景为静态视场,难以适应运动检测平台中图像背景的变化。单帧检测的方法主要有K均值聚类、背景预测、局部极大值、相关滤波等。上述单帧检测方法多为单一的滤波计算及二值化处理,对弱小目标的检测性能较差。
近年来,人类视觉系统(HVS)已被引入到红外小目标检测应用中,获得了非常好的检测效果。根据人眼的视觉特性,在复杂背景区域中存在目标的显著区域往往能引起人眼的迅速注意,即可以快速准确地识别视觉场中的显著区域,其显著性特征包括对比度,大小,尖锐性等,现有许多显著区域检测算法通过计算每个图像子区域同其一定范围内的相邻区域的对比度来度量该图像子区域的显著性。马尔可夫随机场(Markov Random Field,MRF)理论是近年来兴起的用于描述图像像素之间纹理特性关系的新方法,已广泛应用于图像分割、降噪等分析处理。由于图像中的目标检测问题可看作是背景与目标的二元分类标记问题,越来越多的学者开始研究基于MRF理论的目标检测算法。
发明内容
基于此,针对上述问题,有必要提出一种结合时域和空域的特点,在此基础上利用人类视觉对比机制和马尔科夫随机场对运动目标进行检测的方法,实现对弱小目标的检测,提高了检测性能和效果。
本发明的技术方案是:
一种基于马尔科夫随机场和视觉对比机制的小目标检测方法,包括以下步骤:
a、对所需识别的小目标的原始红外图像进行预处理;
b、基于九宫格算法,计算出预处理后的红外图像的显著性图;
c、基于马尔科夫随机场对帧间差分图像进行建模,并分割出运动区域和背景区域;
d、将空间域的显著性图和时域分割出的区域进行融合,剔除图像中被误认为是目标的孤立噪声点。
在本技术方案中,将原始图像分别进行建模和生成显著性图,即一方面对原始图像先进行单帧图像预处理,再生成显著性图,最后进行感兴趣区域(ROI)提取;另一方面对原始图像进行时域差分图像的获取,再进行马尔可夫随机场(MRF)建模,最后划分背景和目标区域;两部分同步分别完成后,将时域和空域结构相融合,最终获取运动目标,实现对弱小目标的检测。
优选的,所述步骤a包括以下步骤:
基于Top-hat形态学滤波器对原始红外图像进行处理,包括腐蚀和膨胀操作,并由腐蚀和膨胀操作构成开运算和闭运算;
若进行开运算,则先进行腐蚀操作后进行膨胀,其公式如下:
若进行闭运算,则先进行膨胀操作后进行腐蚀,其公式如下:
其中,I是原始红外图像,S是结构化的元素,表示膨胀操作,表示腐蚀操作。
在本技术方案中,红外图像中的目标信号通常是暗淡混杂的背景杂波,这使得小目标检测难,为了有效抑制红外噪声干扰,同时减少算法处理的时间复杂度,本发明在微弱小目标识别前对原始图像进行预处理;首先引入传统的Top-hat形态学滤波器,滤波对原始图像进行处理,有效增强图像的信噪比,传统的Top-hat形态学波器比较适用于像外弱小目标这种纹理特征较少的图像;主要由腐蚀和膨胀这两种操作组成,膨胀就是求局部最大值的操作;按数学方面来说,膨胀或者腐蚀操作就是将图像(或图像的一部分区域,我们称之为A)与核(我们称之为B)进行卷积,并把这个最大值赋值给参考点指定的像素,这样就会使图像中的高亮区域逐渐增长;膨胀和腐蚀是是相反的一对操作,所以腐蚀就是求局部最小值的操作,腐蚀和膨胀这两个基本操作又构成了开运算和闭运算,开运算是先腐蚀后膨胀的运算,闭运算是先膨胀后腐蚀的运算。
优选的,所述步骤a还包括以下步骤:
若原始红外图像的背景过大,且位于其上的小目标有规律的分布时,则可基于顶帽运算进行背景提取;包括打开顶帽操作和关闭顶帽操作,其中:
打开顶帽操作的公式为:OTH(x,y)=(I-S·I)(x,y);
关闭顶帽操作的公式为:CTH(x,y)=(I·S-I)(x,y)。
在本技术方案中,可以使用顶帽变换来增强目标,打开顶帽运算往往用来分离比邻近点亮一些的斑块,当一幅图像具有大幅的背景的时候,而微小物品比较有规律的情况下,可以使用顶帽运算进行背景提取;关闭顶帽运算为闭运算的结果图与原图像之差,关闭顶帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域,且这一操作和选择的核的大小相关;所以,黑帽运算用来分离比邻近点暗一些的斑块,获得非常完美的轮廓效果图。
优选的,所述步骤b包括以下步骤:
b11、围绕疑似目标的区域块中以像素xi(i=1,2…N)为中心的区域块V0定义一个图像块V,该图像块V的边长是区域块V0的3倍;
b12、以图像块V为中心,并作为目标区域,以图像块V的邻域作为背景区域,计算该图像块V的局部对比度值,其公式如下:
其中,C0为目标区域和背景区域的局部对比度值,Ln为图像块V内的最大像素值,M0为目标区域的像素均值,Mi为背景区域的像素均值;
b13、若图像块V是目标区域,则对目标图像块V进行增强;若图像块V不是目标区域,则对背景区域进行抑制;进而生成显著性图;
b14、对显著性图进行阈值分割获取感兴趣区域,该分割公式如下:
T=μ+kσ;
其中,T为感兴趣区域,μ表示输入图像的均值,σ表示标准差,k为常数。
人类视觉具有视觉注意、视觉对比机制等特性;在人类的视觉搜索中,总是优先注意较为显著的物体,并不是物体自身的颜色或是形状决定了这一显著性,而是它与周围环境的对比决定了这一区域优先被关注,模拟人类视觉在搜索物体时具有选择性的特点,先对图像进行感兴趣区域的提取;视觉显著性度量是基于视觉显著性的图像分割方法中的关键环节,主要计算图像中各像素的显著性,结果用与原始输入图像大小相等的一幅灰度图像来表示,称为显著性图;其中每一个像素值代表了原始图像中对应位置像素的显著值,值越大说明该像素在原始图像中越显著,越容易获得观察者的注意,这样可以提高算法运行速度和搜索红外小目标的效率;具体的:
1)划分九宫格,采用经典Top-hat算法抑制背景噪声后,目标区域增强。大量的实验仿真测试发现真实的弱小目标的大小不超过80,其目标块的大小不大于9×9,为了降低算法的复杂度。围绕疑似目标的区域块中以像素xi(i=1,2…N)为中心的区域块V0来定义一个图像块V,其边长是V0的3倍;因此,绕着V0可以获得8个不重叠的图像块Vn(n=1,2…8),其大小与V0相同,这样减少了算法的运行时间;
2)生成显著性图,以每个目标块为中心并将其看作目标区域0,以目标块的八邻域作为背景区域(1,2,3,…,8),计算该目标块的局部对比度值,计算中心目标块内的最大像素值Ln以及各背景目标块的像素均值Mi(i=1,2,3…,8),即可得目标区域和周围各背景块的局部对比度值;由图像块邻域最大对比度定义可知,只要所在图像块中含有局部灰度极大值点,它与邻域的最大对比度就会比较大,所以该度量能够表征图像的局部显著度,可用来筛选出目标可能存在的感兴趣区域根据定义计算每个分块图像的最大局部对比度值,生成显著性图;
3)自适应阈值分割,获得感兴趣区域对得到的显著性图做阈值分割获取感兴趣区域;为了不漏检与背景相融且与背景对比度不显著的目标,可将k值取得稍小;将二值化后的显著性图与预处理后的图像进行相乘,即可得到相应图像的感兴趣区域(ROI)。
优选的,所述步骤c包括以下步骤:
c11、获取帧间差分图像,提取连续的三帧图像I(t-1)、I(t)和I(t+1),分别计算连续两帧图像之间的差分运算,得到运动区域MR;计算公式如下:
d(t,t-1)[x,y]=|I(t)[x,y]-I(t-1)[x,y]|
d(t+1,t)[x,y]=I(t+1)[x,y]-I(t)[x,y]
MR[x,y]=d(t,t-1)[x,y]∩d(t,t+1)[x,y];
其中,MR[x,y]为运动区域,d为差分值;
c12、以时刻为时间基准,选取t时刻前后三帧的图像作为获取差分图像的图像帧,获取完整的所以为了获取完整的运动目标区域T(x,y);计算公式如下:
c13、对差分图像进行MRF建模。
在本技术方案中,利用马尔科夫随机场分割帧间差分图像,提取连续的三帧图像,分别计算连续两帧之间的差分运算,最后得到运动区域MR,由于在单帧图像中会出现目标丢失等情况,以及由于运动目标运动速度比较缓慢,所以帧间差分会导致运动目标区域的减弱,所以为了获取完整的运动目标区域,以时刻为时间基准,选取t时刻前后三帧的图像作为获取差分图像的图像帧,最后对差分图像进行MRF建模。
优选的,所述步骤c13的建模方法包括以下步骤:
c131、构造先验模型,构造公式如下:
p(xi|xj,j≠i,j∈S)=p(xi|xj,j∈η);
P(xi)>0;
其中,P(x)为先验模型,S为给定图像中所有图像位置点的集合,x为图像位置集合S上的随机场,η为图像位置集合S上的邻域系统;
c132、根据MRF和Gibbs随机场的等价原理,x的联合概率P(x)服从Gibbs分布,因此,
其中,Z=∑xexp(-∑c∈CVc(x))为归一化函数,c为簇,C为所有簇的集合,Vc(x)为定义在簇c上的势函数,U(x)为能量函数;
c133、构造观测模型,基于二阶领域模型计算势函数
其中,β为耦合系数,表示领域内相邻像素的惩罚程度;
c134、对单图像位置或局部图像区域中的观测图像进行建模,即
p(y|x)=∏i∈Spyi|xi);
c135、将联合观测模型p(y|x)简化表示为局部模型,基于高斯或混合高斯分布对局部观测图像进行建模,获得
其中,μi分别表示被标记为m区域的均值和方差,Nm表示被标记m类的像素个数,y为像素的灰度值;
因此,其中,N(μmm)表示具有均值为μm,方差为σm的高斯分布,M为混合分布中高斯分布的数目,σm为第m个高斯分布的权值;
c136、在先验模型和观测模型构建完毕后,可依据最大后验准则,对图像进行标记处理。
在本技术方案中,虽然低信噪比红外图像中的小目标常常被背景淹没,但是小目标与背景仍存在灰度上的差别。在图像的像素灰度空间上,小目标对应若干个近邻的奇异点,因此,目标像素点与其邻域像素点之间有着特殊关系;本发明采用MRF理论的集簇(Clique)和能量函数描述这种关系,通过对这种关系进行量化计算把目标和背景分开,进而实现目标检测。
优选的,先验模型和观测模型构建完毕后,还包括以下步骤:
基于ICM算法求解马尔可夫模型局部能量最小化。
目标检测问题可看作是图像中背景与目标的二元分类标记问题.针对实际应用中背景环境复杂多变以及目标弱小的特点,本发明首先对待标记图像的先验模型p(x)进行建模,然后引入目标先验信杂比信息,利用图像局部统计特性对生成的观测图像模型p(y|x)进行建模,最后采用ICM算法求解马尔可夫模型局部能量最小化;ICM算法的具体过程:
图像上像素共分为K类,每个像素的类别标号从一个初始解k(k=1,2,…,K)开始,持续在所有解中搜索比k更优的解,若找到比k更优的解,用这个解替代k,称为当前解,并计算图像上个向原的全局能量,再对当前继续进行本算法,知道无法找出更优解代替,此时算法结束,当前解即为算法的最终解。
优选的,所述步骤d包括以下步骤:
d11、对空间域的显著性图和时域分割出来的结果进行融合,对于空间域显著性图中的疑似目标区域Si和时域中的分割标记Ti取交集部分,得到运动目标;
d12、对于空间域的显著区域Ri和时域分割出的区域Mi,分别求其中心坐标计算两点之间的距离;
d13、当两点距离中心距离取最小值时,则对应在显著性图中区域以为中心的显著区域为运动目标,即:
对空间域的显著性图和时域分割出来的结果进行融合,得到运动目标。
本发明的有益效果是:
本发明基于人类视觉对比机制和马尔科夫随机场,结合时域和空域的特点,对运动目标进行检测,实现了对弱小目标的检测,提高了检测性能和效果。
附图说明
图1是本发明实施例所述基于马尔科夫随机场和视觉对比机制的小目标检测方法的流程图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例1
如图1所示,一种基于马尔科夫随机场和视觉对比机制的小目标检测方法,包括以下步骤:
a、对所需识别的小目标的原始红外图像进行预处理;
b、基于九宫格算法,计算出预处理后的红外图像的显著性图;
c、基于马尔科夫随机场对帧间差分图像进行建模,并分割出运动区域和背景区域;
d、将空间域的显著性图和时域分割出的区域进行融合,剔除图像中被误认为是目标的孤立噪声点。
在本实施例中,将原始图像分别进行建模和生成显著性图,即一方面对原始图像先进行单帧图像预处理,再生成显著性图,最后进行感兴趣区域(ROI)提取;另一方面对原始图像进行时域差分图像的获取,再进行马尔可夫随机场(MRF)建模,最后划分背景和目标区域;两部分同步分别完成后,将时域和空域结构相融合,最终获取运动目标,实现对弱小目标的检测。
实施例2
本实施例在实施例1的基础上,所述步骤a包括以下步骤:
基于Top-hat形态学滤波器对原始红外图像进行处理,包括腐蚀和膨胀操作,并由腐蚀和膨胀操作构成开运算和闭运算;
若进行开运算,则先进行腐蚀操作后进行膨胀,其公式如下:
若进行闭运算,则先进行膨胀操作后进行腐蚀,其公式如下:
其中,I是原始红外图像,S是结构化的元素,表示膨胀操作,表示腐蚀操作。
在本实施例中,红外图像中的目标信号通常是暗淡混杂的背景杂波,这使得小目标检测难,为了有效抑制红外噪声干扰,同时减少算法处理的时间复杂度,本发明在微弱小目标识别前对原始图像进行预处理;首先引入传统的Top-hat形态学滤波器,滤波对原始图像进行处理,有效增强图像的信噪比,传统的Top-hat形态学波器比较适用于像外弱小目标这种纹理特征较少的图像;主要由腐蚀和膨胀这两种操作组成,膨胀就是求局部最大值的操作;按数学方面来说,膨胀或者腐蚀操作就是将图像(或图像的一部分区域,我们称之为A)与核(我们称之为B)进行卷积,并把这个最大值赋值给参考点指定的像素,这样就会使图像中的高亮区域逐渐增长;膨胀和腐蚀是是相反的一对操作,所以腐蚀就是求局部最小值的操作,腐蚀和膨胀这两个基本操作又构成了开运算和闭运算,开运算是先腐蚀后膨胀的运算,闭运算是先膨胀后腐蚀的运算。
实施例3
本实施例在实施例2的基础上,所述步骤a还包括以下步骤:
若原始红外图像的背景过大,且位于其上的小目标有规律的分布时,则可基于顶帽运算进行背景提取;包括打开顶帽操作和关闭顶帽操作,其中:
打开顶帽操作的公式为:OTH(x,y)=(I-S·I)(x,y);
关闭顶帽操作的公式为:CTH(x,y)=(I·S-I)(x,y)。
在本实施例中,可以使用顶帽变换来增强目标,打开顶帽运算往往用来分离比邻近点亮一些的斑块,当一幅图像具有大幅的背景的时候,而微小物品比较有规律的情况下,可以使用顶帽运算进行背景提取;关闭顶帽运算为闭运算的结果图与原图像之差,关闭顶帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域,且这一操作和选择的核的大小相关;所以,黑帽运算用来分离比邻近点暗一些的斑块,获得非常完美的轮廓效果图。
实施例4
本实施例在实施例1的基础上,所述步骤b包括以下步骤:
b11、围绕疑似目标的区域块中以像素xi(i=1,2…N)为中心的区域块V0定义一个图像块V,该图像块V的边长是区域块V0的3倍;
b12、以图像块V为中心,并作为目标区域,以图像块V的邻域作为背景区域,计算该图像块V的局部对比度值,其公式如下:
其中,C0为目标区域和背景区域的局部对比度值,Ln为图像块V内的最大像素值,M0为目标区域的像素均值,Mi为背景区域的像素均值;
b13、若图像块V是目标区域,则对目标图像块V进行增强;若图像块V不是目标区域,则对背景区域进行抑制;进而生成显著性图;
b14、对显著性图进行阈值分割获取感兴趣区域,该分割公式如下:
T=μ+kσ;
其中,T为感兴趣区域,μ表示输入图像的均值,σ表示标准差,k为常数。
人类视觉具有视觉注意、视觉对比机制等特性;在人类的视觉搜索中,总是优先注意较为显著的物体,并不是物体自身的颜色或是形状决定了这一显著性,而是它与周围环境的对比决定了这一区域优先被关注,模拟人类视觉在搜索物体时具有选择性的特点,先对图像进行感兴趣区域的提取;视觉显著性度量是基于视觉显著性的图像分割方法中的关键环节,主要计算图像中各像素的显著性,结果用与原始输入图像大小相等的一幅灰度图像来表示,称为显著性图;其中每一个像素值代表了原始图像中对应位置像素的显著值,值越大说明该像素在原始图像中越显著,越容易获得观察者的注意,这样可以提高算法运行速度和搜索红外小目标的效率;具体的:
1)划分九宫格,采用经典Top-hat算法抑制背景噪声后,目标区域增强。大量的实验仿真测试发现真实的弱小目标的大小不超过80,其目标块的大小不大于9×9,为了降低算法的复杂度。围绕疑似目标的区域块中以像素xi(i=1,2…N)为中心的区域块V0来定义一个图像块V,其边长是V0的3倍;因此,绕着V0可以获得8个不重叠的图像块Vn(n=1,2…8),其大小与V0相同,这样减少了算法的运行时间;
2)生成显著性图,以每个目标块为中心并将其看作目标区域0,以目标块的八邻域作为背景区域(1,2,3,…,8),计算该目标块的局部对比度值,计算中心目标块内的最大像素值Ln以及各背景目标块的像素均值Mi(i=1,2,3…,8),即可得目标区域和周围各背景块的局部对比度值;由图像块邻域最大对比度定义可知,只要所在图像块中含有局部灰度极大值点,它与邻域的最大对比度就会比较大,所以该度量能够表征图像的局部显著度,可用来筛选出目标可能存在的感兴趣区域根据定义计算每个分块图像的最大局部对比度值,生成显著性图;
3)自适应阈值分割,获得感兴趣区域对得到的显著性图做阈值分割获取感兴趣区域;为了不漏检与背景相融且与背景对比度不显著的目标,可将k值取得稍小;将二值化后的显著性图与预处理后的图像进行相乘,即可得到相应图像的感兴趣区域(ROI)。
实施例5
本实施例在实施例1的基础上,所述步骤c包括以下步骤:
c11、获取帧间差分图像,提取连续的三帧图像I(t-1)、I(t)和I(t+1),分别计算连续两帧图像之间的差分运算,得到运动区域MR;计算公式如下:
d(t,t-1)[x,y]=|I(t)[x,y]-I(t-1)[x,y]|
d(t+1,t)[x,y]=I(t+1)[x,y]-I(t)[x,y]
MR[x,y]=d(t,t-1)[x,y]∩d(t,t+1)[x,y];
其中,MR[x,y]为运动区域,d为差分值;
c12、以时刻为时间基准,选取t时刻前后三帧的图像作为获取差分图像的图像帧,获取完整的所以为了获取完整的运动目标区域T(x,y);计算公式如下:
c13、对差分图像进行MRF建模。
在本实施例中,利用马尔科夫随机场分割帧间差分图像,提取连续的三帧图像,分别计算连续两帧之间的差分运算,最后得到运动区域MR,由于在单帧图像中会出现目标丢失等情况,以及由于运动目标运动速度比较缓慢,所以帧间差分会导致运动目标区域的减弱,所以为了获取完整的运动目标区域,以时刻为时间基准,选取t时刻前后三帧的图像作为获取差分图像的图像帧,最后对差分图像进行MRF建模。
实施例6
本实施例在实施例5的基础上,所述步骤c13的建模方法包括以下步骤:
c131、构造先验模型,构造公式如下:
p(xi|xj,j≠i,j∈S)=p(xi|xj,j∈η);
P(xi)>0;
其中,P(x)为先验模型,S为给定图像中所有图像位置点的集合,x为图像位置集合S上的随机场,η为图像位置集合S上的邻域系统;
c132、根据MRF和Gibbs随机场的等价原理,x的联合概率P(x)服从Gibbs分布,因此,
其中,Z=∑xexp(-∑c∈CVc(x))为归一化函数,c为簇,C为所有簇的集合,Vc(x)为定义在簇c上的势函数,U(x)为能量函数;
c133、构造观测模型,基于二阶领域模型计算势函数
其中,β为耦合系数,表示领域内相邻像素的惩罚程度;
c134、对单图像位置或局部图像区域中的观测图像进行建模,即
p(y|x)=∏i∈spyi|xi);
c135、将联合观测模型p(y|x)简化表示为局部模型,基于高斯或混合高斯分布对局部观测图像进行建模,获得
其中,μi分别表示被标记为m区域的均值和方差,Nm表示被标记m类的像素个数,y为像素的灰度值;
因此,其中,N(μmm)表示具有均值为μm,方差为σm的高斯分布,M为混合分布中高斯分布的数目,σm为第m个高斯分布的权值;
c136、在先验模型和观测模型构建完毕后,可依据最大后验准则,对图像进行标记处理。
在本实施例中,虽然低信噪比红外图像中的小目标常常被背景淹没,但是小目标与背景仍存在灰度上的差别。在图像的像素灰度空间上,小目标对应若干个近邻的奇异点,因此,目标像素点与其邻域像素点之间有着特殊关系;本发明采用MRF理论的集簇(Clique)和能量函数描述这种关系,通过对这种关系进行量化计算把目标和背景分开,进而实现目标检测。
实施例7
本实施例在实施例6的基础上,先验模型和观测模型构建完毕后,还包括以下步骤:
基于ICM算法求解马尔可夫模型局部能量最小化。
目标检测问题可看作是图像中背景与目标的二元分类标记问题.针对实际应用中背景环境复杂多变以及目标弱小的特点,本发明首先对待标记图像的先验模型p(x)进行建模,然后引入目标先验信杂比信息,利用图像局部统计特性对生成的观测图像模型p(y|x)进行建模,最后采用ICM算法求解马尔可夫模型局部能量最小化;ICM算法的具体过程:
图像上像素共分为K类,每个像素的类别标号从一个初始解k(k=1,2,…,K)开始,持续在所有解中搜索比k更优的解,若找到比k更优的解,用这个解替代k,称为当前解,并计算图像上个向原的全局能量,再对当前继续进行本算法,知道无法找出更优解代替,此时算法结束,当前解即为算法的最终解。
实施例8
本实施例在实施例1的基础上,所述步骤d包括以下步骤:
d11、对空间域的显著性图和时域分割出来的结果进行融合,对于空间域显著性图中的疑似目标区域Si和时域中的分割标记Ti取交集部分,得到运动目标;
d12、对于空间域的显著区域Ri和时域分割出的区域Mi,分别求其中心坐标计算两点之间的距离;
d13、当两点距离中心距离取最小值时,则对应在显著性图中区域以为中心的显著区域为运动目标,即:
对空间域的显著性图和时域分割出来的结果进行融合,得到运动目标。
以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (8)

1.一种基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,包括以下步骤:
a、对所需识别的小目标的原始红外图像进行预处理;
b、基于九宫格算法,计算出预处理后的红外图像的显著性图;
c、基于马尔科夫随机场对帧间差分图像进行建模,并分割出运动区域和背景区域;
d、将空间域的显著性图和时域分割出的区域进行融合,剔除图像中被误认为是目标的孤立噪声点。
2.根据权利要求1所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,所述步骤a包括以下步骤:
基于Top-hat形态学滤波器对原始红外图像进行处理,包括腐蚀和膨胀操作,并由腐蚀和膨胀操作构成开运算和闭运算;
若进行开运算,则先进行腐蚀操作后进行膨胀,其公式如下:
若进行闭运算,则先进行膨胀操作后进行腐蚀,其公式如下:
其中,I是原始红外图像,S是结构化的元素,表示膨胀操作,表示腐蚀操作。
3.根据权利要求2所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,所述步骤a还包括以下步骤:
若原始红外图像的背景过大,且位于其上的小目标有规律的分布时,则可基于顶帽运算进行背景提取;包括打开顶帽操作和关闭顶帽操作,其中:
打开顶帽操作的公式为:OTH(x,y)=(I-S·I)(x,y);
关闭顶帽操作的公式为:CTH(x,y)=(I·S-I)(x,y)。
4.根据权利要求1或2所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,所述步骤b包括以下步骤:
b11、围绕疑似目标的区域块中以像素xi(i=1,2…N)为中心的区域块V0定义一个图像块V,该图像块V的边长是区域块V0的3倍;
b12、以图像块V为中心,并作为目标区域,以图像块V的邻域作为背景区域,计算该图像块V的局部对比度值,其公式如下:
其中,C0为目标区域和背景区域的局部对比度值,Ln为图像块V内的最大像素值,M0为目标区域的像素均值,Mi为背景区域的像素均值;
b13、若图像块V是目标区域,则对目标图像块V进行增强;若图像块V不是目标区域,则对背景区域进行抑制;进而生成显著性图;
b14、对显著性图进行阈值分割获取感兴趣区域,该分割公式如下:
T=μ+kσ;
其中,T为感兴趣区域,μ表示输入图像的均值,σ表示标准差,k为常数。
5.根据权利要求1或2所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,所述步骤c包括以下步骤:
c11、获取帧间差分图像,提取连续的三帧图像I(t-1)、I(t)和I(t+1),分别计算连续两帧图像之间的差分运算,得到运动区域MR;计算公式如下:
d(t,t-1)[x,y]=|I(t)[x,y]-I(t-1)[x,y]|
d(t+1,t)[x,y]=I(t+1)[x,y]-I(t)[x,y]
MR[x,y]=d(t,t-1)[x,y]∩d(t,t+1)[x,y];
其中,MR[x,y]为运动区域,d为差分值;
c12、以时刻为时间基准,选取t时刻前后三帧的图像作为获取差分图像的图像帧,获取完整的所以为了获取完整的运动目标区域T(x,y);计算公式如下:
c13、对差分图像进行MRF建模。
6.根据权利要求5所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,所述步骤c13的建模方法包括以下步骤:
c131、构造先验模型,构造公式如下:
p(xi|xj,j≠i,j∈S)=p(xi|xj,j∈η);
P(xi)>0;
其中,P(x)为先验模型,S为给定图像中所有图像位置点的集合,x为图像位置集合S上的随机场,η为图像位置集合S上的邻域系统;
c132、根据MRF和Gibbs随机场的等价原理,x的联合概率P(x)服从Gibbs分布,因此,
其中,Z=∑xexp(-∑c∈CVc(x))为归一化函数,c为簇,C为所有簇的集合,Vc(x)为定义在簇c上的势函数,U(x)为能量函数;
c133、构造观测模型,基于二阶领域模型计算势函数
其中,β为耦合系数,表示领域内相邻像素的惩罚程度;
c134、对单图像位置或局部图像区域中的观测图像进行建模,即
p(y|x)=∏i∈Spyi|xi);
c135、将联合观测模型p(y|x)简化表示为局部模型,基于高斯或混合高斯分布对局部观测图像进行建模,获得
其中,μi分别表示被标记为m区域的均值和方差,Nm表示被标记m类的像素个数,y为像素的灰度值;
因此,其中,N(μmm)表示具有均值为μm,方差为σm的高斯分布,M为混合分布中高斯分布的数目,σm为第m个高斯分布的权值;
c136、在先验模型和观测模型构建完毕后,可依据最大后验准则,对图像进行标记处理。
7.根据权利要求6所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,先验模型和观测模型构建完毕后,还包括以下步骤:
基于ICM算法求解马尔可夫模型局部能量最小化。
8.根据权利要求1或2所述的基于马尔科夫随机场和视觉对比机制的小目标检测方法,其特征在于,所述步骤d包括以下步骤:
d11、对空间域的显著性图和时域分割出来的结果进行融合,对于空间域显著性图中的疑似目标区域Si和时域中的分割标记Ti取交集部分,得到运动目标;
d12、对于空间域的显著区域Ri和时域分割出的区域Mi,分别求其中心坐标计算两点之间的距离;
d13、当两点距离中心距离取最小值时,则对应在显著性图中区域以为中心的显著区域为运动目标,即:
CN201910177953.8A 2019-03-07 2019-03-07 基于马尔科夫随机场和视觉对比机制的小目标检测方法 Active CN109934224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910177953.8A CN109934224B (zh) 2019-03-07 2019-03-07 基于马尔科夫随机场和视觉对比机制的小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910177953.8A CN109934224B (zh) 2019-03-07 2019-03-07 基于马尔科夫随机场和视觉对比机制的小目标检测方法

Publications (2)

Publication Number Publication Date
CN109934224A true CN109934224A (zh) 2019-06-25
CN109934224B CN109934224B (zh) 2023-06-09

Family

ID=66986756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910177953.8A Active CN109934224B (zh) 2019-03-07 2019-03-07 基于马尔科夫随机场和视觉对比机制的小目标检测方法

Country Status (1)

Country Link
CN (1) CN109934224B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827262A (zh) * 2019-11-06 2020-02-21 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法
CN111210422A (zh) * 2020-01-13 2020-05-29 北京科技大学 一种基于红外图像的对空目标检测方法
CN111210461A (zh) * 2019-12-30 2020-05-29 成都慧视光电技术有限公司 一种自适应尺度变化的实时相关滤波跟踪算法
CN111524158A (zh) * 2020-05-09 2020-08-11 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN111767856A (zh) * 2020-06-29 2020-10-13 哈工程先进技术研究院(招远)有限公司 基于灰度值统计分布模型的红外小目标检测算法
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN114092777A (zh) * 2021-11-29 2022-02-25 广州辰创科技发展有限公司 一种基于小目标的高效识别方法及系统
CN114155425A (zh) * 2021-12-13 2022-03-08 中国科学院光电技术研究所 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法
CN114372936A (zh) * 2022-01-10 2022-04-19 中国人民解放军国防科技大学 一种基于图像修补技术的红外弱小目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530271A (zh) * 2016-09-30 2017-03-22 河海大学 一种红外图像显著性检测方法
CN107392885A (zh) * 2017-06-08 2017-11-24 江苏科技大学 一种基于视觉对比机制的红外弱小目标检测方法
CA3032487A1 (en) * 2016-08-03 2018-02-08 Jiangsu University Saliency-based method for extracting road target from night vision infrared image
CN107704802A (zh) * 2017-08-24 2018-02-16 西安电子科技大学 高光谱图像杂波的度量及异常检测算法的性能预测方法
CN109242876A (zh) * 2018-09-10 2019-01-18 电子科技大学 一种基于马尔科夫随机场的图像分割算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3032487A1 (en) * 2016-08-03 2018-02-08 Jiangsu University Saliency-based method for extracting road target from night vision infrared image
CN106530271A (zh) * 2016-09-30 2017-03-22 河海大学 一种红外图像显著性检测方法
CN107392885A (zh) * 2017-06-08 2017-11-24 江苏科技大学 一种基于视觉对比机制的红外弱小目标检测方法
CN107704802A (zh) * 2017-08-24 2018-02-16 西安电子科技大学 高光谱图像杂波的度量及异常检测算法的性能预测方法
CN109242876A (zh) * 2018-09-10 2019-01-18 电子科技大学 一种基于马尔科夫随机场的图像分割算法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SUNGHO KIM 等: "Small Target Detection Utilizing Robust Methods of the Human Visual System for IRST", 《JOURNAL OF INFRARED, MILLIMETER, AND TERAHERTZ WAVES》 *
仇晨光: "动态场景中的运动目标检测与跟踪技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
姚瑶: "基于时空显著性的红外目标检测与跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李炎冰 等: "基于Top-Hat变换和马尔可夫随机场相结合的背景抑制算法", 《电光与控制》 *
王卫华 等: "基于时空域融合滤波的红外运动小目标检测算法", 《红外与激光工程》 *
王颖: "红外弱小目标的检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827262A (zh) * 2019-11-06 2020-02-21 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法
CN110827262B (zh) * 2019-11-06 2023-05-16 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法
CN111210461A (zh) * 2019-12-30 2020-05-29 成都慧视光电技术有限公司 一种自适应尺度变化的实时相关滤波跟踪算法
CN111210461B (zh) * 2019-12-30 2023-06-02 成都慧视光电技术有限公司 一种自适应尺度变化的实时相关滤波跟踪算法
CN111210422A (zh) * 2020-01-13 2020-05-29 北京科技大学 一种基于红外图像的对空目标检测方法
CN111524158B (zh) * 2020-05-09 2023-03-24 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN111524158A (zh) * 2020-05-09 2020-08-11 黄河勘测规划设计研究院有限公司 水利工程复杂场景下的前景目标检测方法
CN111767856A (zh) * 2020-06-29 2020-10-13 哈工程先进技术研究院(招远)有限公司 基于灰度值统计分布模型的红外小目标检测算法
CN111767856B (zh) * 2020-06-29 2023-11-10 烟台哈尔滨工程大学研究院 基于灰度值统计分布模型的红外小目标检测算法
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN112258453B (zh) * 2020-09-27 2024-04-26 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN114092777A (zh) * 2021-11-29 2022-02-25 广州辰创科技发展有限公司 一种基于小目标的高效识别方法及系统
CN114092777B (zh) * 2021-11-29 2024-04-12 广州辰创科技发展有限公司 一种基于小目标的高效识别方法及系统
CN114155425A (zh) * 2021-12-13 2022-03-08 中国科学院光电技术研究所 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法
CN114155425B (zh) * 2021-12-13 2023-04-07 中国科学院光电技术研究所 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法
CN114372936A (zh) * 2022-01-10 2022-04-19 中国人民解放军国防科技大学 一种基于图像修补技术的红外弱小目标检测方法

Also Published As

Publication number Publication date
CN109934224B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN109934224A (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
Ke et al. Multi-dimensional traffic congestion detection based on fusion of visual features and convolutional neural network
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
Wu et al. Spatio-temporal context for codebook-based dynamic background subtraction
Ye et al. Dynamic texture based smoke detection using Surfacelet transform and HMT model
CN103871076A (zh) 基于光流法和超像素分割的运动目标提取方法
CN106023245A (zh) 基于中智集相似度量测的静态背景下运动目标检测方法
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
Wang et al. Low-altitude infrared small target detection based on fully convolutional regression network and graph matching
CN104766065A (zh) 基于多视角学习的鲁棒性前景检测方法
Zhao et al. Fire smoke detection based on target-awareness and depthwise convolutions
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
Dou et al. Moving object detection based on improved VIBE and graph cut optimization
Zhu et al. 3D video semantic segmentation for wildfire smoke
Santana et al. Oceanic mesoscale eddy detection and convolutional neural network complexity
Liu et al. [Retracted] Self‐Correction Ship Tracking and Counting with Variable Time Window Based on YOLOv3
Yasir et al. Review on real time background extraction: models, applications, environments, challenges and evaluation approaches
Hu Football player posture detection method combining foreground detection and neural networks
Gao et al. Region-based moving shadow detection using watershed algorithm
Cheng et al. A novel improved ViBe algorithm to accelerate the ghost suppression
Lu et al. Adaptive random-based self-organizing background subtraction for moving detection
Liu et al. Background priors based saliency object detection
Huang et al. The precise recognition of moving object in complex background
Li et al. Double-stream atrous network for shadow detection
Xiaojun et al. Tracking of moving target based on video motion nuclear algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant