CN114004862A - 一种长波红外弱小目标检测识别方法 - Google Patents
一种长波红外弱小目标检测识别方法 Download PDFInfo
- Publication number
- CN114004862A CN114004862A CN202111185846.3A CN202111185846A CN114004862A CN 114004862 A CN114004862 A CN 114004862A CN 202111185846 A CN202111185846 A CN 202111185846A CN 114004862 A CN114004862 A CN 114004862A
- Authority
- CN
- China
- Prior art keywords
- target
- value
- candidate
- data
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 230000004083 survival effect Effects 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 21
- 238000009825 accumulation Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 230000005855 radiation Effects 0.000 abstract 1
- 238000012163 sequencing technique Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种长波红外弱小目标检测识别方法。通过本发明的技术方案,结合平台运动特性以及目标大小、辐射强度、运动速度、探测器缺陷及噪声水平等先验特性信息设计相关的阈值参数,可实现长波红外弱小目标的检测与识别。算法通过灰度带通滤波进行背景噪声估计,可降低极值点对背景噪声估计的影响,提升红外探测的灵敏度;采用目标运动速度、像素大小、目标位置、存活概率等多维特征信息,可有效抑制探测器亮元、暗元、死元、闪元的干扰,实现弱小目标在强干扰条件下的识别。
Description
技术领域
本申请涉及目标探测与告警技术领域,具体涉及一种长波红外弱小目标检测识别方法。
背景技术
红外预警系统图像的背景杂波多,场景复杂,给小目标检测带来很大的挑战。而长波红外探测器技术相对于中波探测器而言,技术难度更高,探测器的亮元、死元、盲元、闪元、暗电流噪声更大,制约了长波红外探测系统性能。
目前长波红外探测技术在面对深空背景探测时,有以下问题待解决:1)盲元、闪元、暗电流噪声较大;2)虚警率高。综上所述,实现盲闪元干扰背景下的弱小目标检测识别,在保证高探测率的同时降低虚警率,是迫切需要解决的技术问题。
发明内容
为了解决上述技术问题,提出了一种长波红外弱小目标检测识别方法,该方法针对探测器噪声干扰条件下的弱小目标探测识别问题,通过从图像中检测出多个侯选目标,再从中识别出真正的目标,并给出目标的角度脱靶量,以实现目标的检出与识别。
本发明所采用的技术方案如下:
一种长波红外弱小目标检测识别方法,该方法包括如下步骤:
步骤1、连通域标记提取候选目标数据;
步骤2、重复步骤1,进行数据积累,积累N帧候选目标数据;
步骤3、积累至第N+1帧数据,根据积累的目标数据执行决策判断以进行真假识别;
步骤4、根据真假识别结果进行判断,如果符合决策判据,则进入跟踪阶段,并输出目标的位置信息;如果不符合决策判据,则积累的N帧数据清零,返回步骤1;
步骤5、跟踪阶段执行虚检处理,如果发现存在虚检,则执行跟踪退出操作,积累的N帧数据清零,返回步骤1,否则持续进入跟踪阶段。
进一步的,步骤5中执行跟踪退出操作的条件包括如下任意一个:
退出条件一:如果目标K帧连续不运动,则闪元被检测为目标,执行跟踪退出操作;
退出条件二:如果所述跟踪阶段中的目标面积小于给定阈值,则执行跟踪退出操作;
退出条件三:如果所述跟踪阶段中的目标存活概率小于给定阈值,则执行跟踪退出操作;
退出条件四:如果所述跟踪阶段中目标面积大于给定阈值,则执行跟踪退出操作。
进一步的,步骤3中根据积累的目标数据执行决策判断,具体包括:
第N+1帧对前N帧数据进行距离匹配,找出距离最近的目标,标记为同一个目标,计算所述同一个目标帧间的运动值、平均面积、平均灰度,利用预设的假目标判断阈值进行假目标剔除,筛选确认出真目标;
其中,所述运动值包括两种运动值,一种是绝对运动值,一种是相对运动值。绝对运动值为去除平台自身晃动导致的目标位置变化,只包含目标沿垂直光轴面运动导致的目标在图像中的位置变化。相对运动值耦合了探测平台自身的姿态运动带来的目标在图像中的位置变化,为第N+1帧目标位置坐标与前N帧位置坐标差。
进一步的,在步骤1中,连通域标记提取候选目标数据,具体包括:
首先计算图像灰度均值与标准差,利用信噪比阈值计算目标分割阈值,利用连通域标记算法提取候选目标,在进行连通域标记的同时,将灰度大于一定阈值且像素个数为1的目标直接剔除掉;连通域标记完成后,对提取的候选目标先按照灰度排序,提取连通域灰度总和最大的前M/2个目标,然后对剩下的目标按照面积排序,再提取面积最大的前M/2个目标;每张图像中共提取出M个目标进行后续处理,对于提取出的所述M个目标中的每一个,分别记录位置坐标、灰度均值以及目标像素个数,写入连通域信息表中。
进一步的,在步骤3中,假目标判断阈值包括:1)设置了上下限的平均成像面积阈值;2)设置了上下限的平均位置变化范围阈值;3)设置了上下限的目标灰度均值。
进一步的,在步骤2中,进行数据积累,具体包括:
对于前N帧,进行全幅面检测,每帧中选出M个候选目标区域,仅保存并积累这M个目标区域的信息,不予输出任何目标识别信息。
进一步的,在步骤3中,积累至第N+1帧数据,根据积累的目标数据执行决策判断以进行真假识别,其中,所述执行决策判断以进行真假识别,具体包括如下步骤:
步骤301、对当前帧作全幅面阈值处理,选出候选目标区域,更新候选目标连通域信息表;
步骤302、统计N帧之内所有候选目标区域的坐标位置变化的绝对值总和,保留位置变化在给定阈值像素之内的候选目标,如果不存在,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤303、是否在图像边界判断,去除位于图像上下左右边界区域的目标,如果不存在剩余目标,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤304、计算像素面积,保留面积在给定阈值范围之内的,如果不存在剩余目标,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤305、若仅存在1个候选目标,则判定为正确目标;若此时尚存在多于1个候选目标,则通过设置目标面积和变化范围的期望值,计算每个候选目标与期望值之间的偏差,差值的绝对值最小者,确认为正确目标,并转入跟踪阶段。
进一步的,所述转入跟踪阶段,具体包括:
以上一帧确认的正确目标位置为中心,对局部图像窗口进行阈值分割处理,提取候选目标区域连通域信息,其中局部窗口大小设定为W×W;
如果没有候选目标,则该确认目标的存活周期不变,丢失数加1;
若仅存1个候选目标,则将该候选目标与上一帧确认目标信息作比较;若存在多于1个候选目标,则选出面积最大者,与上一帧确认目标信息作比较;
若发生以下任意一种情况,则将该候选目标剔除不要,存活周期、丢失数、帧间运动数累计值清零,返回步骤1并执行:帧间位置变化大于P_shift像素;或者帧间成像面积变化大于Area_shift像素;否则,确认目标,持续跟踪,输出目标识别结果,目标的存活周期数加1,丢失数不变,帧间运动数累计值加上本帧帧间运动变化的绝对值,直至流程结束。
进一步的,在进行图像灰度均值与标准差计算过程中,为了抑制闪云、盲元、热元、暗元对均值方差的影响,采用迭代法计算实现灰度的带通滤波,只让灰度位于上一帧图像均值附近的像素参与本帧图像背景均值和方差的统计,剔除极值点对均值方差的影响。
进一步的,所述退出条件一中的是否连续运动的判断,以及所述退出条件三中的目标存活概率的判断,具体包括:
当存活周期与丢失数求和等于给定值F时,才对帧间运动数累计值及存活概率进行判断;如果累计值在给定阈值范围以外,则说明目标一直没有运动,退出跟踪阶段,存活周期、丢失数、帧间运动数累计值清零,返回步骤1重新执行数据积累;否则,进行存活概率判断,如果存活概率小于给定阈值范围,则说明目标持续丢失,退出跟踪阶段,存活周期、丢失数、帧间运动数累计值清零,返回步骤1重新执行数据积累,否则帧间运动数累计值清零,存活周期与丢失数清零,继续进入跟踪阶段。
通过本申请实施例,可以获得如下技术效果:
1)采用基于帧间图像统计特征迭代计算方法,有效分离和抑制了探测器亮元、死元和随机闪元等多种干扰影响,此方法得到的方差比全局方差小5倍,等效将探测系统灵敏度提升了5倍以上(不同探测器结果不同)。
2)采用基于动平台帧间图像序列相关处理方法,有效抑制了探测器随机盲闪元可能导致的目标虚检问题。采用基于目标多维红外特征的融合识别方法,通过目标运动、成像大小、位置等多维度特征参数融合,有效抑制了多像素相连闪元的干扰,解决了多候选目标识别问题。
3)在进行连通域标记时,利用灰度信息,直接剔除了独立的过亮亮元,增加了真目标在有限候选目标数量输出的候选目标中的概率。虽然也可以通过增加目标数量来保证真目标在候选目标中,但是该方法会带来运算量增加的问题。
4)在完成连通域标记输出候选目标时,同时采用灰度排序和面积排序两种方法,输出灰度排序靠前以及面积排序靠前的目标,相对于单纯灰度排序或者面积排序输出方法,增加了真目标能够在候选目标中的概率。
5)在进入跟踪阶段,由于平台或目标运动,目标不可能持续成像在死元上,故本发明采用存活概率方法,可以抑制点目标成像在探测器盲元、死元上导致目标信号丢失而退出跟踪的问题,增强了算法的鲁棒性。
6)采用先多帧积累再决策判断的识别方式,可以剔除随机噪声的影响,获得较为明显的判断阈值,提高真假目标决策判断的可靠性。
7)采用目标绝对位置变化加目标相对位置变化判断方式,可以获取更多目标信息,方便真假目标识别。相对位置变化可以识别出探测器上的亮元是否静止不动;绝对位置变化可以比较多个目标相对探测平台的运动角速度,进而实现目标识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为针对深空背景下的弱小目标检测识别处理流程图;
图2为帧间图像统计特征迭代计算与灰度带通滤波方法处理结果图;
图3为不同信噪比(k)阈值条件下的闪元数的示意图;
图4为成功捕获小目标的试验结果图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。
本发明的目标检测识别方法,包括如下步骤:
步骤1、连通域标记提取候选目标数据;
在步骤1中,连通域标记提取候选目标数据,具体包括:
首先计算图像灰度均值与标准差,利用信噪比阈值计算目标分割阈值,利用连通域标记算法提取候选目标,在进行连通域标记的同时,将灰度大于一定阈值且像素个数为1的目标直接剔除掉;连通域标记完成后,对提取的候选目标先按照灰度排序,提取连通域灰度总和最大的前M/2个目标,然后对剩下的目标按照面积排序,再提取面积最大的前M/2个目标;每张图像中共提取出M个目标进行后续处理,对于提取出的所述M个目标中的每一个,分别记录位置坐标、灰度均值以及目标像素个数,写入连通域信息表中。
进一步的,目标分割阈值选取主要取决于虚警概率值。进入真假目标识别处理的前提是真目标在备选目标中,而备选目标的提取依赖于阈值分割中阈值的设置。阈值太小,虚警率高,分割出来的目标过多,超过了算法可以处理的目标个数,淹没真目标,导致连通域标记失败。阈值太大,超过了目标的最大灰度值,目标提取同样失败。因此,合适的阈值是程序成功运行的一个关键。
在进行图像灰度均值与标准差计算过程中,为了抑制闪云、盲元、热元、暗元对均值方差的影响,采用迭代法计算实现灰度的带通滤波,只让灰度位于均值附近的像素参与均值和方差的统计,剔除极值点对均值方差的印象。
1)第一张图全局计算均值mean与标准差std
2)第二张图以后,采用上一张图中灰度在均值mean±10×std范围内的计算新的均值和标准差,如此持续迭代。
进一步的,在进行连通域标记算法时,采用跑长码标记算法(论文:基于跑长码的连通区域标记算法,张桂林等,华中理工大学学报,1994,22(5)11-14)为算法框架,为了剔除亮元作为候选目标,增加真目标进入候选目标的概率,在进行阈值分割的同时,将灰度大于一定阈值且像素个数为1的目标直接剔除掉,连通域标记完成后,先输出灰度总和排序靠前的M/2个目标作为候选目标,然后对剩下的目标按照面积排序,再输出面积最大的前M/2个目标作为候选目标,共输出M个候选目标。如果M为0,则输出0个目标。否则只输出M个候选目标,以增加算法的运算速度。
步骤2、重复步骤1,进行数据积累,积累N帧候选目标数据;
在步骤2中,进行数据积累,具体包括:
对于前N帧,进行全幅面检测,每帧中选出M个候选目标区域,仅保存并积累这M个目标区域的信息,不予输出任何目标识别信息。所述的M个目标,M取值与算法运行硬件内存相关。M值越大,真目标在候选目标中的概率越大,但是需要的内存越大,而且运算速度也会受到影响。M取值需要确保真目标能够在候选目标中,M参考取值20-200个不等。
在步骤2中,所述N的数值选取10-20之间。N的数值不能太小,太小单帧随机噪声影响大;N的数值也不能太大,太大影响从视频图像输入到第一次识别结果输出的时间间隔,一般选取10-20之间,通过多帧求取目标在图像上的平均运动速度、平均像素大小、平均灰度响应,抑制随机干扰噪声。
步骤3、积累至第N+1帧数据,根据积累的目标数据执行决策判断以进行真假识别;
其中,根据积累的目标数据执行决策判断,具体包括:第N+1帧对前N帧数据进行距离匹配,找出距离最近的目标,标记为同一个目标,计算所述同一个目标帧间的运动值、平均面积、平均灰度,利用预设的假目标判断阈值进行假目标剔除,筛选确认出真目标;其中,所述运动值为第N+1帧目标位置坐标与前N帧位置坐标差。
在步骤3中,假目标判断阈值包括:1)设置了上下限的平均成像面积阈值;2)设置了上下限的平均位置变化范围阈值;3)设置了上下限的目标灰度均值。
在步骤3中,积累至第N+1帧数据,根据积累的目标数据执行决策判断以进行真假识别,其中,所述执行决策判断以进行真假识别,具体包括如下步骤:
步骤301、对当前帧作全幅面阈值处理,选出候选目标区域,更新候选目标连通域信息表;
步骤302、统计N帧之内所有候选目标区域的坐标位置变化的绝对值总和,保留位置变化在给定阈值像素之内的候选目标,如果不存在,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤303、是否在图像边界判断,去除位于图像上下左右边界区域的目标,如果不存在剩余目标,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤304、计算像素面积,保留面积在给定阈值范围之内的,如果不存在剩余目标,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
关于像素面积的阈值范围,对于远距离的点目标,长波红外探测的弥散圆比较大,其直径一般大于一个像素,目标实际占用的像素会不止一个,面积阈值参考下限是2,参考上限一般不超过16,这是区分单个热点或者闪元的重要方法。
步骤305、若仅存在1个候选目标,则判定为正确目标;若此时尚存在多于1个候选目标,则通过设置目标面积和变化范围的期望值,计算每个候选目标与期望值之间的偏差,差值的绝对值最小者,确认为正确目标,并转入跟踪阶段。
所述转入跟踪阶段,具体包括:
以上一帧确认的正确目标位置为中心,对局部图像窗口进行阈值分割处理,提取候选目标区域连通域信息,其中局部窗口大小设定为W×W;
所述局部窗口大小设定为W×W,窗口大小需要满足图像处理速度要求,同时考虑目标的运动速度,需要保证目标还在局部窗口内,参考值32、64或者128。所述的P_shift,其特征在选取目标在图像中的最大可能速度作为该值,可剔除存在跳变的闪元。所述的Area_shift,其特征在选取目标形状变化最大值作为该值,对于一般点目标,最大像素数一般为4-9,该值参考值为4-9。
如果没有候选目标,则该确认目标的存活周期不变,丢失数加1;
若仅存1个候选目标,则将该候选目标与上一帧确认目标信息作比较;若存在多于1个候选目标,则选出面积最大者,与上一帧确认目标信息作比较;
若发生以下任意一种情况,则将该候选目标剔除不要,存活周期、丢失数、帧间运动数累计值清零,返回步骤1并执行:帧间位置变化大于P_shift像素(目标发生位置跳变,很可能是闪元);或者帧间成像面积变化大于Area_shift像素;否则,确认目标,持续跟踪,输出目标识别结果,目标的存活周期数加1,丢失数不变,帧间运动数累计值加上本帧帧间运动变化的绝对值,直至流程结束。
在进行图像灰度均值与标准差计算过程中,为了抑制闪云、盲元、热元、暗元对均值方差的影响,采用迭代法计算实现灰度的带通滤波,只让灰度位于上一帧图像均值附近的像素参与本帧图像背景均值和方差的统计,剔除极值点对均值方差的影响。
步骤4、根据真假识别结果进行判断,如果符合决策判据,则进入跟踪阶段,并输出目标的位置信息;如果不符合决策判据,则积累的N帧数据清零,返回步骤1;
步骤5、跟踪阶段执行虚检处理,如果发现存在虚检,则执行跟踪退出操作,积累的N帧数据清零,返回步骤1,否则持续进入跟踪阶段。
步骤5中执行跟踪退出操作的条件包括如下任意一个:
1)退出条件一:如果目标K帧连续不运动,则闪元被检测为目标,执行跟踪退出操作;
2)退出条件二:如果所述跟踪阶段中的目标面积小于给定阈值,则执行跟踪退出操作;
3)退出条件三:如果所述跟踪阶段中的目标存活概率小于给定阈值,则执行跟踪退出操作;
4)退出条件四:如果所述跟踪阶段中目标面积大于给定阈值,则执行跟踪退出操作。
所述退出条件一中的是否连续运动的判断,以及所述退出条件三中的目标存活概率的判断,具体包括:
当存活周期与丢失数求和等于给定值F时,才对帧间运动数累计值及存活概率进行判断;如果累计值在给定阈值范围以外,则说明目标一直没有运动,退出跟踪阶段,存活周期、丢失数、帧间运动数累计值清零,返回步骤1重新执行数据积累;否则,进行存活概率判断,如果存活概率小于给定阈值范围,则说明目标持续丢失,退出跟踪阶段,存活周期、丢失数、帧间运动数累计值清零,返回步骤1重新执行数据积累,否则帧间运动数累计值清零,存活周期与丢失数清零,继续进入跟踪阶段。
关于所述给定值F,为存活概率及帧间运动判断周期,根据图像帧频以及目标运动速度选取,如果目标运动很慢,F值取大一些,确保目标的运动量求和不为0。
在所述的退出条件一中,目标K帧连续不运动,K值取值与目标以及平台的运动特性相关,根据目标在图像上的运动速度先验信息来设定K值以及对应的目标运动量阈值,该值大于零即可剔除亮元的干扰。所述存活概率通过如下公式计算:
存活概率=存活周期/(存活周期+丢失数)。
对于存活率小于给定阈值范围的情况,存活概率阈值需要大于探测器的有效像元率,可以避免因目标恰好运动到盲元点导致目标信号偶尔丢失而退出跟踪的问题。对于将灰度大于一定阈值且像素个数为1的目标直接剔除掉,该阈值必须大于目标的最大灰度,以避免剔除真目标。
图1为针对深空背景下的弱小目标检测识别处理流程图。算法处理主要分为三步:
1)备选目标检测与数据积累,数据积累主要用于真假识别;
2)真假目标判断与识别;
3)识别成功后,图像开窗缩小处理范围,加快运算速度,持续跟踪锁定目标。
算法总体过程是一个边检测边跟踪的过程。算法捕获目标后,对目标信息进行积累,持续积累到一定帧数后进行真假目标判断;算法识别并锁定单一目标后,进入跟踪阶段。跟踪锁定目标后,对视野进行开窗处理,大幅度缩小目标检测范围,提高运算速度,确保实时性。跟踪阶段不再进行多帧目标数据积累,只判断相邻帧运动连续关系。
目标检测的核心任务是从图像中分割出备选目标,并得到备选目标的相关数据,存入到目标链数据结构中。目标链本质是一个数据结构(struct),存储了候选目标的信息,一个目标一个struct,多个目标连续存放,目标检测算法核心是围绕该数据结构展开,对数据结构的关键信息进行维护和更新,并从中得到需要的信息,用于后续的真假判断。
采用的连通域标记算法为跑长码标记算法。采用阈值分割的方式提取连通域,灰度大于阈值可以提取为目标。对连通域的灰度和进行统计,取灰度总和最大的几个作为待分析的目标。提取出来的目标信息记录在目标链中,再根据识别策略完成目标的锁定。
在提取出若干待判别的目标区域后,识别处理策略如下:
(1)1-10帧:数据积累
对于前10帧(具体积累数量可以根据需要调整,调整后后面识别的真假阈值随之变化),进行全局检测,每帧中选出若干候选的目标区域(最大保存10个,具体数量也可以根据需要调整),保存这些目标区域的信息,数据积累,不予输出任何目标识别信息。
(2)第11帧:目标识别,确认正确目标
(2-1)对当前帧作全局阈值处理,选出候选目标区域,更新目标区域表。
(2-2)统计10帧之内所有候选目标区域的坐标位置变化的绝对值总和(排除探测器盲元和坏点):保留位置变化在2-100像素之内的:如果不存在,重新全局检测搜索;如果存在,则进行下一步。
(2-3)是否在图像边界(排除大面积目标比如云、地球等进视场):去除位于图像上下左右边界的区域:如果不存在,重新全局检测搜索;如果存在,则进行下一步。
(2-4)像素面积(排除面积过大或过小的干扰物):保留面积在2-15像素范围之内的:如果不存在,重新全局检测搜索;如果存在,则进行下一步。
(2-5)此时,若仅存在1个候选目标,则判定为正确目标;若此时尚存在多于1个候选目标,则通过设置目标面积和变化范围的期望值,计算每个候选目标与期望值之间的偏差,差值的绝对值最小者,确认为目标。
(3)第12帧及以后所有帧:跟踪或重新搜索
若此时不能存在确认目标,则重新进行全局搜索,重复10帧积累的步骤;
若此时存在确认目标,则进入跟踪阶段,具体如下
(3-1)以上一帧确认目标为中心,开局部图像窗口处理:阈值分割,选出候选目标区域。局部窗口大小初步设定为64×64。.
(3-2)若仅存1个候选区域,则将该区域与上一帧确认目标信息作比较。若存在多于1个候选区域,则选出面积最大者,与上一帧确认目标信息作比较。
若发生以下任何情况,都予以剔除,重新进入全局检测搜索:
帧间位置变化较大(大于5像素);帧间成像面积变化较大(大于10像素)。
否则,确认为目标,持续跟踪,输出目标识别结果,直至流程结束。
以上各参数值均可根据不同目标特性,分别进行设置调整,根据对目标的认识进行设置。不同的目标识别流程相同,区别在于判据的阈值设定值。
真假目标识别判据包括:
1)成像面积:设置上下限;目标面积是真假目标识别的一个判据,主要用于剔除独立的探测器盲元,因盲元一般以单像素出现。如果多个盲元相邻分布,则判据可能失败,但这种情况发生的概率大幅度降低。
2)目标灰度和:设置上下限;
3)位置变化范围:设置上下限。目标位置变化主要用于剔除独立以及两个连续的探测器盲元,由于平台存在残余角速度,即使目标相对平台没有运动,目标在图像中的位置依然不断变化。假设针对10帧积累,用第11帧与前10帧比较,求像素位置变化的绝对值的和。如果目标连续运动,帧间运动速度为2像素/帧,则运动求和为2*(1+2+3...+9)=90。该阈值可以设置为1-200,小于1为静止不动,大于200为运动过快。目标位置变化还包括绝对位置变化,绝对位置变化指去除平台运动耦合后,由目标横向(垂直光轴)运动导致的位置变化,可以用于剔除其他运动速度的真实目标(非探测器噪声目标)。绝对位置变化信息的提取需要将惯组信息引入算法中,剔除平台晃动的影响,以判断绝对运动情况。
对目标特性掌握越准确,则这三者上下限的设置越准确,越容易排除干扰物。
云层、地球等背景的特点:
(1)成像面积较大;
(2)灰度值较大,难以与真实目标明显区分;
(3)成像位置一般在图像边界处
而本系统由于配备导航系统,可保证目标不出现在图像边界。因此,可以根据成像位置进行判断。如果可疑目标出现在图像边界,且像素面积很大,则排除;否则,保留。
正常情况:经过层层筛选,仅剩下一个目标(直接输出,进入跟踪状态);或0个目标(重新检测搜索)。
意外情况:在第11帧时,经过层层筛选,仍然有多于1个的候选目标等候判断。
采用如下方式判断:根据像素面积,判断哪个候选目标最接近真正的可能的目标特性(计算和参考值之间的差值,取差值最小者),打分高者予以输出。如果差值完全相等(发生概率极小),则不输出任何信息,状态依旧改为“未检测到目标”,转向重新检测和搜索阶段。
图2为帧间图像统计特征迭代计算与灰度带通滤波方法处理结果图,使用带通滤波后,背景阈值显著下降;图3为不同信噪比(k)阈值条件下的闪元数的示意图,可以看到,阈值信噪比越大,干扰越少,但是目标通过阈值的概率也变小;图4为成功捕获小目标的试验结果图,可以看到图像中有很多干扰点。通过本发明的技术方案,结合平台以及目标特性先验信息设计的阈值参数,算法在某飞行试验中成功捕获了目标,验证了小目标高灵敏度红外探测算法。在整个识别过程中,目标尺寸始终小于红外探测系统单个像素的空间分辨率,在图像中表现为弱小目标。
在一些实施例中,计算机程序的部分或者全部可以经由ROM而被载入和/或安装到设备上。当计算机程序加载并被执行时,可以执行上文描述的方法的一个或多个步骤。
本申请中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种长波红外弱小目标检测识别方法,其特征在于,该方法包括如下步骤:
步骤1、连通域标记提取候选目标数据;
步骤2、重复步骤1,进行数据积累,积累N帧候选目标数据;
步骤3、积累至第N+1帧数据,根据积累的目标数据执行决策判断以进行真假识别;
步骤4、根据真假识别结果进行判断,如果符合决策判据,则进入跟踪阶段,并输出目标的位置信息;如果不符合决策判据,则积累的N帧数据清零,返回步骤1;
步骤5、跟踪阶段执行虚检处理,如果发现存在虚检,则执行跟踪退出操作,积累的N帧数据清零,返回步骤1,否则持续进入跟踪阶段。
2.根据权利要求1所述的方法,其特征在于,步骤5中执行跟踪退出操作的条件包括如下任意一个:
退出条件一:如果目标K帧连续不运动,则闪元被检测为目标,执行跟踪退出操作;
退出条件二:如果所述跟踪阶段中的目标面积小于给定阈值,则执行跟踪退出操作;
退出条件三:如果所述跟踪阶段中的目标存活概率小于给定阈值,则执行跟踪退出操作;
退出条件四:如果所述跟踪阶段中目标面积大于给定阈值,则执行跟踪退出操作。
3.根据权利要求1所述的方法,其特征在于,步骤3中根据积累的目标数据执行决策判断,具体包括:
第N+1帧对前N帧数据进行距离匹配,找出距离最近的目标,标记为同一个目标,计算所述同一个目标帧间的运动值、平均面积、平均灰度,利用预设的假目标判断阈值进行假目标剔除,筛选确认出真目标;
其中,所述运动值包括两种运动值,一种是绝对运动值,一种是相对运动值。绝对运动值为去除平台自身晃动导致的目标位置变化,只包含目标沿垂直光轴面运动导致的目标在图像中的位置变化。相对运动值耦合了探测平台自身的姿态运动带来的目标在图像中的位置变化,为第N+1帧目标位置坐标与前N帧位置坐标差。
4.根据权利要求1所述的方法,其特征在于,在步骤1中,连通域标记提取候选目标数据,具体包括:
首先计算图像灰度均值与标准差,利用信噪比阈值计算目标分割阈值,利用连通域标记算法提取候选目标,在进行连通域标记的同时,将灰度大于一定阈值且像素个数为1的目标直接剔除掉;连通域标记完成后,对提取的候选目标先按照灰度排序,提取连通域灰度总和最大的前M/2个目标,然后对剩下的目标按照面积排序,再提取面积最大的前M/2个目标;每张图像中共提取出M个目标进行后续处理,对于提取出的所述M个目标中的每一个,分别记录位置坐标、灰度均值以及目标像素个数,写入连通域信息表中。
5.根据权利要求3所述的方法,其特征在于,在步骤3中,假目标判断阈值包括:1)设置了上下限的平均成像面积阈值;2)设置了上下限的平均位置变化范围阈值;3)设置了上下限的目标灰度均值。
6.根据权利要求1所述的方法,其特征在于,在步骤2中,进行数据积累,具体包括:
对于前N帧,进行全幅面检测,每帧中选出M个候选目标区域,仅保存并积累这M个目标区域的信息,不予输出任何目标识别信息。
7.根据权利要求6所述的方法,其特征在于,在步骤3中,积累至第N+1帧数据,根据积累的目标数据执行决策判断以进行真假识别,其中,所述执行决策判断以进行真假识别,具体包括如下步骤:
步骤301、对当前帧作全幅面阈值处理,选出候选目标区域,更新候选目标连通域信息表;
步骤302、统计N帧之内所有候选目标区域的坐标位置变化的绝对值总和,保留位置变化在给定阈值像素之内的候选目标,如果不存在,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤303、是否在图像边界判断,去除位于图像上下左右边界区域的目标,如果不存在剩余目标,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤304、计算像素面积,保留面积在给定阈值范围之内的,如果不存在剩余目标,则退出步骤3,输出不符合决策判据,积累数据清零;如果存在,则进行下一步;
步骤305、若仅存在1个候选目标,则判定为正确目标;若此时尚存在多于1个候选目标,则通过设置目标面积和变化范围的期望值,计算每个候选目标与期望值之间的偏差,差值的绝对值最小者,确认为正确目标,并转入跟踪阶段。
8.根据权利要求7所述的方法,其特征在于,所述转入跟踪阶段,具体包括:
以上一帧确认的正确目标位置为中心,对局部图像窗口进行阈值分割处理,提取候选目标区域连通域信息,其中局部窗口大小设定为W×W;
如果没有候选目标,则该确认目标的存活周期不变,丢失数加1;
若仅存1个候选目标,则将该候选目标与上一帧确认目标信息作比较;若存在多于1个候选目标,则选出面积最大者,与上一帧确认目标信息作比较;
若发生以下任意一种情况,则将该候选目标剔除不要,存活周期、丢失数、帧间运动数累计值清零,返回步骤1并执行:帧间位置变化大于P_shift像素;或者帧间成像面积变化大于Area_shift像素;否则,确认目标,持续跟踪,输出目标识别结果,目标的存活周期数加1,丢失数不变,帧间运动数累计值加上本帧帧间运动变化的绝对值,直至流程结束。
9.根据权利要求4所述的方法,其特征在于,在进行图像灰度均值与标准差计算过程中,为了抑制闪云、盲元、热元、暗元对均值方差的影响,采用迭代法计算实现灰度的带通滤波,只让灰度位于上一帧图像均值附近的像素参与本帧图像背景均值和方差的统计,剔除极值点对均值方差的影响。
10.根据权利要求2所述的方法,其特征在于,所述退出条件一中的是否连续运动的判断,以及所述退出条件三中的目标存活概率的判断,具体包括:
当存活周期与丢失数求和等于给定值F时,才对帧间运动数累计值及存活概率进行判断;如果累计值在给定阈值范围以外,则说明目标一直没有运动,退出跟踪阶段,存活周期、丢失数、帧间运动数累计值清零,返回步骤1重新执行数据积累;否则,进行存活概率判断,如果存活概率小于给定阈值范围,则说明目标持续丢失,退出跟踪阶段,存活周期、丢失数、帧间运动数累计值清零,返回步骤1重新执行数据积累,否则帧间运动数累计值清零,存活周期与丢失数清零,继续进入跟踪阶段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111185846.3A CN114004862A (zh) | 2021-10-12 | 2021-10-12 | 一种长波红外弱小目标检测识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111185846.3A CN114004862A (zh) | 2021-10-12 | 2021-10-12 | 一种长波红外弱小目标检测识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114004862A true CN114004862A (zh) | 2022-02-01 |
Family
ID=79922625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111185846.3A Pending CN114004862A (zh) | 2021-10-12 | 2021-10-12 | 一种长波红外弱小目标检测识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114004862A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704008A (zh) * | 2023-08-01 | 2023-09-05 | 城云科技(中国)有限公司 | 基于画面面积计算判断物体的方法、装置及其应用 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160356650A1 (en) * | 2014-12-30 | 2016-12-08 | Huazhong University Of Science And Technology | Low-orbit satellite-borne image-spectrum associated detection method and payload |
CN107330857A (zh) * | 2017-06-21 | 2017-11-07 | 中国科学院长春光学精密机械与物理研究所 | 一种红外图像中暗弱点目标检测方法 |
CN109003277A (zh) * | 2017-06-07 | 2018-12-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种复杂背景下红外弱小目标检测方法及装置 |
CN112686895A (zh) * | 2021-03-11 | 2021-04-20 | 成都点泽智能科技有限公司 | 红外弱小目标的检测方法、装置及服务器 |
-
2021
- 2021-10-12 CN CN202111185846.3A patent/CN114004862A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160356650A1 (en) * | 2014-12-30 | 2016-12-08 | Huazhong University Of Science And Technology | Low-orbit satellite-borne image-spectrum associated detection method and payload |
CN109003277A (zh) * | 2017-06-07 | 2018-12-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种复杂背景下红外弱小目标检测方法及装置 |
CN107330857A (zh) * | 2017-06-21 | 2017-11-07 | 中国科学院长春光学精密机械与物理研究所 | 一种红外图像中暗弱点目标检测方法 |
CN112686895A (zh) * | 2021-03-11 | 2021-04-20 | 成都点泽智能科技有限公司 | 红外弱小目标的检测方法、装置及服务器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704008A (zh) * | 2023-08-01 | 2023-09-05 | 城云科技(中国)有限公司 | 基于画面面积计算判断物体的方法、装置及其应用 |
CN116704008B (zh) * | 2023-08-01 | 2023-10-17 | 城云科技(中国)有限公司 | 基于画面面积计算判断物体的方法、装置及其应用 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107527009B (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
US6298143B1 (en) | Moving target detecting system and moving target detecting method | |
CN110390292B (zh) | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 | |
CN101930072B (zh) | 基于多特征融合的红外弱小运动目标航迹起始方法 | |
KR101735365B1 (ko) | 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법 | |
EP1505543A2 (en) | Video object tracking | |
CN106469313B (zh) | 一种管径自适应时空域滤波的弱小目标检测方法 | |
CN108038415B (zh) | 一种基于机器视觉的无人机自动检测与跟踪方法 | |
CN114677554A (zh) | 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法 | |
KR101586452B1 (ko) | 거리 적응적 탐지 문턱값 적용에 의한 적외선 해상 표적 탐지장치 구현 방법 | |
CN113723190A (zh) | 一种面向同步移动目标的多目标跟踪方法 | |
EP3593322B1 (en) | Method of detecting moving objects from a temporal sequence of images | |
CN108154159A (zh) | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 | |
CN112597877A (zh) | 一种基于深度学习的厂区人员异常行为检测方法 | |
KR20130072073A (ko) | 영상 윤곽선 추출 장치 및 방법 | |
CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
Abbott et al. | Multiple target tracking with lazy background subtraction and connected components analysis | |
CN112541486A (zh) | 基于改进Pixel分割的红外弱小目标检测算法 | |
CN114004862A (zh) | 一种长波红外弱小目标检测识别方法 | |
US8558891B2 (en) | Method of detecting an object in a scene comprising artifacts | |
CN111914627A (zh) | 一种车辆识别与追踪方法及装置 | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
US20220148288A1 (en) | Method for detecting objects | |
CN114820801A (zh) | 一种空间目标检测方法 | |
RU2446471C1 (ru) | Способ обнаружения движущихся объектов и определения их параметров |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |