CN112749714A - 一种单帧红外图像中多形态暗弱小目标检测方法 - Google Patents
一种单帧红外图像中多形态暗弱小目标检测方法 Download PDFInfo
- Publication number
- CN112749714A CN112749714A CN201911036729.3A CN201911036729A CN112749714A CN 112749714 A CN112749714 A CN 112749714A CN 201911036729 A CN201911036729 A CN 201911036729A CN 112749714 A CN112749714 A CN 112749714A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- noise ratio
- false alarm
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 abstract description 4
- 230000000877 morphologic effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229930183217 Genin Natural products 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Abstract
本发明公开了一种单帧红外图像中多形态暗弱小目标检测方法，能够在复杂背景下提取出多种形态特征的小目标。该方法从原始红外图像中分解出稀疏图像；针对稀疏图像中的每个像元，计算像元邻域均值和整幅图像均值的比值作为稀疏度信噪比，将稀疏度信噪比大于阈值E的点确定为候选点；然后采用恒虚警检测筛选候选点，获得目标检测结果。在选择候选点时，利用候选点在邻域内所有像元的信噪比，能克服由小目标能量扩散带来的多形态问题，精确检测小目标。
Description
技术领域
本发明属于红外小目标探测技术领域，具体涉及一种红外图像中检测多形态特征的暗弱小目标方法。
背景技术
红外弱小目标检测技术一直是红外搜索与跟踪系统的核心问题。由于远距离探测的工作方式，使得目标在探测器上所成的像受限于光学系统的点扩散函数，因此小目标不会成像在单一像元上，而是形成与爱里斑能量分布相似的弥散斑。实际成像过程中，小目标的形态会又会受到姿态信息、扫描速度、大气湍流等干扰因素的影响，导致目标能量会发生任意方向的扩散。由于高速周扫的工作方式，使得图像帧间重合率低，很难在多帧图像内检测出小目标。因此在单帧图像中检测出多形态小目标是红外暗弱小目标检测亟需解决的问题。
国内外学者对暗弱小目标检测展开了大量的研究工作。传统的目标检测算法有局部滤波、局部块对比、形态学顶帽算法。局部滤波只对信噪比较高的目标有较好的处理效果；顶帽变换的效果取决于结构元素的尺寸与形状，但远距离成像条件下无法获知小目标的先验信息，不能选取统一的结构元素。Genin采用BM3D算法分割目标，但在复杂的云层背景中很难选取多个相似度极高的小区域，从而造成虚警点过多；程塨采用多尺度极值点检测目标，但云层边缘和探测器噪声也表现为局部的极值，会导致较高的虚警率；王文秀采用深度学习的方法检测红外目标，但在被动红外探测中很难提前获取目标的大量样本。
综上所述，暗弱小目标检测算法不仅要适应各种复杂的环境条件，有较强的鲁棒性，还要兼顾小目标的多种形态，以免出现漏检和虚警的情况。研究出稳定、高效的、可以克服多种形态的暗弱小目标检测算法，不仅具有重要的理论意义，而且有重大的应用价值。
发明内容
有鉴于此，本发明提供了一种单帧红外图像中检测暗弱小目标的方法，能够在复杂背景下提取出多种形态特征的小目标，特别适用于复杂背景下对信噪比约为2～3的红外暗弱小目标的检测。
为了解决上述技术问题，本发明是这样实现的：
一种单帧红外图像中多形态暗弱小目标检测方法，包括：
步骤一、从原始红外图像中分解出稀疏图像；针对稀疏图像中的每个像元，计算像元邻域均值和整幅图像均值的比值作为稀疏度信噪比ε，将稀疏度信噪比ε大于稀疏度信噪比阈值E的点确定为候选点；
步骤二、采用恒虚警检测筛选候选点，获得目标检测结果。
优选地，步骤一所述从原始红外图像中分解出稀疏图像利用鲁棒主成分分析RPCA算法分割实现。
优选地，所述稀疏度信噪比阈值E＝3。
优选地，步骤一计算像元邻域均值所使用的邻域窗口尺寸大于多形态小目标理论尺寸。
优选地，所述步骤二采用多点恒虚警检测方法筛选候选点，包括如下步骤：
步骤21、根据设定的目标检测虚警率，得到恒虚警阈值TNR；
步骤22、设定矩形滑窗，矩形滑窗划分为中部的目标区以及目标区周围的背景区；将矩形滑窗逐一作用于原始红外图像的各候选点位置；
针对每个候选点(x，y)：计算背景区的灰度均值μb和标准差σ，然后针对目标区的每个像元l，计算像元和灰度均值μb之差与标准差σ之间的比值，并记录该比值大于TNR的像元个数ml；
步骤23、判断ml是否大于或等于设定阈值M，如果是，则将当前候选点(x，y)确定为目标点。
优选地，所述矩形滑窗为7×7大小，目标区为矩形滑窗中心2×3大小区域，其他区域为背景区。
优选地，所述目标检测虚警率为0.04，则TNR为1.8。
优选地，阈值M为3。
有益效果：
(1)本发明利用小目标邻域内的稀疏度与整幅图像稀疏度的不同，采用稀疏图像的小邻域均值与整幅稀疏图像均值之比做阈值分割，选取目标感兴趣区域，这种方法不是对某个像元进行鉴别，而是考虑了小范围邻域，使得暗弱目标能量有一个提升，属于目标的像元能够在整幅图像中凸显出来，得到的候选点更精确，尤其适用于暗弱、小目标探测。
(2)本发明采用多点恒虚警检测方法筛选候选点，其针对小目标、多形态的问题，采用单像元计算信噪比的方式，计算候选点在矩形滑窗目标区内所有像元的信噪比，统计满足阈值信噪比的像元个数，统计的方式更加适合多形态特征小目标的检测，能克服由小目标能量扩散带来的多形态问题，精确检测小目标。
综上，本发明采用的算法探测率高，虚警点少，对红外搜索与跟踪系统中的暗弱点目标检测技术具有很高的实用价值。
附图说明
图1为多点恒虚警滑动窗口；
图2为本发明的方法流程图；
图3为采集的原始目标图像；
图4为基于RPCA算法的阈值分割结果图；
图5为多点恒虚警检测结果图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种单帧红外图像中多形态暗弱小目标检测方法，该方法包括两个主要的特点，一是利用小目标邻域内的稀疏度与整幅图像稀疏度的不同，采用像元邻域均值粗略提取候选点；二是提出多点恒虚警检测算法，利用候选点在邻域内所有像元的信噪比，能克服由小目标能量扩散带来的多形态问题，精确检测小目标。
图2为本发明单帧红外图像中多形态暗弱小目标检测方法的流程图，如图2所示，该方法包括如下步骤：
步骤一、采用红外图像采集设备采集红外暗弱小目标图像。其中的3帧图像见图3。图像中包含大量复杂云层背景，而且背景中还存在很多高强度噪点，这些杂波严重干扰对小目标的检测，容易造成很大的虚警率。
步骤二、从采集的原始红外图像中分解出稀疏图像。
本步骤采用RPCA(鲁棒主成分分析)算法将输入的原始图像P(x,y)分解为稀疏图像和低秩图像两部分。RPCA算法将图像分割问题转变为最优化的求解问题，其在原图像中恢复一个最小秩的矩阵表示背景图像，一个非零元素最少的矩阵表示前景图像。对于最优化的求解可以采用交替方向乘子法(ADMM)实现。
步骤三、从稀疏图像中确定候选点。
本步骤针对稀疏图像中的每个像元，计算像元邻域均值和整幅图像均值的比值，将比值与设定的稀疏度信噪比ε进行比较，将比值大于稀疏度信噪比ε的像元确定为候选点。具体包括如下步骤：
步骤S1、对步骤二中得到的稀疏图像的每个像元l，计算邻域稀疏度均值
并计算整幅稀疏图像的稀疏度均值
式中，T表示稀疏图像，N1为邻域窗口内像元的个数，(xj,yj)表示邻域窗口内第j个像元的位置。邻域窗口大小可以设计为大于多形态小目标理论尺寸。多形态小目标的理论尺寸是可以根据光学系统的参数计算得到的。
步骤S2、根据步骤S1计算到的两个均值将稀疏图像二值化，得到二值图像I(x,y)，二值图像中为1的点都是候选点。
本步骤针对稀疏图像中的每个像元，计算邻域均值和整幅图像均值的比值，该比值为稀疏度信噪比ε，将该比值与设定的稀疏度信噪比阈值E进行比较，当比值大于稀疏度信噪比阈值E时，将该像元用1代替，否则设为0，从而得到二值图像I(x,y)，参见下式(2)：
下面分三种情况讨论稀疏度信噪比ε的值：
1)如果候选点是孤立噪声点，则ε值会趋近于1。因为孤立噪点经过邻域均值运算后，会被平滑，使其趋近于整幅图像背景均值。
2)如果候选点是云层边缘点，则ε值会趋近于1。因为云层背景具有较强的灰度相关性，经过RPCA分割后，该点在邻域内表现出较低稀疏度。
3)如果候选点是目标点，则ε值会远大于1。因为目标点在原图中既没有表现出灰度相关性，又占有像元较少，所以分割后的结果中邻域稀疏度远高于整幅稀疏图像的均值。
因此，本发明通过设定ε的阈值E来区分候选点中的杂波点和真实目标点。该值可以近似看做小目标在稀疏图像中的信噪比，因此阈值E设定为3。那么本步骤计算稀疏图像的邻域均值与整幅图像均值之比，将ε大于3的点作为候选目标点，小于3的点舍弃，分割结果如图4所示。
步骤四、采用恒虚警检测筛选候选点，精确检测小目标。
对于分割中得到的候选点，除了暗弱小目标外，可能还存有强起伏的背景点如云层高亮处。对这些候选点进行筛选时信噪比特性是一种重要判别方式。但对于能量存在扩散的多形态小目标来说，无法固定的目标尺寸，导致无法精确的检测出目标。
本发明提出了一种基于统计的多点恒虚警检测方法，采用单像元计算信噪比的方式，计算候选点在图1所示的滑窗内所有像元的信噪比，统计满足阈值信噪比的像元个数，用统计的方法克服小目标的多形态特征。该方法包括如下步骤：
步骤S1、根据设定的目标检测虚警率，得到恒虚警阈值TNR。具体关系如下：
式中，Pfa为虚警率，TNR为阈值信噪比，误差函数
优选地，可以设置虚警率为0.04，则TNR为1.8。
步骤S2、设定矩形滑窗，如图1所示，矩形滑窗划分为中部的目标区以及目标区周围的背景区。本实施例中，矩形滑窗为7×7大小，目标区为矩形滑窗中心2×3大小区域，其他区域为背景区域。
将矩形滑窗逐一作用于原始红外图像P的各候选点位置。在每个候选点(x，y)处，计算背景区的灰度均值μb和标准差σ，然后针对目标区的每个像元l，计算像元灰度与灰度均值μb之差和标准差σ之间的比值，即像元信噪比，并记录该信噪比大于TNR的像元个数ml；参见式(4)(5)：
其中，P(l)表示滑窗内目标区中的像元l在原始红外图像P中的灰度值，N2为目标区像元个数。numberl的值为1或0，为1表示像元l的信噪比大于TNR。
步骤S3、判断ml是否大于或等于设定阈值M，为保证目标存在多种形态特征，可以选取M为3。如果是，则将当前候选点(x，y)确定为目标点。参见下式(6)：
其中，BW为阈值分割后的二值图像。
本发明方法只统计邻域内达到阈值的个数，而没有强行规定目标尺寸，允许目标能量在邻域内的扩散范围可以大于M个像元，因此可以检测出小目标在邻域内多种形态分布。最终的二值图像可以表示出小目标在图像中精确的位置。
对于图3的图像，本发明的检测结果见图5，图5第三张图中靠下的框表示真实目标，靠上的框表示虚警点。
下面对本发明进行数据分析评价：
本发明用信噪比SNR来描述检测出点目标的信息，用目标检测概率RCDR和虚警概率RFAR描述算法对点目标检测的结果好坏，定义分别如下：
RCDR＝(Nc/Nt)×100％ (7)
RFAR＝[Nf/(Nf+Nt)]×100％ (8)
式中，NC为正确检测出的目标数，NT为序列图像中实际目标总数，NF为虚警个数。
图像中小目标的信噪比分布在2-3，每帧图像都只有一个目标，实验共采集500帧图像，共有500个目标。上述算法正确检测出400个小目标，另外有30个虚警，所以检测概率是80％，虚警率是93.9％。从数据来看，本发明提出的方法对小目标检测效果强，对复杂云层背景的抑制效果很好，验证了本发明提出算法的有效性强。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种单帧红外图像中多形态暗弱小目标检测方法，其特征在于，包括：
步骤一、从原始红外图像中分解出稀疏图像；针对稀疏图像中的每个像元，计算像元邻域均值和整幅图像均值的比值作为稀疏度信噪比ε，将稀疏度信噪比ε大于稀疏度信噪比阈值E的点确定为候选点；
步骤二、采用恒虚警检测筛选候选点，获得目标检测结果。
2.如权利要求1所述的方法，其特征在于，步骤一所述从原始红外图像中分解出稀疏图像利用鲁棒主成分分析RPCA算法分割实现。
3.如权利要求1所述的方法，其特征在于，所述稀疏度信噪比阈值E＝3。
4.如权利要求1所述的方法，其特征在于，步骤一计算像元邻域均值所使用的邻域窗口尺寸大于多形态小目标理论尺寸。
5.如权利要求1所述的方法，其特征在于，所述步骤二采用多点恒虚警检测方法筛选候选点，包括如下步骤：
步骤21、根据设定的目标检测虚警率，得到恒虚警阈值TNR；
步骤22、设定矩形滑窗，矩形滑窗划分为中部的目标区以及目标区周围的背景区；将矩形滑窗逐一作用于原始红外图像的各候选点位置；
针对每个候选点(x，y)：计算背景区的灰度均值μb和标准差σ，然后针对目标区的每个像元l，计算像元和灰度均值μb之差与标准差σ之间的比值，并记录该比值大于TNR的像元个数ml；
步骤23、判断ml是否大于或等于设定阈值M，如果是，则将当前候选点(x，y)确定为目标点。
6.如权利要求5所述的方法，其特征在于，所述矩形滑窗为7×7大小，目标区为矩形滑窗中心2×3大小区域，其他区域为背景区。
7.如权利要求5所述的方法，其特征在于，所述目标检测虚警率为0.04，则TNR为1.8。
8.如权利要求5所述的方法，其特征在于，阈值M为3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911036729.3A CN112749714A (zh) | 2019-10-29 | 2019-10-29 | 一种单帧红外图像中多形态暗弱小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911036729.3A CN112749714A (zh) | 2019-10-29 | 2019-10-29 | 一种单帧红外图像中多形态暗弱小目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112749714A true CN112749714A (zh) | 2021-05-04 |
Family
ID=75640225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911036729.3A Pending CN112749714A (zh) | 2019-10-29 | 2019-10-29 | 一种单帧红外图像中多形态暗弱小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749714A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463619A (zh) * | 2022-04-12 | 2022-05-10 | 西北工业大学 | 基于集成融合特征的红外弱小目标检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709512A (zh) * | 2016-12-09 | 2017-05-24 | 河海大学 | 基于局部稀疏表示和对比度的红外目标检测方法 |
| JP2017117341A (ja) * | 2015-12-25 | 2017-06-29 | 富士通株式会社 | 物体検出方法、装置、及びプログラム |
| CN107330857A (zh) * | 2017-06-21 | 2017-11-07 | 中国科学院长春光学精密机械与物理研究所 | 一种红外图像中暗弱点目标检测方法 |
| CN109003277A (zh) * | 2017-06-07 | 2018-12-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种复杂背景下红外弱小目标检测方法及装置 |
-
2019
- 2019-10-29 CN CN201911036729.3A patent/CN112749714A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017117341A (ja) * | 2015-12-25 | 2017-06-29 | 富士通株式会社 | 物体検出方法、装置、及びプログラム |
| CN106709512A (zh) * | 2016-12-09 | 2017-05-24 | 河海大学 | 基于局部稀疏表示和对比度的红外目标检测方法 |
| CN109003277A (zh) * | 2017-06-07 | 2018-12-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种复杂背景下红外弱小目标检测方法及装置 |
| CN107330857A (zh) * | 2017-06-21 | 2017-11-07 | 中国科学院长春光学精密机械与物理研究所 | 一种红外图像中暗弱点目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马铭阳等: ""基于稳健主成分分析和多点恒虚警的红外弱小目标检测"", 《光学学报》, pages 92 - 100 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463619A (zh) * | 2022-04-12 | 2022-05-10 | 西北工业大学 | 基于集成融合特征的红外弱小目标检测方法 |
| CN114463619B (zh) * | 2022-04-12 | 2022-07-08 | 西北工业大学 | 基于集成融合特征的红外弱小目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xuan et al. | An improved canny edge detection algorithm | |
| CN109345472B (zh) | 一种复杂场景的红外运动小目标检测方法 | |
| US8457360B2 (en) | Detection of vehicles in an image | |
| CN111368771A (zh) | 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质 | |
| Paunwala et al. | A novel multiple license plate extraction technique for complex background in Indian traffic conditions | |
| Li et al. | Research on vehicle license plate location based on neural networks | |
| Xia et al. | A novel sea-land segmentation algorithm based on local binary patterns for ship detection | |
| CN109859246B (zh) | 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法 | |
| CN109389609B (zh) | 基于fart神经网络的交互自反馈红外目标检测方法 | |
| CN111539980A (zh) | 一种基于可见光的多目标追踪方法 | |
| KR102069694B1 (ko) | 영상 분할 기반의 해양 상황 인식 장치 및 그 방법 | |
| CN113450373A (zh) | 一种基于光学实况图像的运载火箭飞行过程特征事件实时判别方法 | |
| CN112749714A (zh) | 一种单帧红外图像中多形态暗弱小目标检测方法 | |
| Hommos et al. | Hd Qatari ANPR system | |
| CN114554188A (zh) | 基于图像传感器像素阵列的手机摄像头检测方法及装置 | |
| He et al. | A Pedestrian Detection Method Using SVM and CNN Multistage Classification. | |
| CN109859200B (zh) | 一种基于背景分析的低空慢速无人机快速检测方法 | |
| Yao et al. | Real-time multiple moving targets detection from airborne IR imagery by dynamic Gabor filter and dynamic Gaussian detector | |
| Borges et al. | A probabilistic model for flood detection in video sequences | |
| CN117456371B (zh) | 一种组串热斑检测方法、装置、设备及介质 | |
| CN112418105B (zh) | 基于差分方法的高机动卫星时间序列遥感影像运动舰船目标检测方法 | |
| CN112926676B (zh) | 一种虚假目标识别方法、装置及计算机设备 | |
| CN110991313B (zh) | 一种基于背景分类的运动小目标检测方法和系统 | |
| Shekar et al. | Text localization in video/scene images using Kirsch Directional Masks | |
| Chandrasekar et al. | Moving object detection techniques in traffic surveillance: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |