CN112419359A - 一种基于卷积神经网络的红外弱小目标检测方法及装置 - Google Patents

一种基于卷积神经网络的红外弱小目标检测方法及装置 Download PDF

Info

Publication number
CN112419359A
CN112419359A CN202011245209.6A CN202011245209A CN112419359A CN 112419359 A CN112419359 A CN 112419359A CN 202011245209 A CN202011245209 A CN 202011245209A CN 112419359 A CN112419359 A CN 112419359A
Authority
CN
China
Prior art keywords
pixel
blind
target
foreground mask
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011245209.6A
Other languages
English (en)
Inventor
王礼贺
杨德振
黄成章
乔志平
王伟丞
李凯峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 11 Research Institute
Original Assignee
CETC 11 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 11 Research Institute filed Critical CETC 11 Research Institute
Priority to CN202011245209.6A priority Critical patent/CN112419359A/zh
Publication of CN112419359A publication Critical patent/CN112419359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于卷积神经网络的红外弱小目标检测方法及装置。该方法包括对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像；检测输入图像中的像素点建立盲元表；利用所述盲元表剔除所述前景掩码图像的盲元和闪元；关联多帧所述前景掩码图像得到真实目标。本发明实现对复杂背景条件下的红外弱小目标检测，基于深度学习的目标检测算法相比于其他检测算法有更高的检测率、更低的虚警率以及更好的背景适应性。

Description

一种基于卷积神经网络的红外弱小目标检测方法及装置
技术领域
本发明涉及计算机视觉和图像识别技术领域，更具体的说，是涉及红外图像中一种基于卷积神经网络的红外弱小目标检测方法及装置。
背景技术
红外弱小目标是指在红外图像中，目标由于距离远，大气影响等因素导致目标在探测器中成像面积只有几个像素点并且目标的信噪比低。红外弱小目标检测在红外成像技术中起着重要的应用，可用于远距离目标检测、识别、预警。对红外弱小目标的检测目前有多种算法，包括基于人类视觉系统的方法、基于管道滤波的方法、基于机器学习的方法等。
红外弱小目标检测方法的性能取决于对背景、图像盲闪元的抑制，但是由于背景复杂多变，目标可以在云中、云边缘、干净的空背景、地面背景、地面+空中背景等等，传统目标检测算法根据背景设计特征提取算子，可以在单一背景下取得良好的检测效果，但在多种背景切换时，算法由于不能适应新的背景特征，往往出现漏检或误检，导致算法检测率下降，虚警率上升。
发明内容
鉴于上述背景，本发明提供了一种基于卷积神经网络的红外弱小目标检测方法及装置，以解决复杂背景条件下的红外弱小目标检测率低，虚警率高的问题。
为实现上述目的，本发明提供如下技术方案：
本发明实施例一方面提供一种基于卷积神经网络的红外弱小目标检测方法，包括；
对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像；
检测输入图像中的像素点并建立盲元表；
利用所述盲元表剔除所述前景掩码图像的盲元和闪元；
关联多帧所述前景掩码图像得到真实目标。
进一步地，所述卷积神经网络是通过学习多种背景条件下的样本数据与样本数据的前景掩码信息不断训练而得到：其中，所述卷积神经网络包括5个层级，每个层级包括卷积层、BN层和激活函数层；其中，
每一层级的卷积层包含2个3×3×3大小的卷积核，对输入的图像进行卷积计算后的特征图像送入所述BN层计算均值、方差参数，再带入正则公式得到计算结果；所述BN层的计算结果送入所述激活函数层进行计算，并输出至下一层级的卷积层，直至第5个层级执行完毕得到前景掩码图像。
进一步地，所述检测输入图像中的像素点并建立盲元表，包括；
若预设帧数图像中，某一位置的像素点的像素值小于周围像素点像素值，则判定该像素点为盲元；
若预设帧数图像中，某一位置的像素点的像素值大于或小于周围点的像素值，判定该像素点为闪元，否则，判断该像素点为疑似目标；
保存盲元和闪元的位置信息至所述盲元表中。
进一步地，所述利用所述盲元表剔除所述前景掩码图像的盲元和闪元，包括：
根据所述盲元表记录的所有盲元和闪元的位置信息，剔除前景掩码图像中的盲元和闪元；
根据周围像素点的像素值的平均值作为相应位置的盲元或闪元的像素值。
进一步地，所述关联多帧所述前景掩码图像得到真实目标，包括：
计算当前帧与前一帧前景掩码图像的疑似目标的距离：
若疑似目标的距离不大于预设距离阈值，则关联次数加1；
若关联次数达到预设次数阈值，则判定该疑似目标为真实目标；
若当前帧没有疑似目标或者当前帧与前一帧前景掩码图像中的疑似的距离大于预设阈值或者关联次数未达到预设次数阈值，则目标丢失，重新查找目标。
本发明实施例另一方面提供一种基于卷积神经网络的红外弱小目标检测装置，包括；
处理单元，用于对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像；
检测单元，用于检测输入图像中的像素点并建立盲元表；
剔除单元，用于利用所述盲元表剔除所述前景掩码图像的盲闪元；
关联单元，用于关联多帧所述前景掩码图像得到真实目标。
进一步地，所述卷积神经网络是通过学习多种背景条件下的样本数据与样本数据的前景掩码信息不断训练而得到，且包括5个层级，每个层级包括卷积层、BN层以及激活函数层；其中，每一层级的卷积层包含2个3×3×3大小的卷积核，对输入的图像进行卷积计算后的特征图像送入所述BN层计算均值、方差参数，再带入正则公式得到计算结果；所述BN层的计算结果送入所述激活函数层进行计算，并输出至下一层级的卷积层，直至第5个层级执行完毕得到前景掩码图像。
进一步地，所述检测单元具体用于：
若预设帧数图像中，某一位置的像素点的像素值小于周围像素点像素值，则判定该像素点为盲元；
若预设帧数图像中，某一位置的像素点的像素值大于或小于周围点的像素值，判定该像素点为闪元；否则，判定该像素点为疑似目标；
保存盲元和闪元的位置信息至所述盲元表中。
进一步地，所述剔除单元具体用于：
根据所述盲元表记录的所有盲元和闪元的位置信息，剔除前景掩码图像中的盲元和闪元；
根据周围像素点的像素值的平均值作为相应位置的盲元或闪元的像素值。
进一步地，所述关联单元，具体用于：
计算当前帧与前一帧前景掩码图像的疑似目标的距离：
若疑似目标的距离不大于预设距离阈值，则关联次数加1；
若关联次数达到预设次数阈值，则判定该疑似目标为真实目标；
若当前帧没有疑似目标或者当前帧与前一帧前景掩码图像中的疑似的距离大于预设阈值或者关联次数未达到预设次数阈值，则目标丢失，重新查找目标。
本发明实施例所提供的基于卷积神经网络的红外弱小目标检测方法，通过对连续三帧输入图像进行特征提取、分类，得到图像前景掩码，并利用建立的盲元表，剔除图像中的假目标，而后通过多帧前景图像关联计算，得到真实目标。本发明通过卷积神经网络的思想，解决红外弱小目标前景与背景分割问题，避免背景变换时影响目标检测的正确性，获得良好的检测效果；与传统目标检测算法相比，本发明具有更高检测率和更低的虚警率，并且算法具有好的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的基于卷积神经网络的红外弱小目标检测方法流程图；
图2为本发明实施例公开的卷积神经网络模型的框架图；
图3为本发明实施例公开的卷积神经网络模型训练的无目标样本数据；
图4为本发明实施例公开的卷积神经网络模型训练的有目标样本数据；
图5与图6为本发明实例公开的卷积神经网络模型对红外弱小目标实现前景分割的效果示意图；
图7a至图7d为采用本发明实施例公开的卷积神经网络的红外弱小目标检测效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅附图1，本发明实施例所提供的基于卷积神经网络的红外弱小目标检测的方法，具体包括：
步骤S101，对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像。
在该步骤中，卷积神经网络是通过学习多种背景条件下的样本数据，将卷积结果与样本数据前景图像进行对比，不断更新卷积层参数，直到输出结果符合预期结果，训练而得到的。在检测时，将卷积神经网络的模型参数载入算法中，即可得到前景掩码图像。
可选的，参见图2，整个卷积神经网络模型模型共15层，五个卷积层、五个BN层、5个激活函数层。具体地，图像经过卷积层进行卷积计算，得到输入图像的特征图像，其中卷积层包含2个3×3×3大小的卷积核；对图像进行卷积计算特征图像送入BN层计算均值、方差等参数，带入正则公式进行计算；计算结果送入激活函数层，输出该层结果，同样步骤在第2层、第3层、第4层、第5层执行完毕后输出图像的前景掩码数据。
BN层公式如下：
Figure BDA0002769779390000051
Figure BDA0002769779390000052
Figure BDA0002769779390000053
激活函数层ReLu公式如下：
Figure BDA0002769779390000054
其中，μB表示特征图像均值；
Figure BDA0002769779390000055
表示特征图像方差；m表示图像像素点个数。
请参阅附图3与附图4，分别为本发明实施例所选用的部分样本数据。其中图3展示了部分不同背景条件下含有弱小目标的样本数据，图4展示了部分不同背景条件下不含弱小目标的样本数据。可知，通过对不同背景条件、有目标以及无目标的样本数据进行训练，模型可以更好的对场景进行建模，使该方法可以更好的适应各种背景、增强该方法的鲁棒性，降低虚警率。
步骤S102，检测输入图像中的像素点并建立盲元表。
在该步骤中，检测输入图像中的像素点，根据像素点与其周围像素点的值对盲元、闪元进行定位。
在建立盲元表时，若预设帧数图像中，某一位置的像素点的像素值小于周围像素点像素值，则判定该像素点为盲元；若预设帧数图像中，某一位置的像素点的像素值大于或小于周围点的像素值，判定该像素点为闪元，否则，判断该像素点为疑似目标；保存盲元和闪元的位置信息至盲元表中。
具体地，若某一点与周围像素点存在明显差异，记录该点的位置，同时建立一个对应的存储空间，将对应位置的值加1。通常在视频序列中，若该点为盲元或者闪元，则会一直存在。这里，通过判定次数的累加(也就是图像帧数的累加)，若该像素位置的异常次数大于一阈值，例如100，则该点是盲元或者闪元；若小于或等于100，则认定该像素点为疑似目标。
也就是说，在图像中，盲闪元的位置是固定的，不会随着背景、方位、俯仰变化而出现较大的移动。这里，对整个图像进行统计，找出异常的点，然后计算多帧之间的像素位置变化，如果变化的轨迹基本是不动的，那么就将异常点当作盲闪元，放入盲元表中。但是弱小目标检测中，目标也会统计成异常点。因此，在本发明实施例中，需要在足够多的帧数下，统计像素点的异常情况。如果在一定阈值的的帧数下相应位置的像素点与周围像素点的差异性稳定不变，则认为其为盲元，而闪元的特性通常与周围像素点像素值或高或低，在一定的概率阈值下都呈现出与周围像素点固定的差异，以此来区分目标和闪元。
具体地，在建立盲元表时，将盲元和闪元的位置信息建立一位置数组。该位置数组作为盲元表记录了输入图像中所有的盲元和闪元的信息。
需要说明是，步骤S101和步骤S102在图1中呈现顺序执行，当然本发明并不局限于此，可以分别单独执行。
步骤S103，利用所述盲元表剔除所述前景掩码图像的盲闪元。
这里，通过盲元表进行盲闪元的剔除，可以有效减少图像中疑似目标个数。
在该步骤中，根据盲元表记录的所有盲元和闪元的位置信息，剔除前景掩码图像中的盲元和闪元。在剔除盲闪元后，根据周围像素点的像素值的平均值作为相应位置的盲闪元的像素值。
其中，在过滤掉前景掩码图像的盲元和闪元后，还需要对图像进行二值化操作。在前景掩码图像中的像素值是不确定的，进行二值化后，图像像素值只有0和255两种情况，可以实现图像的前景与背景的分割。
步骤S104，关联多帧所述前景掩码图像得到真实目标。
在该步骤中，根据疑似目标的运动矢量来确定真是目标。这里的运动适量为目标点的距离信息，定义该操作为：
Figure BDA0002769779390000061
根据计算当前帧与前一帧前景掩码图像的疑似目标的距离确定真实目标。具体地，若疑似目标的距离不大于预设阈值(例如，不超过10个像素点距离)，当前帧的疑似目标与前一帧疑似目标关联次数加1，当下一帧处理完成后，同当前帧进行关联，如关联成功，则关联次数再次加1，重复当前步骤，若关联次数大于15，证明目标是真实目标，上报目标位置。
若当前帧没有目标或者当前帧与前一帧前景掩码图像中的疑似目标的距离大于预设阈值或者关联次数不大于15，则证明目标丢失，需要重新查找目标。
本发明实施例所提供的基于卷积神经网络的红外弱小目标检测方法，通过卷积神经网络的思想，解决红外弱小目标前景与背景分割问题，避免背景变换时影响目标检测的正确性，获得良好的检测效果；卷积神经网络通过学习多种背景条件下的样本数据，通过将卷积结果与样本数据前景图像进行对比，不断更新卷积层参数，直到卷积神经网络的输出结果符合预期结果，训练结束；将模型参数载入算法中，得到真实数据图像前景掩码后，利用盲元表，剔除前景掩码中虚假的目标信息，得到疑似目标；通过多帧图像进行关联，最终得到目标的位置信息，进行上报。该方法能够更好的适应各种图像背景，拥有更好的鲁棒性，有效降低虚警次数。
本发明还提供了一种采用上述方法的基于卷积神经网络的红外弱小目标检测装置，该装置包括：
处理单元，用于对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像；
检测单元，用于检测输入图像中的像素点建立盲元表；
剔除单元，用于利用所述盲元表剔除所述前景掩码图像的盲闪元；
关联单元，用于关联多帧所述前景掩码图像得到真实目标。
进一步地，所述卷积神经网络是通过学习多种背景条件下的样本数据与样本数据的前景掩码信息不断训练而得到，且包括5个层级，每个层级包括卷积层、BN层以及激活函数层；其中，每一层级的卷积层包含2个3×3×3大小的卷积核，对输入的图像进行卷积计算后的特征图像送入所述BN层计算均值、方差参数，再带入正则公式得到计算结果；所述BN层的计算结果送入所述激活函数层进行计算，并输出至下一层级的卷积层，直至第5个层级执行完毕得到前景掩码图像。其中，
所述BN层的公式如下：
Figure BDA0002769779390000081
Figure BDA0002769779390000082
Figure BDA0002769779390000083
所述激活函数层ReLu公式如下：
Figure BDA0002769779390000084
其中，μB表示特征图像均值；
Figure BDA0002769779390000085
表示特征图像方差；m表示图像像素点个数。
进一步地，所述检测单元具体用于：
若预设帧数图像中，某一位置的像素点的像素值小于周围像素点像素值，则判定该像素点为盲元；
若预设帧数图像中，某一位置的像素点的像素值大于或小于周围点的像素值，判定该像素点为闪元，否则，判断该像素点为疑似目标；
保存盲元和闪元的位置信息至所述盲元表中。
进一步地，所述剔除单元具体用于：
根据所述盲元表记录的所有盲元和闪元的位置信息，剔除前景掩码图像中的盲元和闪元；
根据周围像素点的像素值的平均值作为相应位置的盲闪元的像素值。
进一步地，所述关联单元具体用于：
计算当前帧与前一帧前景掩码图像的疑似目标的距离：
若疑似目标的距离不大于预设阈值，判定该目标为真实目标；
若当前帧没有目标或者当前帧与前一帧前景掩码图像中的疑似目标的距离大于预设阈值，则证明目标丢失，重新查找目标。
可知，本发明实施例提供的一种基于卷积神经网络的红外弱小目标检测的方法，即先利用卷积神经网络模型得到输入图像的前景掩码数据，再通过得到图像盲元表，剔除因盲闪元导致的假数据，经过二值化分割后得到最终的前景图像，最后利用多帧目标关联计算，得到真正的目标。该方法能够更好的适应各种图像背景，拥有更好的鲁棒性，有效降低虚警次数。
本发明选用的样本数据与测试数据为机载光电设备采集的真实数据，数据场景包括上视云层、上视地面、下视云层、下视地面等多种场景，图像为长波图像、图像尺寸为320×256，通过对这些数据进行检测，验证算法的检测效果。
请参阅附图5与附图6，为本发明方法的主观视觉效果，图5是卷积神经网络模型对于纯地面背景图像数据的前景掩码数据的分割效果，图6是卷积神经网络模型对地面+云层背景图像数据的前景掩码数据的分割效果。
请参阅附图7，为本发明方法对于四种背景条件下的主观检测效果，图7(a)为本方法在上视云层条件下检测效果、图7(b)为本发明方法在下视云层条件下检测效果、图7(c)为本方法在上视地面条件下检测效果、图7(d)为本发明方法在下视地面条件下检测效果。
除了主观评测，本发明还公开了客观数值评估，包括检测率(CDR)、虚警次数(FAR)、目标信噪比(SNR)，请参阅表1，为本发明方法的客观数值评估；
CDR FAR(次/min) SNR(min) SNR(max)
上视云背景 0.99 0.85 1.17 9.15
下视云背景 0.65 4.5 0.72 7.20
上视地面 0.99 4.1 1.42 10.11
下视地面 0.95 2.2 1.62 10.23
表1采用本发明方法基于四种场景下的评估指标
基于上述可知，本发明实施例所提供的基于卷积神经网络的红外弱小目标检测的方法，通过引入当前计算机视觉领域中流行卷积神经网络的思想，主要特色在于提出了一种提高算法性能的目标检测的过程，卷积神经网络通过对多种场景的学习、数学建模可以更好的适应各种复杂场景的变化，通过盲元表建立降低了盲闪元对目标检测的影响，从主观视觉效果和客观数值评估可以看出，我们的方法在对红外弱小目标检测性能上得到了提高。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于卷积神经网络的红外弱小目标检测方法，其特征在于，包括；
对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像；
检测输入图像中的像素点建立盲元表；
利用所述盲元表剔除所述前景掩码图像的盲元和闪元；
关联多帧所述前景掩码图像得到真实目标。
2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络是通过学习多种背景条件下的样本数据与样本数据的前景掩码信息不断训练而得到：其中，所述卷积神经网络包括5个层级，每个层级包括卷积层、BN层和激活函数层；其中，
每一层级的卷积层包含2个3×3×3大小的卷积核，对输入的图像进行卷积计算后的特征图像送入所述BN层计算均值、方差参数，再带入正则公式得到计算结果；所述BN层的计算结果送入所述激活函数层进行计算，并输出至下一层级的卷积层，直至第5个层级执行完毕得到前景掩码图像。
3.根据权利要求1所述的方法，其特征在于，所述检测输入图像中的像素点建立盲元表，包括；
若预设帧数图像中，某一位置的像素点的像素值小于周围像素点像素值，则判定该像素点为盲元；
若预设帧数图像中，某一位置的像素点的像素值大于或小于周围点的像素值，判定该像素点为闪元，否则，判断该像素点为疑似目标；
保存盲元和闪元的位置信息至所述盲元表中。
4.根据权利要求1或3所述的方法，其特征在于，所述利用所述盲元表剔除所述前景掩码图像的盲元和闪元，包括：
根据所述盲元表记录的所有盲元和闪元的位置信息，剔除前景掩码图像中的盲元和闪元；
根据周围像素点的像素值的平均值作为相应位置的盲元或闪元的像素值。
5.根据权利要求3所述的方法，其特征在于，所述关联多帧所述前景掩码图像得到真实目标，包括：
计算当前帧与前一帧前景掩码图像的疑似目标的距离：
若疑似目标的距离不大于预设距离阈值，则关联次数加1；
若关联次数达到预设次数阈值，则判定该疑似目标为真实目标；
若当前帧没有疑似目标或者当前帧与前一帧前景掩码图像中的疑似的距离大于预设阈值或者关联次数未达到预设次数阈值，则目标丢失，重新查找目标。
6.一种基于卷积神经网络的红外弱小目标检测装置，其特征在于，包括；
处理单元，用于对连续输入三帧图像采用卷积神经网络处理，得到前景掩码图像；
检测单元，用于检测输入图像中的像素点建立盲元表；
剔除单元，用于利用所述盲元表剔除所述前景掩码图像的盲闪元；
关联单元，用于关联多帧所述前景掩码图像得到真实目标。
7.根据权利要求6所述的装置，其特征在于，所述卷积神经网络是通过学习多种背景条件下的样本数据与样本数据的前景掩码信息不断训练而得到，且包括5个层级，每个层级包括卷积层、BN层以及激活函数层；其中，每一层级的卷积层包含2个3×3×3大小的卷积核，对输入的图像进行卷积计算后的特征图像送入所述BN层计算均值、方差参数，再带入正则公式得到计算结果；所述BN层的计算结果送入所述激活函数层进行计算，并输出至下一层级的卷积层，直至第5个层级执行完毕得到前景掩码图像。
8.根据权利要求6所述的装置，其特征在于，所述检测单元具体用于：
若预设帧数图像中，某一位置的像素点的像素值小于周围像素点像素值，则判定该像素点为盲元；
若预设帧数图像中，某一位置的像素点的像素值大于或小于周围点的像素值，判定该像素点为闪元；否则，判定该像素点为疑似目标；
保存盲元和闪元的位置信息至所述盲元表中。
9.根据权利要求6或8所述的装置，其特征在于，所述剔除单元具体用于：
根据所述盲元表记录的所有盲元和闪元的位置信息，剔除前景掩码图像中的盲元和闪元；
根据周围像素点的像素值的平均值作为相应位置的盲元或闪元的像素值。
10.根据权利要求8所述的装置，其特征在于，所述关联单元，具体用于：
计算当前帧与前一帧前景掩码图像的疑似目标的距离：
若疑似目标的距离不大于预设距离阈值，则关联次数加1；
若关联次数达到预设次数阈值，则判定该疑似目标为真实目标；
若当前帧没有疑似目标或者当前帧与前一帧前景掩码图像中的疑似的距离大于预设阈值或者关联次数未达到预设次数阈值，则目标丢失，重新查找目标。
CN202011245209.6A 2020-11-10 2020-11-10 一种基于卷积神经网络的红外弱小目标检测方法及装置 Pending CN112419359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011245209.6A CN112419359A (zh) 2020-11-10 2020-11-10 一种基于卷积神经网络的红外弱小目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011245209.6A CN112419359A (zh) 2020-11-10 2020-11-10 一种基于卷积神经网络的红外弱小目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN112419359A true CN112419359A (zh) 2021-02-26

Family

ID=74781248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011245209.6A Pending CN112419359A (zh) 2020-11-10 2020-11-10 一种基于卷积神经网络的红外弱小目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN112419359A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197682A (zh) * 2023-09-01 2023-12-08 山东产研卫星信息技术产业研究院有限公司 一种长波红外遥感影像进行盲元检测与去除的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106327474A (zh) * 2016-08-25 2017-01-11 上海航天控制技术研究所 一种自动在线盲元检测方法
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN111080670A (zh) * 2019-12-17 2020-04-28 广州视源电子科技股份有限公司 图像提取方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN106327474A (zh) * 2016-08-25 2017-01-11 上海航天控制技术研究所 一种自动在线盲元检测方法
CN111080670A (zh) * 2019-12-17 2020-04-28 广州视源电子科技股份有限公司 图像提取方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宁强等: "复杂地面背景下的红外目标检测算法", 《光子学报》 *
徐贺: "低空背景下的红外动目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王礼贺等: "卷积神经网络在目标检测中的应用及FPGA实现", 《激光与红外》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197682A (zh) * 2023-09-01 2023-12-08 山东产研卫星信息技术产业研究院有限公司 一种长波红外遥感影像进行盲元检测与去除的方法

Similar Documents

Publication Publication Date Title
CN112052797A (zh) 基于MaskRCNN的视频火灾识别方法及系统
EP3438929B1 (en) Foreground and background detection method
CN111062974B (zh) 一种使用去除鬼影对前景目标提取的方法及系统
CN111275040B (zh) 定位方法及装置、电子设备、计算机可读存储介质
CN111753794B (zh) 水果品质分类方法、装置、电子设备及可读存储介质
CN109389609B (zh) 基于fart神经网络的交互自反馈红外目标检测方法
CN113658192B (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN107274410B (zh) 自适应的人造目标恒虚警率检测方法
CN111814690B (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN112541486A (zh) 基于改进Pixel分割的红外弱小目标检测算法
CN111985314B (zh) 一种基于ViBe与改进LBP的烟雾检测方法
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质
CN109727202B (zh) 气体红外视频增强方法、装置及存储介质
CN115311623A (zh) 一种基于红外热成像的设备漏油检测方法及系统
CN114581709A (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN112419359A (zh) 一种基于卷积神经网络的红外弱小目标检测方法及装置
CN113409360A (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN111062954B (zh) 一种基于差分信息统计的红外图像分割方法、装置及设备
CN110889817B (zh) 图像融合质量评价方法及装置
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及系统
CN115713620A (zh) 一种红外小目标检测方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination