CN112288778B - 一种基于多帧回归深度网络的红外小目标检测方法 - Google Patents

一种基于多帧回归深度网络的红外小目标检测方法 Download PDF

Info

Publication number
CN112288778B
CN112288778B CN202011199875.0A CN202011199875A CN112288778B CN 112288778 B CN112288778 B CN 112288778B CN 202011199875 A CN202011199875 A CN 202011199875A CN 112288778 B CN112288778 B CN 112288778B
Authority
CN
China
Prior art keywords
frame
image
network
small target
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011199875.0A
Other languages
English (en)
Other versions
CN112288778A (zh
Inventor
彭真明
王光慧
曹思颖
魏月露
孙晓丽
杨博文
朱强
陶冰洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011199875.0A priority Critical patent/CN112288778B/zh
Publication of CN112288778A publication Critical patent/CN112288778A/zh
Application granted granted Critical
Publication of CN112288778B publication Critical patent/CN112288778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本项目属于红外遥感图像处理中的目标检测领域，提供一种基于多帧回归深度网络的红外小目标检测方法，解决现有的基于单帧图像的检测方法鲁棒性低、适用范围窄等问题和红外小目标检测存在大量误检的问题。其主要方案包括，创建多帧的红外小目标数据集，基于多帧提取的差分并集图和局部可变阈值分割得到单帧目标候选区域，通过多帧轨迹关联提取候选区域的一维特征，并创建特征数据集。将数据集输入到长短期记忆回归网络进行训练，将输入测试数据到回归网络，根据网络输出得到数据类别，最后在目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果。

Description

一种基于多帧回归深度网络的红外小目标检测方法
技术领域
一种基于多帧回归深度网络的红外小目标检测方法，用于红外遥感图像中红外小目标检测，属于遥感及红外图像处理中的目标检测领域。
背景技术
红外搜索与跟踪（Infrared search and track, IRST）系统军事价值极高，其中，红外小目标检测技术作为 IRST 系统的一个基本功能，在红外搜索、红外预警、红外跟踪中不可或缺。由于红外成像条件，在红外图像无可避免会出现噪声或干扰。其中虚警源在卫星红外图像上与目标表现类似，都具有较高的灰度，因此可能造成遥感预警系统的虚警。由于红外小目标的检测难度颇大，尽管国内外的学者们已经提出多种检测算法，但目前大都难以达到令人满意的效果。
总体来说，红外小目标检测方法可分为基于序列的和基于单帧的两大类方法。序列方法利用目标运动的时空信息，依靠多帧图像来捕获目标的运动轨迹，从而避免噪声的干扰。然而，在实际应用中传统检测方法流程繁琐，且对复杂场景下的噪声和杂波敏感，鲁棒性低。在目标运动缓慢的情况下，序列方法都能取得令人满意的结果。然而，在实际应用中，若目标与成像传感器之间的运动速度过快，将难以保证目标的运动连续性，导致这类方法不再适用。同时，在处理多帧图像的过程中，计算量和内存需求都较大，对硬件要求高。
与上述方法不同，单帧方法仅利用空域信息，在单幅图像上对目标进行检测。如何充分地利用背景和目标的内在属性，达到有效地突显目标并且抑制背景的目的，便是单帧方法的核心问题。随着时代的发展，数据开始呈现出海量和高维的特点，数据的维度也不再局限于一维和二维，处理的难度日益增大。常用的基于单帧的红外弱小目标检测算法大致分为三类：第一是基于背景连续性的方法，此类方法专注于背景性质的研究。然而，这类方法基于背景连续性的假设，认为红外图像的背景区域具有很强的关联性，而目标的出现破坏了这种相关性实际的红外图像非常复杂，含有大量的随机噪声，这并不符合简单的背景一致性假设。因此，尽管这类方法实现简单，但是抗噪声极差，不适用于真实数据，导致在大部分红外图像中检测效果很差。第二是基于目标显著性的方法，此类方法专注于目标特性的研究。当红外图像中只有目标非常显著时，这类方法可以得到较好的检测效果，然而，在实际应用场景中，常常会存在高辐射和高亮度的干扰，这将严重影响算法的性能。第三是基于背景低秩性和目标稀疏性的方法，此类方法同时关注背景和目标的属性。这类方法充分利用背景和目标的非局部特征，在鲁棒性与准确率上较之传统方法大幅提升，但由于求解目标函数的过程中需要迭代，难以满足实时性，目前还较难在实际工程中应用。
因此需要一种能满足实时性需求，同时能提高检测精度，提高检测方法鲁棒性、降低虚警率的红外遥感图像小目标检测及识别方法来克服以上问题。
发明内容
本发明的目的在于：本发明提供了一种基于多帧回归深度网络的红外小目标检测方法，克服现有方法在面对红外图像小目标检测精度和速度之间的权衡下不能实现实时准确定位小目标位置的问题，在实现实时检测情况下能够提高检测能力，降低虚警率。
本发明采用的技术方案如下：
一种基于多帧回归深度网络的红外小目标检测方法，包括如下步骤：
步骤1：制作多帧的红外小目标数据集，并对数据集进行图像预处理；
步骤2：对步骤1中图像预处理后的图像序列通过相邻图像的灰度值进行差分得到差分图，对差分图再进行取并集处理，实现单帧小目标检测，基于局部可变阈值对图像进行阈值分割，得到目标候选区域；
步骤3：对步骤2中得到的单帧目标候选区域进行多帧上的轨迹关联，并提取每个候选区域在多帧上随时间变化的两个一维特征，创建对应的特征数据集，然后对特征数据集进行数据预处理，并将特征数据集划分为训练集、验证集和测试集；
步骤4：将步骤3中得到的训练集输入LSTM回归网络进行训练，同时通过验证集对LSTM回归网络进行验证，保存训练好的LSTM回归网络；
步骤5：将步骤3得到的测试集输入到步骤4训练好的LSTM回归网络，根据网络输出得到数据类别，最后在目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果。
一种基于多帧回归深度网络的红外小目标检测方法，包括如下步骤：
步骤1：制作多帧的红外小目标数据集，并对数据集进行图像预处理；
步骤2：对步骤1中图像预处理后的图像序列通过相邻图像的灰度值进行差分得到差分图，对差分图再进行取并处理，实现单帧小目标检测，基于局部可变阈值对图像进行阈值分割，得到目标候选区域；
步骤3：对步骤2中得到的单帧目标候选区域进行多帧上的轨迹关联，并提取每个候选区域在多帧上随时间变化的两个一维特征，创建对应的特征数据集，然后对特征数据集进行数据预处理，并将特征数据集划分为训练集、验证集和测试集；
步骤4：将步骤3中得到的训练集输入长短期记忆网络(Long Short-Term Memory,LSTM)回归网络进行训练，同时通过验证集对LSTM回归网络进行验证，保存训练好的LSTM回归网络；
步骤5：将步骤3得到的测试集输入到步骤4训练好的LSTM回归网络，根据网络输出得到数据类别，最后在目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果。
优选地，所述步骤1包括如下步骤：
步骤1.1：制作多帧的红外小目标数据集，收集多帧红外小目标数据并标记小目标；
步骤1.2：对步骤1.1制作的数据集进行图像预处理，具体是指对所有的图像进行中值滤波处理，即将小目标图像中任意一像素点的值用该像素点的邻域里各像素点值排序后的中值代替。
优选地，所述步骤2中包括如下步骤：
步骤2.1：对步骤1.2预处理后的图像，首先相邻两帧图像相减的绝对值从而得到两幅差分图像，对两幅差分图像取并集，对于当前帧像素点的灰度值为
Figure 849686DEST_PATH_IMAGE001
，记录它的前一帧像素点的灰度值
Figure 498973DEST_PATH_IMAGE002
和后一帧像素点的灰度值
Figure 98582DEST_PATH_IMAGE003
，按照式(1)、(2)计算下一帧与当前帧的像素值差分图像
Figure 440701DEST_PATH_IMAGE004
和当前帧与前一帧的像素值差分图像
Figure 492971DEST_PATH_IMAGE005
。然后根据式(3)对差分图像
Figure 211528DEST_PATH_IMAGE006
进行与操作，即将两幅差分图像取并集，得到第i帧最后的差分图像
Figure 665643DEST_PATH_IMAGE007
，对整个图像序列都进行计算，得到差分图像序列
Figure 178664DEST_PATH_IMAGE008
。
Figure 718230DEST_PATH_IMAGE009
(1)
Figure 240478DEST_PATH_IMAGE010
(2)
Figure 260083DEST_PATH_IMAGE011
(3)
其中，
Figure 209585DEST_PATH_IMAGE001
表示第i帧像素点的灰度值，
Figure 705288DEST_PATH_IMAGE002
表示第i-1帧像素点的灰度值，
Figure 31227DEST_PATH_IMAGE003
表示第i+1帧像素点的灰度值，
Figure 194355DEST_PATH_IMAGE012
表示与操作。
步骤2.2 对步骤2.1中得到的差分图像进行阈值分割，阈值分割具体操作为，首先指定
Figure 49179DEST_PATH_IMAGE013
大小的窗口，对图像进行从上到下，从左到右的滑窗计算，滑窗内的像素点的灰度值记为
Figure 563337DEST_PATH_IMAGE014
，分别计算滑窗内所有像素点的标准差
Figure 427387DEST_PATH_IMAGE015
和平均值
Figure 179443DEST_PATH_IMAGE016
，针对差分图像
Figure 470747DEST_PATH_IMAGE007
对其进行阈值分割，然后得到阈值分割后的图像
Figure 206622DEST_PATH_IMAGE017
，即目标候选区域；
Figure 608784DEST_PATH_IMAGE018
(4)
Figure 480925DEST_PATH_IMAGE019
(5)
Figure 208710DEST_PATH_IMAGE020
(6)
其中，
Figure 166302DEST_PATH_IMAGE015
表示窗口内所有像素点的标准差，
Figure 637734DEST_PATH_IMAGE016
表示窗口内所有像素点的平均值，a、b是常数。
优选地，所述步骤3包括如下步骤：
步骤3.1：对步骤2.2中的得到的单帧的目标候选区域，分别给其编号
Figure 364382DEST_PATH_IMAGE021
，当前m帧的第i个目标候选区域在m+1帧的位置决定方式为：在m+1帧中将距离m帧中第i个目标候选区域原位置最靠近的区域作为第i个目标候选区域在m+1帧的位置，不断地向后选择，即可完成轨迹关联；
步骤3.2：对步骤3.1中得到的j个关联之后的候选区域，对每帧的候选区域提取平均亮度和相对每个序列第一帧的欧氏距离，设候选区域为
Figure 997488DEST_PATH_IMAGE022
,其中i，i=1，2，3……j，
Figure 442376DEST_PATH_IMAGE023
表示第i个候选区域内像素点的像素值，则候选区域内的灰度总和为
Figure 451921DEST_PATH_IMAGE024
，候选区域的像素点个数总和为
Figure 298654DEST_PATH_IMAGE025
，第i帧像素点(x,y)的横总坐标分别为
Figure 368241DEST_PATH_IMAGE026
、
Figure 34846DEST_PATH_IMAGE027
，则第m帧的第i个候选区域平均亮度
Figure 848081DEST_PATH_IMAGE028
和距离第一帧的欧氏距离
Figure 814900DEST_PATH_IMAGE029
的计算公式如下:
Figure 789809DEST_PATH_IMAGE030
(7)
Figure 209289DEST_PATH_IMAGE031
(8)
其中，
Figure 560636DEST_PATH_IMAGE023
表示第i个候选区域内像素点的像素值，
Figure 116382DEST_PATH_IMAGE022
表示第i个候选区域，第i帧像素点(x,y)的横总坐标分别为
Figure 262193DEST_PATH_IMAGE026
、
Figure 168969DEST_PATH_IMAGE027
，
Figure 324007DEST_PATH_IMAGE025
表示候选区域的像素点个数总和，
Figure 734260DEST_PATH_IMAGE024
表示候选区域内的灰度总和；
步骤3.3：将步骤3.2中提取的基于多帧的平均亮度和相对每个序列第一帧的欧氏距离作为两个随时间变化的一维特征，根据步骤1.1中的标记给相对应的区域进行标记，创建对应的特征数据集，由于每个序列长度不一，数值不一样，需要对特征数据集中这两个特征，分别追条对数据进行归一化处理，并将小目标与虚警区域的特征数据集随机划分为训练集、验证集和测试集。
优选地，所述步骤4的具体步骤为：
步骤4.1：随机选取步骤3.3特征数据集中的训练集和验证集输入到LSTM回归网络训练权值，LSTM回归网络主要由两层单向LSTM堆叠而成，两层网络都分别由64个单元构成，然后再加上一层Doupout层和一层全连接层，然后进行交叉熵损失计算计算出类别损失值Loss。
步骤4.2：根据步骤4.1得到的损失，使用AMAD优化器更新网络参数，若达到设定的最大训练次数，保存模型权重，并进入网络分类部分。
优选地，所述步骤5的具体步骤为：
步骤5.1：将步骤3.3的测试集输入到步骤4.2训练好的LSTM回归网络，网络输出得到数据所属的类别，根据得到的数目类别，在步骤2.2所得的目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1. 本发明制作红外遥感图像小目标轨迹和特征数据集并进行数据预处理，为深度学习提供足够丰富的数据样本。多样的数据样本集有利于训练神经网络，提高网络模型的泛化能力。
2.本发明结合了单帧检测及多帧信息，提升了对小目标的检测能力，在一定程度上解决了基于单帧的红外小目标检测在信噪比低、噪声多的情况下检测准确率低，无法有效利用多帧图像信息和基于多帧的红外小目标在复杂场景下鲁棒性低的问题。本发明将单帧图像和多帧序列图像进行结合，充分利用多帧图像小目标的运动信息，提高检测方法的鲁棒性和扩展了使用场景
3.本发明针对目标检测中存在大量虚假目标的问题，根据目标特征利用LSTM回归网络来减少检测过程中的虚假红外小目标，从而降低虚警率。使该系统能够准确、高效、鲁棒地检测各种复杂场景下的小目标。
4.本发明融合以上三点，提出了一种基于多帧回归深度网络的红外小目标检测方法，解决现有的基于单帧图像的检测方法鲁棒性低、适用范围窄等问题和红外小目标检测存在大量误检的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明红外图像小目标检测系统流程图；
图2为本发明LSTM回归网络结构（以输入160个样本，序列长度为450为例），注意图2包括a、b、c、d、e几个部分；
图3 为本发明红外小目标检测原图；
图4 为本发明红外小目标检测阈值分割图；
图5 为本发明红外小目标检测结果图。
具体实施方式
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
如图1所示，一种基于多帧回归深度网络的红外小目标检测方法，包括如下步骤：
步骤1包括如下步骤：
步骤1.1：制作多帧的红外小目标数据集，收集多帧红外小目标数据并标记小目标，图3为序列中一幅红外图像；
步骤1.2：对步骤1.1制作的数据集进行图像预处理，具体是指对所有的图像进行中值滤波处理，即将小目标图像中任意一像素点的值用该像素点的邻域里各像素点值排序后的中值代替。
步骤2中包括如下步骤：
步骤2.1：对步骤1.2预处理后的图像，首先相邻两帧图像相减的绝对值从而得到两幅差分图像，对两幅差分图像取并集，对于当前帧像素点的灰度值为
Figure 316551DEST_PATH_IMAGE001
，记录它的前一帧像素点的灰度值
Figure 710623DEST_PATH_IMAGE002
和后一帧像素点的灰度值
Figure 403772DEST_PATH_IMAGE003
，按照式(1)、(2)计算下一帧与当前帧的像素值差分图像
Figure 934111DEST_PATH_IMAGE004
和当前帧与前一帧的像素值差分图像
Figure 421724DEST_PATH_IMAGE005
。然后根据式(3)对差分图像
Figure 37513DEST_PATH_IMAGE006
进行与操作，即将两幅差分图像取并集，得到第i帧最后的差分图像
Figure 534353DEST_PATH_IMAGE007
，对整个图像序列都进行计算，得到差分图像序列
Figure 184778DEST_PATH_IMAGE032
。
Figure 843292DEST_PATH_IMAGE009
(1)
Figure 211957DEST_PATH_IMAGE010
(2)
Figure 246909DEST_PATH_IMAGE011
(3)
其中，
Figure 486260DEST_PATH_IMAGE001
表示第i帧像素点的灰度值，
Figure 581255DEST_PATH_IMAGE002
表示第i-1帧像素点的灰度值，
Figure 171636DEST_PATH_IMAGE003
表示第i+1帧像素点的灰度值，
Figure 744700DEST_PATH_IMAGE012
表示与操作。
步骤2.2 对步骤2.1中得到的差分图像进行阈值分割，阈值分割具体操作为，首先指定
Figure 369717DEST_PATH_IMAGE033
大小的窗口，对图像进行从上到下，从左到右的滑窗计算，滑窗内的像素点的灰度值记为
Figure 635613DEST_PATH_IMAGE034
，按照式(4)、(5)分别计算滑窗内所有像素点的标准差
Figure 447711DEST_PATH_IMAGE015
和平均值
Figure 824466DEST_PATH_IMAGE016
，针对差分图像
Figure 303989DEST_PATH_IMAGE007
根据式(6)对其进行阈值分割，然后得到阈值分割后的图像
Figure 740786DEST_PATH_IMAGE017
，如图4所示，即目标候选区域。
Figure 40181DEST_PATH_IMAGE035
(4)
Figure 220626DEST_PATH_IMAGE036
(5)
Figure 554655DEST_PATH_IMAGE037
(6)
其中，
Figure 162354DEST_PATH_IMAGE015
表示窗口内所有像素点的标准差，
Figure 949045DEST_PATH_IMAGE016
表示窗口内所有像素点的平均值，a=30、b=1.5。
步骤3的具体步骤为：
步骤3.1：对步骤2.2中的得到的单帧的目标候选区域，分别给其编号
Figure 933181DEST_PATH_IMAGE038
，当前m帧的第i个目标候选区域在m+1帧的位置决定方式为：在m+1帧中将距离m帧中第i个目标候选区域原位置最靠近的区域作为第i个目标候选区域在m+1帧的位置，不断地向后选择，即可完成轨迹关联；
步骤3.2：对步骤3.1中得到的j个关联之后的候选区域，对每帧的候选区域提取平均亮度和相对每个序列第一帧的欧氏距离。设候选区域为
Figure 121717DEST_PATH_IMAGE022
，其中i，i=1,2,3…j，
Figure 900317DEST_PATH_IMAGE023
表示第i个候选区域内像素点的像素值，则候选区域内的灰度总和为
Figure 174304DEST_PATH_IMAGE024
，候选区域的像素点个数总和为
Figure 430973DEST_PATH_IMAGE025
，第i帧像素点(x,y)的横总坐标分别为
Figure 739594DEST_PATH_IMAGE026
、
Figure 423517DEST_PATH_IMAGE027
，则第m帧的第i个候选区域平均亮度
Figure 450378DEST_PATH_IMAGE028
和距离第一帧的欧氏距离
Figure 510738DEST_PATH_IMAGE029
的计算公式如下:
Figure 939446DEST_PATH_IMAGE030
(7)
Figure 794269DEST_PATH_IMAGE031
(8)
其中，
Figure 42848DEST_PATH_IMAGE023
表示第i个候选区域内像素点的像素值，
Figure 906899DEST_PATH_IMAGE039
表示第i个候选区域，第i帧像素点(x,y)的横总坐标分别为
Figure 190113DEST_PATH_IMAGE026
、
Figure 684679DEST_PATH_IMAGE027
，
Figure 420554DEST_PATH_IMAGE025
表示候选区域的像素点个数总和，
Figure 88295DEST_PATH_IMAGE024
表示候选区域内的灰度总和。
步骤3.3：将步骤3.2中提取的基于多帧的平均亮度和相对每个序列第一帧的欧氏距离作为两个随时间变化的一维特征，根据步骤1.1中的标记给相对应的区域进行标记。创建对应的特征数据集。由于每个序列长度不一，数值不一样。需要对特征数据集中这两个特征，分别追条对数据进行归一化处理。并将小目标与虚警区域的特征数据集随机划分为训练集、验证集和测试集。
步骤4的具体步骤为：
步骤4.1：随机选取步骤3.3特征数据集中的训练集和验证集输入到LSTM回归网络训练权值，LSTM回归网络主要由两层单向LSTM堆叠而成，两层网络都分别由64个单元构成，然后再加上一层Doupout层和一层全连接层，然后进行交叉熵损失计算计算出类别损失值Loss。具体的LSTM回归网络结构如图2所示，其中160表示样本数量，450表示每条样本的长度，LSTM网络中含有64个隐藏神经元，Dropout参数设置为0.8。
步骤4.2：根据步骤4.1得到的损失，使用AMAD优化器更新网络参数，若达到设定的最大训练次数，保存模型权重，并进入网络分类部分。
步骤5的具体步骤为：
步骤5.1：将步骤3.3的测试集输入到步骤4.2训练好的LSTM回归网络，网络输出得到数据所属的类别，根据得到的数目类别，在步骤2.2所得的目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果，如图5所示。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多帧回归深度网络的红外小目标检测方法，其特征在于：包括如下步骤：
步骤1：制作多帧的红外小目标数据集，并对数据集进行图像预处理得到图像序列；
步骤2：对步骤1中图像预处理后的图像序列通过相邻图像的灰度值进行差分得到差分图，对差分图再进行取并处理，实现单帧小目标检测，基于局部可变阈值对图像进行阈值分割，得到单帧目标候选区域；
步骤3：对步骤2中得到的单帧目标候选区域进行多帧上的轨迹关联，并提取每个候选区域在多帧上随时间变化的两个一维特征，创建对应的特征数据集，然后对特征数据集进行数据预处理，并将特征数据集划分为训练集、验证集和测试集；
步骤4：将步骤3中得到的训练集输入长短期记忆网络回归网络进行训练，同时通过验证集对LSTM回归网络进行验证，保存训练好的LSTM回归网络；
步骤5：将步骤3得到的测试集输入到步骤4训练好的LSTM回归网络，根据网络输出得到数据类别，最后在目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果;
所述步骤1包括如下步骤：
步骤1.1：制作多帧的红外小目标数据集，收集多帧红外小目标数据并标记小目标；
步骤1.2：对步骤1.1制作的数据集进行图像预处理，具体是指对所有的图像进行中值滤波处理，即将小目标图像中任意一像素点的值用该像素点的邻域里各像素点值排序后的中值代替;
所述步骤2包括如下步骤：
步骤2.1：对步骤1.2预处理后的图像，首先相邻两帧图像相减的绝对值从而得到两幅差分图像，对两幅差分图像取并集，对于当前帧像素点的灰度值为
Figure 146341DEST_PATH_IMAGE001
，记录它的前一帧像素点的灰度值
Figure 372923DEST_PATH_IMAGE002
和后一帧像素点的灰度值
Figure 21073DEST_PATH_IMAGE003
，计算下一帧与当前帧的像素值差分图像
Figure 827355DEST_PATH_IMAGE004
和当前帧与前一帧的像素值差分图像
Figure 142930DEST_PATH_IMAGE005
，然后)对差分图像
Figure 884621DEST_PATH_IMAGE006
进行与操作，即将两幅差分图像取并集，得到第i帧最后的差分图像
Figure 410281DEST_PATH_IMAGE007
，对整个图像序列都进行计算，得到差分图像序列
Figure 895620DEST_PATH_IMAGE008
；
Figure 924756DEST_PATH_IMAGE009
(1)
Figure 368506DEST_PATH_IMAGE010
(2)
Figure 725669DEST_PATH_IMAGE011
(3)
其中，
Figure 139333DEST_PATH_IMAGE001
表示第i帧像素点的灰度值，
Figure 163921DEST_PATH_IMAGE002
表示第i-1帧像素点的灰度值，
Figure 637628DEST_PATH_IMAGE003
表示第i+1帧像素点的灰度值，
Figure 747666DEST_PATH_IMAGE012
表示与操作；
步骤2.2 对步骤2.1中得到的差分图像进行阈值分割，阈值分割具体操作为，首先指定
Figure 840387DEST_PATH_IMAGE013
大小的窗口，对图像进行从上到下，从左到右的滑窗计算，滑窗内的像素点的灰度值记为
Figure 844115DEST_PATH_IMAGE014
，分别计算滑窗内所有像素点的标准差
Figure 629669DEST_PATH_IMAGE015
和平均值
Figure 961424DEST_PATH_IMAGE016
，针对差分图像
Figure 716890DEST_PATH_IMAGE007
对其进行阈值分割，然后得到阈值分割后的图像
Figure 184912DEST_PATH_IMAGE017
，即目标候选区域；
Figure 266000DEST_PATH_IMAGE018
(4)
Figure 85052DEST_PATH_IMAGE019
(5)
Figure 785155DEST_PATH_IMAGE020
(6)
其中，
Figure 497896DEST_PATH_IMAGE015
表示窗口内所有像素点的标准差，
Figure 94093DEST_PATH_IMAGE016
表示窗口内所有像素点的平均值，a、b是常数;
所述步骤3包括如下步骤：
步骤3.1：对步骤2.2中的得到的单帧的目标候选区域，分别给其编号
Figure 790654DEST_PATH_IMAGE021
，当前m帧的第i个目标候选区域在m+1帧的位置决定方式为：在m+1帧中将距离m帧中第i个目标候选区域原位置最靠近的区域作为第i个目标候选区域在m+1帧的位置，不断地向后选择，即可完成轨迹关联；
步骤3.2：对步骤3.1中得到的j个关联之后的候选区域，对每帧的候选区域提取平均亮度和相对每个序列第一帧的欧氏距离，设候选区域为
Figure 763289DEST_PATH_IMAGE022
,其中
Figure 596116DEST_PATH_IMAGE024
，
Figure 363215DEST_PATH_IMAGE025
表示第i个候选区域内像素点的像素值，则候选区域内的灰度总和为
Figure 422437DEST_PATH_IMAGE026
，候选区域的像素点个数总和为
Figure 323397DEST_PATH_IMAGE027
，第i帧像素点(x,y)的横总坐标分别为
Figure 886097DEST_PATH_IMAGE028
、
Figure 214310DEST_PATH_IMAGE029
，则第m帧的第i个候选区域平均亮度
Figure 495250DEST_PATH_IMAGE030
和距离第一帧的欧氏距离
Figure 75267DEST_PATH_IMAGE031
的计算公式如下:
Figure 617107DEST_PATH_IMAGE032
(7)
Figure 257167DEST_PATH_IMAGE033
(8)
其中，
Figure 884457DEST_PATH_IMAGE025
表示第i个候选区域内像素点的像素值，
Figure 2586DEST_PATH_IMAGE022
表示第i个候选区域，第i帧像素点(x,y)的横总坐标分别为
Figure 539877DEST_PATH_IMAGE028
、
Figure 209893DEST_PATH_IMAGE029
，
Figure 465425DEST_PATH_IMAGE027
表示候选区域的像素点个数总和，
Figure 246299DEST_PATH_IMAGE026
表示候选区域内的灰度总和；
步骤3.3：将步骤3.2中提取的基于多帧的平均亮度和相对每个序列第一帧的欧氏距离作为两个随时间变化的一维特征，根据步骤1.1中的标记给相对应的区域进行标记，创建对应的特征数据集，由于每个序列长度不一，数值不一样，需要对特征数据集中这两个特征，分别追条对数据进行归一化处理，并将小目标与虚警区域的特征数据集随机划分为训练集、验证集和测试集。
2.根据权利要求1所述的一种基于多帧回归深度网络的红外小目标检测方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：随机选取步骤3.3特征数据集中的训练集和验证集输入到LSTM回归网络训练权值，LSTM回归网络由两层单向LSTM堆叠而成，两层网络都分别由64个单元构成，然后再加上一层Doupout层和一层全连接层，然后进行交叉熵损失计算计算出类别损失值Loss；
步骤4.2：根据步骤4.1得到的损失，使用AMAD优化器更新网络参数，若达到设定的最大训练次数，保存模型权重，并进入网络识别部分。
3.根据权利要求2所述的一种基于多帧回归深度网络的红外小目标检测方法，其特征在于：所述步骤5包括如下步骤：
步骤5.1：将步骤3.3的测试集输入到步骤4.2训练好的LSTM回归网络，网络输出得到数据所属的类别，根据得到的数目类别，在步骤2.2所得的目标候选区域图像上保留小目标，去除其他虚警区域，即得到最终的小目标检测结果。
CN202011199875.0A 2020-10-29 2020-10-29 一种基于多帧回归深度网络的红外小目标检测方法 Active CN112288778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011199875.0A CN112288778B (zh) 2020-10-29 2020-10-29 一种基于多帧回归深度网络的红外小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011199875.0A CN112288778B (zh) 2020-10-29 2020-10-29 一种基于多帧回归深度网络的红外小目标检测方法

Publications (2)

Publication Number Publication Date
CN112288778A CN112288778A (zh) 2021-01-29
CN112288778B true CN112288778B (zh) 2022-07-01

Family

ID=74352996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011199875.0A Active CN112288778B (zh) 2020-10-29 2020-10-29 一种基于多帧回归深度网络的红外小目标检测方法

Country Status (1)

Country Link
CN (1) CN112288778B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160050B (zh) * 2021-03-25 2023-08-25 哈尔滨工业大学 基于时空神经网络的小目标识别方法及系统
CN113724257A (zh) * 2021-11-01 2021-11-30 常州市宏发纵横新材料科技股份有限公司 一种碳板灰色污点检测方法、计算机设备及存储介质
CN114463365B (zh) * 2022-04-12 2022-06-24 中国空气动力研究与发展中心计算空气动力研究所 红外弱小目标分割方法、设备及介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268852B (zh) * 2014-09-05 2018-01-09 西安电子科技大学 红外序列图像中弱小目标的检测方法及其检测装置
CN107403433A (zh) * 2016-05-20 2017-11-28 南京理工大学 一种复杂云背景下红外小目标检测方法
CN106204629A (zh) * 2016-08-17 2016-12-07 西安电子科技大学 天基雷达与红外数据融合在轨动目标检测方法
CN106663316A (zh) * 2016-08-30 2017-05-10 深圳大学 一种基于块稀疏压缩感知的红外图像重构方法及其系统
CN107590496A (zh) * 2017-09-18 2018-01-16 南昌航空大学 复杂背景下红外小目标的关联检测方法
CN107886498B (zh) * 2017-10-13 2021-04-13 中国科学院上海技术物理研究所 一种基于星载图像序列的空间目标检测跟踪方法
CN109785368B (zh) * 2017-11-13 2022-07-22 腾讯科技（深圳）有限公司 一种目标跟踪方法和装置
CN109101876A (zh) * 2018-06-28 2018-12-28 东北电力大学 基于长短时记忆网络的人体行为识别方法
CN109002848B (zh) * 2018-07-05 2021-11-05 西华大学 一种基于特征映射神经网络的弱小目标检测方法
CN109389593A (zh) * 2018-09-30 2019-02-26 内蒙古科技大学 一种红外图像小目标的检测方法、装置、介质及设备
CN109766828A (zh) * 2019-01-08 2019-05-17 重庆同济同枥信息技术有限公司 一种车辆目标分割方法、装置及通信设备
CN109816012B (zh) * 2019-01-22 2022-07-12 南京邮电大学 一种融合上下文信息的多尺度目标检测方法
CN109961034B (zh) * 2019-03-18 2022-12-06 西安电子科技大学 基于卷积门控循环神经单元的视频目标检测方法
CN110135314B (zh) * 2019-05-07 2020-08-11 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110490904B (zh) * 2019-08-12 2022-11-11 中国科学院光电技术研究所 一种弱小目标检测与跟踪方法
CN110728697B (zh) * 2019-09-30 2023-06-13 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于卷积神经网络的红外弱小目标检测跟踪方法
CN110738211B (zh) * 2019-10-17 2024-09-03 腾讯科技（深圳）有限公司 一种对象检测的方法、相关装置以及设备
CN111127513B (zh) * 2019-12-02 2024-03-15 北京交通大学 一种多目标跟踪方法
CN111027496B (zh) * 2019-12-16 2022-10-14 电子科技大学 基于空时联合局部对比度的红外弱小目标检测方法
CN111476822B (zh) * 2020-04-08 2023-04-18 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法
CN111696137B (zh) * 2020-06-09 2022-08-02 电子科技大学 一种基于多层特征混合与注意力机制的目标跟踪方法

Also Published As

Publication number Publication date
CN112288778A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112288778B (zh) 一种基于多帧回归深度网络的红外小目标检测方法
Wang et al. Automatic laser profile recognition and fast tracking for structured light measurement using deep learning and template matching
CN108764085B (zh) 基于生成对抗网络的人群计数方法
CN103886344B (zh) 一种图像型火灾火焰识别方法
Qi et al. FTC-Net: Fusion of transformer and CNN features for infrared small target detection
CN107481264A (zh) 一种自适应尺度的视频目标跟踪方法
CN113192124B (zh) 一种基于孪生网络的图像目标定位方法
CN110858276A (zh) 一种识别模型与验证模型相结合的行人重识别方法
CN117541994A (zh) 一种密集多人场景下的异常行为检测模型及检测方法
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Cheng et al. YOLOv3 Object Detection Algorithm with Feature Pyramid Attention for Remote Sensing Images.
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用
Guo et al. Small aerial target detection using trajectory hypothesis and verification
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
CN110111358B (zh) 一种基于多层时序滤波的目标跟踪方法
Gong et al. Research on an improved KCF target tracking algorithm based on CNN feature extraction
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
Huang et al. Football players’ shooting posture norm based on deep learning in sports event video
CN110232314A (zh) 一种基于改进的Hog特征结合神经网络的图像行人检测方法
CN114926764A (zh) 一种工业场景下的遗留物检测方法和系统
CN114360058A (zh) 一种基于行走视角预测的跨视角步态识别方法
Runyu Pedestrian detection based on SENet with attention mechanism
Yuan et al. Estimation population density built on multilayer convolutional neural network
Bai et al. Pedestrian Tracking and Trajectory Analysis for Security Monitoring
Shi et al. A Vehicle Detection Method Based on Improved YOLOv3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant