CN112465867B - 一种基于卷积神经网络的红外点目标实时检测跟踪方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的红外点目标实时检测跟踪方法，首先采用滑窗的方式对红外点目标进行检测，筛选可能的目标，再对多帧图像中的点目标进行数据关联的跟踪，形成航迹，然后每间隔N帧图像用卷积神经网络对图像进行识别，去除航迹中的非点目标。本发明适用于光电探测设备对空中的弱小目标进行检测和跟踪，主要算法流程均由软件完成，针对红外图像进行处理，提高光电探测设备的探测能力和探测精度。本技术融合了传统的目标检测算法和卷积神经网络算法，在保证检测准确性的同时，提高了检测效率，可以实现实时准确的检测。

Description

一种基于卷积神经网络的红外点目标实时检测跟踪方法

技术领域

本发明涉及一种基于卷积神经网络的红外点目标实时检测跟踪方法。

背景技术

近年来，随着科学技术的发展，在军用方面，红外探测器以其观测距离远、受能见度等外界条件干扰小、具备全天候值守能力等优势而被广泛应用于红外制导系统、红外预警系统以及海事监视系统等领域。在民用方面，红外点目标检测也开始应用于无人机探测和消防救灾等领域。因此红外点目标检测技术在军、民用上都具有很高的研究价值和应用前景。

由于点目标在图像上占有的像素少，通常只有3×3个像素，加上背景通常情况下比较复杂，目标很容易被噪声和背景杂波所淹没，使得红外点目标的检测变得更加困难。传统的图像检测算法虽然可以检测出点目标，但在复杂云层背景或者复杂地物背景下，会出现很多传统方法难以去除的虚警点。针对这一问题，主要解决手段是采用卷积神经网络算法，通过设计一种卷积神经网络模型，并采集大量样本进行标注，通过监督学习的方式，使得模型具有提取目标特征的能力，从而实现在复杂背景下对点目标的检测识别。虽然这种方法可以准确的对红外点目标进行检测，但计算量大，对机器性能要求较高，实际工程应用中很难推广。

综上所述，需要一种在复杂背景下可以实时、准确的发现、跟踪红外点目标的手段，来提升红外探测系统的性能。而实现该手段，则需要解决以下关键问题：(1)如何降低由复杂背景杂波导致的检测虚警率。(2)如何在提高检测准确率的同时，降低计算量以保证系统的实时性。

发明内容

发明目的：针对在复杂云层背景下红外点目标检测时虚警率过高以及深度学习算法计算量大，难以实时的问题，本发明提供一套完整的目标检测、跟踪处理流程，能够实现点目标的迅速准确的检测与跟踪。

本发明具体提供了一种基于卷积神经网络的红外点目标实时检测跟踪方法，包括如下步骤：

步骤1，计算图像I_k的全局对比度Th，I_k为视频中第k帧图像，k为视频帧数编号；

步骤2，用9×9像素的窗口对图像I_k进行从左到右，从上到下的滑窗，每次取9×9的窗口中的最大灰度值点P，并比较P点和周围像素点的灰度值，如果P点灰度值为最大值，则执行步骤3，否则继续步骤2的滑窗；

步骤3，根据全局对比度Th值判断P点是否为点目标，如果是则继续执行下面步骤，否则继续步骤2的滑窗；

步骤4，积累前3帧图像的点目标信息，采用数据关联的方式进行跟踪，形成批号和航迹信息；

步骤5，每间隔N帧图像，采用YOLOV4卷积神经网络对图像进行一次检测识别，并将结果和当前航迹信息进行融合，去除非点目标航迹信息。

步骤1包括：

图像I_k全局对比度Th的计算方式如下：

其中，M、N分别为原始图像的宽和高，I(i,j)为图像中坐标(i,j)处的像素值，计算每个像素点在水平和垂直方向差值的均方根作为该像素的对比度，计算所有像素对比度的均值作为图像的全局对比度。

步骤2包括：

每次滑窗的步长为9，设定每次滑窗所取的9×9像素的窗口的中心点为K，如果最大值点P出现在以K为中心的7×7区域，则执行步骤3，否则P点分别与它的8领域像素点进行比较，如果P点像素值大于它的所有8领域像素点，则执行步骤3，否则继续步骤2的滑窗过程。

步骤3包括：

以P点为中心，取3×3区域，计为中心区域R₀，然后以R₀为中心，取周围8个3×3领域，分别计为区域R_i，i＝1，2……8；分别计算R₀和R_i的平均值，分别计为Mean₀和Mean_i，计算公式如下，其中(x,y)为P点的坐标：

分别计算Mean₀和Mean_i的差值Diff_i：

Diff_i＝Mean₀-Mean_i,

如果Diff_i中满足如下条件的有7个以上：

Diff_i≥k*Th，

则判定R₀为点目标，其中k为灵敏系数，一般取3。

步骤4包括：

积累前三帧图像提取到的点目标信息，取点目标的中心点P，如果三帧图像中，存在P_i连续出现在图像的同一个5×5像素区域内，则进行关联，并起批生成航迹T_i，航迹信息包括航迹批号、目标位置，目标宽度、目标高度和航迹质量，其中i＝1,2,3，为每帧图像中点目标的中心点，i为帧号；

当有下一帧图像时，计算下一帧图像的目标点迹P_i+1与航迹T_i的绝对距离D_i+1，D_i+1的计算公式如下：

如果D_i+1≤D_T，将目标点迹P_i+1加入到目标航迹T_i；如果D_i+1＞D_T，则将目标点迹P_i+1按照步骤4重新生成新的目标航迹T_i+1，其中D_T为绝对距离判断阈值，一般取值为16；

如果在下一帧图像中有目标点迹P_i+1与航迹T_i关联上，则更新目标位置，目标宽度、目标高度和航迹质量，其中航迹质量T_iQ＝T_iQ+1。

步骤5包括：

构建点目标样本集S^点，点目标样本集S^点包括点目标图像，点目标尺寸不超过3×3像素，对样本进行人工标注，得到标注框Groundtruth，将标注框Groundtruth位置作为训练标签，构建YOLOV4卷积神经网络，设置一个识别类别，即点目标类别，人工标注X(一般取值为1000)张以上红外点目标样本，红外点目标样本是包含简单背景、复杂云层背景和复杂地物条件下的点目标图像，训练YOLOV4卷积神经网络，直到网络收敛，得到点目标识别模型设置点目标识别模型输入图像尺寸固定为416×416，/>能够对图像中点目标进行检测识别，给出标签：点目标，并记录在图像上的位置信息/> 表示图像中第S个点目标的外接矩形框；

每间隔N帧用点目标识别模型对图像做一次检测识别，这里N一般取25，并将结果/>与当前帧的航迹信息进行融合；设定第K帧时存在的航迹数量为M，即/> 表示当前图像中第M个点目标航迹信息，将/>中每条航迹的目标位置信息与/>相匹配，如果T_i ^点在/>中存在相匹配的检测框，则保留此航迹，否则删除；航迹信息的目标位置框T_i ^点(x,y,w,h)和识别网络的检测框/>的匹配方法为计算两个矩形框的交并比IoU，计算公式如下，(x,y,w,h)中x表示矩形框的左上角横坐标，y表示矩形框的左上角纵坐标，w表示矩形框的宽度，h表示矩形框的高度，area()表示括号中矩形框的面积：

如果IoU≥threshold，则表示匹配成功，threshold为阈值，一般取0.6，保留匹配成功的航迹为目标航迹，并删除未匹配成功的航迹信息。

有益效果：本发明显著优点是：

1、采用9×9滑窗搜索，以及将可能目标点与周围8领域区域以全局对比度Th为阈值进行对比判断的方式，提高了在复杂背景下点目标的检出率。

2、通过数据关联的方式对检测的目标进行跟踪，由于航迹中记录了前面多帧目标的历史位置信息和航迹质量信息，提高了目标跟踪的稳定性。

3.采用航迹和神经网络识别结果相融合的方式，提高检测的准确率的同时，降低了在复杂背景下的虚警率。

4、每间隔25帧用神经网络算法对图像进行一次识别，有效降低了算法的计算量以及对资源的占用率，提高了计算速度，达到实时检测的目的。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是针对点目标和面目标组织训练样本示意图。

图2是本发明红外点目标识别效果图。

具体实施方式

本发明提供了一种基于卷积神经网络的红外点目标实时检测跟踪方法，包括如下步骤：

(1)计算图像I_k的全局对比度Th，I_k为视频中第k帧图像，k为视频帧数编号。

图像I_k全局对比度Th的计算方式如下：

其中，M、N分别为原始图像的宽和高，I(i,j)为图像中(i,j)坐标处的像素值，计算每个像素点在水平和垂直方向差值的均方根作为该像素的对比度，计算所有像素对比度的均值作为图像的全局对比度。

(2)用9×9像素的窗口对图像I_k进行从左到右，从上到下的滑窗，每次取9×9的窗口中的最大灰度值点P，并比较P点和周围像素点的灰度值，若P点任为最大值，则继续执行下面步骤，否则继续步骤(2)滑窗。

每次滑窗的步长为9，假设每次滑窗所取的9×9区域的中心点为K，若最大值P出现在以K为中心的7×7区域，则继续下面步骤，否则P点分别与它的8领域像素点进行比较，若P点像素值大于它的所有8领域像素点，则继续下面步骤，否则继续步骤(2)滑窗。

(3)根据全局对比度Th值判断P点是否为点目标，若是则继续执行下面步骤，否则继续步骤(2)滑窗。

以P点为中心，取3×3区域，计为中心区域R₀，然后以R₀为中心，取周围8个3×3领域，分别计为区域R_i(i＝1，2……8)。分别计算R₀和R_i(i＝1，2……8)的平均值，计为Mean₀和Mean_i(i＝1,2……8)。计算公式如下，其中(x,y)为P点的坐标，I(i,j)为图像中(i,j)坐标处的像素值。

分别计算Mean₀和Mean_i(i＝1,2……8)的差值Diff_i(i＝1,2……8)：

Diff_i＝Mean₀-Mean_i,(i＝1,2……8)

若Diff_i(i＝1,2……8)中存在≥7个差值满足：

Diff_i≥k*Th，(i＝1,2……8)

则判定R₀为点目标。其中k为灵敏系数，一般取3。

(4)积累前3帧图像的点目标信息，采用数据关联的方式进行跟踪，形成批号和航迹信息。

数据关联的跟踪具体为：积累前三帧图像提取到的点目标中心点(即R₀中心)，若三帧图像中，存在目标点迹P_i(i＝1,2,3)(P_i为每帧图像中点目标的中心点，i为帧号)连续出现在图像的同一个5×5像素区域内，则进行关联，并起批生成航迹T_i，航迹信息包括航迹批号、目标位置，目标宽度、目标高度和航迹质量。

当有下一帧图像时，计算下一帧图像的目标点迹P_i+1与航迹T_i的绝对距离D_i+1，D_i+1的计算公式如下：

若D_i+1≤D_T，将目标点迹P_i+1加入到目标航迹T_i；若D_i+1＞D_T，则将目标点迹P_i+1按照步骤(4)重新生成新的目标航迹T_i+1，其中D_T为绝对距离判断阈值，一般取值为16。

若在下一帧图像中有目标点迹P_i+1与航迹T_i关联上，则更新目标位置，目标宽度、目标高度和航迹质量，其中航迹质量T_iQ＝T_iQ+1；

(5)每间隔N帧图像，采用卷积神经网络对图像进行一次检测识别，并将结果和当前航迹信息进行融合，去除非点目标航迹信息。

构建点目标样本集S^点，S^点主要包括点目标图像(点目标尺寸不超过3×3像素)，对样本进行人工标注，得到标注框Groundtruth，将标注框Groundtruth位置作为训练标签，构建YOLOV4卷积神经网络，设置一个识别类别，即点目标类别，人工标注1000张以上红外点目标样本，包含简单背景、复杂云层背景和复杂地物条件下的点目标图像，进行训练，直到网络收敛，得到点目标识别模型设置点目标识别模型输入图像尺寸固定为416×416，/>能够对图像中点目标进行检测识别，给出标签“点目标”，并记录在图像上的位置信息/>

每间隔N帧用点目标识别模型对图像做一次检测识别，这里N一般取25，并将结果/>与当前帧的航迹信息进行融合。假设第K帧时存在的航迹数量为M，即/> 表示当前图像中第M点目标航迹信息，将/>中每条航迹的目标位置信息与/>相匹配，若T_i ^点在/>中存在相匹配的检测框，则保留此航迹，否则删除。航迹信息的目标位置框T_i ^点(x,y,w,h)和/>卷积神经网络检测框/>的匹配方法为计算两个矩形框的交并比IoU，计算公式如下，(x,y,w,h)中x表示矩形框的左上角横坐标，y表示矩形框的左上角纵坐标，w表示矩形框的宽度，h表示矩形框的高度，area()表示括号中矩形框的面积：

人工IoU≥threshold，则表示匹配成功，threshold为阈值，一般取0.6，保留匹配成功的航迹为目标航迹，并删除未匹配成功的航迹信息。如图1所示，人工标注出点目标的位置作为真值，并打上点目标的标签，给神经网络模型进行监督训练。如图2所示，采用本发明方法，在复杂背景下，可以准确检测出点目标信息。

本发明提供了一种基于卷积神经网络的红外点目标实时检测跟踪方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种基于卷积神经网络的红外点目标实时检测跟踪方法，其特征在于，包括如下步骤：

步骤1，计算图像I_k的全局对比度Th，I_k为视频中第k帧图像，k为视频帧数编号；

步骤2，用9×9像素的窗口对图像I_k进行从左到右，从上到下的滑窗，每次取9×9的窗口中的最大灰度值点P，并比较P点和周围像素点的灰度值，如果P点灰度值为最大值，则执行步骤3，否则继续步骤2的滑窗；

步骤3，根据全局对比度Th值判断P点是否为点目标，如果是则继续执行下面步骤，否则继续步骤2的滑窗；

步骤4，积累前3帧图像的点目标信息，采用数据关联的方式进行跟踪，形成批号和航迹信息；

步骤5，每间隔N帧图像，采用YOLOV4卷积神经网络对图像进行一次检测识别，并将结果和当前航迹信息进行融合，去除非点目标航迹信息；

步骤1包括：

图像I_k全局对比度Th的计算方式如下：

其中，M、N分别为原始图像的宽和高，I(i,j)为图像中坐标(i,j)处的像素值，计算每个像素点在水平和垂直方向差值的均方根作为该像素的对比度，计算所有像素对比度的均值作为图像的全局对比度；

步骤2包括：

每次滑窗的步长为9，设定每次滑窗所取的9×9像素的窗口的中心点为K，如果最大值点P出现在以K为中心的7×7区域，则执行步骤3，否则P点分别与它的8领域像素点进行比较，如果P点像素值大于它的所有8领域像素点，则执行步骤3，否则继续步骤2的滑窗过程；

步骤3包括：

以P点为中心，取3×3区域，计为中心区域R₀，然后以R₀为中心，取周围8个3×3领域，分别计为区域R_i，i＝1，2……8；分别计算R₀和R_i的平均值，分别计为Mean₀和Mean_i，计算公式如下，其中(x,y)为P点的坐标：

分别计算Mean₀和Mean_i的差值Diff_i：

Diff_i＝Mean₀-Mean_i,

如果Diff_i中满足如下条件的有7个以上：

Diff_i≥k*Th，

则判定R₀为点目标，其中k为灵敏系数；

步骤4包括：

积累前三帧图像提取到的点目标信息，取点目标的中心点P，如果三帧图像中，存在P_i连续出现在图像的同一个5×5像素区域内，则进行关联，并起批生成航迹T_i，航迹信息包括航迹批号、目标位置，目标宽度、目标高度和航迹质量，其中i＝1,2,3，为每帧图像中点目标的中心点，i为帧号；

当有下一帧图像时，计算下一帧图像的目标点迹P_i+1与航迹T_i的绝对距离D_i+1，D_i+1的计算公式如下：

如果D_i+1≤D_T，将目标点迹P_i+1加入到目标航迹T_i；如果D_i+1＞D_T，则将目标点迹P_i+1按照步骤4重新生成新的目标航迹T_i+1，其中D_T为绝对距离判断阈值；

如果在下一帧图像中有目标点迹P_i+1与航迹T_i关联上，则更新目标位置，目标宽度、目标高度和航迹质量，其中航迹质量T_iQ＝T_iQ+1。

2.根据权利要求1所述的方法，其特征在于，步骤5包括：

构建点目标样本集S^点，点目标样本集S^点包括点目标图像，点目标尺寸不超过3×3像素；对样本进行标注，得到标注框Groundtruth，将标注框Groundtruth位置作为训练标签，构建YOLOV4卷积神经网络，设置一个识别类别，即点目标类别，标注X张以上红外点目标样本，红外点目标样本是包含简单背景、复杂云层背景和复杂地物条件下的点目标图像，训练YOLOV4卷积神经网络，直到网络收敛，得到点目标识别模型设置点目标识别模型输入图像尺寸固定为416×416，/>能够对图像中点目标进行检测识别，给出标签：点目标，并记录在图像上的位置信息/> 表示图像中第S个点目标的外接矩形框。

3.根据权利要求2所述的方法，其特征在于，步骤5还包括：每间隔N帧用点目标识别模型对图像做一次检测识别，并将结果/>与当前帧的航迹信息进行融合；设定第K帧时存在的航迹数量为M，即/> 表示当前图像中第M个点目标航迹信息，将/>中每条航迹的目标位置信息与/>相匹配，如果T_i ^点在/>中存在相匹配的检测框，则保留此航迹，否则删除；航迹信息的目标位置框T_i ^点(x,y,w,h)和识别网络/>的检测框/>的匹配方法为计算两个矩形框的交并比IoU，计算公式如下，(x,y,w,h)中x表示矩形框的左上角横坐标，y表示矩形框的左上角纵坐标，w表示矩形框的宽度，h表示矩形框的高度，area()表示括号中矩形框的面积：

其中，如果IoU≥threshold，则表示匹配成功，threshold为阈值，保留匹配成功的航迹为目标航迹，并删除未匹配成功的航迹信息。