CN112686895B - 红外弱小目标的检测方法、装置及服务器 - Google Patents

Abstract

本申请实施例提供一种红外弱小目标的检测方法、装置及服务器，通过获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列，然后提取其每帧图像数据中与红外弱小目标相关的健壮特征点后，构建健壮特征点在第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从疑似运动目标轨迹中筛选红外弱小目标的真实目标运动轨迹，之后基于真实目标运动轨迹从第二连续帧数据序列中提取出红外弱小目标的目标轮廓信息。如此，基于连续帧数据序列快速定位运动目标的真实目标运动轨迹，并基于真实目标运动轨迹进行目标轮廓的局部区域分割的方式，能够降低计算复杂度，满足实时性的要求，并且目标轮廓的提取精度更高。

Description

红外弱小目标的检测方法、装置及服务器

技术领域

本申请涉及安防监控技术领域，具体而言，涉及一种红外弱小目标的检测方法、装置及服务器。

背景技术

红外弱小目标的检测技术被广泛应用于各大领域，例如在武器领域中，武器系统应该具备极快的反应速度和良好的性能。

相关技术开展了对红外图像中的小目标检测与跟踪技术的研究，所谓红外图像中的弱小目标，是指检测的目标具有弱小两种属性，“弱”指的是目标与周围背景的对比度低或信噪比低（对比度或者信噪比低于预设值）；“小”指目标的尺寸较小（像素点数量少于设定数量），也就是说，弱小目标在成像平面内仅表现为一个或几个像素的面积，并且缺乏目标的结构信息。

经本申请发明人研究发现，目前针对红外弱小目标的检测方法，在提取目标轮廓的过程中存在实时性差、计算复杂的问题，并且目标轮廓的提取精度较低。

发明内容

基于现有设计的不足，本申请提供一种红外弱小目标的检测方法、装置及服务器，基于连续帧数据序列快速定位运动目标的真实目标运动轨迹，并基于真实目标运动轨迹进行目标轮廓的局部区域分割的方式，能够降低计算复杂度，满足实时性的要求，并且目标轮廓的提取精度更高。

根据本申请的第一方面，提供一种红外弱小目标的检测方法，应用于服务器，所述方法包括：

获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列；

提取所述第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点；

构建所述健壮特征点在所述第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从所述疑似运动目标轨迹中筛选所述红外弱小目标的真实目标运动轨迹；

基于所述真实目标运动轨迹从所述第二连续帧数据序列中提取出所述红外弱小目标的目标轮廓信息。

在第一方面的一种可能的实施方式中，所述获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列的步骤，包括：

提取所述第一连续帧数据序列中的每一帧目标图像的第一特征点集；

从所述目标图像的相邻帧图像中获取具有所述第一特征点集的相同特征的第二特征点集；

计算所述第一特征点集和所述第二特征点集之间的特征偏移量；

当所述特征偏移量小于预设偏移量阈值时，将所述目标图像和所述目标图像的相邻帧图像确定为满足预设条件的图像对；

若所述满足预设条件的图像对大于预设数量阈值，则将所述第一连续帧数据序列确定为满足预设条件的第二连续帧数据序列；

若所述满足预设条件的图像对不大于预设数量阈值，则将所述第一连续帧数据序列确定为不满足预设条件的第二连续帧数据序列并将所述第一连续帧数据序列进行过滤。

在第一方面的一种可能的实施方式中，所述提取所述第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点的步骤，包括：

使用FAST检测算法和Shi-Tomasi角点检测算法对所述第二连续帧数据序列的每帧图像数据进行特征点检测，获得与红外弱小目标相关的健壮特征点。

在第一方面的一种可能的实施方式中，所述构建所述健壮特征点在所述第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从所述疑似运动目标轨迹中筛选所述红外弱小目标的真实目标运动轨迹的步骤，包括：

追踪所述健壮特征点在所述第二连续帧数据序列的数据方向上每帧图像数据中的疑似运动目标的轨迹特征点，并将所述疑似运动目标的轨迹特征点进行关联，获得所述疑似运动目标轨迹；

根据预设过滤规则从所述疑似运动目标轨迹中过滤伪目标运动轨迹后，筛选得到所述红外弱小目标的真实目标运动轨迹。

在第一方面的一种可能的实施方式中，所述根据预设过滤规则从所述疑似运动目标轨迹中过滤伪目标运动轨迹后，筛选得到所述红外弱小目标的真实目标运动轨迹的步骤，包括：

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹集合的运动分布特征的伪目标运动轨迹；或者

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹的点集数量特征的伪目标运动轨迹；或者

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹的运动趋势特征的伪目标运动轨迹；或者

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹的欧式距离特征的伪目标运动轨迹。

在第一方面的一种可能的实施方式中，所述基于所述真实目标运动轨迹从所述第二连续帧数据序列中提取出所述红外弱小目标的目标轮廓信息的步骤，包括：

在所述第二连续帧数据序列中检索所述真实目标运动轨迹的每个真实轨迹坐标点、每个真实轨迹坐标点对应的目标轨迹图像以及所述第二连续帧数据序列上的真实轨迹坐标点集合；

针对每个真实轨迹坐标点，在该真实轨迹坐标点对应的目标轨迹图像中获取以该真实轨迹坐标点为中心、以预设像素点数量为边长的目标区域；

采用Otsu算法对所述目标区域的红色像素通道计算对应的最小阈值、对绿色像素通道计算对应的最大阈值，并基于所述最小阈值和所述最大阈值从所述目标区域中获取前景像素区域；

采用预设图像形态学处理算法提取所述前景像素区域的形态学处理图像，并对所述形态学处理进行二值化处理，得到形态学二值化图像后，采用连通域算法获取所述形态学二值化图像中的每个目标连通域区域，并标记所述形态学二值化图像中每个前景像素点所属的目标连通域区域后，根据所述每个真实轨迹坐标点与每个前景像素点之间的欧氏距离确定所述每个真实轨迹坐标点对应的目标连通域区域作为所述每个真实轨迹坐标点对应的目标轮廓，将提取的目标轮廓以图形框的形式输出，以得到每个真实轨迹坐标点对应的目标轨迹图像的所述红外弱小目标的目标轮廓信息。

将所述红外弱小目标的各个真实轨迹坐标点对应的目标轮廓信息按照所述红外弱小目标所对应匹配的像素特征方向进行排序，并将排序结果中的中值序号对应的目标轮廓信息，作为所述真实目标运动轨迹上各个真实轨迹坐标点对应的红外弱小目标的最终目标轮廓信息。

在第一方面的一种可能的实施方式中，所述方法还包括：

将每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息与预设先验框的先验框信息进行比较，并根据比较结果判断所述目标轮廓信息对应的红外弱小目标是否入侵所述预设先验框的区域；

当所述目标轮廓信息对应的红外弱小目标入侵所述预设先验框的区域时，将所述目标轮廓信息中所述红外弱小目标的对象坐标作为报警点坐标与所述预设先验框的区域进行关联，获得报警关联结果。

可替换地，在第一方面的一种可能的实施方式中，所述方法还包括：

根据获得的所有报警关联结果确定所有红外弱小目标的历史报警信息以及所述历史报警信息的报警确认标签信息；

基于所述所有红外弱小目标的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型。

可替换地，在第一方面的一种可能的实施方式中，所述基于所述所有红外弱小目标的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型的步骤，包括：

根据所述历史报警信息的报警确认标签信息获取所述所有红外弱小目标的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息；所述报警决策模型包括所述特征提取单元和分类单元；

将所述报警特征学习信息输入到所述分类单元中，以对所述报警特征学习信息的学习数据段进行分类决策得到所述报警特征学习信息的决策分类结果；

根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，直至所述特征提取单元和所述分类单元更新结束，得到已训练的目标报警决策模型。

可替换地，在第一方面的一种可能的实施方式中，所述对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息的步骤，包括：

对所述历史报警确认信息进行特征学习；

根据已学习的报警确认特征信息得到报警确认差异特征分布；

根据所述报警确认差异特征分布生成所述报警特征学习信息；

其中，所述历史报警确认信息包括报警确认时序向量矩阵和报警确认空序向量矩阵；

所述对所述历史报警确认信息进行特征学习，根据已学习的报警确认特征信息得到报警确认差异特征分布，根据所述报警确认差异特征分布生成所述报警特征学习信息的步骤，包括：

将所述报警确认时序向量矩阵和所述报警确认空序向量矩阵输入到有向图模型中，以通过所述有向图模型进行特征学习，并根据学习的报警确认特征信息确定所述有向图模型的有向图节点的有向图特征分布；

根据所述有向图节点的有向图特征分布生成所述报警确认差异特征分布；

将所述报警确认空序向量矩阵和所述报警确认差异特征分布进行融合；

根据融合得到的报警确认空序向量矩阵生成所述报警特征学习信息；

其中，所述历史报警信息为至少两个周期的历史报警信息，每个周期的历史报警信息均对应有历史报警确认信息；

所述根据所述历史报警信息的报警确认标签信息获取所述所有红外弱小目标的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息，包括：

依次将各个周期的历史报警确认信息输入到所述特征提取单元中，以生成各个周期的报警特征学习信息；

所述根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，包括：

根据所述各个周期的报警特征学习信息对应的决策分类结果，对所述特征提取单元和所述分类单元进行至少两个周期的权重调整；

其中，一个周期的所述历史报警信息包括第一训练数据和第二训练数据，若所述历史报警信息为第一训练数据，所述报警特征学习信息的决策分类结果为第一分类结果，若所述历史报警信息为第二训练数据，所述报警特征学习信息的决策分类结果为第二分类结果；

对于一个周期的权重调整，所述根据所述各个周期的报警特征学习信息对应的决策分类结果，对所述特征提取单元和所述分类单元进行至少两个周期的权重调整，包括：

根据所述第一分类结果对所述特征提取单元进行权重调整，根据所述第二分类结果对所述分类单元进行权重调整。

在第一方面的一种可能的实施方式中，所述方法还包括：

获取每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息在所述红外成像视频流中所覆盖的场景对象信息；

获得所述场景对象信息中各场景对象的场景对象类型，以及各所述场景对象所属的场景边界范围；

将场景边界范围相同以及场景对象类型相同的场景对象信息划分至同一组场景对象信息，针对每组场景对象信息，获得该组场景对象信息中各所述场景对象的场景对象安全价值参数，其中，所述场景对象安全价值参数与所述红外弱小目标的目标轮廓信息在所述场景对象上的行为数据和所述场景对象的安全属性有关；

将多个场景对象安全价值参数划分为多个安全价值参数分区，并获得各所述安全价值参数分区内对应的场景对象数，将所述多个安全价值参数分区划分为多个类别分区，针对每个所述类别分区，计算该类别分区包含的安全价值参数分区中场景对象数的均值特征向量；

根据所述类别分区包含的各个安全价值参数分区中场景对象数以及所述均值特征向量，计算得到所述类别分区对应的区间跨度；

计算以所述多个类别分区的区间跨度构建的预设交叉熵函数在划分得到的多个类别分区下的交叉熵函数值，在所述交叉熵函数值满足预设条件时确定划分得到的多个类别分区为最终的类别分区，否则，重新对所述多个安全价值参数分区进行划分直至得到的交叉熵函数值满足所述预设条件为止；

筛选出划分得到的多个类别分区中具有区间上限值的类别分区，获得筛选出的类别分区中区间上限值最小的类别分区，作为目标类别分区，获得所述目标类别分区包含的安全价值参数分区，并获得各所述安全价值参数分区对应的场景对象安全价值参数以及对应的场景对象数；

利用各所述安全价值参数分区的场景对象安全价值参数乘以场景对象数得到计算结果，并将所述目标类别分区包含的安全价值参数分区的所有计算结果进行加权求和，利用加权求和值除以所述目标类别分区包含的场景对象数的总值得到场景对象参考度均值；

当所述场景对象参考度均值大于预设参考度均值时，判定所述红外弱小目标存在安全入侵风险。

如此，通过获取历史采集到的各个场景对象的场景对象安全价值参数，将场景对象安全价值参数划分为多个安全价值参数分区，并获得各个安全价值参数分区内的场景对象数，再将多个安全价值参数分区划分为多个类别分区，使得预设交叉熵函数在划分得到的多个类别分区下满足预设条件。然后从划分得到的多个类别分区中获得目标类别分区，根据目标类别分区中包含的场景对象安全价值参数测算得到多个场景对象的场景对象参考度均值。本方案中，利用采集到的场景对象安全价值参数，并采用有序聚类和最优分割的策略，分割出其中能够表征场景对象处于未影响状态下的目标类别分区，进而基于该目标类别分区的信息得到场景对象参考度均值。如此，每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息在所述红外成像视频流中所覆盖的场景对象信息计算得到场景对象参考度均值，并据此判断红外弱小目标是否存在安全入侵风险。

可替换地，在第一方面的一种可能的实施方式中，所述将所述多个安全价值参数分区划分为多个类别分区，以使预设交叉熵函数在划分得到的多个类别分区下满足预设条件的步骤之后，所述方法还包括：

获得所述多个安全价值参数分区对应的多个场景对象数的集合，获得所述集合中的评估节点，所述评估节点为用于将所述多个安全价值参数分区划分为多个类别分区的区分节点；

获得位于所述评估节点之前的第一安全价值参数分区清单，以及位于所述评估节点之后的第二安全价值参数分区清单；

将所述第一安全价值参数分区清单和所述第二安全价值参数分区清单中包含的安全价值参数分区按其场景对象数进行排序；

对排序后的安全价值参数分区按其所属的类别进行标记，获得具有连续的、相同标记的安全价值参数分区的区间数，所述类别为处于所述评估节点之前的安全价值参数分区，或处于所述评估节点之后的安全价值参数分区；

根据所述区间数以及所述多个安全价值参数分区的总数计算得到评估参数量，当所述评估参数量与预设参数量满足预设关系，则判定所述多个类别分区的划分合理，否则判定所述多个类别分区的划分不合理。

根据本申请的第二方面，提供一种红外弱小目标的检测装置，应用于服务器，所述装置包括：

获取模块，用于获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列；

第一提取模块，用于提取所述第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点；

筛选模块，用于构建所述健壮特征点在所述第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从所述疑似运动目标轨迹中筛选所述红外弱小目标的真实目标运动轨迹；

第二提取模块，用于基于所述真实目标运动轨迹从所述第二连续帧数据序列中提取出所述红外弱小目标的目标轮廓信息。

根据本申请的第三方面，提供一种服务器，包括机器可读存储介质和处理器，所述机器可读存储介质中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面或者第一方面任意一种可能的实施方式所述的红外弱小目标的检测方法。

基于上述任一方面，本申请通过获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列，然后提取其每帧图像数据中与红外弱小目标相关的健壮特征点后，构建健壮特征点在第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从疑似运动目标轨迹中筛选红外弱小目标的真实目标运动轨迹，之后基于真实目标运动轨迹从第二连续帧数据序列中提取出红外弱小目标的目标轮廓信息。如此，基于连续帧数据序列快速定位运动目标的真实目标运动轨迹，并基于真实目标运动轨迹进行目标轮廓的局部区域分割的方式，能够降低计算复杂度，满足实时性的要求，并且目标轮廓的提取精度更高。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的红外弱小目标的检测系统的场景示意图；

图2示出了本申请实施例所提供的红外弱小目标的检测方法的流程示意图之一；

图3示出了本申请实施例所提供的红外弱小目标的检测方法的流程示意图之二；

图4示出了本申请实施例所提供的红外弱小目标的检测装置的功能模块示意图；

图5示出了本申请实施例所提供的用于实现上述的红外弱小目标的检测方法的服务器的结构示意框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。

应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。

参照图1所示，图1示出了本申请实施例提供的红外弱小目标的检测系统10的场景示意图。例如，红外弱小目标的检测系统10可以包括服务器100以及与服务器100通信连接的多个红外热成像视频监控设备200，红外热成像视频监控设备200可以用于对所监控区域进行红外热成像跟踪，从而将热成像视频流传输给服务器100进行视频流处理。

本实施例中，服务器100用于为红外热成像视频监控设备200提供后台服务。例如，服务器100可以是上述应用程序的后台服务器。服务器100可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心，可以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务。可选地，服务器100同时为多个红外热成像视频监控设备200中的应用程序提供后台服务。

本申请实施例提供的红外弱小目标的检测方法，各步骤的执行主体可以是服务器100，也可以是红外热成像视频监控设备200(如红外热成像视频监控设备200中运行的应用程序的客户端)，还可以是由红外热成像视频监控设备200和服务器100交互配合执行。

可以理解，图1所示的红外弱小目标的检测系统10仅为一种可行的示例，在其它可行的实施例中，该红外弱小目标的检测系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

如前述背景技术所获知的技术问题，相关技术中，针对弱小目标的测试场景大多是天空、海洋、沙漠场景，属于简单的场景。相关技术中针对红外弱小目标的检测主要基于图像序列的检测方法，例如通常具有以下特点。

1、基于先检测后跟踪的检测方法（Detect-Before-Track），这类探测方法先通过空间滤波进行预处理，对单帧图像实现目标增强和背景抑制，提高图像的信噪比，在此基础上采用门限检测方法对目标进行检测，然后通过时间序列分析进行时间域滤波，得到真正的目标。该方法首先需要对单帧图像进行预处理，因此单帧图象中对预处理的算法尤为关键，实际上经本申请发明人研究发现，单帧图像中提取目标主要参考目标与背景的灰度差异特性，对背景像素进行抑制。常用的方法包括中值滤波、高通滤波、均值滤波等，这些方法能在一定程度上达到抑制背景的目的，但是针对背景复杂的场景存在不足，并且目标不一定是灰度最高或频率最高的成分。以上方法会存在背景成分泄露或目标成分忽略等问题，检测精度无法保证。此外还有最小二乘法滤波器、基于贝叶斯估计或频域等技术可以提高检测精度，但计算复杂，耗时增加。

二、基于检测前跟踪的方法（Track-Before-Detect），这类算法在每一帧并不宣布检测结果，不设检测门限，而是将每一帧信息数字化，并存储起来，然后帧与帧之间对假设路径包含的点做几乎没有信息损失的相关技术处理，经过多帧的积累，在目标的轨迹估计出来后，检测结果的轨迹同时宣布。常用方法包括基于动态规划的方法、基于极大似然的方法、基于Hough变换的方法、三位匹配滤波器算法、多级假设检验方法以及高阶相关等算法。这类方法对图像中较多的疑似轨迹同时跟踪，采用某种判据对每条轨迹的真实性做判断，剔除由噪声构成的虚假轨迹，但这类方法往往存在实时性差、计算复杂等缺点。

三、摄像头抖动对序列图像检测小目标干扰极大，是现有的大部分方法需要解决的难点问题。比如，基于背景建模的方法、相邻帧做差、间隔帧做差等方法，这些方法在图像序列存在抖动、旋转等变换时效果差。

四、现有的基于特征点光流检测方法，基于SVD分解的背景抑制，处理后的目标集与背景集分别重构；最后通过自适应滤波检测出红外弱小目标位置，通过在构建的红外弱小目标图像库中进行验证。发明人研究发现，这种方法处理过程过于复杂，实时性效果差；此外，相关技术还采用隔帧差分法提取运动目标，在相机抖动、背景变化复杂情况下鲁棒性差，会额外带来很多误报，并且在轮廓提起过程中针对弱小目标仅连通域采用了形态学处理的方法，在复杂场景下，前景和背景粘连问题无法很好的解决。

为此，基于上述技术问题的发现，发明人提出下述技术方案以解决上述问题。需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果。因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在发明创造过程中对本申请做出的贡献，而不应当理解为本领域技术人员所公知的技术内容。

图2示出了本申请实施例提供的红外弱小目标的检测方法的流程示意图，该红外弱小目标的检测方法可以由图1中所示的红外弱小目标的检测系统10执行，具体而言可以是由服务器100执行，或者也可以是由其它具有任意计算处理能力的其它装置执行，应当理解，在其它实施例中，本实施例的红外弱小目标的检测方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该红外弱小目标的检测方法的详细步骤介绍如下。

步骤S110，获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列。

本实施例中，红外成像视频流可以是指由红外热成像视频监控设备200对目标区域进行实时视频采集获得的视频流，在进行后续的目标检测时，需要满足一定的目标检测条件，如满足视频抖动幅度条件时才进行后续的对象检测，从而提高后续的目标检测效果。

步骤S120，提取第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点。

例如，假设第二连续帧数据序列有10帧图像数据，那么则可以提取这10帧图像数据中与红外弱小目标相关的健壮特征点。

其中，健壮特征点在灰度图像上表现的形式可以是相关角点、斑点等，例如FAST角点的定义为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点，也就是某些属性与众不同，考虑灰度图像，若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点。

步骤S130，构建健壮特征点在第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从疑似运动目标轨迹中筛选红外弱小目标的真实目标运动轨迹。

本实施例中，第二连续帧数据序列的数据方向可以是指第二连续帧数据序列中各帧图像数据的排列方向，例如第二连续帧数据序列包括从图像帧1-图像帧10，那么第二连续帧数据序列的数据方向则为依次由图像帧1到图像帧10的方向。

步骤S140，基于真实目标运动轨迹从第二连续帧数据序列中提取出红外弱小目标的目标轮廓信息。

基于上述步骤，本实施例通过获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列，然后提取其每帧图像数据中与红外弱小目标相关的健壮特征点后，构建健壮特征点在第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从疑似运动目标轨迹中筛选红外弱小目标的真实目标运动轨迹，之后基于真实目标运动轨迹从第二连续帧数据序列中提取出红外弱小目标的目标轮廓信息。如此，基于连续帧数据序列快速定位运动目标的真实目标运动轨迹，并基于真实目标运动轨迹进行目标轮廓的局部区域分割的方式，能够降低计算复杂度，满足实时性的要求，并且目标轮廓的提取精度更高。

在一种可能的实施方式中，针对步骤S110而言，下面结合一种可能的示例进行说明。例如可以通过检测第一连续帧数据序列的视频帧的抖动情况来筛选获得第二连续帧数据序列，一种可替代的实现方式示例性描述如下。

子步骤S111，提取第一连续帧数据序列中的每一帧目标图像的第一特征点集。

子步骤S112，从目标图像的相邻帧图像中获取具有第一特征点集的相同特征的第二特征点集。

子步骤S113，计算第一特征点集和第二特征点集之间的特征偏移量。

子步骤S114，当特征偏移量小于预设偏移量阈值时，将目标图像和目标图像的相邻帧图像确定为满足预设条件的第二连续帧数据序列中的图像对。

子步骤S115，若满足预设条件的图像对大于预设数量阈值，则将第一连续帧数据序列确定为满足预设条件的第二连续帧数据序列。若满足预设条件的图像对不大于预设数量阈值，则将第一连续帧数据序列确定为不满足预设条件的第二连续帧数据序列并将第一连续帧数据序列进行过滤。

本实施例中，检测第一连续帧数据序列的视频帧的抖动的要点是选取第一连续帧数据序列中的参考特征点，如果图像帧未发生抖动，任意两图像帧之间的参考点位置应当为重合或者接近重合的，而参考特征点的特征偏移量的变化率则代表着视频抖动的幅度，本申请实施例通过提取每帧目标图像的第一特征点集，再从目标图像的相邻帧图像中获取具有第一特征点集的相同特征的第二特征点集，从而计算第一特征点集和第二特征点集之间的特征偏移量，进而可以通过预设偏移量阈值对抖动过大的图像帧序列进行过滤，从而获得满足预设条件的第二连续帧数据序列。

例如，假设第二连续帧数据序列包括10帧连续图像，那么相邻的图像对为9对，假设6个图像对中的第一特征点集和第二特征点集之间的特征偏移量均小于预设偏移量阈值，那么则可以将这10帧连续图像确定为满足预设条件的第二连续帧数据序列，否则将这10帧连续图像进行过滤。

在一种可能的实施方式中，针对步骤S120，在提取第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点的流程中，例如可以使用FAST检测算法和Shi-Tomasi角点检测算法对第二连续帧数据序列的每帧图像数据进行特征点检测，获得与红外弱小目标相关的健壮特征点。

例如，可以从每帧图像数据中选取一个像素P，接下来判断像素P是否是一个健壮特征点，首先可以把像素P的亮度值设为Ip，并设定一个合适的阈值t，考虑以该像素点为中心的一个半径等于n像素的离散化的圆，这个圆的边界上有m个像素，然后如果在这个大小为m个像素的圆上有k个连续的像素点，k个连续的像素点的像素值如果都比Ip+t大，或者都比Ip−t小，那么k个连续的像素点就是一个角点。

值得说明的是，在上述过程中，对于每帧图像数据中的每一个像素点，都要去遍历其邻域圆上的m个像素，效率较低。下面提出了一种高效的测试来快速排除一大部分非角点的像素。该方法仅仅检查在某部分位置的像素，首先检测第一部分的像素，如果第一部分的像素的像素值都比阈值暗或比阈值亮，再检测位置第二部分的像素。如果像素P是一个角点，那么上述第一部分和第二部分的像素点中至少有部分应该必须都大于Ip+t或者小于Ip−t，因为若是一个角点，超过四分之三圆的部分应该满足判断条件。如果不满足，那么像素P不可能是一个角点。对于所有像素点做上述初步的检测后，符合条件的将成为候选角点，再对候选角点，进行完整测试，即检测圆上的所有角点，作为健壮特征点。

在一种可能的实施方式中，针对步骤S130，在构建健壮特征点在第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从疑似运动目标轨迹中筛选红外弱小目标的真实目标运动轨迹的流程中，可以通过一下示例性的子步骤实现。

子步骤S131，追踪健壮特征点在第二连续帧数据序列的数据方向上每帧图像数据中的疑似运动目标的轨迹特征点，并将疑似运动目标的轨迹特征点进行关联，获得疑似运动目标轨迹。

子步骤S132，根据预设过滤规则从疑似运动目标轨迹中过滤伪目标运动轨迹后，筛选得到红外弱小目标的真实目标运动轨迹。

例如，以上预设过滤规则可以包括以下规则：

（1）从疑似运动目标轨迹中过滤不符合运动目标轨迹集合的运动分布特征的伪目标运动轨迹。

（2）从疑似运动目标轨迹中过滤不符合运动目标轨迹的点集数量特征的伪目标运动轨迹。

（3）从疑似运动目标轨迹中过滤不符合运动目标轨迹的运动趋势特征的伪目标运动轨迹。

（4）从疑似运动目标轨迹中过滤不符合运动目标轨迹的欧式距离特征的伪目标运动轨迹。

值得说明的是，在以上规则中，可以则一选择，也可以组合选择，例如可以仅选择（1）、（2）、（3）、（4）中的一种规则作为过滤规则，或者选择（1）、（2）、（3）、（4）中的两种或者两种以上规则作为过滤规则，本实施例对此不作特殊限定。

在一种可能的实施方式中，对于步骤S140，在基于真实目标运动轨迹从第二连续帧数据序列中提取出红外弱小目标的目标轮廓信息的流程中，可以通过一下示例性的子步骤实现。

子步骤S141，在第二连续帧数据序列中检索真实目标运动轨迹的每个真实轨迹坐标点、每个真实轨迹坐标点对应的目标轨迹图像以及第二连续帧数据序列上的真实轨迹坐标点集合。

例如，假设第二连续帧数据序列共n个图像数据，在第二连续帧数据序列中检索真实目标运动轨迹的每个真实轨迹坐标点Pi和Pi对应的目标轨迹图像（0≤i≤n），以及第二连续帧数据序列上的真实轨迹坐标点Pi的集合。

子步骤S142，针对每个真实轨迹坐标点，在该真实轨迹坐标点对应的目标轨迹图像中获取以该真实轨迹坐标点为中心、以预设像素点数量为边长的目标区域。

例如，可以在每个真实轨迹坐标点Pi对应的目标轨迹图像中获取以Pi为中心，边长为2R像素的一个正方形区域Rect，作为该目标区域（2R：正方形Rect的边长）。

子步骤S143，采用Otsu算法对目标区域的红色像素通道计算对应的最小阈值、对绿色像素通道计算对应的最大阈值，并基于最小阈值和最大阈值从目标区域中获取前景像素区域。

子步骤S144，采用预设图像形态学处理算法提取前景像素区域的形态学处理图像，并对形态学处理进行二值化处理，得到形态学二值化图像后，采用连通域算法获取形态学二值化图像中的每个目标连通域区域，并标记形态学二值化图像中每个前景像素点所属的目标连通域区域后，根据每个真实轨迹坐标点与每个前景像素点之间的欧氏距离确定每个真实轨迹坐标点对应的目标连通域区域作为每个真实轨迹坐标点对应的目标轮廓（例如，可以将与每个真实轨迹坐标点之间的欧氏距离最小的前景像素点对应的目标连通域区域作为每个真实轨迹坐标点对应的目标轮廓），将提取的目标轮廓以图形框的形式输出，以得到每个真实轨迹坐标点对应的目标轨迹图像的红外弱小目标的目标轮廓信息。

子步骤S145，将红外弱小目标的各个真实轨迹坐标点对应的目标轮廓信息按照红外弱小目标所对应匹配的像素特征方向进行排序，并将排序结果中的中值序号对应的目标轮廓信息，作为真实目标运动轨迹上各个真实轨迹坐标点对应的红外弱小目标的最终目标轮廓信息。

在一种可能的实施方式中，在以上描述的基础上，本实施例还可以进一步获取每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息在红外成像视频流中所覆盖的场景对象信息，获得场景对象信息中各场景对象的场景对象类型，以及各场景对象所属的场景边界范围，将场景边界范围相同以及场景对象类型相同的场景对象信息划分至同一组场景对象信息，针对每组场景对象信息，获得该组场景对象信息中各场景对象的场景对象安全价值参数，其中，场景对象安全价值参数与红外弱小目标的目标轮廓信息在场景对象上的行为数据和场景对象的安全属性有关。在此基础上，将多个场景对象安全价值参数划分为多个安全价值参数分区，并获得各安全价值参数分区内对应的场景对象数，将多个安全价值参数分区划分为多个类别分区，针对每个类别分区，计算该类别分区包含的安全价值参数分区中场景对象数的均值特征向量。

由此，可以根据类别分区包含的各个安全价值参数分区中场景对象数以及均值特征向量，计算得到类别分区对应的区间跨度，计算以多个类别分区的区间跨度构建的预设交叉熵函数在划分得到的多个类别分区下的交叉熵函数值，在交叉熵函数值满足预设条件时确定划分得到的多个类别分区为最终的类别分区，否则，重新对多个安全价值参数分区进行划分直至得到的交叉熵函数值满足预设条件为止。

这样，可以筛选出划分得到的多个类别分区中具有区间上限值的类别分区，获得筛选出的类别分区中区间上限值最小的类别分区，作为目标类别分区，获得目标类别分区包含的安全价值参数分区，并获得各安全价值参数分区对应的场景对象安全价值参数以及对应的场景对象数，从而利用各安全价值参数分区的场景对象安全价值参数乘以场景对象数得到计算结果，并将目标类别分区包含的安全价值参数分区的所有计算结果进行加权求和，利用加权求和值除以目标类别分区包含的场景对象数的总值得到场景对象参考度均值。当场景对象参考度均值大于预设参考度均值时，判定红外弱小目标存在安全入侵风险。

如此，通过获取历史采集到的各个场景对象的场景对象安全价值参数，将场景对象安全价值参数划分为多个安全价值参数分区，并获得各个安全价值参数分区内的场景对象数，再将多个安全价值参数分区划分为多个类别分区，使得预设交叉熵函数在划分得到的多个类别分区下满足预设条件。然后从划分得到的多个类别分区中获得目标类别分区，根据目标类别分区中包含的场景对象安全价值参数测算得到多个场景对象的场景对象参考度均值。本方案中，利用采集到的场景对象安全价值参数，并采用有序聚类和最优分割的策略，分割出其中能够表征场景对象处于未影响状态下的目标类别分区，进而基于该目标类别分区的信息得到场景对象参考度均值。如此，每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息在红外成像视频流中所覆盖的场景对象信息计算得到场景对象参考度均值，并据此判断红外弱小目标是否存在安全入侵风险。

可替换地，在一种可能的实施方式中，在以上将多个安全价值参数分区划分为多个类别分区，以使预设交叉熵函数在划分得到的多个类别分区下满足预设条件之后，还可以具体获得多个安全价值参数分区对应的多个场景对象数的集合，获得集合中的评估节点，评估节点为用于将多个安全价值参数分区划分为多个类别分区的区分节点，然后获得位于评估节点之前的第一安全价值参数分区清单，以及位于评估节点之后的第二安全价值参数分区清单，将第一安全价值参数分区清单和第二安全价值参数分区清单中包含的安全价值参数分区按其场景对象数进行排序，对排序后的安全价值参数分区按其所属的类别进行标记，获得具有连续的、相同标记的安全价值参数分区的区间数，类别为处于评估节点之前的安全价值参数分区，或处于评估节点之后的安全价值参数分区。从而，可以根据区间数以及多个安全价值参数分区的总数计算得到评估参数量，当评估参数量与预设参数量满足预设关系，则判定多个类别分区的划分合理，否则判定多个类别分区的划分不合理。

在一种可能的实施方式中，在应用阶段，请结合参阅图3，本申请实施例所提供的方法还可以包括以下步骤S150-步骤S160，示例性描述如下。

步骤S150，将每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息与预设先验框的先验框信息进行比较，并根据比较结果判断目标轮廓信息对应的红外弱小目标是否入侵预设先验框的区域。

本实施例中，预设先验框可以基于实际应用场景进行灵活配置，在此不作详细限定。通过将目标轮廓信息与预设先验框的先验框信息进行比较，可以判断目标轮廓信息是否部分或者全部被覆盖于预设先验框的先验框信息中，当目标轮廓信息部分或者全部被覆盖于预设先验框的先验框信息中时，可以判定目标轮廓信息对应的红外弱小目标入侵预设先验框的区域，否则判定目标轮廓信息对应的红外弱小目标没有入侵预设先验框的区域。值得说明的是，在其它可能的实施方式中，也可以基于其它任意可行的规则判断目标轮廓信息对应的红外弱小目标是否入侵预设先验框的区域，在此不作具体限定。

步骤S160，当目标轮廓信息对应的红外弱小目标入侵预设先验框的区域时，将目标轮廓信息中红外弱小目标的对象坐标作为报警点坐标与预设先验框的区域进行关联，获得报警关联结果。

在一种可能的实施方式中，在进一步的应用阶段，本申请实施例所提供的方法还可以包括以下步骤S170-步骤S180，示例性描述如下。

步骤S170，根据获得的所有报警关联结果确定所有红外弱小目标的历史报警信息以及历史报警信息的报警确认标签信息。

本实施例中，考虑到在一些复杂判定条件下，往往需要人工协助进行判定，报警确认标签信息可以包括报警确认标签和报警拒绝标签，报警确认标签可以用于表示报警信息满足实际报警条件，报警拒绝标签可以用于表示报警信息不满足实际报警条件。

步骤S180，基于所有红外弱小目标的历史报警信息以及历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型。

本实施例通过收集所有报警关联结果确定所有红外弱小目标的历史报警信息以及历史报警信息的报警确认标签信息作为训练样本信息训练得到目标报警决策模型，从而可以在复杂判定条件下通过目标报警决策模型来进一步决策判定是否需要发出实际报警，减少人为决策的工作量。

在一种可能的实施方式中，请结合参阅图5，步骤S180可以通过以下示例性的子步骤实现，详细描述如下。

子步骤S181，根据历史报警信息的报警确认标签信息获取所有红外弱小目标的历史报警信息对应的历史报警确认信息，将历史报警确认信息输入到报警决策模型的特征提取单元中，以对历史报警确认信息进行特征学习并生成对应的报警特征学习信息。报警决策模型包括特征提取单元和分类单元。

子步骤S182，将报警特征学习信息输入到分类单元中，以对报警特征学习信息的学习数据段进行分类决策得到报警特征学习信息的决策分类结果。

子步骤S183，根据报警特征学习信息的决策分类结果，对特征提取单元和分类单元进行权重调整，直至特征提取单元和分类单元更新结束，得到已训练的目标报警决策模型。

基于上述方案，特征提取单元和分类单元的联合训练能得到耦合性良好的报警决策模型，可以学习到历史报警信息的报警确认标签信息的深度特征信息，进而协助用户进行报警决策。

在一种可能的实施方式中，在对历史报警确认信息进行特征学习并生成对应的报警特征学习信息的过程中，可以对历史报警确认信息进行特征学习，根据已学习的报警确认特征信息得到报警确认差异特征分布，根据报警确认差异特征分布生成报警特征学习信息。

其中，历史报警确认信息可以包括报警确认时序向量矩阵和报警确认空序向量矩阵。

在此基础上，可以具体将报警确认时序向量矩阵和报警确认空序向量矩阵输入到有向图模型中，以通过有向图模型进行特征学习，并根据学习的报警确认特征信息确定有向图模型的有向图节点的有向图特征分布，然后根据有向图节点的有向图特征分布生成报警确认差异特征分布，将报警确认空序向量矩阵和报警确认差异特征分布进行融合，从而根据融合得到的报警确认空序向量矩阵生成报警特征学习信息。

譬如，在进一步的可能的实施方式中，在将报警确认空序向量矩阵和报警确认差异特征分布进行融合的过程中，可获取报警确认空序向量矩阵和报警确认差异特征分布之间的可融合特征节点集，其中，可融合特征节点集包括报警确认空序向量矩阵在目标融合区间内调用的多个空序可融合特征节点、报警确认差异特征分布在目标融合区间内调用的多个差异可融合特征节点，以及各可融合特征节点的融合元素序列。然后，利用与多个空序可融合特征节点对应的空序特征属性，及与多个差异可融合特征节点对应的差异特征属性构建特征属性，并根据特征属性获取融合位图信息，其中，空序特征属性用于表征按照融合元素序列进行融合控制的多个空序可融合特征节点的关键融合对象，差异特征属性用于表征按照融合元素序列进行融合控制的多个差异可融合特征节点的可融合特征节点的关键融合对象，融合位图信息用于表征空序特征属性及差异特征属性的融合映射关系。

利用可融合特征节点集中在目标融合区间段内被调用且按融合元素序列的数据层结构的空序可融合特征节点与差异可融合特征节点构建融合分配节点集，并根据融合分配节点集获取融合行为定位信息，其中，融合行为定位信息用于表征融合分配节点集中至少两个映射可融合特征节点之间的融合映射关系。

根据融合位图信息与融合行为定位信息，获取报警确认空序向量矩阵与报警确认差异特征分布之间的融合场景匹配参数，根据融合场景匹配参数确定报警确认空序向量矩阵与报警确认差异特征分布之间的融合业务快照，并基于融合业务快照对报警确认空序向量矩阵与报警确认差异特征分布所对应的融合过程执行融合控制，得到融合后的报警确认空序向量矩阵，作为报警特征学习信息。

在一种可能的实施方式中，为了进一步提高训练学习过程中的准确性，历史报警信息可以为至少两个周期的历史报警信息，每个周期的历史报警信息均对应有历史报警确认信息。

这样，在子步骤S181中，可以依次将各个周期的历史报警确认信息输入到特征提取单元中，以生成各个周期的报警特征学习信息。

在子步骤S183中，可以根据各个周期的报警特征学习信息对应的决策分类结果，对特征提取单元和分类单元进行至少两个周期的权重调整。

其中，一个周期的历史报警信息包括第一训练数据和第二训练数据，若历史报警信息为第一训练数据，报警特征学习信息的决策分类结果为第一分类结果，若历史报警信息为第二训练数据，报警特征学习信息的决策分类结果为第二分类结果。

这样，对于一个周期的权重调整，可以根据第一分类结果对特征提取单元进行权重调整，根据第二分类结果对分类单元进行权重调整。

基于同一发明构思，请参阅图4，示出了本申请实施例提供的红外弱小目标的检测装置110的功能模块示意图，本实施例可以根据上述方法实施例对红外弱小目标的检测装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图4示出的红外弱小目标的检测装置110只是一种装置示意图。其中，红外弱小目标的检测装置110可以包括获取模块111、第一提取模块112、筛选模块113以及第二提取模块114，下面分别对该红外弱小目标的检测装置110的各个功能模块的功能进行详细阐述。

获取模块111，用于获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列。可以理解，该获取模块111可以用于执行上述步骤S110，关于该获取模块111的详细实施方式可以参照上述对步骤S110有关的内容。

第一提取模块112，用于提取第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点。可以理解，该第一提取模块112可以用于执行上述步骤S120，关于该第一提取模块112的详细实施方式可以参照上述对步骤S120有关的内容。

筛选模块113，用于构建健壮特征点在第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从疑似运动目标轨迹中筛选红外弱小目标的真实目标运动轨迹。可以理解，该筛选模块113可以用于执行上述步骤S130，关于该筛选模块113的详细实施方式可以参照上述对步骤S130有关的内容。

第二提取模块114，用于基于真实目标运动轨迹从第二连续帧数据序列中提取出红外弱小目标的目标轮廓信息。可以理解，该第二提取模块114可以用于执行上述步骤S140，关于该第二提取模块114的详细实施方式可以参照上述对步骤S140有关的内容。

基于同一发明构思，请参阅图5，示出了本申请实施例提供的用于执行上述红外弱小目标的检测方法的服务器100的结构示意框图，该服务器100可以包括红外弱小目标的检测装置110、机器可读存储介质120和处理器130。

在一种可能的实施方式中，机器可读存储介质120与处理器130均位于服务器100中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以是独立于服务器100之外，且可以由处理器130通过总线接口来访问。可替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以是高速缓存和/或通用寄存器。

处理器130是该服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块，以及调用存储在机器可读存储介质120内的数据，执行该服务器100的各种功能和处理数据，从而对服务器100进行整体监控。可选地，处理器130可包括一个或多个处理核心。例如，处理器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

其中，处理器130可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的红外弱小目标的检测方法的程序执行的集成电路。

机器可读存储介质120可以是ROM或可存储静态信息和指令的其它类型的静态存储设备，RAM或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only Memory，EEPROM)、只读光盘(Compact disc Read-Only MEMory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。机器可读存储介质120可以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行本申请方案的机器可执行指令，例如可以存储红外弱小目标的检测装置110中各个软件功能模块（如图4中所示的获取模块111、第一提取模块112、筛选模块113以及第二提取模块114）的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令，以实现前述方法实施例提供的红外弱小目标的检测方法。

由于本申请实施例提供的服务器100是上述服务器100执行的方法实施例的另一种实现形式，且服务器100可用于执行上述方法实施例提供的红外弱小目标的检测方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

进一步地，本申请实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供的红外弱小目标的检测方法。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本申请任意实施例所提供的红外弱小目标的检测方法中的相关操作。

本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本申请的实施例的详细描述并非旨在边界本申请的保护范围，而仅仅是表示本申请的选定实施例。

Claims (9)

1.一种红外弱小目标的检测方法，其特征在于，应用于服务器，所述方法包括：

获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列；

提取所述第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点；

构建所述健壮特征点在所述第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从所述疑似运动目标轨迹中筛选所述红外弱小目标的真实目标运动轨迹；

基于所述真实目标运动轨迹从所述第二连续帧数据序列中提取出所述红外弱小目标的目标轮廓信息；

获取每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息在所述红外成像视频流中所覆盖的场景对象信息；

获得所述场景对象信息中各场景对象的场景对象类型，以及各所述场景对象所属的场景边界范围；

将场景边界范围相同以及场景对象类型相同的场景对象信息划分至同一组场景对象信息，针对每组场景对象信息，获得该组场景对象信息中各所述场景对象的场景对象安全价值参数，其中，所述场景对象安全价值参数与所述红外弱小目标的目标轮廓信息在所述场景对象上的行为数据和所述场景对象的安全属性有关；

将多个场景对象安全价值参数划分为多个安全价值参数分区，并获得各所述安全价值参数分区内对应的场景对象数，将所述多个安全价值参数分区划分为多个类别分区，针对每个所述类别分区，计算该类别分区包含的安全价值参数分区中场景对象数的均值特征向量；

根据所述类别分区包含的各个安全价值参数分区中场景对象数以及所述均值特征向量，计算得到所述类别分区对应的区间跨度；

计算以所述多个类别分区的区间跨度构建的预设交叉熵函数在划分得到的多个类别分区下的交叉熵函数值，在所述交叉熵函数值满足预设条件时确定划分得到的多个类别分区为最终的类别分区，否则，重新对所述多个安全价值参数分区进行划分直至得到的交叉熵函数值满足所述预设条件为止；

筛选出划分得到的多个类别分区中具有区间上限值的类别分区，获得筛选出的类别分区中区间上限值最小的类别分区，作为目标类别分区，获得所述目标类别分区包含的安全价值参数分区，并获得各所述安全价值参数分区对应的场景对象安全价值参数以及对应的场景对象数；

利用各所述安全价值参数分区的场景对象安全价值参数乘以场景对象数得到计算结果，并将所述目标类别分区包含的安全价值参数分区的所有计算结果进行加权求和，利用加权求和值除以所述目标类别分区包含的场景对象数的总值得到场景对象参考度均值；

当所述场景对象参考度均值大于预设参考度均值时，判定所述红外弱小目标存在安全入侵风险。

2.根据权利要求1所述的红外弱小目标的检测方法，其特征在于，所述获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列的步骤，包括：

提取所述第一连续帧数据序列中的每一帧目标图像的第一特征点集；

从所述目标图像的相邻帧图像中获取具有所述第一特征点集的相同特征的第二特征点集；

计算所述第一特征点集和所述第二特征点集之间的特征偏移量；

当所述特征偏移量小于预设偏移量阈值时，将所述目标图像和所述目标图像的相邻帧图像确定为满足预设条件的图像对；

若所述满足预设条件的图像对大于预设数量阈值，则将所述第一连续帧数据序列确定为满足预设条件的第二连续帧数据序列；

若所述满足预设条件的图像对不大于预设数量阈值，则将所述第一连续帧数据序列确定为不满足预设条件的第二连续帧数据序列并将所述第一连续帧数据序列进行过滤。

3.根据权利要求1所述的红外弱小目标的检测方法，其特征在于，所述提取所述第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点的步骤，包括：

使用FAST检测算法和Shi-Tomasi角点检测算法对所述第二连续帧数据序列的每帧图像数据进行特征点检测，获得与红外弱小目标相关的健壮特征点。

4.根据权利要求1所述的红外弱小目标的检测方法，其特征在于，所述构建所述健壮特征点在所述第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从所述疑似运动目标轨迹中筛选所述红外弱小目标的真实目标运动轨迹的步骤，包括：

追踪所述健壮特征点在所述第二连续帧数据序列的数据方向上每帧图像数据中的疑似运动目标的轨迹特征点，并将所述疑似运动目标的轨迹特征点进行关联，获得所述疑似运动目标轨迹；

根据预设过滤规则从所述疑似运动目标轨迹中过滤伪目标运动轨迹后，筛选得到所述红外弱小目标的真实目标运动轨迹。

5.根据权利要求4所述的红外弱小目标的检测方法，其特征在于，所述根据预设过滤规则从所述疑似运动目标轨迹中过滤伪目标运动轨迹后，筛选得到所述红外弱小目标的真实目标运动轨迹的步骤，包括：

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹集合的运动分布特征的伪目标运动轨迹；或者

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹的点集数量特征的伪目标运动轨迹；或者

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹的运动趋势特征的伪目标运动轨迹；或者

从所述疑似运动目标轨迹中过滤不符合运动目标轨迹的欧式距离特征的伪目标运动轨迹。

6.根据权利要求1-5中任意一项所述的红外弱小目标的检测方法，其特征在于，所述基于所述真实目标运动轨迹从所述第二连续帧数据序列中提取出所述红外弱小目标的目标轮廓信息的步骤，包括：

在所述第二连续帧数据序列中检索所述真实目标运动轨迹的每个真实轨迹坐标点、每个真实轨迹坐标点对应的目标轨迹图像以及所述第二连续帧数据序列上的真实轨迹坐标点集合；

针对每个真实轨迹坐标点，在该真实轨迹坐标点对应的目标轨迹图像中获取以该真实轨迹坐标点为中心、以预设像素点数量为边长的目标区域；

采用Otsu算法对所述目标区域的红色像素通道计算对应的最小阈值、对绿色像素通道计算对应的最大阈值，并基于所述最小阈值和所述最大阈值从所述目标区域中获取前景像素区域，采用预设图像形态学处理算法提取所述前景像素区域的形态学处理图像，并对所述形态学处理进行二值化处理，得到形态学二值化图像后，采用连通域算法获取所述形态学二值化图像中的每个目标连通域区域，并标记所述形态学二值化图像中每个前景像素点所属的目标连通域区域后，根据所述每个真实轨迹坐标点与每个前景像素点之间的欧氏距离确定所述每个真实轨迹坐标点对应的目标连通域区域作为所述每个真实轨迹坐标点对应的目标轮廓，将提取的目标轮廓以图形框的形式输出，以得到每个真实轨迹坐标点对应的目标轨迹图像的所述红外弱小目标的目标轮廓信息；

将所述红外弱小目标的各个真实轨迹坐标点对应的目标轮廓信息按照所述红外弱小目标所对应匹配的像素特征方向进行排序，并将排序结果中的中值序号对应的目标轮廓信息，作为所述真实目标运动轨迹上各个真实轨迹坐标点对应的红外弱小目标的最终目标轮廓信息。

7.根据权利要求1-5中任意一项所述的红外弱小目标的检测方法，其特征在于，所述方法还包括：

将每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息与预设先验框的先验框信息进行比较，并根据比较结果判断所述目标轮廓信息对应的红外弱小目标是否入侵所述预设先验框的区域；

当所述目标轮廓信息对应的红外弱小目标入侵所述预设先验框的区域时，将所述目标轮廓信息中所述红外弱小目标的对象坐标作为报警点坐标与所述预设先验框的区域进行关联，获得报警关联结果。

8.一种红外弱小目标的检测装置，其特征在于，应用于服务器，所述装置包括：

获取模块，用于获取红外成像视频流中第一连续帧数据序列中满足预设条件的第二连续帧数据序列；

第一提取模块，用于提取所述第二连续帧数据序列的每帧图像数据中与红外弱小目标相关的健壮特征点；

筛选模块，用于构建所述健壮特征点在所述第二连续帧数据序列的数据方向上对应的疑似运动目标轨迹，并从所述疑似运动目标轨迹中筛选所述红外弱小目标的真实目标运动轨迹；

第二提取模块，用于基于所述真实目标运动轨迹从所述第二连续帧数据序列中提取出所述红外弱小目标的目标轮廓信息，获取每个真实目标运动轨迹上的红外弱小目标的目标轮廓信息在所述红外成像视频流中所覆盖的场景对象信息；

获得所述场景对象信息中各场景对象的场景对象类型，以及各所述场景对象所属的场景边界范围；

将场景边界范围相同以及场景对象类型相同的场景对象信息划分至同一组场景对象信息，针对每组场景对象信息，获得该组场景对象信息中各所述场景对象的场景对象安全价值参数，其中，所述场景对象安全价值参数与所述红外弱小目标的目标轮廓信息在所述场景对象上的行为数据和所述场景对象的安全属性有关；

将多个场景对象安全价值参数划分为多个安全价值参数分区，并获得各所述安全价值参数分区内对应的场景对象数，将所述多个安全价值参数分区划分为多个类别分区，针对每个所述类别分区，计算该类别分区包含的安全价值参数分区中场景对象数的均值特征向量；

根据所述类别分区包含的各个安全价值参数分区中场景对象数以及所述均值特征向量，计算得到所述类别分区对应的区间跨度；

计算以所述多个类别分区的区间跨度构建的预设交叉熵函数在划分得到的多个类别分区下的交叉熵函数值，在所述交叉熵函数值满足预设条件时确定划分得到的多个类别分区为最终的类别分区，否则，重新对所述多个安全价值参数分区进行划分直至得到的交叉熵函数值满足所述预设条件为止；

筛选出划分得到的多个类别分区中具有区间上限值的类别分区，获得筛选出的类别分区中区间上限值最小的类别分区，作为目标类别分区，获得所述目标类别分区包含的安全价值参数分区，并获得各所述安全价值参数分区对应的场景对象安全价值参数以及对应的场景对象数；

利用各所述安全价值参数分区的场景对象安全价值参数乘以场景对象数得到计算结果，并将所述目标类别分区包含的安全价值参数分区的所有计算结果进行加权求和，利用加权求和值除以所述目标类别分区包含的场景对象数的总值得到场景对象参考度均值；

当所述场景对象参考度均值大于预设参考度均值时，判定所述红外弱小目标存在安全入侵风险。

9.一种服务器，其特征在于，包括机器可读存储介质和处理器，所述机器可读存储介质中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-7中任意一项所述的红外弱小目标的检测方法。

Images