CN115937700A - 一种多源协同的动目标在线检测识别方法 - Google Patents

Abstract

一种多源协同的动目标在线检测识别方法，属于光学图像处理技术领域。方法如下：在红外通道进行动目标在线检测与定位；计算可见光图像中相应目标坐标位置，并截取局部目标切片；在可见光局部目标切片图像中提取目标关键轮廓与细节特征信息，进行动目标分类与识别。本发明在大视场红外通道中实现目标可快速发现与定位，通过坐标变换引导截取可见光通道中目标局部切片图像，能够实现目标的在线快速分类与识别，有效支撑动目标信息的快速完整掌控；提升了目标检测准确率，降低错检率；解决了广域观测条件下目标极度稀疏、目标背景严重失衡导致的分类识别能力差的问题，还避免了全景图像海量数据处理难题，有效降低硬件资源需求与成本。

Description

一种多源协同的动目标在线检测识别方法

技术领域

本发明涉及一种多源协同的动目标在线检测识别方法，属于光学图像处理技术领域。

背景技术

遥感技术是随着现代科学的进步而发展起来的一门新兴学科，天基、空基、艇基遥感图像能够迅速、准确捕获指定区域的最新时空信息，在军事、农业、林业、气象、测绘、城市规划以及环境监测等方面发挥着重要作用并取得了重大经济与社会效益，对战时、平时的国家军事、政治和经济的意义不言而喻。

在具有高技术条件的局部战争中，飞机、舰船等时敏运动目标发挥着十分重要的作用，为确保领空领海不受到影响，对以战斗机、运输机、加油机、无人机、军民舰船等为代表的高价值动目标的检测识别，是目前遥感图像处理领域研究的热点，其发展对军事和民事应用均有着重要的意义。

在军事领域，对各种军用飞机、舰船进行准确检测，有利于作战指挥员实时把握敌方动态，为战场防御预警提供支持，同时也为重点区域的军事部署起到支持作用，为国土安全提供有力保障。在民事领域，基于遥感图像对民用飞机、舰船目标的检测识别可为航空、航海交通管制提供有力技术支撑，对无人机目标进行检测识别与跟踪定位，对高价值安防、反恐维稳、活动安防等均具有重要意义。

飞机、舰船等动目标的喷焰、发动机、蒙皮、涂层等在红外谱段具有显著辐射特征，使得红外小目标检测技术在动目标提取与跟踪领域取得了丰硕成果，但随着各行业的信息化、智慧化、复杂化快速发展，军民领域均迫切需要对海空动目标进行快速分类与识别，进一步支撑海空态势的即时感知与自主决策。然而红外通道图像分辨能力较低，目标几何特征与细节纹理信息严重缺失，难以支撑目标的分类与识别。

目前遥感平台大都同时搭载红外、可见光等多源多体制载荷，而可见光通道虽然图像分辨率较高，目标几何特征显著、细节信息丰富，但背景也将更加复杂多变，广域探测条件下，全景图像尺寸大、数据量庞大，目标极度稀疏(目标与背景严重失衡)，给海空动目标在线实时分类识别带来极大挑战。

因此有必要从目标特性与探测感知机理出发，将多源多体制数据的不同处理优势有机结合，提出红外引导可见光的目标多源协同感知方法，实现广域探测大数据量条件下动目标的在线实时检测与识别。

发明内容

为解决背景技术中存在的问题，本发明提供一种多源协同的动目标在线检测识别方法。

实现上述目的，本发明采取下述技术方案：一种多源协同的动目标在线检测识别方法，所述方法包括如下步骤：

S1：在红外通道进行动目标在线检测与定位；

S2：计算可见光图像中相应目标坐标位置，并截取局部目标切片；

S3：在可见光局部目标切片图像中提取目标关键轮廓与细节特征信息，进行动目标分类与识别。

与现有技术相比，本发明的有益效果是：

1、本发明在大视场红外通道中实现目标可快速发现与定位，通过坐标变换引导截取可见光通道中目标局部切片图像，进而能够实现目标的在线快速分类与识别，有效支撑海空区域中动目标信息的快速完整掌控，也可应用于陆地、太空等区域机动目标的快速检测识别，对军民领域均具有重要意义；

2、本发明根据不同目标的本征辐射特性与时空关联特征，提出红外通道动目标快速检测与定位方法，引入时-空域滤波和多维目标疑似度确认策略，显著提升目标检测准确率，降低错检率；

3、本发明利用红外通道目标定位结果，引导截取可见光图像切片进行在线快速分类识别，不仅解决了广域观测条件下目标极度稀疏、目标背景严重失衡导致的分类识别能力差的问题，还避免了全景图像海量数据处理难题，有效降低硬件资源需求与成本。

附图说明

图1是本发明的流程图；

图2是切片图像目标分类识别网络结构示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种多源协同的动目标在线检测识别方法，本发明立足于目标特性与探测感知机理，提出遥感平台多源多体制载荷协同处理的动目标在线检测识别方法，所述方法包括如下步骤：

S1：在红外通道进行动目标在线检测与定位；

飞机、舰船等动目标的喷焰、发动机、蒙皮、涂层等在红外谱段具有显著辐射特征，根据目标在物理上与背景之间能量的差异性，进行探测谱段科学优选，可在相应谱段红外通道中实现动目标快速关联检测。

S101：进行基于单帧红外图像的疑似目标初筛，得到红外图像中的高疑似度目标；

S10101：计算图像四向最大梯度，以5×5窗口为例计算公式如下：

式(1)中：

表示输入图像在d号方向上的邻域强度梯度；

j为像素编号，d为方向编号，m为计算过程中像素步进位移量；

表示输入图像在像素j位置的强度；

表示输入图像在像素j+m位置的强度；

Gd_j表示图像四向最大梯度；

max(·)为取最大值操作；

当窗口宽度为2n+1时，n为半宽度,计算公式为：

S10102：利用时域背景先验数据累加迭代衰减，在未达到时域累积门限之前，将原图与梯度起伏图像进行无替换累加衰减：

S_i＝S_i-1+W_i×f_i                           (3)

式(3)中：

i为图像帧编号；

S_i为该信号在第i帧的累加值；

S_i-1为该信号在第i-1帧的累加值；

W_i为第i帧使用的衰减权重因子；

f_i为第i帧图像；

S10103：计算背景抑制的阈值Th，进行阈值分割：

Th＝G_TM+k·G_T+ΔG                          (4)

式(4)中：

G_TM为时序均值；

k为阈值调整参数；

G_T为局部能量起伏值；

ΔG为阈值偏移量；

S10104：将单帧输出疑似目标与既有轨迹链之间进行空间关联、去重，关联窗口尺寸根据关联结果以及速度先验进行选取；

S10105：根据辐射特性、运动特性相似程度构造目标疑似度策略，高于疑似度阈值的轨迹关联目标点即为最终红外通道高疑似度目标检测结果，输出目标位置信息。

S102：通过多帧序列图像初筛目标邻域位置关联，进行高疑似度目标的关联提取目标轨迹；

S103：根据高疑似度目标的多维多尺度特征(包括：几何、光谱/辐射、时域等)以及时-空-辐关联特征计算目标疑似度；

根据多帧图像间初筛目标的运动特性、空间特性、辐射能量特性间的稳定度与关联性，构造疑似度评价函数：

Y_s＝Ψ{S_pe,S_iz,L_ve}                      (5)

式(5)中：

Y_s为多维特征疑似度；

S_pe为帧间目标运动特性相对稳定度；

S_iz为帧间目标空间特性相对稳定度；

L_ve为帧间目标辐射能量相对稳定度；

Ψ{}为疑似度计算函数，例如简单应用场景中采用运动速度、目标尺寸、亮度等信息变化率的加权平均进行计算。

S104：输出高疑似度目标检测结果。

S2：计算可见光图像中相应目标坐标位置，并截取局部目标切片；

S201：根据系统红外通道与可见光通道相面坐标系间几何变换关系，计算可见光图像中相应目标坐标位置：

(x_v,y_v)＝T_ir-v{(x_ir,y_ir)}                        (6)

式(6)中：

x_v为可见光图像中目标位置的X轴坐标；

y_v为可见光图像中目标位置的Y轴坐标；

(x_v,y_v)为可见光图像中目标位置的坐标；

x_ir为红外图像中目标中心的X轴坐标点；

y_ir为红外图像中目标中心的Y轴坐标点；

(x_ir,y_ir)为红外图像中目标中心坐标点；

T_ir-v{·}表示红外通道与可见光通道相面坐标系间几何变换关系；

S202：根据红外通道与可见光通道的分辨率差异，估算目标像素尺寸，初步得到可见光图像中目标存在的区域位置：

式(6)中：

H_v为可见光图像中目标高度；

W_v为可见光图像中目标宽度；

Gsd_v为可见光图像分辨率；

H_ir为红外图像中目标高度；

W_ir为红外图像中目标宽度；

Gsd_ir为红外图像分辨率；

S203：截取局部目标切片；

S204：扩大局部目标切片像素尺寸的截取范围：

考虑到红外通道目标定位、坐标转换等步骤均存在一定误差，红外通道与可见光通道成像也存在微小时差，截取局部目标切片时需结合目标尺寸计算结果适当扩大截取范围，例如可以2倍目标尺寸作为基准区域。

此外，对于飞机类目标，部分谱段的红外图像中提取特征本质是喷焰，目标检测结果与飞机本体位置存在偏差，该类情况下截取可见光图像切片时，还需在基准区域基础上，进一步扩大运动方向上的切片尺寸，扩大量不小于本体像素尺寸：

式(8)中：

A_dd为进一步扩大范围的像素尺寸；

S_ize为可能类型目标的最大长度。

S3：采用模板匹配、轻量化学习网络等方法在可见光局部目标切片图像中提取目标关键轮廓与细节特征信息，进行动目标分类与识别。

以步骤二中截取的局部图像数据作为输入，采用模板匹配、轻量化学习网络等方法进行动目标的快速分类识别。下面以图2所示轻量化学习网络为例进行叙述。

目标检测模型的构造主要包括网络结构和损失函数，其中网络结构主要由主干特征提取网络、多尺度融合网络和检测头组成。

示例网络模型的主干特征提取网络延续YOLO系列的CSPDarknet网络作为主要结构，在兼顾模型特征提取能力的同时减少模型参数。

多尺度融合网络引入路径聚合网络(PANet)融合浅层位置信息和深层语义信息。

考虑到可见光遥感图像中动目标特征弱、背景复杂，若只在主干特征提取网络最终层进行检测，难以保证目标分类识别精度。因此本方案中引入PANet，对不同层级的特征图进行融合，使得各层级特征图都具备语义和位置信息，并对每个融合后的层级进行分类识别。

PANet模块中结合了FPN层和两个PAN结构，FPN层自顶向下传达强语义特征，而PAN结构则自底向上传达强定位特征，从不同的主干层对不同的检测层进行特征聚合。相较于FPN模块，PANet模块加强了信息传播，具有准确保留空间信息的能力，有助于对像素进行适当的定位。

最后预测端生成多个不同尺度的特征图对图像目标类型进行预测。

为有效适应动目标种类多、变化大、样本稀疏等特性，可在检测头中引入注意力机制，提升对目标关键特征的感知能力。注意力机制模拟人眼在观察时的机制，即当注意到某个目标或某个场景时，该目标内部以及场景内每一处空间位置上的注意力分布存在差异。对于特征较为明显的目标，注意力分布相对集中。注意力机制的本质是利用相关特征图学习权重分布，再用权重施加在原特征图之上，最后进行加权求和。

空间域的注意力机制将图像中的空间域信息做对应的空间变换，将更宽范围的上下文信息编码为局部特征，对空间进行掩码的生成从而赋予相应权值，先通过全局平均池化和最大池化汇总各个空间位置处的通道信息，拼接后经过卷积层和激活函数得到权重系数。通道域的注意力机制利用通道映射之间的相互依赖关系，增强特定语义信息的表达，对通道进行掩膜的生成从而赋予相应的权值，先通过全局平均池化和最大池化汇总各个通道中的空间信息，再引入共享全连接神经网络中得到相应特征，最后通过Sigmoid激活函数得到权重系数。

损失函数可选用焦点损失函数，减少正负样本不平衡对模型收敛的影响。表达式为：

式(9)中：

L_fl为损失；

为预测概率结果；

y为样本标签；

ln表示对数运算；

γ为样本平衡因子。

搭建学习网络后进行模型训练与轻量化处理，即可用于切片图像的目标分类识别，最终得到动目标类别或型号信息，支撑态势信息实时完整掌握。

本发明是一种利用红外图像中动目标检测结果引导提取可见光目标切片并进行在线分类识别的方法。

本发明的目的是面向动目标广域探测与快速识别需求，将大视场红外通道可快速发现与高分辨率可见光通道可精细识别的目标解译优势相结合，根据红外通道目标快速检测定位结果，引导截取可见光通道中目标局部切片图像，从而进行切片数据的在线快速分类识别。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同条件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种多源协同的动目标在线检测识别方法，其特征在于：所述方法包括如下步骤：

S1：在红外通道进行动目标在线检测与定位；

S2：计算可见光图像中相应目标坐标位置，并截取局部目标切片；

S3：在可见光局部目标切片图像中提取目标关键轮廓与细节特征信息，进行动目标分类与识别。

2.根据权利要求1所述的一种多源协同的动目标在线检测识别方法，其特征在于：所述S1包括如下步骤：

S101：进行基于单帧红外图像的疑似目标初筛，得到图像中的高疑似度目标；

S102：通过多帧序列图像初筛目标邻域位置关联，进行高疑似度目标的关联提取目标轨迹；

S103：根据高疑似度目标的多维多尺度特征以及时-空-辐关联特征计算目标疑似度；

S104：输出高疑似度目标检测结果。

3.根据权利要求2所述的一种多源协同的动目标在线检测识别方法，其特征在于：所述S101包括如下步骤：

S10101：计算图像四向最大梯度，计算公式如下：

式(1)中：

j为像素编号，d为方向编号，m为计算过程中像素步进位移量；

表示输入图像在d号方向上的邻域强度梯度；

表示输入图像在像素j位置的强度；

表示输入图像在像素j+m位置的强度；

Gd_j表示图像四向最大梯度；

max(·)为取最大值操作；

S10102：利用时域背景先验数据累加迭代衰减，在未达到时域累积门限之前，将原图与梯度起伏图像进行无替换累加衰减：

S_i＝S_i-1+W_i×f_i       (3)

式(3)中：

i为图像帧编号；

S_i为该信号在第i帧的累加值；

S_i-1为该信号在第i-1帧的累加值；

W_i为第i帧使用的衰减权重因子；

f_i为第i帧图像；

S10103：计算背景抑制阈值，进行阈值分割；所述阈值Th的计算公式如下：

Th＝G_TM+k·G_T+ΔG        (4)

式(4)中：

G_TM为时序均值；

k为阈值调整参数；

G_T为局部能量起伏值；

ΔG为阈值偏移量；

S10104：将单帧输出疑似目标与既有轨迹链之间进行空间关联、去重，关联窗口尺寸根据关联结果以及速度先验进行选取；

S10105：根据辐射特性、运动特性相似程度构造目标疑似度策略，高于疑似度阈值的轨迹关联目标点即为最终红外通道目标检测结果，输出目标位置信息。

4.根据权利要求3所述的一种多源协同的动目标在线检测识别方法，其特征在于：S103所述目标疑似度的计算过程如下：

根据多帧图像间初筛目标的运动特性、空间特性、辐射能量特性间的稳定度与关联性，构造疑似度评价函数：

Y_s＝Ψ{S_pe,S_iz,L_ve}                 (5)

式(5)中：

Y_s为多维特征疑似度；

S_pe为帧间目标运动特性相对稳定度；

S_iz为帧间目标空间特性相对稳定度；

L_ve为帧间目标辐射能量相对稳定度；

Ψ{}为疑似度计算函数。

5.根据权利要求4所述的一种多源协同的动目标在线检测识别方法，其特征在于：所述S2包括如下步骤：

S201：计算可见光图像中相应目标坐标位置：

(x_v,y_v)＝T_ir-v{(x_ir,y_ir)}                   (6)

式(6)中：

x_v为可见光图像中目标位置的X轴坐标；

y_v为可见光图像中目标位置的Y轴坐标；

(x_v,y_v)为可见光图像中目标位置的坐标；

x_ir为红外图像中目标中心的X轴坐标点；

y_ir为红外图像中目标中心的Y轴坐标点；

(x_ir,y_ir)为红外图像中目标中心坐标点；

T_ir-v{·}表示红外通道与可见光通道相面坐标系间几何变换关系；

S202：根据红外通道与可见光通道的分辨率差异，估算目标像素尺寸，初步得到可见光图像中目标存在的区域位置：

式(7)中：

H_v为可见光图像中目标高度；

W_v为可见光图像中目标宽度；

Gsd_v为可见光图像分辨率；

H_ir为红外图像中目标高度；

W_ir为红外图像中目标宽度；

Gsd_ir为红外图像分辨率；

S203：截取局部目标切片；

S204：扩大局部目标切片像素尺寸的截取范围：

式(8)中：

A_dd为进一步扩大范围的像素尺寸；

S_ize为可能类型目标的最大长度。

Images