CN110348356A - 一种基于深度光流网络的连续帧rd图像目标识别方法 - Google Patents

Abstract

本发明公开了一种基于深度光流网络的连续帧雷达RD图像舰船目标检测识别方法，本发明方法首先构建连续帧雷达RD图像舰船智能目标检测识别系统，所构建的系统包括：训练数据预处理模块、连续图像特征提取与分析模块、深度光流网络检测识别模块，训练数据预处理模块，获取深度学习线下训练的大量舰船目标与干扰数据，并进行类型标定，对RD图像进行量化、平滑处理；连续图像特征提取与分析模块对连续图像序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像；深度光流网络检测识别模块根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。本发明方法针对连续帧雷达图像数据存在的帧间关联性，将深度学习模型推广至动态网络，以克服单帧图像信息不足，辨识精度不高等问题。

Description

一种基于深度光流网络的连续帧RD图像目标识别方法

技术领域

本发明涉及一种目标识别方法，特别是一种连续帧雷达RD图像舰船目标智能检测识别方法。

背景技术

目前雷达目标技术包括高分辨率目标一维距离像(HRRP)、SAR图像识别等内容。对海面高速运动的飞行器来说，雷达和目标的相对运动关系复杂，不仅包括飞行器的高机动，还包括完全未知的舰船目标运动状态，且会受到海情影响，这将导致成像结果出现距离向展宽和方位散焦，因此，距离—多普勒(Range-Doppler，RD)二维像常被用来作为飞行器雷达目标识别的重要数据来源。RD图像是相参雷达在探测海面运动目标时，对多个脉冲信号进行相参处理以获得的探测目标图像。传统的雷达目标识别算法首先对RD图像进行恒虚警检测处理；然后对舰船目标、杂波、岛屿、无源干扰等所占据的多个独立单元进行聚类处理；最后提取不同种类之间的目标有效特征，并进行目标分类识别。

在过去几年中，由深度学习研究发展延伸出来的人工智能技术，对各领域的信息处理技术都形成了不小的冲击，例如在光学图像处理中，深度学习很好地解决了图像特征自动提取的问题，在目标检测、分类与识别的各项任务中显示出卓越的性能。目前国内外将深度学习用于雷达图像处理的研究才刚刚起步，未来的飞行器希望利用深度学习技术，通过对目标、环境和干扰等特性的深入研究，深层次挖掘目标、欺骗式干扰在多维度上的微小差异，完成对复杂环境下海面舰船目标的智能识别。深度学习方法已经在静态目标检测方面取得了较为瞩目的成就，FasterR-CNN、YOLO与SSD算法都能够在保证准确率的前提下将检测的速率提升到一个非常快的水准。而对于连续图像序列数据来说，目标在数据中的位置并不像静态图像那样保持不变，而是有可能会因为变形、运动和遮挡等因素导致在某些帧上用静态检测的方法很难检测到结果，因此需要进行该方面的关键技术研究。

发明内容

本发明目的在于提供连续帧雷达RD图像舰船目标智能检测识别方法，解决在复杂海面干扰环境下，现有的雷达无法对舰船目标进行准确识别的问题。

有鉴于此，本发明提供的技术方案是：一种连续帧雷达RD图像舰船目标智能检测识别方法，其特征在于，包括：

训练数据获取、标定及预处理：获取深度学习线下训练的大量舰船目标与干扰数据，并进行类型标定，同时对距离-多普勒RD图像进行量化、平滑处理。

连续图像特征提取与分析：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像。

深度光流网络实现舰船目标检测识别：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。

至此，完成连续帧雷达RD图像舰船目标智能检测识别。

本发明实现了以下显著的有益效果：

将深度学习技术用于雷达图像处理中，利用多幅图像的帧间信息进行关联图像智能识别，根据目标之前的位置信息预测目标下一时刻的位置信息，同时将多帧识别网络与单帧识别网络相结合进行目标位置检测，单个目标时能够排除冗余帧数，提高检测速度；多个目标时，可以缓解目标遮挡和局部区域重叠问题。算法能够辅助目标的检测识别和定位，进一步提高网络性能。

附图说明

图1是本发明连续帧RD图像舰船目标智能检测识别流程图。

具体实例方式

以下结合附图对本发明的具体实施方式做出详细说明。请参照图1，本发明的一种连续帧雷达RD图像舰船目标智能检测识别方法，包括：训练数据获取、连续图像特征提取与分析、深度光流网络实现舰船目标检测识别，并给出识别结果。

一种连续帧雷达距离-多普勒RD图像舰船目标智能检测识别方法的具体步骤为：

第一步构建连续帧雷达距离-多普勒RD图像舰船目标智能检测识别系统

连续帧雷达距离-多普勒RD图像目标检测识别系统：训练数据预处理模块、连续图像特征提取与分析模块、深度光流网络检测识别模块。

训练数据预处理模块的功能为：获取深度学习线下训练的大量舰船目标与干扰数据，并进行类型标定，同时对RD图像进行量化、平滑处理。

连续图像特征提取与分析模块的功能为：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像。

深度光流网络检测识别模块的功能为：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。

第二步距离-多普勒图像训练数据获取、标定及预处理

训练数据获取：对角反射器、箔条以及舰船目标试验数据进行收集、整理、标注，深度学习模型的输入端为包含目标时域、频域信息的距离-多普勒RD图像，RD图像是相参雷达在探测海面运动目标时，对多个脉冲信号进行相参处理以获得的探测目标图像；

训练数据标定：先将回波数据转化为图像数据，然后对于目标、干扰，确定目标名称、中心点位置、长度、宽度以实现多幅图像的自动标定，对于运动目标则设定速度选项以实现自动标定；

训练数据预处理：由于雷达图像噪声的存在，连续两帧之间图像相关性会收到噪声的干扰，除却对雷达图像进行量化之外还需对图像进行滤波等平滑处理。

第三步连续帧雷达RD图像特征提取与特征分析

首先，获取一关键帧(keyframe)的图像，以及残差网络中两种卷积参数所得到的最后一个卷积层之后的特征，然后针对连续图像序列数据中当前帧(currentframe)数据，采用与关键帧用相同的卷积方式得到特征，最后利用一个流场(flowfield)将关键帧的特征图通过流场传播演化得到新的特征图，通过特征流的传播和演化，关键帧的特征图能够演化出与当前帧高度相似的深度特征图；

光流网络就是把两个图片作为两个通道输入网络，两个图片分别在两个自网络学习,中间通过相关层(correlationlayer)融合在一起，相关层是两组特征图之间的卷积,即长、宽、高为[h,w,c]的图像A中的k×k的片段(patch)和另一个长、宽、高为[h,w,c]图像B中的片段之间的卷积，公式如下

其中{·}表示向量的点积,向量的长度就是特征图的通道数，c为卷积输出结果，f₁，f₂为需要卷积的特征图，x₁，x₂为特征图中的像素点，o为片段中的像素点。

两个网络经过提炼后(refinement)最终的输出是光流场,其是一个长、宽、高为[h/4,w/4,2]的向量场,每个点都预测当前点的光流(u,v)，网络的损失函数为端点误差，

其中u_GT，v_GT为真实值(groundtruth)。

第四步构建深度光流网络实现舰船目标检测识别

构建深度特征流(DeepFeatureFlow,DFF)网络，算法流程如下：

(1)输入关键视频帧{I_i}

(2)初始化关键帧k＝0,f₀＝N_feat(I₀),y₀＝N_task(f₀)

(3)设置遍历变量i，遍历所有帧图像

(4)如果关键帧等同当前帧，则更新关键帧k＝i；f_k＝N_feat(I_k)，y_k＝N_task(f_k)；

(5)否则使用特征流进行传播f_i＝W(f_k,F(I_k,I_i),S(I_k,I_i))，y_i＝N_task(f_i)。

(6)结束遍历，输出识别结果{y_i}

其中I_i表示视频序列中的第i帧图像，f_i表示第i帧图像的深度特征图，N_feat表示特征提取网络，N_task表示任务网络，即表示某一帧图像的特征图上的目标检测，使用的模型为基于区域的全卷积神经网络。y_i表示目标检测网络在特征图上进行目标检测后的结果，W表示由关键帧的特征图传播演化成当前帧的特征图，M_i→k为一个二维的流场(flowfield)，由流估计函数F(I_k,I_i)表示，它的作用是通过双线性插值法将关键帧的特征图演化成当前帧的特征图，S(I_k,I_i)为尺度场用来调整因为流估计错误而造成的特征图的空间形变。

深度光流网络在关键帧的图像上进行特征提取和目标检测，在其它当前帧的图像上，利用特征图的传播演化将关键帧的特征图演化为当前帧的特征图，再进行目标检测任务。在整体网络的结构中，特征提取的网络使用预训练的残差网络，特征图的传播和演化使用的是预训练的神经光流网络，在特征图上进行目标检测的网络是全卷积神经网络，整个网络的训练是端到端的。

至此，完成连续帧雷达RD图像舰船目标智能检测识别

本发明实现了以下显著的有益效果：

将深度学习技术用于雷达图像处理中，利用多幅图像的帧间信息进行关联图像智能识别，根据目标之前的位置信息预测目标下一时刻的位置信息，同时将多帧识别网络与单帧识别网络相结合进行目标位置检测，单个目标时能够排除冗余帧数，提高检测速度；多个目标时，可以缓解目标遮挡和局部区域重叠问题。算法能够辅助目标的检测识别和定位，进一步提高网络性能。

Claims (4)

1.一种基于深度光流网络的连续帧雷达距离-多普勒RD图像舰船目标检测识别方法，其特征在于，其包括步骤：

训练数据获取、标定及预处理：获取深度学习线下训练的舰船目标与干扰数据，并进行类型标定，同时对距离-多普勒RD图像进行量化、平滑处理；

连续图像特征提取与分析：对连续序列数据中某一帧图像进行特征提取及分析，并将检测结果快速并准确的传播给其他帧的图像；

深度光流网络实现舰船目标检测识别：根据连续帧雷达RD图像信息，构建深度光流网络对RD图像中舰船目标进行检测识别。

2.根据权利要求1所述的方法，其特征在于，

其中，距离-多普勒图像训练数据获取、标定及预处理包括：

训练数据获取：对角反射器、箔条以及舰船目标试验数据进行收集、整理、标注，深度学习模型的输入端为包含目标时域、频域信息的距离-多普勒RD图像，RD图像是相参雷达在探测海面运动目标时，对多个脉冲信号进行相参处理以获得的探测目标图像；

训练数据标定：先将回波数据转化为图像数据，然后对于目标、干扰，确定目标名称、中心点位置、长度、宽度以实现多幅图像的自动标定，对于运动目标则设定速度选项以实现自动标定；

训练数据预处理：由于雷达图像噪声的存在，连续两帧之间图像相关性会收到噪声的干扰，除却对雷达图像进行量化之外还需对图像进行滤波等平滑处理。

3.根据权利要求2所述的方法，其特征在于，

连续帧雷达RD图像特征提取与特征分析包括：

首先，获取一关键帧key frame的图像，以及残差网络中两种卷积参数所得到的最后一个卷积层之后的特征，然后针对连续图像序列数据中当前帧current frame数据，采用与关键帧用相同的卷积方式得到特征，最后利用一个流场flow field将关键帧的特征图通过流场传播演化得到新的特征图，通过特征流的传播和演化，关键帧的特征图能够演化出与当前帧高度相似的深度特征图；

光流网络就是把两个图片作为两个通道输入网络，两个图片分别在两个自网络学习,中间通过相关层correlation layer融合在一起，相关层是两组特征图之间的卷积,即长、宽、高为[h,w,c]的图像A中的k×k的片段patch和另一个长、宽、高为[h,w,c]图像B中的片段之间的卷积，公式如下

其中{·}表示向量的点积,向量的长度就是特征图的通道数，c为卷积输出结果，f₁，f₂为需要卷积的特征图，x₁，x₂为特征图中的像素点，o为片段中的像素点；

两个网络经过提炼后最终的输出是光流场,其是一个长、宽、高为[h/4,w/4,2]的向量场,每个点都预测当前点的光流(u,v)，网络的损失函数为端点误差，

其中u_GT，v_GT为真实值groundtruth。

4.根据权利要求3所述的方法，其特征在于，

深度光流网络实现舰船目标检测识别

构建深度特征流DFF网络，算法流程如下：

(1)输入关键视频帧{I_i}；

(2)初始化关键帧k＝0,f₀＝N_feat(I₀),y₀＝N_task(f₀)；

(3)设置遍历变量i，遍历所有帧图像；

(4)如果关键帧等同当前帧，则更新关键帧k＝i；f_k＝N_feat(I_k)，y_k＝N_task(f_k)；

(5)否则使用特征流进行传播f_i＝W(f_k,F(I_k,I_i),S(I_k,I_i))，y_i＝N_task(f_i)；

(6)结束遍历，输出识别结果{y_i}；

其中I_i表示视频序列中的第i帧图像，f_i表示第i帧图像的深度特征图，N_feat表示特征提取网络，N_task表示任务网络，即表示某一帧图像的特征图上的目标检测，使用的模型为基于区域的全卷积神经网络；y_i表示目标检测网络在特征图上进行目标检测后的结果，W表示由关键帧的特征图传播演化成当前帧的特征图，M_i→k为一个二维的流场(flow field)，由流估计函数F(I_k,I_i)表示，它的作用是通过双线性插值法将关键帧的特征图演化成当前帧的特征图，S(I_k,I_i)为尺度场用来调整因为流估计错误而造成的特征图的空间形变；

深度光流网络在关键帧的图像上进行特征提取和目标检测，在其它当前帧的图像上，利用特征图的传播演化将关键帧的特征图演化为当前帧的特征图，再进行目标检测任务；在整体网络的结构中，特征提取的网络使用预训练的残差网络，特征图的传播和演化使用的是预训练的神经光流网络，在特征图上进行目标检测的网络是全卷积神经网络，整个网络的训练是端到端的。