CN115656958A - 实时航迹起始和航迹分类的检测方法及检测装置 - Google Patents

实时航迹起始和航迹分类的检测方法及检测装置 Download PDF

Info

Publication number
CN115656958A
CN115656958A CN202211391820.9A CN202211391820A CN115656958A CN 115656958 A CN115656958 A CN 115656958A CN 202211391820 A CN202211391820 A CN 202211391820A CN 115656958 A CN115656958 A CN 115656958A
Authority
CN
China
Prior art keywords
track
real
candidate
network
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211391820.9A
Other languages
English (en)
Inventor
陶原野
胡亮
郑敏娥
王镜宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cric Technology Co ltd
Sichuan Changhong Electronic Holding Group Co Ltd
Original Assignee
Sichuan Cric Technology Co ltd
Sichuan Changhong Electronic Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cric Technology Co ltd, Sichuan Changhong Electronic Holding Group Co Ltd filed Critical Sichuan Cric Technology Co ltd
Priority to CN202211391820.9A priority Critical patent/CN115656958A/zh
Publication of CN115656958A publication Critical patent/CN115656958A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种实时航迹起始和航迹分类的检测方法,包括:输入N个连续时间步长的连续波雷达回波点迹数据,合并后进行预处理;把预处理后的数据输入到稀疏神经网络初步预测出候选航迹和对应目标类别;对候选航迹首先进行真实航迹匹配然后进行运动学过滤,剔除不符合过滤规则的航迹;把过滤后的候选航迹分别输入空间特征提取网络提取空间特征,输入时序特征提取网络提取时序特征;把上一步得到的空间特征和时间特征合并以后,使用transformer进行分类;对输出结果进行后处理以后,输出最终的分类结果和对应的航迹;本发明还公开了一种实时航迹起始和航迹分类的检测装置;本发明能高效准确的检测出目标的航迹和类别。

Description

实时航迹起始和航迹分类的检测方法及检测装置
技术领域
本发明涉及雷达检测技术领域,特别是一种实时航迹起始和航迹分类的检测方法及检测装置。
背景技术
对连续波雷达检测数据进行目标航迹起始是多目标跟踪技术里最基础和最重要的任务。航迹起始,具体来说指的是在雷达还没进行稳定的目标跟踪之前所进行的目标航迹确定过程;而航迹分类可以指对航迹所代表的目标类型进行分类或者对航迹运动模式进行分类;一般来说航迹起始和航迹分类是分开的两个过程。经典航迹起始按照数据不同的处理方式可以分为顺序处理方法和批处理方法,顺序处理方法包括逻辑法、启发式规则法等;批处理方法包括Hough变换及其变种算法。顺序处理法计算量小运算速度快,但是效果一般,通常适用于弱杂波的检测环境;而批处理法计算量大运算耗时长,有着不错的效果可以适用于强杂波的检测环境。经典航迹分类包括规则法和传统的机器学习算法等,一般通过雷达回波信号里提供的信息,例如距离、方位、强度和幅度等,人工构造特征然后使用规则或者分类器进行检测。而现代雷达检测环境日益严峻,强杂波环境变得普遍、对检测速度的要求以及检测目标的增多,让传统的航迹起始和航迹分类方案越来越难以满足要求。而近年来,深度学习因为具有较高准确性、运算速度快以及能处理复杂数据等优势在人脸识别、自然语言等领域获得了成功,因此也有了初步使用深度学习进行雷达数据航迹起始的探索。目前使用深度学习进行航迹起始的算法大致可以分为两类:基于卷积神经网络的方法和基于递归神经网络的方法。基于卷积神经网络的方法把回波信号转换为图片的形式,然后使用卷积提取出对应特征从而进行检测。基于递归神经网络的方法则根据信号的时序性质提取特征进行检测。而对于航迹分类,一般是使用SVM、MLP或者卷积神经网络进行分类。
虽然该领域有很多经典的方法也有初步使用的深度学习算法,这些方法在实际应用过程中也面临很多问题,总结起来有以下几点:
1、目前雷达检测都是复杂的强杂波环境,传统的航迹起始方法(例如Hough变换等)运算量太大检测速度不够快;
2、目前基于卷积神经网络的航迹起始方法所用的特征是由人工设计的,具有局限性;同时也没有利用数据的时序性特征;
3、目前基于递归神经网络的方法在强杂波环境效果欠佳,同时检测速度不够迅速;
4、目前的深度学习方法都要使用一定的规则进行航迹候选集生成,该过程耗费时间较长。
发明内容
为解决现有技术中存在的问题,本发明的目的是提供一种实时航迹起始和航迹分类的检测方法及检测装置,本发明采用深度学习模型直接对连续波雷达的回波点迹数据进行处理,不使用额外的辅助信息也不耗时进行航迹候选集生成,能高效准确的检测出目标的航迹和类别。
为实现上述目的,本发明采用的技术方案是:一种实时航迹起始和航迹分类的检测方法,包括以下步骤:
步骤1、输入N个连续时间步长的连续波雷达回波点迹数据,合并后进行预处理;
步骤2、把预处理后的数据输入到稀疏神经网络初步预测出候选航迹和对应目标类别;
步骤3、对候选航迹首先进行真实航迹匹配然后进行运动学过滤,剔除不符合过滤规则的航迹;
步骤4、把过滤后的候选航迹分别输入空间特征提取网络提取空间特征,输入时序特征提取网络提取时序特征;
步骤5、把上一步得到的空间特征和时间特征合并以后,使用transformer进行分类;
步骤6、对输出结果进行后处理以后,输出最终的分类结果和对应的航迹。
作为本发明的进一步改进,步骤1中的预处理包括把雷达回波里提供的距离、方位和俯仰数据转换为三维空间的欧式坐标。
作为本发明的进一步改进,在步骤2中,所述稀疏神经网络包括骨干层、解码层和输出层,输入数据通过骨干层提取特征,特征经过解码层解码然后进入输出层得到结果。
作为本发明的进一步改进,步骤2具体如下:
把回波点迹数据转换后的三维坐标数据输入到稀疏神经网络,稀疏神经网络输出候选航迹的相关信息,具体包括候选航迹坐标、该航迹是否是真实航迹的概率值、该条航迹代表的物体类别信息;然后根据是否是真实航迹的概率值进行一次过滤。
作为本发明的进一步改进,步骤3中进行真实航迹匹配包括选取距离预测出的候选航迹最近的点迹作为匹配出来的真实航迹;运动学过滤包括速度筛选、加速度筛选和偏航角筛选。
作为本发明的进一步改进,步骤4中,空间特征的提取具体包括把候选航迹对应的回波信息输入空间特征提取网络,得到空间特征向量,其中,空间特征提取网络为3D稀疏卷积网络HDResNet;时间特征的提取具体包括:把候选航迹对应的回波信息按照时间顺序排列输入时序特征提取网络,得到时序特征向量,其中,时序特征提取网络为堆叠了多层的一维扩大卷积网络,每层之间进行残差连接。
作为本发明的进一步改进,所述稀疏神经网络提取候选航迹的损失函数由航迹坐标损失、是否是真实航迹的概率损失和该条航迹代表的物体类别损失组成,对于航迹的坐标损失采用光滑L1损失函数,对于是否是真实航迹的概率损失和该条航迹代表的物体类别损失都分别采用交叉熵损失函数;使用transformer对候选航迹进行分类的损失包括是否是真实航迹的概率损失和该条航迹代表的物体类别损失,均采用交叉熵损失函数;训练时,通过最大化该损失函数进行优化;训练过程中,当损失值不在合理范围内时,调整参数并继续训练,直到损失值下降到合理范围内时。
本发明还公开了一种实时航迹起始和航迹分类的检测装置,包括:
点迹数据预处理模块,用于对连续波雷达连续多个步长的回波数据进行合并,然后进行3D欧式坐标转换,得到下一步的标准输入数据;
稀疏网络骨干模块,由多层HDResNet网络组成,用于对输入的3D坐标数据提取特征,每一层得到的固定长度的骨干特征向量;
稀疏网络解码模块,由多层稀疏卷积网络组成,用于把骨干模型得到的多个特征向量分别输入对应层数的解码模块,然后把输出结果合并一起输入稀疏网络的输出模块;
稀疏网络输出模块,由稀疏卷积网络组成,用于把解码成的得到的向量输入输出层,得到输出结果;
稀疏网络的后处理模型,用于把输出模块的结果进行后处理,后处理根据输出层得到的是否是航迹根据阈值进行过滤,把小于阈值的结果舍去;
运动学过滤模块,首先对候选航迹选择距离其最近真实航迹作为该候选航迹的输出,然后进行规则过滤,分为速度规则、加速度规则和偏航角规则,把速度、加速度和偏航角异常的航迹剔除,得到最终的候选航迹结果;
空间特征提取模块和时序特征提取模块,空间特征提取模块由一个稀疏卷积网络HDResNet组成,时序特征提取模块由一个堆叠了多层的扩大卷积网络组成,从候选航迹的回波数据里分布提取出空间特征和时序特征;
Transformer分类模块,用于把空间特征和时序特征合并后输入transformer模块进行航迹分类和航迹真假判断。
本发明的有益效果是:
1、适应强杂波环境,能很好的检测出四个周期数据里的目标航迹和所属类别;
2、使用稀疏神经网络和一维时序卷积提高检测速度,实用性强;
3、不使用额外信息同时模型使用了模块化设计,可以根据不同场景进行调整,适应不同的检测需求。
附图说明
图1为本发明实施例中检测方法的流程图;
图2为本发明实施例中检测装置的结构图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例
如图1所示,一种实时航迹起始和航迹分类的检测方法,包括以下步骤:
A、对输入的N帧雷达点迹数据进行合并后预处理:
帧数N的数目根据需求灵活选择。对预处理的方法,包括:把雷达回波里提供的距离、方位和俯仰数据转换为3维空间的欧式坐标。
B、输入稀疏神经网络进行航迹提取:
稀疏神经网络由骨干层、解码层和输出层组成。输入数据通过骨干层提取特征,特征经过解码层解码然后进入输出层得到结果。
稀疏神经网络提取候选航迹的流程为:把回波点迹数据转换后的三维坐标数据输入到稀疏神经网络,稀疏网络输出128或者256个候选航迹的相关信息,具体包括候选航迹四个点坐标,该航迹是否是真实航迹的概率值、该条航迹代表的物体类别信息。然后后处理流程根据是否是真实航迹的概率值进行一次过滤。
C、对识别的候选航迹进行运动学过滤:
运动学过滤包括以下的步骤:首先进行真实航迹匹配,然后进行速度筛选、加速度筛选和偏航角筛选;真实航迹匹配指的是选取距离预测出的候选航迹最近的点迹作为匹配出来的真实航迹。
D、对候选航迹数据提取空间特征和时序特征:
空间特征提取网络是一个3D稀疏卷积网络HDResNet;空间特征的提取流程为把候选航迹对应的回波信息,例如坐标、信号强度、幅度等输入提取网络,得到一个64维的空间特征向量;
时序特征提取网络的构成是一个堆叠了多层的一维扩大卷积网络,每层之间还进行了残差连接,堆叠的层数可以根据需求灵活选择;时序特征的提取的流程为把候选航迹对应的回波信息按照时间顺序排列输入时序特征提取网络,得到一个64维的时序特征向量。
E、合并特征使用transfomer进行分类:
空间特征和时序特征的合并直接拼接得到,合并后的特征输入了一个transformer得到最终结果,最终结果包括该航迹是否真实的概率和该航迹代表的目标分类。
F、输出最终的航迹和分类结果:
把transformer输出的概率值根据阈值过滤后,输出最终的航迹和该航迹的分类结果。
具体地,还包括对模型损失函数的设定,迭代更新所述模型参数的方法的设定,每个模块网络的神经网络层数以及每次神经元数量,特征向量长度的设置,概率过滤阈值的设定,对所述模型中各层参数的初始化,各个网络层之间的连接以及对齐,对所述模型训练参数的选择和进行训练等。
损失函数有多个部分组成,总体的损失函数由稀疏神经网络提取候选航迹的损失和使用transformer对候选航迹进行分类的损失组合而成。其中稀疏神经网络提取候选航迹的损失函数由航迹坐标损失、是否是真实航迹的概率损失和该条航迹代表的物体类别损失组成,对于航迹的坐标损失采用光滑L1损失函数,对于是否是真实航迹的概率损失和该条航迹代表的物体类别损失都分别采用交叉熵损失函数。其中使用transformer对候选航迹进行分类的损失包括是否是真实航迹的概率损失和该条航迹代表的物体类别损失,均采用交叉熵损失函数。训练时,通过最大化该损失函数对模型进行优化;训练过程中,当损失值不在合理范围内时,调整模型参数并继续训练,直到损失值下降到合理范围内时,将该模型作为最终的航迹起始和航迹分类模型。
集成稀疏神经网络和时序卷积网络的实时航迹起始和航迹分类方法,不需人工制定规则,不采用额外的辅助信息,只要有足够的训练数据就可以训练出合适的模型,直接快速得到雷达回波数据里的航迹和代表的物体类别信息,具有广泛的应用场景。
如图2所示,本实施例还提供一种实时航迹起始和航迹分类的检测装置,包括:
点迹数据预处理模块,对连续波雷达连续多个步长的回波数据进行合并,然后进行3D欧式坐标转换,得到下一步的标准输入数据;
稀疏网络骨干模块,由多层HDResNet网络组成,对输入的3D坐标数据提取特征,每一层得到的固定长度的骨干特征向量。
稀疏网络解码模块,由多层稀疏卷积网络组成,把骨干模型得到的多个特征向量分别输入对应层数的解码模块,然后把输出结果合并一起输入稀疏网络的输出模块。
稀疏网络输出模块,由稀疏卷积网络组成,把解码成的得到的向量输入输出层,得到输出结果。
稀疏网络的后处理模型,把输出模块的结果进行后处理,后处理根据输出层得到的是否是航迹根据阈值进行过滤,把小于阈值的结果舍去。
运动学过滤模块,因为稀疏网络得到的航迹坐标不一定是真实值,首先就对候选航迹选择距离其最近真实航迹作为该候选航迹的输出,然后进行规则过滤,分为速度规则、加速度规则和偏航角规则,把速度、加速度和偏航角异常的航迹剔除,得到最终的候选航迹结果。
空间特征提取模块和时序特征提取模块,空间特征提取模块由一个稀疏卷积网络HDResNet组成。时序特征提取模块由一个堆叠了多层的扩大卷积网络组成。从候选航迹的回波数据里分布提取出空间特征和时序特征。
Transformer分类模块:把空间特征和时序特征合并后输入transformer模块进行航迹分类和航迹真假判断。
以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (8)

1.一种实时航迹起始和航迹分类的检测方法,其特征在于,包括以下步骤:
步骤1、输入N个连续时间步长的连续波雷达回波点迹数据,合并后进行预处理;
步骤2、把预处理后的数据输入到稀疏神经网络初步预测出候选航迹和对应目标类别;
步骤3、对候选航迹首先进行真实航迹匹配然后进行运动学过滤,剔除不符合过滤规则的航迹;
步骤4、把过滤后的候选航迹分别输入空间特征提取网络提取空间特征,输入时序特征提取网络提取时序特征;
步骤5、把上一步得到的空间特征和时间特征合并以后,使用transformer进行分类;
步骤6、对输出结果进行后处理以后,输出最终的分类结果和对应的航迹。
2.根据权利要求1所述的实时航迹起始和航迹分类的检测方法,其特征在于,步骤1中的预处理包括把雷达回波里提供的距离、方位和俯仰数据转换为三维空间的欧式坐标。
3.根据权利要求2所述的实时航迹起始和航迹分类的检测方法,其特征在于,在步骤2中,所述稀疏神经网络包括骨干层、解码层和输出层,输入数据通过骨干层提取特征,特征经过解码层解码然后进入输出层得到结果。
4.根据权利要求3所述的实时航迹起始和航迹分类的检测方法,其特征在于,步骤2具体如下:
把回波点迹数据转换后的三维坐标数据输入到稀疏神经网络,稀疏神经网络输出候选航迹的相关信息,具体包括候选航迹坐标、该航迹是否是真实航迹的概率值、该条航迹代表的物体类别信息;然后根据是否是真实航迹的概率值进行一次过滤。
5.根据权利要求1或4所述的实时航迹起始和航迹分类的检测方法,其特征在于,步骤3中进行真实航迹匹配包括选取距离预测出的候选航迹最近的点迹作为匹配出来的真实航迹;运动学过滤包括速度筛选、加速度筛选和偏航角筛选。
6.根据权利要求5所述的实时航迹起始和航迹分类的检测方法,其特征在于,步骤4中,空间特征的提取具体包括把候选航迹对应的回波信息输入空间特征提取网络,得到空间特征向量,其中,空间特征提取网络为3D稀疏卷积网络HDResNet;时间特征的提取具体包括:把候选航迹对应的回波信息按照时间顺序排列输入时序特征提取网络,得到时序特征向量,其中,时序特征提取网络为堆叠了多层的一维扩大卷积网络,每层之间进行残差连接。
7.根据权利要求6所述的实时航迹起始和航迹分类的检测方法,其特征在于,所述稀疏神经网络提取候选航迹的损失函数由航迹坐标损失、是否是真实航迹的概率损失和该条航迹代表的物体类别损失组成,对于航迹的坐标损失采用光滑L1损失函数,对于是否是真实航迹的概率损失和该条航迹代表的物体类别损失都分别采用交叉熵损失函数;使用transformer对候选航迹进行分类的损失包括是否是真实航迹的概率损失和该条航迹代表的物体类别损失,均采用交叉熵损失函数;训练时,通过最大化该损失函数进行优化;训练过程中,当损失值不在合理范围内时,调整参数并继续训练,直到损失值下降到合理范围内时。
8.一种实时航迹起始和航迹分类的检测装置,其特征在于,包括:
点迹数据预处理模块,用于对连续波雷达连续多个步长的回波数据进行合并,然后进行3D欧式坐标转换,得到下一步的标准输入数据;
稀疏网络骨干模块,由多层HDResNet网络组成,用于对输入的3D坐标数据提取特征,每一层得到的固定长度的骨干特征向量;
稀疏网络解码模块,由多层稀疏卷积网络组成,用于把骨干模型得到的多个特征向量分别输入对应层数的解码模块,然后把输出结果合并一起输入稀疏网络的输出模块;
稀疏网络输出模块,由稀疏卷积网络组成,用于把解码成的得到的向量输入输出层,得到输出结果;
稀疏网络的后处理模型,用于把输出模块的结果进行后处理,后处理根据输出层得到的是否是航迹根据阈值进行过滤,把小于阈值的结果舍去;
运动学过滤模块,首先对候选航迹选择距离其最近真实航迹作为该候选航迹的输出,然后进行规则过滤,分为速度规则、加速度规则和偏航角规则,把速度、加速度和偏航角异常的航迹剔除,得到最终的候选航迹结果;
空间特征提取模块和时序特征提取模块,空间特征提取模块由一个稀疏卷积网络HDResNet组成,时序特征提取模块由一个堆叠了多层的扩大卷积网络组成,从候选航迹的回波数据里分布提取出空间特征和时序特征;
Transformer分类模块,用于把空间特征和时序特征合并后输入transformer模块进行航迹分类和航迹真假判断。
CN202211391820.9A 2022-11-08 2022-11-08 实时航迹起始和航迹分类的检测方法及检测装置 Pending CN115656958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211391820.9A CN115656958A (zh) 2022-11-08 2022-11-08 实时航迹起始和航迹分类的检测方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211391820.9A CN115656958A (zh) 2022-11-08 2022-11-08 实时航迹起始和航迹分类的检测方法及检测装置

Publications (1)

Publication Number Publication Date
CN115656958A true CN115656958A (zh) 2023-01-31

Family

ID=85015878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211391820.9A Pending CN115656958A (zh) 2022-11-08 2022-11-08 实时航迹起始和航迹分类的检测方法及检测装置

Country Status (1)

Country Link
CN (1) CN115656958A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117111013A (zh) * 2023-08-22 2023-11-24 南京慧尔视智能科技有限公司 一种雷达目标跟踪航迹起始方法、装置、设备及介质
WO2024164449A1 (zh) * 2023-02-08 2024-08-15 南京莱斯电子设备有限公司 一种基于量子粒子群和lgbm的雷达目标航迹起始方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024164449A1 (zh) * 2023-02-08 2024-08-15 南京莱斯电子设备有限公司 一种基于量子粒子群和lgbm的雷达目标航迹起始方法
CN117111013A (zh) * 2023-08-22 2023-11-24 南京慧尔视智能科技有限公司 一种雷达目标跟踪航迹起始方法、装置、设备及介质
CN117111013B (zh) * 2023-08-22 2024-04-30 南京慧尔视智能科技有限公司 一种雷达目标跟踪航迹起始方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN110210463B (zh) 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
Li et al. Mimicking very efficient network for object detection
Fang et al. 3d-siamrpn: An end-to-end learning method for real-time 3d single object tracking using raw point cloud
Zhang et al. Pedestrian detection method based on Faster R-CNN
CN115656958A (zh) 实时航迹起始和航迹分类的检测方法及检测装置
CN111161315B (zh) 一种基于图神经网络的多目标跟踪方法和系统
CN108694346B (zh) 一种基于两级cnn的船舶辐射噪声信号识别方法
CN108764019A (zh) 一种基于多源深度学习的视频事件检测方法
CN110287770B (zh) 一种基于卷积神经网络的水中个体目标匹配识别方法
CN112364721A (zh) 一种道面异物检测方法
Guo et al. Radar target recognition based on feature Pyramid fusion lightweight CNN
CN116343041A (zh) 一种基于hrrp与sar数据特征级融合的舰船分类方法
CN112395953A (zh) 一种道面异物检测系统
Shi et al. Pv-rcnn: The top-performing lidar-only solutions for 3d detection/3d tracking/domain adaptation of waymo open dataset challenges
WO2022127819A1 (en) Sequence processing for a dataset with frame dropping
CN110610152B (zh) 基于判别特征学习无监督网络的多光谱云检测方法
Liu et al. Tiny electronic component detection based on deep learning
Ashok et al. An improving recognition accuracy of underwater acoustic targets based on gated recurrent unit (GRU) neural network method
CN113822375B (zh) 一种改进的交通图像目标检测方法
Pan et al. An effective marine target detection algorithm based on YOLOv3
Li et al. Actual Image Data Generation and Application via Generative Adversarial Network
Li et al. A Deconvolutional Bottom-up Deep Network for multi-person pose estimation
Ding et al. FA-YOLO: An Improved YOLOv5 Sonar Image Target Detection Model Based on Focal Attention
Shao et al. Comprehensive study of image processing techniques for low-altitude target recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination