CN114611569A - 一种基于知识辅助的雷达目标深度学习分类方法、系统 - Google Patents

一种基于知识辅助的雷达目标深度学习分类方法、系统 Download PDF

Info

Publication number
CN114611569A
CN114611569A CN202210059146.8A CN202210059146A CN114611569A CN 114611569 A CN114611569 A CN 114611569A CN 202210059146 A CN202210059146 A CN 202210059146A CN 114611569 A CN114611569 A CN 114611569A
Authority
CN
China
Prior art keywords
knowledge
target
deep learning
spectrum
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210059146.8A
Other languages
English (en)
Other versions
CN114611569B (zh
Inventor
张亮
王彦华
韩畅
姚迪
王宏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210059146.8A priority Critical patent/CN114611569B/zh
Publication of CN114611569A publication Critical patent/CN114611569A/zh
Application granted granted Critical
Publication of CN114611569B publication Critical patent/CN114611569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于知识辅助的雷达目标深度学习分类方法、系统，将目标的时序信息连续的多帧RD谱作为数据样本，根据RD谱提取图像知识和目标知识作为深度学习网络的输入，从而提供了时间维度的目标信息，获得更多有利于目标分类的目标信息，提高了深度学习网络的学习效率和分类性能。训练得深度学习分类模型，包括知识辅助模块、知识融合模块和分类模块。在训练深度学习分类模型时，在知识辅助模块利用图像知识引导深度学习网络关注到数据样本中包含更多目标信息的样本区域，然后将知识辅助模块输出的空间特征输入知识融合模块得到深度特征并与目标知识融合，对网络学习过程中进行信息补充，获得更利于分类的信息。

Description

一种基于知识辅助的雷达目标深度学习分类方法、系统
技术领域
本发明涉及汽车雷达目标分类技术领域，具体涉及一种基于知识辅助的雷达目标深度学习分类方法、系统。
背景技术
汽车雷达是应用于汽车或其他地面机动车辆，能够测量物体相对距离、相对速度、相对方位的高精度传感器，以其全天时全天候的工作能力，广泛应用于智能驾驶领域。其中，准确地对检测出的目标进行分类，即类别判断，例如目标属于机动车辆、非机动车辆或者行人，对驾驶员判断或汽车驾驶模式的选择有重要意义，是保障驾驶安全的重要研究内容。
目标的RD谱包含了目标的距离、速度等信息，且对于不同的目标，如行人、车辆等具有较好的区分性，在汽车雷达目标分类领域有重要意义。传统方法从RD谱中提取目标特征，并将有区分性的特征放入训练好的分类器，如支持向量机(Support Vector Machine，SVM)或随机森林(Random Forests，RF)分类器中进行分类，然而这种特征提取与分类器结合的方法很大程度上需要专家的经验及积累的知识来判断所提取的特征是否有效。
深度学习技术能够自主提取有区分性的数据特征，并输出分类结果。近年来以其良好的性能，逐渐进入汽车雷达目标分类领域。这种方法可以避免手动提取特征的局限性，并能够实现良好的分类效果，但由于该方法基于数据驱动，需要大量包含较多目标信息的训练数据。而在实际汽车雷达目标分类应用场景中，RD谱对于行人、车辆等目标来说，距离及多普勒分辨率有限，导致基于RD谱能够提取到的信息是有限的，直接利用网络自主进行特征提取，难以获取充足的目标信息，会导致目标分类的效果下降。
发明内容
有鉴于此，本发明提供了一种基于知识辅助的雷达目标深度学习分类方法、系统，能够引导深度学习网络更加关注数据样本中包含更多目标信息的区域，为目标分类提供了更多信息，提高深度学习网络的目标分类性能。
本发明采用的具体技术方案如下：
一种基于知识辅助的雷达目标深度学习分类方法，包括：
步骤一、以若干帧时序信息连续的距离-多普勒RD谱构建数据样本，同时根据所述RD谱提取图像知识和目标知识；
所述图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征；
步骤二、训练获得深度学习分类模型，包括知识辅助模块、知识融合模块和分类模块；
利用所述数据样本并引入所述图像知识对所述知识辅助模块进行训练，得到数据样本中每帧RD谱的空间特征；利用所述空间特征对所述知识融合模块进行训练得到所述数据样本的深度特征，并将所述深度特征与目标知识进行融合，得到最终样本特征；利用所述最终样本特征对所述分类模块进行训练获得目标类别；
步骤三、将待识别的目标类别的数据样本以及与所述数据样本对应的图像知识和目标知识输入到所述深度学习分类模型中，即可获得目标类别。
进一步地，所述步骤一中，根据所述RD谱提取图像知识和目标知识为：
针对每帧RD谱，以所述RD谱的每个像素点为中心，选取每个像素点的有效区域，计算每个像素点的所述有效区域的平均能量特征和起伏特征作为所述图像知识；
针对每帧RD谱，进行二维检测获得目标的距离维延展特征和多普勒维延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成所述目标知识。
进一步地，所述步骤二中，所述知识辅助模块的训练过程为：
将所述数据样本的每帧RD谱依次输入到第一卷积层中提取每帧RD谱的特征图F，将所述特征图F分别输入到最大池化层和平均池化层中获得MaxPool(F)和AvgPool(F)；通过Concat层对MaxPool(F)、AvgPool(F)、所述平均能量特征和所述起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧RD谱的空间特征。
进一步地，所述步骤二中，所述知识融合模块的训练过程为：
将所述空间特征输入卷积长短时间记忆ConvLSTM网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过Concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征；
所述数据样本的深度特征包括所述若干帧RD谱的空间特征和时序信息。
进一步地，所述步骤二中，所述分类模块的训练过程为：
将所述最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将所述简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
进一步地，在训练所述深度学习分类模型的过程中，采用交叉熵损失函数对训练过程进行优化，所述交叉熵损失函数为：
Figure BDA0003477467610000031
其中，CE表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，
Figure BDA0003477467610000041
表示第i个数据样本的预测类别。
一种基于知识辅助的雷达目标深度学习分类系统，包括：数据处理模块和深度学习分类模块；
所述数据处理模块用于将若干帧时序信息连续的距离-多普勒RD谱组成数据样本，并提取每帧RD谱的图像知识和目标知识；
所述图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征；
所述深度学习分类模块包括空间特征知识辅助单元、知识融合单元和分类单元；
所述知识辅助单元用于根据所述数据样本和所述图像知识进行空间特征提取，并输出的每帧RD谱的空间特征至所述知识融合单元；
所述知识融合单元用于根据所述空间特征和所述目标知识进行最终样本特征提取，并输出数据样本的最终样本特征至所述分类模块；
所述分类单元用于根据所述最终样本特征进行目标分类，输出数据样本的类别即目标类别。
进一步地，所述数据处理模块中，所述提取每帧RD谱的图像知识和目标知识为：
针对每帧RD谱，以所述RD谱的每个像素点为中心，选取每个像素点的有效区域，计算所述有效区域的平均能量特征和起伏特征作为所述图像知识；
针对每帧RD谱，进行二维检测获得目标的距离维延展特征和多普勒维的延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成所述目标知识。
进一步地，所述知识辅助单元的训练过程为：将每帧RD谱依次输入到第一卷积层中提取每帧RD谱的特征图F，将所述特征图F分别输入到最大池化层和平均池化层中获得MaxPool(F)和AvgPool(F)；通过Concat层对MaxPool(F)、AvgPool(F)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧RD谱的空间特征；
所述知识融合单元的训练过程为：将所述空间特征输入卷积长短时间记忆ConvLSTM网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过Concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征；
所述数据样本的深度特征包括所述若干帧RD谱的空间特征和时序信息；
所述分类单元的训练过程为：将所述最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将所述简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
进一步地，所述雷达目标深度学习分类系统还包括优化模块，所述优化模块用于根据交叉熵损失函数对所述深度学习分类模块的训练过程进行优化，所述交叉熵损失函数为：
Figure BDA0003477467610000051
其中，CE表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，
Figure BDA0003477467610000052
表示第i个数据样本的预测类别。
有益效果：
(1)一种基于知识辅助的雷达目标深度学习分类方法，将目标的时序信息连续多帧RD谱作为数据样本，与只使用单帧RD谱相比，可以为深度学习网络提供了时间维度的目标信息，有利于深度学习网络更准确地进行目标分类。利用多级知识即图像知识和目标知识辅助深度学习网络训练，获得更多有利于目标分类的目标信息，提高了深度学习网络的学习效率和分类性能。先利用数据样本和图像知识训练知识辅助模块，引导深度学习网络关注到数据样本中包含更多目标信息的样本区域，然后利用知识辅助模块输出的空间特征和目标知识训练得到知识融合模块，对网络学习过程中进行信息补充，获得更利于分类的信息，这种先后顺序有利于提高训练学习的效率和精度。
(2)以RD谱的每个像素点为中心，选取每个像素点的有效区域，计算有效区域的平均能量特征和起伏特征作为所述图像知识，可以高效提取中每帧RD谱图像知识，避免了提取不到或者提取过程繁杂效率低下的问题。提取目标知识包括目标的距离、速度和角度以及目标的距离维延展特征和多普勒维延展特征，目标知识包含的信息相对于以车辆、行人等目标的区分性更强，同时也是深度学习网络无法自行提取的信息，因此获取的目标知识可以提高深度学习网络分类的性能和精度。
(3)引入的图像知识作用于注意力权重矩阵的生成。由于图像知识能够准确的分辨出包含目标信息较多的样本数据区域，通过知识与网络浅层特征共同生成注意力权重矩阵，能够降低仅根据网络提取到的特征关注出现偏差的概率，从而进一步提升了网络对汽车雷达目标的分类性能。
(4)知识融合模块中采用最大池化层对所述深度特征进行降维，减少数据量，可以更进一步提高数据样本学习训练和识别分类的效率和精度。
附图说明
图1为本发明的基于知识辅助的雷达目标深度学习网络总体结构框图。
图2为知识融合子模型中ConvLSTM网络及其单元结构图。
图3为本发明实施例采用的数据样本的RD谱示意图。
图4为本发明的深度学习网络提取的最终样本特征的类别可视化t-SNE图。
图5为本发明的深度学习网络分类结果混淆矩阵图。
具体实施方式
一种基于知识辅助的雷达目标深度学习分类方法、系统，将目标的时序信息连续的多帧RD谱作为数据样本，为深度学习网络提供了时间维度的目标信息。利用多级知识即图像知识和目标知识辅助深度学习网络训练，获得更多有利于目标分类的目标信息，提高了深度学习网络的学习效率和分类性能。其中，先利用数据样本和图像知识训练得到知识辅助模块，引导深度学习网络关注到数据样本中包含更多目标信息的样本区域，然后利用知识辅助模块输出的空间特征和目标知识训练得到知识融合模块，对网络学习过程中进行信息补充，获得更利于分类的信息。
下面结合附图并举实施例，对本发明进行详细描述。
一种基于知识辅助的雷达目标深度学习分类方法，包括如下步骤：
步骤一、以若干帧时序信息连续的距离-多普勒RD谱构建数据样本，同时根据所述RD谱提取图像知识和目标知识；图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征。
雷达测量获取目标RD谱，并进行预处理，将雷达连续时间内测量得到的多帧目标RD谱组成一个网络输入样本即数据样本，并将所有样本划分为训练集和测试集。多帧目标RD谱组成一个网络输入样本可以为样本引入时间信息，同时使得样本之间的目标RD谱具有较为明显的距离变化。
预处理过程包括：
101、雷达通过发射一组脉冲序列，得到目标回波，经过二维快速傅里叶变换FFT处理后即可获得一帧RD谱。进而雷达连续发射多组脉冲，获取目标回波进行处理，能够得到目标的多帧RD谱。
102、对RD谱进行幅度最大值归一化处理，利用每帧RD谱的最大值对进行归一化。设s′ij为RD谱中位置为(i,j)的像素点，则其幅度归一化表示为：
Figure BDA0003477467610000081
sij表示像素坐标系下坐标值为(i,j)的像素点的幅度。
103、将连续5帧RD谱组合为一个包含时序信息的三维的数据样本，作为深度学习网络的输入。并进一步划分为训练数据集和测试数据集。在具体实施过程之中，数据样本包括的RD谱的帧数不做具体限制，但是同一个数据样本中的RD谱的时序信息是连续的，不同的数据样本中包括的RD谱不同，没有重复。
根据RD谱提取图像知识和目标知识为：
针对每帧RD谱，以RD谱的每个像素点为中心，选取每个像素点的有效区域，计算有效区域的平均能量特征和起伏特征作为所述图像知识，计算目标区域的平均能量特征和起伏特征作为图像知识。
图像知识包含两种像素级特征：平均能量特征Kavg_e和起伏特征Kundu。对于RD谱中位置为(i,j)的像素点，平均能量特征Kavg_e描述了以sij为中心的3×3区域的平均能量，包含目标信息较多的区域平均能量更大；而起伏特征Kundu描述了该区域的起伏程度，包含目标信息区域的边缘起伏程度较大。可以根据以下公式得到两种特征：
Figure BDA0003477467610000082
Figure BDA0003477467610000091
其中，n表示该区域的像素点数目，
Figure BDA0003477467610000092
表示该区域幅度的平均值。
在具体实施过程中，目标区域的面积大小即3×3区域不做具体限制，可以根据实际情况进行调整。
针对每帧RD谱，进行二维检测获得目标的距离维延展特征和多普勒维延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成目标知识。
获取目标知识，经过雷达回波测量得到目标相对雷达设备的距离、速度、角度信息。在实际驾驶场景中，雷达测量得到的目标空间信息如距离、角度与目标速度信息对于车辆、行人等不同类别目标具有区分性，是有价值的分类信息，同时是样本缺少，网络提取不到的信息。
同时，通过对目标RD数据进行二维检测，得到距离维和多普勒维的延展特征。在检测过程中，设定幅度的门限值T，将距离维和多普勒维上大于T的最大范围分别作为两维度的延展特征。通常，T取值为归一化后最大幅值的0.8倍，可根据实际情况进行调整。
得到共5种目标信息，组合形成目标知识包括：目标相对雷达设备的距离、速度、角度，以及距离维的延展特征和多普勒维的延展特征。
将对应的连续5帧图像知识和目标知识分别作为整体，进行归一化处理。
在本发明中，深度学习网络的输入包含数据样本和辅助知识两个部分：每个数据样本包括连续5帧的RD谱，每个数据样本对应的辅助知识包含与RD谱对应的5帧图像知识和5帧目标知识。对每个样本对应的图像知识部分和目标知识部分进行最大值归一化处理，获得辅助深度学习网络训练的二级知识。
步骤二、训练获得深度学习分类模型，包括知识辅助模块、知识融合模块和分类模块；如图1所示，为本发明的深度学习网络框架。
利用数据样本并引入图像知识对知识辅助模块进行训练，得到数据样本中每帧RD谱的空间特征；利用空间特征对知识融合模块进行训练得到数据样本的深度特征，并将深度特征与目标知识进行融合，得到最终样本特征；利用最终样本特征对分类模块进行训练获得目标类别。
知识辅助模块的训练过程为：
将每帧RD谱依次输入到第一卷积层中提取每帧RD谱的特征图F，将特征图F分别输入到最大池化层和平均池化层中获得MaxPool(F)和AvgPool(F)；通过Concat层对MaxPool(F)、AvgPool(F)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧RD谱的空间特征。
构建知识辅助模块，将图像知识作用于注意力权重矩阵的生成，对目标RD谱样本中包含更多目标信息的区域赋予更高的权重，使得网络在训练过程中给予该区域的数据更多关注，并形成样本的一组空间特征。
该模型由卷积层、最大池化层、平均池化层和Concat层组成。该模型的输入包括样本和图像知识。首先，将每帧RD谱依次输入到卷积层中提取每帧RD谱的特征图F。将特征图F分别输入到最大池化层MaxPool()和平均池化层AvgPool()中获得MaxPool(F)和AvgPool(F)。然后，通过Concat层对MaxPool(F)、AvgPool(F)、Kavg_e和Kundu进行拼接，再将拼接结果输入至卷积层进行卷积操作，获得空间注意力权重矩阵M：
M＝σ(f([MaxPool(F)；AvgPool(F)；Kavg_e；Kundu]))
其中，σ表示卷积层中的激活函数“relu”，f代表卷积操作。
最后，将注意力权重矩阵M与特征图F相乘，得到每帧RD谱的空间特征F′作为本模块的输出：
Figure BDA0003477467610000101
其中，“
Figure BDA0003477467610000111
”表示哈达玛乘积。
知识融合模块的训练过程为：
将空间特征输入卷积长短时间记忆ConvLSTM网络层，获得数据样本的深度特征；通过最大池化层对深度特征进行降维，之后通过Concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征。数据样本的深度特征包括若干帧RD谱的空间特征和时序信息。
构建知识融合模块，用于进一步提取包含样本空间和时间信息的深度特征，并引入目标知识，将深度特征和目标知识融合，形成最终样本特征，从而可以提高深度学习的分类性能。
知识融合模块主要包含ConvLSTM网络层、最大池化层和一个Concat层。ConvLSTM网络结构如图2所示，是一种串行连接的网络结构，本发明中的ConvLSTM网络层包括5个单元，每个单元均包括候选记忆单元Gt、记忆单元Ct和三个门控单元：遗忘门ft、输入门it、输出门ot。每个单元中的卷积操作，能够提取每帧输入的空间信息；LSTM网络结构能够在时间维度对每个单元提取到的空间信息进行聚合，最终获取包含样本空间及时间信息的深度特征。
对于第t个单元，其结构如图2所示，输入为知识辅助模块获得的第t帧空间特征Ft′和上一单元的输出Ht-1，输出为。第t个单元的遗忘门ft、输入门it和输出门ot及候选记忆单元Gt的计算公式如下：
it＝sig(WFi*F′t+WHi*Ht-1+bi)
ft＝sig(WFf*F′t+WHf*Ht-1+bf)
ot＝sig(WFo*F′t+WHo*Ht-1+bo)
Gt＝tanh(WFg*F′t+WHg*Ht-1+bg)
其中，“sig”和“tanh”分别表示sigmoid和TanHyperbolic激活函数，“*”表示卷积运算。W～和b～分别表示卷积运算中的卷积核参数与偏置项，下标表示了其所在位置，例如WFi和WHi分别表示计算输入门it时，F′t和Ht-1的卷积核参数，bi表示输入门it的偏置。
从而可以得到第t个单元的记忆单元Ct的计算如下：
Figure BDA0003477467610000121
其中，“
Figure BDA0003477467610000122
”表示哈达玛乘积，Ct-1表示上一单元中的记忆单元的值。第t个单元的输出Ht可以由下式得到：
Figure BDA0003477467610000123
通过LSTM网络对每个单元的输出进行聚合，ConvLSTM网络层的输出为包含样本时间及空间信息的深度特征。然后，经过最大池化层通过下采样规则对深度特征进行降维，减少数据量。最大池化层首先将输入的深度特征划分为不同的区域，然后将每个区域的最大值作为输出，得到降维后的深度特征。最后，通过Concat层将降维后的深度特征与目标知识进行拼接，利用目标知识对降维后的深度特征进行补充，输出最终样本特征。
分类模块的训练过程为：
将最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
构建分类模块，包含两个全连接层，对样本的类别进行预测。
该模型的输入为知识融合模块得到的样本特征，第一个全连接层包含32个神经元，激活函数选用relu。第二个全连接层包含3个神经元，激活函数选用softmax，其输出概率最大的类别即为分类结果。
在训练阶段，深度学习网络的输入为包含真实类别的样本和对应的图像知识以及目标知识。对于真实类别为y的样本，通过网络前向传播得到样本的预测类别
Figure BDA0003477467610000124
并采用交叉熵损失函数(Cross Entropy)计算预测类别
Figure BDA0003477467610000125
与真实类别y的损失，然后通过Adam优化器及反向传播算法逐层更新网络参数，以最小化损失函数使网络收敛。即在上述训练深度学习分类模型的过程中，采用交叉熵损失函数对训练过程进行优化，交叉熵损失函数为：
Figure BDA0003477467610000131
其中，CE表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，
Figure BDA0003477467610000132
表示第i个数据样本的预测类别。
训练完成之后，需要对深度学习网络进行测试，利用提前划分的测试集，在测试阶段，深度学习网络的输入为未知真实类别的样本和对应的图像知识及目标知识。通过训练好的网络参数，对样本类别进行预测，最后一层输出的概率最大的类别即为样本类别。
步骤三、将待识别的目标类别的数据样本以及与数据样本对应的图像知识和目标知识输入到所述深度学习分类模型中，即可获得目标类别。
根据上述一种基于知识辅助的雷达目标深度学习分类方法，本发明还提供了一种基于知识辅助的雷达目标深度学习分类系统，包括：数据处理模块和深度学习分类模块。
数据处理模块用于将若干帧时序信息连续的距离-多普勒RD谱组成数据样本，并提取每帧RD谱的图像知识和目标知识。
图像知识包括平均能量特征和起伏特征；目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征。
深度学习分类模块包括知识辅助单元、知识融合单元和分类单元。
知识辅助单元用于根据数据样本和图像知识进行模块训练，并输出的每帧RD谱的空间特征至知识融合单元。
知识融合单元用于根据空间特征和目标知识进行模块训练，并输出数据样本的最终样本特征至分类单元。
分类单元用于根据最终样本特征进行模块训练，输出数据样本的类别即目标类别。
在数据处理模块中，提取每帧RD谱的图像知识和目标知识为：
针对每帧RD谱，以RD谱的每个像素点为中心，选取每个像素点的有效区域，计算有效区域的平均能量特征和起伏特征作为所述图像知识，计算目标区域的平均能量特征和起伏特征作为图像知识。
针对每帧RD谱，进行二维检测获得目标的距离维延展特征和多普勒维的延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成目标知识。
知识辅助单元的训练过程为：将每帧RD谱依次输入到第一卷积层中提取每帧RD谱的特征图F，将特征图F分别输入到最大池化层和平均池化层中获得MaxPool(F)和AvgPool(F)；通过Concat层对MaxPool(F)、AvgPool(F)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧RD谱的空间特征。
知识融合单元的训练过程为：将空间特征输入卷积长短时间记忆ConvLSTM网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过Concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征。
数据样本的深度特征包括所述若干帧RD谱的空间特征和时序信息。
分类单元的训练过程为：将最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
雷达目标深度学习分类系统还包括优化模块，优化模块用于根据交叉熵损失函数对所述深度学习分类模块的训练过程进行优化，交叉熵损失函数为：
Figure BDA0003477467610000151
其中，CE表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，
Figure BDA0003477467610000152
表示第i个数据样本的预测类别。
为了证明本发明方法的有效性，提供以下具体实施例：
本部分结合实测数据实验，对本发明的效果进行说明。为了评估所提出的知识辅助深度学习网络的性能，采集了交通领域常见的三种目标的数据：车辆、自行车和行人进行实验。
数据集及参数设置：
数据集由77GHz汽车雷达传感器收集。雷达的距离和速度分辨率分别为0.3m和0.3m/s，在日常交通情况下具有良好的测量性能。数据采集场景为较为空旷的测试路段，雷达传感器设置在静止的车辆上，目标在0～80m范围内沿雷达视线方向径向移动。真实场景如图2所示。三类目标的样本数据由连续5帧RD谱组成，其样本示例如图3所示。通过采集和处理，得到样本总数为1278个，并进一步将其划分为训练数据集和测试数据集，具体设置如表1所示。
表1实验数据集说明
训练样本量 测试样本量
车辆 295 99
自行车 323 113
行人 345 103
总计 963 315
所提出模型主要层的详细参数设置如表2所示。在知识辅助模块中，卷积层的卷积核为3×3，数量设置为5。全局最大池化层及全局平均池化层的大小为5×1×1。然后将池化结果与图像知识进行拼接，并利用包含5个尺寸为3×3的卷积核的卷积层来生成注意力权重矩阵。在知识融合模块中，使用包含5个大小为5×5的卷积核的ConvLSTM网络层来提取目标的深层特征，并通过一个大小为2×3×5的最大池化层来降低数据维度。最后，将目标知识向量与深度特征向量进行拼接操作，放入输出节点数为32和3的两层全连接层并利用softmax激活函数进行类别预测。
表2网络参数说明
Figure BDA0003477467610000161
实验结果：
基于所述网络参数构建基于知识辅助的深度学习网络，并利用所述实测数据集对车辆、行人、自行车三种目标进行分类实验以评估本发明所提出方法的有效性。图4为本发明方法所提取到的用于分类的最终样本特征，经过t分布随机邻域嵌入(t-distributedstochastic neighbor embedding,t-SNE)方法降维后，进行可视化的结果。可以观察到，由于多级知识的辅助，网络提取到的三类目标特征彼此相距较远，能够较好的进行区分。其中，车辆目标的区分度最高，行人和自行车两类目标较为相似。
本发明所提出的知识辅助深度学习方法的分类准确率为94.29％，在多类别分类任务中达到了良好的性能。图5展示了网络分类结果的混淆矩阵。可以观察到，车辆在三个目标中具有最佳性能，所有测试样本全部预测正确。其原因可能是车辆与其他两个目标之间存在较大差异，例如速度、尺寸大小等。对于自行车目标，只有8个测试样本被错误分类，其中，5个样本被错误地分类为行人，3个样本被错误地分类为车辆。同时，由于自行车与行人更为相似，有10个行人的测试样本被错误分类为自行车。
进一步地，为评估本发明方法的性能，基于同一数据集将本发明方法与另外3种方法进行了对比实验。其中，2种方法是基于人工提取的特征与分类器结合的方法。该种方法从目标RD谱中提取13个人工特征分别放入SVM和RF分类器中进行目标分类。同时，搭建已公开的卷积神经网络(Convolutional Neural Network,CNN)：包含两层卷积层、一层最大池化层及一层全连接层，作为对比。实验结果如表3所示，能够看出，本发明的分类准确率最高，采用多级知识的辅助，弥补了深度学习在知识和逻辑上的不足，可以提高深度学习的分类性能。
表3不同方法的分类性能对比
方法 准确率
人工特征+SVM分类器 83.80％
人工特征+RF分类器 85.35％
CNN 87.35％
本发明方法 94.29％
综上，本发明以连续多帧雷达目标RD谱为样本，搭建深度学习网络框架。为提高网络性能，在深度学习中引入图像知识和目标知识两个层级的知识进行辅助。引入外部图像知识与网络提取的特征图共同生成注意力权重矩阵，引导网络更准确地关注样本数据中包含更多目标信息的区域。同时，在网络中引入目标知识与深度特征进行拼接融合，为目标分类提供更多信息。基于三种目标的汽车雷达实测数据的实验验证了本发明方法的有效性和良好的实际应用潜力。
以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。

Claims (10)

1.一种基于知识辅助的雷达目标深度学习分类方法，其特征在于，包括：
步骤一、以若干帧时序信息连续的距离-多普勒RD谱构建数据样本，同时根据所述RD谱提取图像知识和目标知识；
所述图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征；
步骤二、训练获得深度学习分类模型，包括知识辅助模块、知识融合模块和分类模块；
利用所述数据样本并引入所述图像知识对所述知识辅助模块进行训练，得到数据样本中每帧RD谱的空间特征；利用所述空间特征对所述知识融合模块进行训练得到所述数据样本的深度特征，并将所述深度特征与目标知识进行融合，得到最终样本特征；利用所述最终样本特征对所述分类模块进行训练获得目标类别；
步骤三、将待识别的目标类别的数据样本以及与所述数据样本对应的图像知识和目标知识输入到所述深度学习分类模型中，即可获得目标类别。
2.如权利要求1所述的雷达目标深度学习分类方法，其特征在于，所述步骤一中，根据所述RD谱提取图像知识和目标知识为：
针对每帧RD谱，以所述RD谱的每个像素点为中心，选取每个像素点的有效区域，计算每个像素点的所述有效区域的平均能量特征和起伏特征作为所述图像知识；
针对每帧RD谱，进行二维检测获得目标的距离维延展特征和多普勒维延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成所述目标知识。
3.如权利要求1所述的雷达目标深度学习分类方法，其特征在于，所述步骤二中，所述知识辅助模块的训练过程为：
将所述数据样本的每帧RD谱依次输入到第一卷积层中提取每帧RD谱的特征图F，将所述特征图F分别输入到最大池化层和平均池化层中获得MaxPool(F)和AvgPool(F)；通过Concat层对MaxPool(F)、AvgPool(F)、所述平均能量特征和所述起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧RD谱的空间特征。
4.如权利要求1所述的雷达目标深度学习分类方法，其特征在于，所述步骤二中，所述知识融合模块的训练过程为：
将所述空间特征输入卷积长短时间记忆ConvLSTM网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过Concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征；
所述数据样本的深度特征包括所述若干帧RD谱的空间特征和时序信息。
5.如权利要求1所述的雷达目标深度学习分类方法，其特征在于，所述步骤二中，所述分类模块的训练过程为：
将所述最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将所述简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
6.如权利要求1所述的雷达目标深度学习分类方法，其特征在于，在训练所述深度学习分类模型的过程中，采用交叉熵损失函数对训练过程进行优化，所述交叉熵损失函数为：
Figure FDA0003477467600000021
其中，CE表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，
Figure FDA0003477467600000022
表示第i个数据样本的预测类别。
7.一种基于知识辅助的雷达目标深度学习分类系统，其特征在于，包括：数据处理模块和深度学习分类模块；
所述数据处理模块用于将若干帧时序信息连续的距离-多普勒RD谱组成数据样本，并提取每帧RD谱的图像知识和目标知识；
所述图像知识包括平均能量特征和起伏特征；所述目标知识包括目标的距离、目标的速度、目标的角度、目标的距离维延展特征和目标的多普勒维的延展特征；
所述深度学习分类模块包括空间特征知识辅助单元、知识融合单元和分类单元；
所述知识辅助单元用于根据所述数据样本和所述图像知识进行空间特征提取，并输出的每帧RD谱的空间特征至所述知识融合单元；
所述知识融合单元用于根据所述空间特征和所述目标知识进行最终样本特征提取，并输出数据样本的最终样本特征至所述分类模块；
所述分类单元用于根据所述最终样本特征进行目标分类，输出数据样本的类别即目标类别。
8.如权利要求7所述的雷达目标深度学习分类系统，其特征在于，所述数据处理模块中，所述提取每帧RD谱的图像知识和目标知识为：
针对每帧RD谱，以所述RD谱的每个像素点为中心，选取每个像素点的有效区域，计算所述有效区域的平均能量特征和起伏特征作为所述图像知识；
针对每帧RD谱，进行二维检测获得目标的距离维延展特征和多普勒维的延展特征，与雷达回波测量得到的目标的距离、速度和角度一起组成所述目标知识。
9.如权利要求7所述的雷达目标深度学习分类系统，其特征在于，
所述知识辅助单元的训练过程为：将每帧RD谱依次输入到第一卷积层中提取每帧RD谱的特征图F，将所述特征图F分别输入到最大池化层和平均池化层中获得MaxPool(F)和AvgPool(F)；通过Concat层对MaxPool(F)、AvgPool(F)、平均能量特征和起伏特征进行拼接，再将拼接结果输入至第二卷积层，获得空间注意力权重矩阵；将注意力权重矩阵与特征图相乘，得到每帧RD谱的空间特征；
所述知识融合单元的训练过程为：将所述空间特征输入卷积长短时间记忆ConvLSTM网络层，获得数据样本的深度特征；通过最大池化层对所述深度特征进行降维，之后通过Concat层将降维后的深度特征与目标知识进行拼接，输出数据样本的最终样本特征；
所述数据样本的深度特征包括所述若干帧RD谱的空间特征和时序信息；
所述分类单元的训练过程为：将所述最终样本特征输入至第一全连接层，经过relu激活函数获得简化后的最终样本特征，将所述简化后的最终样本特征输入第二全连接层，经过softmax激活函数获得数据样本的类别。
10.如权利要求7所述的雷达目标深度学习分类系统，其特征在于，所述雷达目标深度学习分类系统还包括优化模块，所述优化模块用于根据交叉熵损失函数对所述深度学习分类模块的训练过程进行优化，所述交叉熵损失函数为：
Figure FDA0003477467600000041
其中，CE表示交叉熵损失函数，n表示训练的数据样本总数，i表示第i个数据样本，log为取对数运算，y(i)表示第i个数据样本的真实类别，
Figure FDA0003477467600000042
表示第i个数据样本的预测类别。
CN202210059146.8A 2022-01-19 2022-01-19 一种基于知识辅助的雷达目标深度学习分类方法、系统 Active CN114611569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210059146.8A CN114611569B (zh) 2022-01-19 2022-01-19 一种基于知识辅助的雷达目标深度学习分类方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210059146.8A CN114611569B (zh) 2022-01-19 2022-01-19 一种基于知识辅助的雷达目标深度学习分类方法、系统

Publications (2)

Publication Number Publication Date
CN114611569A true CN114611569A (zh) 2022-06-10
CN114611569B CN114611569B (zh) 2022-11-29

Family

ID=81857473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210059146.8A Active CN114611569B (zh) 2022-01-19 2022-01-19 一种基于知识辅助的雷达目标深度学习分类方法、系统

Country Status (1)

Country Link
CN (1) CN114611569B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078863A1 (en) * 2014-09-16 2016-03-17 Electronics And Telecommunications Research Institute Signal processing algorithm-integrated deep neural network-based speech recognition apparatus and learning method thereof
CN109255326A (zh) * 2018-09-07 2019-01-22 华南理工大学 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109492671A (zh) * 2018-10-16 2019-03-19 北京理工大学 一种基于lstm的多极化高分辨距离像目标识别方法
CN110348356A (zh) * 2019-07-03 2019-10-18 北京遥感设备研究所 一种基于深度光流网络的连续帧rd图像目标识别方法
CN110674884A (zh) * 2019-09-30 2020-01-10 山东浪潮人工智能研究院有限公司 一种基于特征融合的图像识别方法
CN113420610A (zh) * 2021-05-31 2021-09-21 湖南森鹰智造科技有限公司 基于毫米波与激光雷达融合的人体手势识别方法、电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078863A1 (en) * 2014-09-16 2016-03-17 Electronics And Telecommunications Research Institute Signal processing algorithm-integrated deep neural network-based speech recognition apparatus and learning method thereof
CN109255326A (zh) * 2018-09-07 2019-01-22 华南理工大学 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109492671A (zh) * 2018-10-16 2019-03-19 北京理工大学 一种基于lstm的多极化高分辨距离像目标识别方法
CN110348356A (zh) * 2019-07-03 2019-10-18 北京遥感设备研究所 一种基于深度光流网络的连续帧rd图像目标识别方法
CN110674884A (zh) * 2019-09-30 2020-01-10 山东浪潮人工智能研究院有限公司 一种基于特征融合的图像识别方法
CN113420610A (zh) * 2021-05-31 2021-09-21 湖南森鹰智造科技有限公司 基于毫米波与激光雷达融合的人体手势识别方法、电子设备、存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIANG ZHANG, ET AL.: "Polarimetric HRRP recognition based on ConvLSTM with self-attention", 《IEEE SENSORS JOURNAL》 *
XINYU ZHANG, ET AL.: "Radar and vision fusion for the real-time obstacle detection and identification", 《EMERALD INSIGHT》 *
唐克琴 等: "基于目标频谱特征的战场侦察雷达目标自动分类", 《电子技术与软件工程》 *

Also Published As

Publication number Publication date
CN114611569B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
Patel et al. Deep learning-based object classification on automotive radar spectra
Dairi et al. Obstacle detection for intelligent transportation systems using deep stacked autoencoder and $ k $-nearest neighbor scheme
CN111460919B (zh) 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法
Tao et al. Scene context-driven vehicle detection in high-resolution aerial images
CN110245581B (zh) 一种基于深度学习和距离-多普勒序列的人体行为识别方法
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
Li et al. An adaptive 3D grid-based clustering algorithm for automotive high resolution radar sensor
Wiranata et al. Investigation of padding schemes for faster R-CNN on vehicle detection
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN114724392A (zh) 一种快速路出口匝道与邻接交叉口动态信号控制方法
CN116580322A (zh) 一种地面背景下无人机红外小目标检测方法
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN114120150A (zh) 一种基于无人机成像技术的道路目标检测方法
BARODI et al. Improved deep learning performance for real-time traffic sign detection and recognition applicable to intelligent transportation systems
CN114611569B (zh) 一种基于知识辅助的雷达目标深度学习分类方法、系统
CN116468950A (zh) 一种类别引导中心点邻域搜索半径的三维目标检测方法
xi Wang et al. Detection of MMW radar target based on doppler characteristics and deep learning
CN114022705B (zh) 一种基于场景复杂度预分类的自适应目标检测方法
CN112633169B (zh) 一种基于改进型LeNet-5网络的行人识别算法
WO2022127819A1 (en) Sequence processing for a dataset with frame dropping
Wang et al. Research on road adhesion condition identification based on an improved ALexNet model
CN114495050A (zh) 一种面向自动驾驶前向视觉检测的多任务集成检测方法
Zhao et al. Efficient textual explanations for complex road and traffic scenarios based on semantic segmentation
CN113468994A (zh) 基于加权采样和多分辨率特征提取的三维目标检测方法
Kaur et al. Pedestrian and Vehicle detection in automotive embedded systems using deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant