CN115061113A - 用于雷达的目标检测模型训练方法、装置及存储介质 - Google Patents

用于雷达的目标检测模型训练方法、装置及存储介质 Download PDF

Info

Publication number
CN115061113A
CN115061113A CN202210996101.3A CN202210996101A CN115061113A CN 115061113 A CN115061113 A CN 115061113A CN 202210996101 A CN202210996101 A CN 202210996101A CN 115061113 A CN115061113 A CN 115061113A
Authority
CN
China
Prior art keywords
target
distance
radar
confidence probability
probability map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210996101.3A
Other languages
English (en)
Other versions
CN115061113B (zh
Inventor
徐刚
裴昊
张慧
郭坤鹏
张燎
严涵
冯友怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Nanjing Hawkeye Electronic Technology Co Ltd
Original Assignee
Southeast University
Nanjing Hawkeye Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Nanjing Hawkeye Electronic Technology Co Ltd filed Critical Southeast University
Priority to CN202210996101.3A priority Critical patent/CN115061113B/zh
Publication of CN115061113A publication Critical patent/CN115061113A/zh
Application granted granted Critical
Publication of CN115061113B publication Critical patent/CN115061113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种用于雷达的目标检测模型训练方法、装置及存储介质，其中，所述方法包括：获取目标对应的光学图像和雷达回波信号；基于光学图像构建光学域距离‑方位置信概率图，基于回波信号生成多个热图，并基于距离‑方位热图构建雷达域距离‑方位置信概率图；根据光学域距离‑方位置信概率图和雷达域距离‑方位置信概率图生成目标距离‑方位置信概率图；将距离‑方位热图、距离‑速度热图和速度‑方位热图作为目标检测模型的输入，将距离‑方位置信概率图作为对应的标签，以训练目标检测模型。本发明所提供的技术方案能够解决现有技术中雷达通过恒虚警检测技术检测目标时，检测结果伴随虚警，且没有目标尺寸信息和类别信息的技术问题。

Description

用于雷达的目标检测模型训练方法、装置及存储介质
技术领域
本发明涉及雷达技术领域，尤其涉及一种用于雷达的目标检测模型训练方法、装置及存储介质。
背景技术
现有技术中，传统的多通道调频连续波（Frequency Modulated ContinuousWave，FMCW）雷达，在一帧（Frame）时间内需要连续发射多个Chirp的调频连续波信号，并将回波信号和发射信号在频域上作差以得到混频信号。混频信号经过AD（模数转换）离散采样后，再进行距离维、速度维和角度维的三维快速傅里叶变换（Fast Fourier Transform，FFT）处理得到三维数据。最终得到的三维数据中包含场景内目标的距离、速度和方位角度等信息，因此可以利用距离-速度-角度（RVA）热图特征对场景内的目标进行检测和识别。
传统的检测识别方法一般是在距离-方位（RA）热图上使用统计信号处理并配合手工特征来完成对场景内目标的检测与识别。例如，先使用恒虚警检测技术（Constant FalseAlarm Rate，CFAR）过滤背景杂波，获取初步的目标点的距离和方位坐标，然后再通过聚类或构造分类器等方式检测和识别场景内的目标。
现有技术的目标识别方法存在如下技术问题：
第一，恒虚警检测技术（CFAR）在信噪比较低的场景中难以发挥作用，检测结果一定会伴随着虚警，且检测算法的时间复杂度较高、泛化性能差。
第二，经过恒虚警检测技术（CFAR）处理后，检测后所识别出来的强目标点只包含场景内目标的位置信息和速度信息，但是没有目标的尺寸等信息，且难以判断目标的类别。即现有技术没有充分利用距离-速度-角度（RVA）热图上的语义信息来获取目标特征的相关信息。
第三，基于手工特征的检测器需要依赖人工的先验知识，且模型泛化能力差，检测效率低，误测率和漏测率较高。
发明内容
本发明提供了一种用于雷达的目标检测模型训练方法、装置及存储介质，旨在有效解决现有技术中雷达通过恒虚警检测技术检测目标时，检测结果伴随虚警，且没有目标尺寸信息和类别信息的技术问题。
根据本发明的一方面，本发明提供了一种用于雷达的目标检测模型训练方法，所述方法包括：
采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
进一步地，所述基于所述光学图像构建光学域距离-方位置信概率图包括：
基于预训练的光学图像目标检测模型对所述光学图像进行目标检测，以确定所述目标的类别信息以及所述目标的深度信息以及在图像坐标系下的中心坐标信息，并基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标；
基于所述目标极坐标构建所述光学域距离-方位置信概率图。
进一步地，所述基于所述目标极坐标构建所述光学域距离-方位置信概率图包括：
获取所述目标的类别信息所对应的常数权重，并获取采集所述光学图像的相机系统的定位误差以及深度概率；
基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵；
根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图。
进一步地，所述基于所述距离-方位热图构建雷达域距离-方位置信概率图包括：
对所述距离-方位热图进行恒虚警检测以得到所述目标对应的强目标检测点，并基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
进一步地，所述基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图包括：
获取所述雷达的距离分辨率和角度分辨率；
基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵；
基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
进一步地，所述基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标包括：
基于下式生成所述目标极坐标：
Figure DEST_PATH_IMAGE001
，
其中，
Figure DEST_PATH_IMAGE002
表示所述目标极坐标，
Figure DEST_PATH_IMAGE003
表示光学域距离坐标值，
Figure DEST_PATH_IMAGE004
表示光学域方位坐标值，
Figure DEST_PATH_IMAGE005
表示所述雷达在场景俯视图中的坐标，
Figure DEST_PATH_IMAGE006
表示所述深度信息，
Figure DEST_PATH_IMAGE007
表示所述目标的类别信息，
Figure DEST_PATH_IMAGE008
表示所述目标的中心坐标中的第一维度坐标值。
进一步地，所述基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵包括：
根据下式生成所述光学域协方差矩阵：
Figure DEST_PATH_IMAGE009
，
其中，
Figure DEST_PATH_IMAGE010
表示所述光学域协方差矩阵，
Figure 296038DEST_PATH_IMAGE006
表示所述深度信息，
Figure DEST_PATH_IMAGE011
表示所述常数权重，
Figure DEST_PATH_IMAGE012
表示所述深度概率，
Figure DEST_PATH_IMAGE013
表示所述定位误差。
进一步地，所述根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图包括：
根据下式生成所述光学域距离-方位置信概率图：
Figure DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE015
表示所述光学域距离-方位置信概率图中的有效元素的第一维度值，
Figure DEST_PATH_IMAGE016
表示所述光学域距离-方位置信概率图中的有效元素的第二维度值，
Figure DEST_PATH_IMAGE017
表示所述光学域协方差矩阵，
Figure DEST_PATH_IMAGE018
（）为归一化函数，
Figure DEST_PATH_IMAGE019
（）为指数函数，
Figure DEST_PATH_IMAGE020
（）为求最大值函数，
Figure DEST_PATH_IMAGE021
由下式表示：
Figure DEST_PATH_IMAGE022
，
其中，
Figure DEST_PATH_IMAGE023
表示所述目标极坐标中的光学域距离坐标值，
Figure DEST_PATH_IMAGE024
表示所述目标极坐标中的光学域方位坐标值。
进一步地，所述基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵包括：
根据下式确定所述目标的所述雷达域协方差矩阵：
Figure DEST_PATH_IMAGE025
，
其中，
Figure DEST_PATH_IMAGE026
表示所述雷达域协方差矩阵，
Figure DEST_PATH_IMAGE027
表示所述距离分辨率，
Figure DEST_PATH_IMAGE028
表示所述角度分辨率。
进一步地，所述基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图包括：
根据下式生成所述雷达域距离-方位置信概率图：
Figure DEST_PATH_IMAGE029
其中，
Figure 885502DEST_PATH_IMAGE015
表示所述雷达域距离-方位置信概率图中的有效元素的第一维度值，
Figure DEST_PATH_IMAGE030
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 354660DEST_PATH_IMAGE026
表示所述雷达域协方差矩阵，
Figure DEST_PATH_IMAGE031
（）为归一化函数，
Figure 367091DEST_PATH_IMAGE019
（）为指数函数，
Figure 88054DEST_PATH_IMAGE020
（）为求最大值函数，
Figure DEST_PATH_IMAGE032
由下式表示：
Figure DEST_PATH_IMAGE033
，
其中，
Figure DEST_PATH_IMAGE034
表示所述强目标检测点在所述极坐标中的雷达域距离坐标值，
Figure DEST_PATH_IMAGE035
表示所述强目标检测点在所述极坐标中的雷达域方位坐标值。
进一步地，所述根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图包括：
针对所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图中对应的两个有效元素，根据下式生成所述目标距离-方位置信概率图中对应的有效元素：
Figure DEST_PATH_IMAGE036
，
其中，
Figure DEST_PATH_IMAGE037
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 83690DEST_PATH_IMAGE016
表示所述光学域距离-方位置信概率图中对应的有效元素的第二维度值，
Figure DEST_PATH_IMAGE038
表示所述目标距离-方位置信概率图中对应位置的有效元素的第二维度值。
进一步地，所述目标检测模型包括基于卷积神经网络的自编码器，用以从所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图中提取特征。
进一步地，所述自编码器包括复数卷积层，用以处理输入的复数特征张量。
根据本发明的另一方面，本发明还提供了一种用于雷达的目标检测模型训练装置，所述装置包括：
数据获取单元，用于采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
数据处理单元，用于基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
置信概率图生成单元，用于根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
模型训练单元，用于将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
根据本发明的另一方面，本发明还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一用于雷达的目标检测模型训练方法。
通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：
在本发明所公开的技术方案中，通过用光学图像中的目标的尺寸信息和类别信息来弥补雷达识别目标的不足，解决了恒虚警检测技术（CFAR）处理后没有目标尺寸和类别的技术问题，提高了目标检测效率和准确率。本方法是一种新颖的在距离-方位（RA）热图上表示目标的方法，构建了端到端的基于距离-方位（RA）热图的目标检测网络。基于数据驱动和任务驱动的特征提取方法，可以避免手工特征带入主观因素，提高了模型的鲁棒性。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的一种用于雷达的目标检测模型训练方法的步骤流程图；
图2为本发明实施例提供的用于雷达的目标检测模型训练的图像示意图；
图3为本发明实施例提供的一种用于雷达的目标检测模型训练的数据采集系统示意图；
图4为本发明实施例提供的一种用于雷达的目标检测模型训练的RA、RV、VA特征图融合模块结构示意图；
图5为本发明实施例提供的一种用于雷达的目标检测模型训练的CAE结构的细节信息示意图；
图6为本发明实施例提供的一种用于雷达的目标检测模型训练的复数卷积示意图；
图7为本发明实施例提供的一种用于雷达的目标检测模型训练装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
图1所示为本发明实施例所提供的用于雷达的目标检测模型训练方法的步骤流程图，所述用于雷达的目标检测模型训练方法包括：
步骤101：采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
步骤102：基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
步骤103：根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
步骤104：将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
在目标识别领域，雷达和相机是重要的传感器，对物体识别和定位起着关键的作用，两者都可用于获取目标信息，雷达和相机各有优缺点。其中，相机获取的光学图像可用于确定目标的尺寸和类别，但是相机难以对物体进行精准定位。雷达能够准确获取物体的运动信息，但难以确定目标的尺寸和类别。
在雷达系统中，雷达探测目标的原理是利用发射脉冲与接收脉冲之间的时间差和电磁波的传播速度(光速)，来得到雷达与目标之间的精确距离。目标角位置的测量原理是利用天线的方向性，当天线波束对准目标时，回波信号最强，根据接收回波最强时的天线波束指向，就可确定目标的方向。测量速度原理是雷达根据自身和目标之间有相对运动产生的频率多普勒效应。雷达接收到的目标回波频率与雷达发射频率不同，两者的差值称为多普勒频率。从多普勒频率中可提取的主要信息之一是雷达与目标之间的距离变化率，进而得出目标的运动速度。综上可以得到目标的运动速度、运动方向和距离等信息。
通常情况下，雷达信号的检测是在受干扰的环境中进行的，存在的干扰主要包括热噪声、起伏的山丘、高大的建筑等反射的回波，接收天线在接收回波信号时也会受干扰，多种干扰都会造成虚警率的变化。在雷达信号的接收中应该尽量避免虚警，因此，需要通过恒虚警检测处理，以在存在干扰的环境中稳定虚警率。信号的恒虚警率检测的目的是在干扰强度变化的情况下，对信号进行恒虚警率处理，使虚警率保持恒定。雷达系统中，系统噪声会随系统特性的不同、接收机增益大小等而变化，各种强度的不同杂波的干扰不可避免，为此，需要采用恒虚警检测的信号处理技术来处理回波信号。
但是经过恒虚警检测技术（CFAR）处理后，检测结果一定会伴随着虚警，且没有目标的尺寸和类别等信息。针对该技术问题，本发明提出了一种用于雷达的目标检测模型训练方法，能够依靠数据驱动和任务驱动的方式构造深度学习模型，然后直接在距离-速度-角度（RVA）热图上检测目标。
本发明中的技术方案主要分为两个阶段，在第一阶段，通过光学图像实现跨域监督，生成距离-方位置信概率图。在第二阶段，基于距离-速度-角度（RVA）热图构建目标检测模型，其中，距离-速度-角度（RVA）热图包括距离-方位角度热图（Range-Angle, RA）、距离-速度热图（Range-Velocity, RV）以及速度-方位角度热图（Velocity-Angle, VA）。
图2为本发明实施例提供的用于雷达的目标检测模型训练的图像示意图。其中，图2中的a为光学图像，图2中的b为距离-方位（RA）热图，图2中的c为目标距离-方位置信概率图。
以下对步骤101~104进行具体描述。
在步骤101中，采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
示例性地，图3为本发明实施例提供的一种用于雷达的目标检测模型训练的数据采集系统示意图。如图3所示，通过两个摄像头获取光学图像，光学图像如图2中的a所示。其中，如图3所示，车载摄像头至少有两个，例如双目立体摄像头，可以得到图像中目标的深度信息。同时，如图3所示，雷达系统中设置了两个雷达来采集目标返回的回波信号，例如通过两个Ti AWR1843毫米波雷达开发板来采集雷达回波信号。
在步骤102中，基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
示例性地，对于光学图像，可以通过数据分析得到目标的位置信息、类别信息以及相关尺寸。在获取光学图像后，对光学图像进行目标检测，获得目标对应的位置信息和类别信息，进而构建光学域距离-方位置信概率图。具体来说，以目标的尺寸和类别信息关联协方差，构建二维高斯分布来描述该目标基于光学图像域检测结果的分布。最终将目标在距离-方位上的二维高斯分布投影到距离-方位热图上形成光学域距离-方位置信概率图。通过对光学图像进行数据分析得到该光学域距离-方位置信概率图后，能够通过该概率图得出在摄像头的角度下，每个位置点上出现不同类别的目标的概率。
同时，在雷达域内，针对雷达的回波信号，进行距离维、速度维和角度维的三维快速傅里叶变换（Fast Fourier Transform，FFT）以得到三维数据。最终得到的三维数据中包含场景内目标的距离、速度和方位角度等信息，进而生成距离-方位（RA）热图、距离-速度（RV）热图、以及速度-方位（VA）热图，其中，距离-方位（RA）热图如图2中的b所示，该热图能够体现出与图2中的a中的车辆和行人相关的信息。在距离-方位（RA）热图上可以直接使用恒虚警检测技术（CFAR）来检测强点目标，进而以强点目标的坐标为均值，以雷达系统的方位分辨率和距离分辨率关联协方差矩阵，构建二维高斯分布来描述该目标基于雷达域检测结果的分布。通过对回波信号进行信号分析得到雷达域距离-方位置信概率图后，能够通过该概率图得出在雷达的角度下，每个位置点上出现目标的概率。
在步骤103中，根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
示例性地，使用光学图像域的检测结果和雷达域的检测结果构建出目标距离-方位置信概率图，图2中的c所示为目标距离-方位置信概率图，该目标概率图能够反映出不同位置出现目标的概率以及目标类别，不同类别对应的点迹的颜色不同，点迹越明显的位置，出现目标的概率越大。
在步骤104中，将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
示例性地，将距离-速度-角度（RVA）热图作为模型的训练样本，并将目标距离-方位置信概率图作为样本对应的标签，使用自编码器作为特征提取的骨干网络，以构建目标检测模型。
进一步地，在步骤102中，所述基于所述光学图像构建光学域距离-方位置信概率图包括：
基于预训练的光学图像目标检测模型对所述光学图像进行目标检测，以确定所述目标的类别信息以及所述目标的深度信息以及在图像坐标系下的中心坐标信息，并基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标；
基于所述目标极坐标构建所述光学域距离-方位置信概率图。
示例性地，在光学图像上使用预训练的SSD（Single Shot MultiBox Detector）目标检测模型来自动检测目标，以获取场景内的类别和目标位置。其中，类别可以分为汽车、电动车、自行车和行人等，每一种目标都对应一个类别信息。目标位置具体为深度信息和中心坐标信息。在通过SSD目标检测模型自动检测目标后，可以得到目标的尺寸信息，获取目标对应的区域的中心位置，进而得到中心坐标信息
Figure DEST_PATH_IMAGE039
。然后将目标的中心坐标信息转换为以雷达为极点的极坐标系下，例如表示为
Figure DEST_PATH_IMAGE040
。此时可以认为
Figure DEST_PATH_IMAGE041
为目标在距离-方位（RA）热图上的坐标。其中，SSD多盒实时目标检测是一种端到端的目标检测，提取了不同尺度的特征图来做检测，大尺度特征图可以用来检测小物体，而小尺度特征图用来检测大物体，提高了检测效率和准确率。
进一步地，在步骤102中，所述基于所述目标极坐标构建所述光学域距离-方位置信概率图包括：
获取所述目标的类别信息所对应的常数权重，并获取采集所述光学图像的相机系统的定位误差以及深度概率；
基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵；
根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图。
示例性地，不同的类别的目标对应的常数权重是不同的，假如汽车是目标检测中最重要的检测对象，相对应地，其常数权重则最大。权重是某一因素或指标所占的百分比，强调的是因素或指标的相对重要程度。
同时还获取光学图像的相机系统的定位误差以及深度概率，定位误差和深度概率可以根据相机系统的参数信息直接获取。
在获取到相关数据后，基于深度信息、常数权重、定位误差和深度概率生成目标在当前类别下的二维高斯分布的光学域协方差矩阵，然后将目标极坐标作为二维高斯分布的光学域均值，进而基于光学域协方差矩阵和光学域均值构造二维高斯分布以生成光学域距离-方位置信概率图。
进一步地，在步骤102中，所述基于所述距离-方位热图构建雷达域距离-方位置信概率图包括：
对所述距离-方位热图进行恒虚警检测以得到所述目标对应的强目标检测点，并基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
示例性地，在距离-方位（RA）热图中有所有的回波信号对应的检测点，检测点中有大量的虚假检测点，因此需要对距离-方位（RA）热图进行恒虚警检测，以得到目标对应的强目标检测点。其中，恒虚警检测器需要对输入的噪声进行处理后确定一个门限，将此门限与输入端信号相比，如输入端信号超过了此门限，则判为有目标，否则，判为无目标，最后获取信号较强的强目标检测点。
在获取到相关数据后，以强目标检测点的坐标作为均值，以雷达系统的方位分辨率和距离分辨率关联协方差矩阵二维高斯分布来描述该目标基于雷达域检测结果的分布，进而构建雷达域距离-方位置信概率图。
进一步地，在步骤102中，所述基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图包括：
获取所述雷达的距离分辨率和角度分辨率；
基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵；
基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
示例性地，雷达的距离分辨率和角度分辨率为雷达的固有参数信息，可直接获取。基于距离分辨率和角度分辨率可得到目标的二维高斯分布的雷达域协方差矩阵。在获取到相关数据后，将强目标检测点在极坐标系中的坐标作为二维高斯分布的雷达域均值，基于雷达域协方差矩阵和雷达域均值构造二维高斯分布以生成雷达域距离-方位置信概率图。
进一步地，在步骤102中，所述基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标包括：
基于下式生成所述目标极坐标：
Figure DEST_PATH_IMAGE042
，
其中，
Figure DEST_PATH_IMAGE043
表示所述目标极坐标，
Figure DEST_PATH_IMAGE044
表示光学域距离坐标值，
Figure 878077DEST_PATH_IMAGE024
表示光学域方位坐标值，
Figure DEST_PATH_IMAGE045
表示所述雷达在场景俯视图中的坐标，
Figure DEST_PATH_IMAGE046
表示所述深度信息，
Figure DEST_PATH_IMAGE047
表示所述目标的类别信息，
Figure DEST_PATH_IMAGE048
表示所述目标的中心坐标中的第一维度坐标值。
示例性地，获取目标
Figure DEST_PATH_IMAGE049
的中心坐标信息
Figure DEST_PATH_IMAGE050
以及目标的深度信息
Figure DEST_PATH_IMAGE051
和类别信息
Figure DEST_PATH_IMAGE052
，构建数据
Figure DEST_PATH_IMAGE053
。设雷达在场景俯视图（BEV）的坐标为
Figure DEST_PATH_IMAGE054
，则可以得到目标在以雷达为极点的极坐标系下的目标极坐标
Figure DEST_PATH_IMAGE055
。
进一步地，在步骤102中，所述基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵包括：
根据下式生成所述光学域协方差矩阵：
Figure DEST_PATH_IMAGE056
，
其中，
Figure DEST_PATH_IMAGE057
表示所述光学域协方差矩阵，
Figure DEST_PATH_IMAGE058
表示所述深度信息，
Figure 118084DEST_PATH_IMAGE011
表示所述常数权重，
Figure 642738DEST_PATH_IMAGE012
表示所述深度概率，
Figure DEST_PATH_IMAGE059
表示所述定位误差。
示例性地，在上述公式中，
Figure DEST_PATH_IMAGE060
表示目标
Figure DEST_PATH_IMAGE061
的类别信息为
Figure DEST_PATH_IMAGE062
时的光学域协方差矩阵。
Figure DEST_PATH_IMAGE063
为深度估计算法得出的深度概率，若认为目标的深度信息是固定的，则
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
是相机系统中固定的定位误差。
进一步地，在步骤102中，所述根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图包括：
根据下式生成所述光学域距离-方位置信概率图：
Figure DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE067
表示所述光学域距离-方位置信概率图中的有效元素的第一维度值，
Figure 889349DEST_PATH_IMAGE016
表示所述光学域距离-方位置信概率图中的有效元素的第二维度值，
Figure 372414DEST_PATH_IMAGE017
表示所述光学域协方差矩阵，
Figure 752580DEST_PATH_IMAGE018
（）为归一化函数，
Figure DEST_PATH_IMAGE068
（）为指数函数，
Figure 411750DEST_PATH_IMAGE020
（）为求最大值函数，
Figure DEST_PATH_IMAGE069
由下式表示：
Figure DEST_PATH_IMAGE070
，
其中，
Figure DEST_PATH_IMAGE071
表示所述目标极坐标中的光学域距离坐标值，
Figure DEST_PATH_IMAGE072
表示所述目标极坐标中的光学域方位坐标值。
示例性地，将目标极坐标作为二维高斯分布的光学域均值，基于光学域协方差矩阵和光学域均值构造二维高斯分布以生成光学域距离-方位置信概率图。
进一步地，在步骤102中，所述基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵包括：
根据下式确定所述目标的所述雷达域协方差矩阵：
Figure DEST_PATH_IMAGE073
，
其中，
Figure 567663DEST_PATH_IMAGE026
表示所述雷达域协方差矩阵，
Figure 674159DEST_PATH_IMAGE027
表示所述距离分辨率，
Figure 557933DEST_PATH_IMAGE028
表示所述角度分辨率。
进一步地，在步骤102中，所述基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图包括：
根据下式生成所述雷达域距离-方位置信概率图：
Figure DEST_PATH_IMAGE074
其中，
Figure 283443DEST_PATH_IMAGE015
表示所述雷达域距离-方位置信概率图中的有效元素的第一维度值，
Figure DEST_PATH_IMAGE075
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 998589DEST_PATH_IMAGE026
表示所述雷达域协方差矩阵，
Figure 275987DEST_PATH_IMAGE031
（）为归一化函数，
Figure 927284DEST_PATH_IMAGE019
（）为指数函数，
Figure 394169DEST_PATH_IMAGE020
（）为求最大值函数，
Figure DEST_PATH_IMAGE076
由下式表示：
Figure DEST_PATH_IMAGE077
，
其中，
Figure 42450DEST_PATH_IMAGE034
表示所述强目标检测点在所述极坐标中的雷达域距离坐标值，
Figure 553066DEST_PATH_IMAGE035
表示所述强目标检测点在所述极坐标中的雷达域方位坐标值。
示例性地，将强目标检测点在极坐标系中的坐标作为二维高斯分布的雷达域均值，基于雷达域协方差矩阵和雷达域均值构造二维高斯分布以生成雷达域距离-方位置信概率图。
进一步地，在步骤103中，所述根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图包括：
针对所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图中对应的两个有效元素，根据下式生成所述目标距离-方位置信概率图中对应的有效元素：
Figure DEST_PATH_IMAGE078
，
其中，
Figure DEST_PATH_IMAGE079
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure DEST_PATH_IMAGE080
表示所述光学域距离-方位置信概率图中对应的有效元素的第二维度值，
Figure DEST_PATH_IMAGE081
表示所述目标距离-方位置信概率图中对应位置的有效元素的第二维度值。
示例性地，使用光学图像监督生成距离-方位置信概率图，具体来说，用光学域距离-方位置信概率图中对应的有效元素
Figure DEST_PATH_IMAGE082
和雷达域距离-方位置信概率图中的有效元素
Figure 237863DEST_PATH_IMAGE030
逐元素点乘来获得目标距离-方位置信概率图的有效元素。
进一步地，所述目标检测模型包括基于卷积神经网络的自编码器，用以从所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图中提取特征。
示例性地，首先将三维距离-速度-角度（RVA）热图分解为距离-方位（RA）热图、距离-速度（RV）热图和速度-方位（VA）热图，然后将基于卷积神经网络（ConvolutionalNeural Network, CNN）的自编码器（AutoEncoder）结构CAE作为从三种热图中提取特征的骨干网络，从而获取RA、RV、VA的特征图(Feature Map)。
图4为本发明实施例提供的一种用于雷达的目标检测模型训练的RA、RV、VA特征图融合模块结构示意图，从图中可以看出，最终的输出表示为RA域中的图像，表示RA特征可以直接输入到网络中，以得到对应的RA格式输出。另外的RV和VA特征同样可以为分类识别任务提供支持，因此需要先对RV和VA特征图进行修改。
由于VA特征提供了良好的方位角信息而不提供距离信息，因此可以通过求和的方式将VA特征沿距离维进行压缩，然后再沿距离维进行复制，以此得到新的RA特征图。同理，可对RV特征图先沿着速度维进行压缩，再沿着角度维进行复制得到新的RA特征图。最后将三个RA特征图进行通道堆叠，将所有特征串联起来，并将其输入到网络的进行分类决策。
进一步地，所述自编码器包括复数卷积层，用以处理输入的复数特征张量。
示例性地，距离-速度-角度（RVA）热图中的数据通常用包含频率和相位的复数形式来表示。但是，对于传统的卷积神经网络（CNN），有复数形式的数据并非常规的处理对象的数据形式。因此，还需要对复数数据进行建模，使用复数卷积层代替传统的卷积层。
图5为本发明实施例提供的一种用于雷达的目标检测模型训练的CAE结构的细节信息示意图，该图给出了CAE网络的细节信息。CAE网络由6个3维卷积层和3个3维转置卷积层组成。每个3维卷积层后都紧跟着一个批归一化层（Batch Normalization, BN）和ReLU激活函数。并且，前两个转置卷积层后各紧跟一个PReLU激活函数。图5中展示了CAE网络的详细信息，包括每层网络参数的选择。图5中Conv1-Conv6的长方体部分表示3D卷积层和一个BN层，该3D卷积层的卷积核大小为
Figure DEST_PATH_IMAGE083
，输出特征通道数为64。
图6为本发明实施例提供的一种用于雷达的目标检测模型训练的复数卷积示意图，设输入的复数特征张量为
Figure DEST_PATH_IMAGE084
，复数卷积核为
Figure DEST_PATH_IMAGE085
，则用下式表示复数卷积：
Figure DEST_PATH_IMAGE086
，
其中，用下式表示矩阵：
Figure DEST_PATH_IMAGE087
。
接下来分析相对应的损失函数，损失函数（loss function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在本方案中，由光学图像监督生成的目标距离-方位置信概率图作为分类识别网络的标签，则训练标签的形状可以表示为
Figure DEST_PATH_IMAGE088
。其中B表示batch size，
Figure DEST_PATH_IMAGE089
表示分类数量，例如行人、汽车以及自行车，相对应地，
Figure DEST_PATH_IMAGE090
。对于单一的分类，目标距离-方位置信概率图中的一个分辨单元的数据分布范围为0~1，表示该单元有对应种类目标的概率。使用二值交叉熵损失作为模型训练时的损失函数，其损失函数如下式所示：
Figure DEST_PATH_IMAGE091
其中，
Figure DEST_PATH_IMAGE092
表示由光学图像监督生成的距离-方位置信概率图。
Figure DEST_PATH_IMAGE093
表示由网络预测的结果。
通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：
在本发明所公开的技术方案中，通过用光学图像中的目标的尺寸信息和类别信息来补充雷达识别目标的不足，解决了恒虚警检测技术（CFAR）处理后没有目标尺寸和类别的技术问题，提供了目标检测效率和准确率。本方法是一种新颖的在距离-方位（RA）热图上表示目标的方法，构建了端到端的基于距离-方位（RA）热图的目标检测网络。基于数据驱动和任务驱动的特征提取方法，可以避免手工特征带入主观因素，提高了模型的鲁棒性。
基于与本发明实施例的一种用于雷达的目标检测模型训练方法同样的发明构思，本发明实施例提供了一种用于雷达的目标检测模型训练装置，请参考图7，所述装置包括：
数据获取单元201，用于采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
数据处理单元202，用于基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
置信概率图生成单元203，用于根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
模型训练单元204，用于将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
进一步地，所述数据处理单元202还用于：
基于预训练的光学图像目标检测模型对所述光学图像进行目标检测，以确定所述目标的类别信息以及所述目标的深度信息以及在图像坐标系下的中心坐标信息，并基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标；
基于所述目标极坐标构建所述光学域距离-方位置信概率图。
进一步地，所述数据处理单元202还用于：
获取所述目标的类别信息所对应的常数权重，并获取采集所述光学图像的相机系统的定位误差以及深度概率；
基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵；
根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图。
进一步地，所述数据处理单元202还用于：
对所述距离-方位热图进行恒虚警检测以得到所述目标对应的强目标检测点，并基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
进一步地，所述数据处理单元202还用于：
获取所述雷达的距离分辨率和角度分辨率；
基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵；
基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
进一步地，所述数据处理单元202还用于：
基于下式生成所述目标极坐标：
Figure DEST_PATH_IMAGE094
，
其中，
Figure DEST_PATH_IMAGE095
表示所述目标极坐标，
Figure 619690DEST_PATH_IMAGE044
表示光学域距离坐标值，
Figure 981533DEST_PATH_IMAGE024
表示光学域方位坐标值，
Figure 131891DEST_PATH_IMAGE045
表示所述雷达在场景俯视图中的坐标，
Figure 203185DEST_PATH_IMAGE046
表示所述深度信息，
Figure DEST_PATH_IMAGE096
表示所述目标的类别信息，
Figure 11872DEST_PATH_IMAGE048
表示所述目标的中心坐标中的第一维度坐标值。
进一步地，所述数据处理单元202还用于：
根据下式生成所述光学域协方差矩阵：
Figure DEST_PATH_IMAGE097
，
其中，
Figure DEST_PATH_IMAGE098
表示所述光学域协方差矩阵，
Figure 900325DEST_PATH_IMAGE046
表示所述深度信息，
Figure 221584DEST_PATH_IMAGE011
表示所述常数权重，
Figure 520454DEST_PATH_IMAGE012
表示所述深度概率，
Figure 319783DEST_PATH_IMAGE059
表示所述定位误差。
进一步地，所述数据处理单元202还用于：
根据下式生成所述光学域距离-方位置信概率图：
Figure DEST_PATH_IMAGE099
其中，
Figure 515272DEST_PATH_IMAGE015
表示所述光学域距离-方位置信概率图中的有效元素的第一维度值，
Figure DEST_PATH_IMAGE100
表示所述光学域距离-方位置信概率图中的有效元素的第二维度值，
Figure DEST_PATH_IMAGE101
表示所述光学域协方差矩阵，
Figure 367953DEST_PATH_IMAGE018
（）为归一化函数，
Figure 406316DEST_PATH_IMAGE019
（）为指数函数，
Figure 559735DEST_PATH_IMAGE020
（）为求最大值函数，
Figure DEST_PATH_IMAGE102
由下式表示：
Figure DEST_PATH_IMAGE103
，
其中，
Figure DEST_PATH_IMAGE104
表示所述目标极坐标中的光学域距离坐标值，
Figure 688359DEST_PATH_IMAGE024
表示所述目标极坐标中的光学域方位坐标值。
进一步地，所述数据处理单元202还用于：
根据下式确定所述目标的所述雷达域协方差矩阵：
Figure DEST_PATH_IMAGE105
，
其中，
Figure DEST_PATH_IMAGE106
表示所述雷达域协方差矩阵，
Figure DEST_PATH_IMAGE107
表示所述距离分辨率，
Figure 568066DEST_PATH_IMAGE028
表示所述角度分辨率。
进一步地，所述数据处理单元202还用于：
根据下式生成所述雷达域距离-方位置信概率图：
Figure DEST_PATH_IMAGE108
其中，
Figure 454245DEST_PATH_IMAGE067
表示所述雷达域距离-方位置信概率图中的有效元素的第一维度值，
Figure 595376DEST_PATH_IMAGE075
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 640824DEST_PATH_IMAGE026
表示所述雷达域协方差矩阵，
Figure 209208DEST_PATH_IMAGE031
（）为归一化函数，
Figure 253124DEST_PATH_IMAGE019
（）为指数函数，
Figure 197946DEST_PATH_IMAGE020
（）为求最大值函数，
Figure 160217DEST_PATH_IMAGE076
由下式表示：
Figure DEST_PATH_IMAGE109
，
其中，
Figure DEST_PATH_IMAGE110
表示所述强目标检测点在所述极坐标中的雷达域距离坐标值，
Figure 774869DEST_PATH_IMAGE035
表示所述强目标检测点在所述极坐标中的雷达域方位坐标值。
进一步地，所述置信概率图生成单元203还用于：
针对所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图中对应的两个有效元素，根据下式生成所述目标距离-方位置信概率图中对应的有效元素：
Figure DEST_PATH_IMAGE111
，
其中，
Figure DEST_PATH_IMAGE112
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 695027DEST_PATH_IMAGE016
表示所述光学域距离-方位置信概率图中对应的有效元素的第二维度值，
Figure DEST_PATH_IMAGE113
表示所述目标距离-方位置信概率图中对应位置的有效元素的第二维度值。
进一步地，所述目标检测模型包括基于卷积神经网络的自编码器，用以从所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图中提取特征。
进一步地，所述自编码器包括复数卷积层，用以处理输入的复数特征张量。
其中，所述的用于雷达的目标检测模型训练装置其它方面以及实现细节与前面所描述的用于雷达的目标检测模型训练方法相同或相似，在此不再赘述。
根据本发明的另一方面，本发明还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一用于雷达的目标检测模型训练方法。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (15)

1.一种用于雷达的目标检测模型训练方法，其特征在于，所述方法包括：
采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
2.如权利要求1所述的方法，其特征在于，所述基于所述光学图像构建光学域距离-方位置信概率图包括：
基于预训练的光学图像目标检测模型对所述光学图像进行目标检测，以确定所述目标的类别信息以及所述目标的深度信息以及在图像坐标系下的中心坐标信息，并基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标；
基于所述目标极坐标构建所述光学域距离-方位置信概率图。
3.如权利要求2所述的方法，其特征在于，所述基于所述目标极坐标构建所述光学域距离-方位置信概率图包括：
获取所述目标的类别信息所对应的常数权重，并获取采集所述光学图像的相机系统的定位误差以及深度概率；
基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵；
根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图。
4.如权利要求3所述的方法，其特征在于，所述基于所述距离-方位热图构建雷达域距离-方位置信概率图包括：
对所述距离-方位热图进行恒虚警检测以得到所述目标对应的强目标检测点，并基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
5.如权利要求4所述的方法，其特征在于，所述基于所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图包括：
获取所述雷达的距离分辨率和角度分辨率；
基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵；
基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图。
6.如权利要求5所述的方法，其特征在于，所述基于所述深度信息以及所述中心坐标信息确定所述目标在以所述雷达为极点的极坐标系下的目标极坐标包括：
基于下式生成所述目标极坐标：
Figure 477764DEST_PATH_IMAGE001
，
其中，
Figure 457222DEST_PATH_IMAGE002
表示所述目标极坐标，
Figure 315587DEST_PATH_IMAGE003
表示光学域距离坐标值，
Figure 773113DEST_PATH_IMAGE004
表示光学域方位坐标值，
Figure 134956DEST_PATH_IMAGE005
表示所述雷达在场景俯视图中的坐标，
Figure 19735DEST_PATH_IMAGE006
表示所述深度信息，
Figure 899485DEST_PATH_IMAGE007
表示所述目标的类别信息，
Figure 160702DEST_PATH_IMAGE008
表示所述目标的中心坐标中的第一维度坐标值。
7.如权利要求6所述的方法，其特征在于，所述基于所述深度信息、所述常数权重、所述定位误差和所述深度概率生成所述目标在当前类别下的光学域协方差矩阵包括：
根据下式生成所述光学域协方差矩阵：
Figure 642630DEST_PATH_IMAGE009
，
其中，
Figure 698311DEST_PATH_IMAGE010
表示所述光学域协方差矩阵，
Figure 110DEST_PATH_IMAGE011
表示所述深度信息，
Figure 799439DEST_PATH_IMAGE012
表示所述常数权重，
Figure 135874DEST_PATH_IMAGE013
表示所述深度概率，
Figure 628035DEST_PATH_IMAGE014
表示所述定位误差。
8.如权利要求7所述的方法，其特征在于，所述根据所述目标极坐标和所述光学域协方差矩阵构建所述光学域距离-方位置信概率图包括：
根据下式生成所述光学域距离-方位置信概率图：
Figure DEST_PATH_IMAGE015
其中，
Figure 742097DEST_PATH_IMAGE016
表示所述光学域距离-方位置信概率图中的有效元素的第一维度值，
Figure 627007DEST_PATH_IMAGE017
表示所述光学域距离-方位置信概率图中的有效元素的第二维度值，
Figure 83528DEST_PATH_IMAGE018
表示所述光学域协方差矩阵，
Figure 481011DEST_PATH_IMAGE019
（）为归一化函数，
Figure 757403DEST_PATH_IMAGE020
（）为指数函数，
Figure 695272DEST_PATH_IMAGE021
（）为求最大值函数，
Figure 997509DEST_PATH_IMAGE022
由下式表示：
Figure 831473DEST_PATH_IMAGE023
，
其中，
Figure 595161DEST_PATH_IMAGE024
表示所述目标极坐标中的光学域距离坐标值，
Figure 274404DEST_PATH_IMAGE004
表示所述目标极坐标中的光学域方位坐标值。
9.如权利要求8所述的方法，其特征在于，所述基于所述距离分辨率和所述角度分辨率确定所述目标的雷达域协方差矩阵包括：
根据下式确定所述目标的所述雷达域协方差矩阵：
Figure 439937DEST_PATH_IMAGE025
，
其中，
Figure 444802DEST_PATH_IMAGE026
表示所述雷达域协方差矩阵，
Figure 695786DEST_PATH_IMAGE027
表示所述距离分辨率，
Figure 723261DEST_PATH_IMAGE028
表示所述角度分辨率。
10.如权利要求9所述的方法，其特征在于，所述基于所述雷达域协方差矩阵和每个所述强目标检测点在所述极坐标系中的坐标构建所述雷达域距离-方位置信概率图包括：
根据下式生成所述雷达域距离-方位置信概率图：
Figure 258147DEST_PATH_IMAGE029
其中，
Figure 184646DEST_PATH_IMAGE016
表示所述雷达域距离-方位置信概率图中的有效元素的第一维度值，
Figure 906614DEST_PATH_IMAGE030
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 740709DEST_PATH_IMAGE031
表示所述雷达域协方差矩阵，
Figure 598944DEST_PATH_IMAGE032
（）为归一化函数，
Figure 961923DEST_PATH_IMAGE033
（）为指数函数，
Figure 171188DEST_PATH_IMAGE021
（）为求最大值函数，
Figure 15166DEST_PATH_IMAGE034
由下式表示：
Figure 259065DEST_PATH_IMAGE035
，
其中，
Figure 58525DEST_PATH_IMAGE036
表示所述强目标检测点在所述极坐标中的雷达域距离坐标值，
Figure 505818DEST_PATH_IMAGE037
表示所述强目标检测点在所述极坐标中的雷达域方位坐标值。
11.如权利要求10所述的方法，其特征在于，所述根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图包括：
针对所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图中对应的两个有效元素，根据下式生成所述目标距离-方位置信概率图中对应的有效元素：
Figure 134245DEST_PATH_IMAGE038
，
其中，
Figure 248963DEST_PATH_IMAGE039
表示所述雷达域距离-方位置信概率图中的有效元素的第二维度值，
Figure 468592DEST_PATH_IMAGE040
表示所述光学域距离-方位置信概率图中对应的有效元素的第二维度值，
Figure 400251DEST_PATH_IMAGE041
表示所述目标距离-方位置信概率图中对应位置的有效元素的第二维度值。
12.如权利要求1所述的方法，其特征在于，所述目标检测模型包括基于卷积神经网络的自编码器，用以从所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图中提取特征。
13.如权利要求12所述的方法，其特征在于，所述自编码器包括复数卷积层，用以处理输入的复数特征张量。
14.一种用于雷达的目标检测模型训练装置，其特征在于，所述装置包括：
数据获取单元，用于采集针对目标的带有深度信息的光学图像，并获取所述目标针对雷达探测信号反馈的回波信号；
数据处理单元，用于基于所述光学图像构建光学域距离-方位置信概率图，并基于所述回波信号生成距离-方位热图、距离-速度热图、以及速度-方位热图，以及基于所述距离-方位热图构建雷达域距离-方位置信概率图；
置信概率图生成单元，用于根据所述光学域距离-方位置信概率图和所述雷达域距离-方位置信概率图生成目标距离-方位置信概率图；
模型训练单元，用于将所述距离-方位热图、所述距离-速度热图、以及所述速度-方位热图作为所述目标检测模型的输入，并将所述距离-方位置信概率图作为对应的标签，以训练所述目标检测模型。
15.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1至13中任一项所述的用于雷达的目标检测模型训练方法。
CN202210996101.3A 2022-08-19 2022-08-19 用于雷达的目标检测模型训练方法、装置及存储介质 Active CN115061113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210996101.3A CN115061113B (zh) 2022-08-19 2022-08-19 用于雷达的目标检测模型训练方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210996101.3A CN115061113B (zh) 2022-08-19 2022-08-19 用于雷达的目标检测模型训练方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115061113A true CN115061113A (zh) 2022-09-16
CN115061113B CN115061113B (zh) 2022-11-01

Family

ID=83207833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210996101.3A Active CN115061113B (zh) 2022-08-19 2022-08-19 用于雷达的目标检测模型训练方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115061113B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115542282A (zh) * 2022-11-28 2022-12-30 南京航空航天大学 基于深度学习的雷达回波检测方法、系统、设备及介质
CN117192509A (zh) * 2023-11-07 2023-12-08 长沙莫之比智能科技有限公司 一种雷达mvdr算法中抑制能量泄露方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN112200129A (zh) * 2020-10-28 2021-01-08 中国人民解放军陆军航空兵学院陆军航空兵研究所 一种基于深度学习的三维目标检测方法、装置及终端设备
CN112884760A (zh) * 2021-03-17 2021-06-01 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN113627298A (zh) * 2021-07-30 2021-11-09 北京百度网讯科技有限公司 目标检测模型的训练方法及检测目标对象的方法、装置
CN113640792A (zh) * 2021-07-06 2021-11-12 南京理工大学 一种基于机器学习的车内生命体毫米波雷达检测方法
WO2022026576A2 (en) * 2020-07-29 2022-02-03 Neural Propulsion Systems, Inc. Multi-frequency radar array systems and sensor fusion for seeing around corners in autonomous driving
CN114212045A (zh) * 2021-12-13 2022-03-22 上海航盛实业有限公司 一种车内乘员检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
WO2022026576A2 (en) * 2020-07-29 2022-02-03 Neural Propulsion Systems, Inc. Multi-frequency radar array systems and sensor fusion for seeing around corners in autonomous driving
CN112200129A (zh) * 2020-10-28 2021-01-08 中国人民解放军陆军航空兵学院陆军航空兵研究所 一种基于深度学习的三维目标检测方法、装置及终端设备
CN112884760A (zh) * 2021-03-17 2021-06-01 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN113640792A (zh) * 2021-07-06 2021-11-12 南京理工大学 一种基于机器学习的车内生命体毫米波雷达检测方法
CN113627298A (zh) * 2021-07-30 2021-11-09 北京百度网讯科技有限公司 目标检测模型的训练方法及检测目标对象的方法、装置
CN114212045A (zh) * 2021-12-13 2022-03-22 上海航盛实业有限公司 一种车内乘员检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOUNGSEOK KIM 等: "Low-level Sensor Fusion for 3D Vehicle Detection using Radar Range-Azimuth Heatmap and Monocular Image", 《ACCV2020》 *
金钥 等: "基于Mobile U-Net的多目标（行人）检测算法", 《工业控制计算机》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115542282A (zh) * 2022-11-28 2022-12-30 南京航空航天大学 基于深度学习的雷达回波检测方法、系统、设备及介质
CN117192509A (zh) * 2023-11-07 2023-12-08 长沙莫之比智能科技有限公司 一种雷达mvdr算法中抑制能量泄露方法
CN117192509B (zh) * 2023-11-07 2024-02-06 长沙莫之比智能科技有限公司 一种雷达mvdr算法中抑制能量泄露方法

Also Published As

Publication number Publication date
CN115061113B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US11506776B2 (en) Method and device with improved radar resolution
EP3663790A1 (en) Method and apparatus for processing radar data
US6437728B1 (en) A-scan ISAR target recognition system and method
US8718323B2 (en) Batch detection association for enhanced target descrimination in dense detection environments
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN113534065B (zh) 一种雷达目标微动特征提取与智能分类方法及系统
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN112731307B (zh) 基于距离-角度联合估计的ratm-cfar检测器及检测方法
Sengupta et al. Automatic radar-camera dataset generation for sensor-fusion applications
WO2021247427A1 (en) Clustering in automotive imaging
CN112285698B (zh) 一种基于雷达传感器的多目标跟踪装置及方法
CN115546526A (zh) 三维点云聚类方法、装置及存储介质
Franceschi et al. Deep learning-based radar detector for complex automotive scenarios
Roldan et al. See Further Than CFAR: a Data-Driven Radar Detector Trained by Lidar
Kim et al. Deep-learning based multi-object detection and tracking using range-angle map in automotive radar systems
CN115754969A (zh) 基于宽窄带结合和差单脉冲的识别雷达方法及系统
CN116027288A (zh) 生成数据的方法、装置、电子设备及存储介质
CN114611547A (zh) 基于卷积神经网络的雷达目标识别方法、模型训练方法
CN118393457B (zh) 一种基于深度神经网络的毫米波雷达多径目标识别方法
Hożyń et al. Tracking of unmanned aerial vehicles using computer vision methods: A comparative analysis
WO2022191197A1 (ja) 物体位置検出装置及び方法
CN116224280B (zh) 雷达目标检测方法、装置、雷达设备及存储介质
EP4369028A1 (en) Interface for detection representation of hidden activations in neural networks for automotive radar
Luo et al. Radar Intelligent Detection Approach for Swarm Target Scene
CN112698291B (zh) 一种基于cnn的机载气象雷达气象目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant