CN114492676A - 一种目标检测模型的构建方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种目标检测模型的构建方法、装置和电子设备，该方法和装置具体为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

Description

一种目标检测模型的构建方法、装置和电子设备

技术领域

本申请涉及自动驾驶技术领域，更具体地说，涉及一种目标检测方法、装置和电子设备。

背景技术

目前基于毫米波雷达的目标检测方法，都是基于雷视融合的方案实现的，即基于雷达采集数据和视频标定的方式实现检测识别任务。在只使用雷达数据做目标检测的方案中，或是采用了比较复杂的点云数据提取目标特征，或是在Range-Angle-Doppler三维FFT处理后融合特征图，使用循环神经网络进行检测任务，或是对Range-Angle特征图进行极坐标转换，采用图神经网络提取特征。这些方法或是复现难度较高，且鲁棒性较差，或是结果较为粗糙，检测效果不稳定，都不利于工程应用。

为了解决上述方案的缺陷，目前一般采用基于对目标的微多普勒运动的特征提取实现目标检测任务。但微多普勒运动的特点是针对目标材质的区分，只能区分材质不同的目标如行人和汽车，但目前的车辆的材质基本相同，一般都采用钢铁材质，微多普勒特征提取的方案无法有效区分车辆的具体类型，从而导致现在对不同类型的车辆进行检测时无法有效区分目标类型。

发明内容

有鉴于此，本申请提供一种目标检测模型的构建方法、装置和电子设备，以确保配置此种目标检测模型的探测设备能够对不对车辆进行检测时有效检测出目标类型。

为了实现上述目的，现提出的方案如下：

一种目标检测模型的构建方法，应用于电子设备，所述构建方法包括步骤：

针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；

对所述多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与所述矩阵样本一一对应的热力图像，N为大于零的正整数；

基于N个所述矩阵样本和N个所述热力图像构建训练样本集；

基于所述训练样本集进行模型训练的，得到所述目标检测模型。

可选的，所述多个样本数据由毫米波雷达对所述多种目标在多个距离和多个角度上分别进行采样得到。

可选的，所述对所述多个数据样本进行切分处理，得到N个矩阵样本和N个分别与所述矩阵样本一一对应的热力图像，N为大于零的正整数，包括步骤：

将所述多个数据样本构建为数据矩阵；

将所述数据矩阵进行切分处理，得到多个子数据矩阵；

对所述多个子数据矩阵进行快速傅里叶变换处理，根据处理结果进行构建，得到所述N个所述矩阵样本和N个所述热力图像。

一种目标检测模型的构建装置，应用于电子设备，所述构建装置包括：

数据采集模块，被配置为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；

预处理模块，被配置为对所述多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与所述矩阵样本一一对应的热力图像，N为大于零的正整数；

样本集构建模块，被配置为基于N个所述矩阵样本和N个所述热力图像构建训练样本集；

模型训练模块，被配置为基于所述训练样本集进行模型训练的，得到所述目标检测模型。

可选的，所述多个样本数据由毫米波雷达对所述多种目标在多个距离和多个角度上分别进行采样得到。

可选的，所述预处理模块包括：

矩阵构建单元，被配置为将所述多个数据样本构建为数据矩阵；

切分处理单元，被配置为将所述数据矩阵进行切分处理，得到多个子数据矩阵；

数据变换单元，被配置为对所述多个子数据矩阵进行快速傅里叶变换处理，根据处理结果进行构建，得到所述N个所述矩阵样本和N个所述热力图像。

一种电子设备，其特征在于，包括如上所述的目标检测模型的构建装置。

一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

所述存储器用于存储计算机程序或指令；

所述处理器用于执行所述计算机程序或指令，以使所述电子设备实现如上所述的目标检测模型的构建方法。

从上述的技术方案可以看出，本申请公开了一种目标检测模型的构建方法、装置和电子设备，该方法和装置具体为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是对反射信息处理后得到的Range-Angle特征数据；

图2是对原始的Range-Angle图从Z轴俯视得到的二维图；

图3是经过标注工具LabelImg对二维图进行标注后的示意图；

图4为本申请实施例的一种目标检测模型的构建方法的流程图；

图5为本申请实施例的一种目标检测模型的构建装置的框图；

图6为本申请实施例的一种电子设备的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请基于如下基本原理实现对目标检测模型额构建：

通过对不同目标进行数据采集并处理成Range-Angle特征图作为图像样本，以这些样本构建数据集并进行数据标注，Range-Angle特征图保存的3D矩阵作为神经网络的输入。由于Range-Angle特征图保存为图片时只是将其Z轴的目标反射强度投影到了距离和角度轴平面，虽然反射信息的强度发生了改变，但在距离-角度维度的信息是不变的，图1为处理后的实际Range-Angle特征数据。

图2为对原始的Range-Angle图从Z轴俯视得到的二维图，图中高亮区域代表了目标所在的位置。可以看出，虽然反射强度信息绝大部分被忽略了，但距离信息和角度信息依然是完整保留的，依然可以得到目标的位置信息。虽然保存为图片后由于图片的像素通道组成依然是3维数据，但本案只使用距离-角度二维的信息作为坐标定位使用。

假设Range-Angle特征图矩阵在保存时的尺寸为l*w*h，一般为适应神经网络对输入的尺寸要求l和w默认相等，h为通道数，因此在将数据保存为图片时只保存中间雷达检测数据的正方形部分，周围的图表度量和标注舍去，且保存的图片尺寸也要修改为l*w（压缩丢失像素信息没有影响，因为像素不是我们需要的信息。只要保持原长宽比相应的距离-角度坐标信息就不会被改变），和Range-Angle矩阵保持一致。此举进一步保证了图片上的坐标和数据矩阵中距离-角度维度的坐标是一一对应的，只需按一定规则转换即可，具体请根据标注图片使用的方法而定。

以图3为例，假设图片的尺寸为w*w，距离范围是0-A米，角度范围是-C°-D°，中间的0°垂直线为雷达的法线（雷达天线面的法向）。以距离换算为例，设某标注坐标为（x，y）,则实际的距离range=-(y*A/w)+A，因为标注的距离方向和实际距离方向是相反的，所以标注坐标越大则实际距离越小。角度换算同理，由于0°起始点不在原点，首先计算angle_1=x*(C+D)/w，若angle_1>C，则实际角度angle=angle_1-C，若angle_1<C，则实际角度angle=-angle_1。

因此Range-Angle图片中距离、角度坐标和实际输入到网络中的3D矩阵距离-角度维度的数据是一一对应的，故神经网络输出的距离-角度维度的目标检测边界框信息可以作为目标的实际距离角度信息。再将Range-Angle信息通过计算映射到实际坐标系以确定目标的实际位置，完成目标检测任务。

基于以上描述，本申请提出如下具体实施例：

实施例一

图4为本申请实施例的一种目标检测模型的构建方法的流程图。

如图4所示，本实施例提供的构建方法应用于电子设备，用于对目标检测模型进行构建，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器。该构建方法包括如下步骤：

S1、基于毫米波雷达采集多种目标的多个数据样本。

首先，确定需要检测分类的目标类别，本申请中共选定五类目标，包括大中小三类车型、行人和非机动车辆，各类目标选取一个日常生活中常见的样本作为毫米波雷达的检测目标。选取车型按汽车轴距粗分，本质区别在于毫米波雷达检测这三类目标时返回的原始点数据有差别，但不直接作为本方案目标检测的依据，只是在数据采集构建数据集时提供一个先验标签，用以在后续训练过程中告诉神经网络这个R-A图对应的真实目标是什么车型

本申请中选定一辆公交车作为大型车目标，一辆SUV作为中型车目标，一辆斯柯达小型轿车作为小型车目标，一辆有人骑的国标电动车，以及一位成年行人。在对五类目标进行数据采集时，首先固定雷达位置以雷达法线作为参考，将五类目标在雷达检测视野内进行位置组合模拟实际交通场景。

由于人的弱反射特性，毫米波雷达对行人单位的最大检测距离相对最短且一般不超过100米，而雷达对于同一个目标在不同检测距离下的反射强度有所区别。所以为增强数据特征的多样性，使后续训练模型能够提取到同一个目标的不同特征，增强模型的鲁棒性。本申请在采集数据时选择了多距离测量，即在检测方向上根据目标与雷达的直线距离选择四个位置进行定点检测，分别在20米处、40米处、60米处以及80米处。同时为了从多个方向检测目标充分捕捉目标的反射特性，检测时调整目标方向，对目标的左右前后四个方向都进行了数据采集，各采集若干帧，一帧为一个样本，包含五个类别的目标和其前后左右四个不同角度。最终共得到960个数据样本。

本申请使用的雷达是基于TDMA和MIMO机制的毫米波雷达，因为雷达的信号能量在收发过程中由于各种外界因素必然会存在衰减，所以MIMO机制下多发多收雷达接收数据量的增加保证了雷达的检测数据精度。进而，在MIMO体制下，因为所有接收天线是同时接收信号的，所以为了接收反射信号时不冲突，用TDMA机制去发射信号让每一个发射天线按时序发射信号，各发射天线按顺序发射信号。

毫米波雷达的收发通道按雷达天线分布，例如，对于有2个发射信号的发射通道Tx和 4个接收信号的接收通道Rx的毫米波雷达一般简称为2发4收雷达。雷达天线每发射一次信号包含samples个数据，循环次数称为chirps（所以也称loop），一个数据帧的采集以4个接收通道完整接收2个发射通道发出的数据为结束，那么每帧的完整数据量就是N=Samples*Chirps*Rx*Tx。

另外，前面的计算是默认实数采集模式，如果数据是以复数形式即IQ正交采样，因为接收数据包含实部虚部两个数据，那么每帧的数据量则为N=Samples*Chirps*Rx*Tx*2，采集后得到的数据即按照这个长度和帧序逐一排列，总数据量即为Samples*Chirps*Rx*Tx*2*frames。

S2、对多个数据样本进行预处理。

本申请中对多个数据样本的预处理过程包括如下过程：

首先，将采集的多个数据样本按接收通道对每一帧进行排列，构建包括所有数据样本的数据矩阵，即按照（Rx*Tx)*Samples*Chirps的顺序排列，以上文2发4收雷达为例，假设采样点samples为256，循环chirps为64，则切分后一帧的数据形状为8*256*64的矩阵，其中在第一个维度上，2发4收8个通道的排列是按Tx发射顺序排列，即Rx1-Rx2-Rx3-Rx4-Rx1-Rx2-Rx3-Rx4，这类数据矩阵我们一般称为data_cube，以下这类数据统称data_cube。根据雷达测距测角和测速的方法需求，数据矩阵的三个维度分别对应角度-距离-速度维度，即对数据矩阵在这三个维度上进行FFT处理和相关操作即可得到角度距离和速度信息。

然后，根据数据矩阵的第一个维度的通道分布，将data_cube按Tx切分，比如有2个发射天线那么按Tx可以将原始data_cube切分成两个子数据矩阵data_cube1和data_cube2，因为这些反射数据只不过是两个发射天线分开发射信号后反射的数据，即属于同一目标，所以在后续算法处理中选用哪个Tx的子数据矩阵对处理结果都没有太大的误差影响。

最后，对多个子数据矩阵进行快速傅里叶变换处理，根据处理结果进行构建，得到所述N个所述矩阵样本和N个所述热力图像。

选择Tx1的data_cube1，在第二个维度（samples:256）做距离的快速傅里叶变换处理得到结果A1，再对Tx2的data_cube2也做一次相同的快速傅里叶变换处理得到结果A2；

在上一步的结果A1 上，在第一个维度（Rx*Tx:8）对8个通道累积，先求和再取平均（相当于把8个数压缩成一个数的处理）得到结果B；在结果B上，在第三个维度chirps维度做多普勒（速度）快速傅里叶变换处理得到C，C即这一帧数据的R-D结果，即距离-速度信息；

在结果C上，先做CFAR（信号处理领域常用方法，恒虚警检测）检测去除检测数据中的虚假目标点，再做峰值聚合，将可能属于同一目标的点聚合成一个点，这样做是为了在后续处理中降低计算量，该步得到结果D；

在结果D上，首先在其第二个维度即速度维度D(2,:)遍历寻找出速度较大的第一个点的index（理论上任意一个点都可以，这样做是为了让后续处理更快一点），然后再根据这个index索引第一个维度D(1,index)，用这个值去计算相位补偿系数（因为接收信号的相位不仅由目标的角度决定，还与目标速度有关，通常情况下，目标运动引入的相位项是一个固定的常数，如果不对该相位项进行补偿，将会导致目标角度计算错误。实际中可以根据设备的条件和项目要求决定是否做相位补偿，因为这个误差不会造成恶劣影响，属于可接受范围，本案因为要计算距离-角度信息，为了追求准确进行了相位补偿操作）。相位补偿系数的计算，本案使用的是下面的公式：

其中fft_vel参数为上述步骤中，chirps维度多普勒fft的参数。

上面的处理使用的是Tx1的数据，下面使用Tx2的数据做角度的快速傅里叶变换，将pha_param 代入上文的结果A1中对每个点遍历一次，即：

然后直接将A和相位补偿处理后新的A1进行矩阵拼接（因为在前面的步骤中按发射通道进行了拆分，现在处理后再进行拼接还原），即：

rangedata_merge = [A,A1]

对rangedata_merge在通道维度上也做一次快速傅里叶变换，即可得到最终的R-A图数据，即距离-角度数据。

根据本案使用的雷达设备参数和数据处理参数，最终处理后的数据尺寸为608*608*255，使用matlab的imagesc函数可以对得到的数据矩阵进行图片绘制，得到一张R-A热力图像并保存，在第三维度对数据进行排序选择前三个较大值保留，其余数据剔除，得到最终的R-A图数据矩阵为608*608*3。每帧数据都按照上述方法进行处理，最终得到960个608*608*3的矩阵样本和960张对应的热力图像。另外为了使保存的图片和距离-角度数据矩阵的数据点可以一一对应，对960张保存的图片进行reshape处理，在不改变原图长宽比的前提下将尺寸统一修改为608*608，即完成所有数据预处理工作。

S3、构建训练样本。

先对完成预处理的矩阵样本进行数据集划分，按8：1：1的比例随机抽取划分为训练集、验证集和测试集。对训练集和验证集数据对应保存的热力图片分别使用LabelImg标注工具进行数据标注，用矩形框选出图片中所有目标的位置，一个目标一个框，包含一帧样本中所有目标边界框的距离-角度位置信息以及分类标签，具体信息如下所示：

第一个数代表类型id，第二第三个数字和第四第五个数字分别代表标注时确定边界框的对角线两个点的横轴坐标和纵轴坐标，因此在进行训练之前需要将标签文件中所有的横纵坐标信息先转换到距离-角度尺度才能作为网络输入开始训练。

输出检测结果时通过类别id索引数据集的yaml文件中类别列表输出类别名。为保证测试结果的可靠性，在使用测试集测试模型时建议打乱测试样本顺序进行随机抽取测试以有效验证模型的性能。

S4、基于训练样本进行模型训练。

本申请采用的检测模型为Yolov5，基于PyTorch框架实现，为开源模型。Yolov5需要的环境支持更简单，且体积更小，原始权重文件只有20M-30M大小，更容易部署到嵌入式设备上。通过该检测模型和上面的训练样本，得到目标检测模型。

在经过各卷积层的特征提取和Head层分割后按输入通道数分割成尺度不同的特征图，Detect层在各个不同尺度的特征图上都会根据预测出的目标中心点坐标生成对应的锚框位置，主要是为了通过多尺度特征图增强网络对不同尺寸目标的检测效果。如下面所示，为基于经验的anchor锚框尺寸。

因为一般大特征图会包含更详细的小目标信息所以锚框尺寸小，相反地在小特征图上会选择大尺寸的锚框检测大目标。对比各通道的锚框和类别置信度去除冗余检测框，选择最好的检测框输出检测信息和类别置信度。

从上述技术方案可以看出，本实施例提供了一种目标检测模型的构建方法，该方法应用于电子设备，具体为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

实施例二

图5为本申请实施例的一种目标检测模型的构建装置的框图。

如图5所示，本实施例提供的构建装置应用于电子设备，用于对目标检测模型进行构建，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器。该构建装置包括数据采集模块10、预处理模块20、样本集构建模块30和模型训练模块40。

数据采集模块用于基于毫米波雷达采集多种目标的多个数据样本。

首先，确定需要检测分类的目标类别，本申请中共选定五类目标，包括大中小三类车型、行人和非机动车辆，各类目标选取一个日常生活中常见的样本作为毫米波雷达的检测目标。选取车型按汽车轴距粗分，本质区别在于毫米波雷达检测这三类目标时返回的原始点数据有差别，但不直接作为本方案目标检测的依据，只是在数据采集构建数据集时提供一个先验标签，用以在后续训练过程中告诉神经网络这个R-A图对应的真实目标是什么车型

本申请中选定一辆公交车作为大型车目标，一辆SUV作为中型车目标，一辆斯柯达小型轿车作为小型车目标，一辆有人骑的国标电动车，以及一位成年行人。在对五类目标进行数据采集时，首先固定雷达位置以雷达法线作为参考，将五类目标在雷达检测视野内进行位置组合模拟实际交通场景。

由于人的弱反射特性，毫米波雷达对行人单位的最大检测距离相对最短且一般不超过100米，而雷达对于同一个目标在不同检测距离下的反射强度有所区别。所以为增强数据特征的多样性，使后续训练模型能够提取到同一个目标的不同特征，增强模型的鲁棒性。本申请在采集数据时选择了多距离测量，即在检测方向上根据目标与雷达的直线距离选择四个位置进行定点检测，分别在20米处、40米处、60米处以及80米处。同时为了从多个方向检测目标充分捕捉目标的反射特性，检测时调整目标方向，对目标的左右前后四个方向都进行了数据采集，各采集若干帧，一帧为一个样本，包含五个类别的目标和其前后左右四个不同角度。最终共得到960个数据样本。

本申请使用的雷达是基于TDMA和MIMO机制的毫米波雷达，因为雷达的信号能量在收发过程中由于各种外界因素必然会存在衰减，所以MIMO机制下多发多收雷达接收数据量的增加保证了雷达的检测数据精度。进而，在MIMO体制下，因为所有接收天线是同时接收信号的，所以为了接收反射信号时不冲突，用TDMA机制去发射信号让每一个发射天线按时序发射信号，各发射天线按顺序发射信号。

毫米波雷达的收发通道按雷达天线分布，例如，对于有2个发射信号的发射通道Tx和 4个接收信号的接收通道Rx的毫米波雷达一般简称为2发4收雷达。雷达天线每发射一次信号包含samples个数据，循环次数称为chirps（所以也称loop），一个数据帧的采集以4个接收通道完整接收2个发射通道发出的数据为结束，那么每帧的完整数据量就是N=Samples*Chirps*Rx*Tx。

另外，前面的计算是默认实数采集模式，如果数据是以复数形式即IQ正交采样，因为接收数据包含实部虚部两个数据，那么每帧的数据量则为N=Samples*Chirps*Rx*Tx*2，采集后得到的数据即按照这个长度和帧序逐一排列，总数据量即为Samples*Chirps*Rx*Tx*2*frames。

预处理模块用于对多个数据样本进行预处理。该模块包括矩阵构建单元、切分处理单元和数据变换单元。

矩阵构建单元用于将采集的多个数据样本按接收通道对每一帧进行排列，构建包括所有数据样本的数据矩阵，即按照（Rx*Tx)*Samples*Chirps的顺序排列，以上文2发4收雷达为例，假设采样点samples为256，循环chirps为64，则切分后一帧的数据形状为8*256*64的矩阵，其中在第一个维度上，2发4收8个通道的排列是按Tx发射顺序排列，即Rx1-Rx2-Rx3-Rx4-Rx1-Rx2-Rx3-Rx4，这类数据矩阵我们一般称为data_cube，以下这类数据统称data_cube。根据雷达测距测角和测速的方法需求，数据矩阵的三个维度分别对应角度-距离-速度维度，即对数据矩阵在这三个维度上进行FFT处理和相关操作即可得到角度距离和速度信息。

切分处理单元用于根据数据矩阵的第一个维度的通道分布，将data_cube按Tx切分，比如有2个发射天线那么按Tx可以将原始data_cube切分成两个子数据矩阵data_cube1和data_cube2，因为这些反射数据只不过是两个发射天线分开发射信号后反射的数据，即属于同一目标，所以在后续算法处理中选用哪个Tx的子数据矩阵对处理结果都没有太大的误差影响。

数据变换单元用于对多个子数据矩阵进行快速傅里叶变换处理，根据处理结果进行构建，得到所述N个所述矩阵样本和N个所述热力图像。

选择Tx1的data_cube1，在第二个维度（samples:256）做距离的快速傅里叶变换处理得到结果A1，再对Tx2的data_cube2也做一次相同的快速傅里叶变换处理得到结果A2；

在上一步的结果A1 上，在第一个维度（Rx*Tx:8）对8个通道累积，先求和再取平均（相当于把8个数压缩成一个数的处理）得到结果B；在结果B上，在第三个维度chirps维度做多普勒（速度）快速傅里叶变换处理得到C，C即这一帧数据的R-D结果，即距离-速度信息；

在结果C上，先做CFAR（信号处理领域常用方法，恒虚警检测）检测去除检测数据中的虚假目标点，再做峰值聚合，将可能属于同一目标的点聚合成一个点，这样做是为了在后续处理中降低计算量，该步得到结果D；

在结果D上，首先在其第二个维度即速度维度D(2,:)遍历寻找出速度较大的第一个点的index（理论上任意一个点都可以，这样做是为了让后续处理更快一点），然后再根据这个index索引第一个维度D(1,index)，用这个值去计算相位补偿系数（因为接收信号的相位不仅由目标的角度决定，还与目标速度有关，通常情况下，目标运动引入的相位项是一个固定的常数，如果不对该相位项进行补偿，将会导致目标角度计算错误。实际中可以根据设备的条件和项目要求决定是否做相位补偿，因为这个误差不会造成恶劣影响，属于可接受范围，本案因为要计算距离-角度信息，为了追求准确进行了相位补偿操作）。相位补偿系数的计算，本案使用的是下面的公式：

其中fft_vel参数为上述步骤中，chirps维度多普勒fft的参数。

上面的处理使用的是Tx1的数据，下面使用Tx2的数据做角度的快速傅里叶变换，将pha_param 代入上文的结果A1中对每个点遍历一次，即：

然后直接将A和相位补偿处理后新的A1进行矩阵拼接（因为在前面的步骤中按发射通道进行了拆分，现在处理后再进行拼接还原），即：

rangedata_merge = [A,A1]

对rangedata_merge在通道维度上也做一次快速傅里叶变换，即可得到最终的R-A图数据，即距离-角度数据。

根据本案使用的雷达设备参数和数据处理参数，最终处理后的数据尺寸为608*608*255，使用matlab的imagesc函数可以对得到的数据矩阵进行图片绘制，得到一张R-A热力图像并保存，在第三维度对数据进行排序选择前三个较大值保留，其余数据剔除，得到最终的R-A图数据矩阵为608*608*3。每帧数据都按照上述方法进行处理，最终得到960个608*608*3的矩阵样本和960张对应的热力图像。另外为了使保存的图片和距离-角度数据矩阵的数据点可以一一对应，对960张保存的图片进行reshape处理，在不改变原图长宽比的前提下将尺寸统一修改为608*608，即完成所有数据预处理工作。

样本集构建模块用于构建训练样本。

先对完成预处理的矩阵样本进行数据集划分，按8：1：1的比例随机抽取划分为训练集、验证集和测试集。对训练集和验证集数据对应保存的热力图片分别使用LabelImg标注工具进行数据标注，用矩形框选出图片中所有目标的位置，一个目标一个框，包含一帧样本中所有目标边界框的距离-角度位置信息以及分类标签，具体信息如下所示：

第一个数代表类型id，第二第三个数字和第四第五个数字分别代表标注时确定边界框的对角线两个点的横轴坐标和纵轴坐标，因此在进行训练之前需要将标签文件中所有的横纵坐标信息先转换到距离-角度尺度才能作为网络输入开始训练。

输出检测结果时通过类别id索引数据集的yaml文件中类别列表输出类别名。为保证测试结果的可靠性，在使用测试集测试模型时建议打乱测试样本顺序进行随机抽取测试以有效验证模型的性能。

模型训练模块用于基于训练样本进行模型训练。

本申请采用的检测模型为Yolov5，基于PyTorch框架实现，为开源模型。Yolov5需要的环境支持更简单，且体积更小，原始权重文件只有20M-30M大小，更容易部署到嵌入式设备上。通过该检测模型和上面的训练样本，得到目标检测模型。

在经过各卷积层的特征提取和Head层分割后按输入通道数分割成尺度不同的特征图，Detect层在各个不同尺度的特征图上都会根据预测出的目标中心点坐标生成对应的锚框位置，主要是为了通过多尺度特征图增强网络对不同尺寸目标的检测效果。如下面所示，为基于经验的anchor锚框尺寸。

因为一般大特征图会包含更详细的小目标信息所以锚框尺寸小，相反地在小特征图上会选择大尺寸的锚框检测大目标。对比各通道的锚框和类别置信度去除冗余检测框，选择最好的检测框输出检测信息和类别置信度。

从上述技术方案可以看出，本实施例提供了一种目标检测模型的构建装置，该装置应用于电子设备，具体为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

实施例三

本实施例提供了一种电子设备，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该点子设备设置有上一实施例提供的目标检测模型的构建装置。该装置具体用于针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

实施例四

本实施例提供了一种电子设备，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该电子设备设置有上一实施例提供的目标检测模型的构建装置。该装置具体用于针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

实施例五

图6为本申请实施例的一种电子设备的框图。

如图6所示，本实施例提供的电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该电子设备包括至少一个处理器101和存储器102，两者通过数据总线103连接，该存储器用于存储计算机程序或指令，该处理器用于执行相应计算机程序或指令，以使该电子设备实现实施例一中的目标检测模型的构建方法

该构建方法具体为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；对多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与矩阵样本一一对应的热力图像；基于N个矩阵样本和N个热力图像构建训练样本集；基于训练样本集进行模型训练的，得到目标检测模型。由于数据样本是雷达对不同类型的多种目标进行采集得到的，使得基于此得到的目标检测模型可以对不同类型的目标进行有效分辨，从而能够确保配置此种目标检测模型的探测设备能够有效检测出目标类型。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种目标检测模型的构建方法，应用于电子设备，其特征在于，所述构建方法包括步骤：

针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；

对所述多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与所述矩阵样本一一对应的热力图像，N为大于零的正整数；

基于N个所述矩阵样本和N个所述热力图像构建训练样本集；

基于所述训练样本集进行模型训练的，得到所述目标检测模型。

2.如权利要求1所述的构建方法，其特征在于，所述多个样本数据由毫米波雷达对所述多种目标在多个距离和多个角度上分别进行采样得到。

3.如权利要求1所述的构建方法，其特征在于，所述对所述多个数据样本进行切分处理，得到N个矩阵样本和N个分别与所述矩阵样本一一对应的热力图像，N为大于零的正整数，包括步骤：

将所述多个数据样本构建为数据矩阵；

将所述数据矩阵进行切分处理，得到多个子数据矩阵；

对所述多个子数据矩阵进行快速傅里叶变换处理，根据处理结果进行构建，得到所述N个所述矩阵样本和N个所述热力图像。

4.一种目标检测模型的构建装置，应用于电子设备，其特征在于，所述构建装置包括：

数据采集模块，被配置为针对与需要检测分类的多种目标类别对应的多种目标进行采样，得到多个数据样本；

预处理模块，被配置为对所述多个数据样本进行切分和傅里叶变换处理，得到N个矩阵样本和N个分别与所述矩阵样本一一对应的热力图像，N为大于零的正整数；

样本集构建模块，被配置为基于N个所述矩阵样本和N个所述热力图像构建训练样本集；

模型训练模块，被配置为基于所述训练样本集进行模型训练的，得到所述目标检测模型。

5.如权利要求4所述的构建装置，其特征在于，所述多个样本数据由毫米波雷达对所述多种目标在多个距离和多个角度上分别进行采样得到。

6.如权利要求4所述的构建装置，其特征在于，所述预处理模块包括：

矩阵构建单元，被配置为将所述多个数据样本构建为数据矩阵；

切分处理单元，被配置为将所述数据矩阵进行切分处理，得到多个子数据矩阵；

数据变换单元，被配置为对所述多个子数据矩阵进行快速傅里叶变换处理，根据处理结果进行构建，得到所述N个所述矩阵样本和N个所述热力图像。

7.一种电子设备，其特征在于，包括如权利要求4~6任一项所述的目标检测模型的构建装置。

8.一种电子设备，其特征在于，包括至少一个处理器和与所述处理器连接的存储器，其中：

所述存储器用于存储计算机程序或指令；

所述处理器用于执行所述计算机程序或指令，以使所述电子设备实现如权利要求1~3任一项所述的目标检测模型的构建方法。

Images