CN116977806A - 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，属于计算机视觉技术领域，包括：获取毫米波雷达检测数据、激光雷达检测数据以及摄像机视频图像的有效目标数据；基于所述有效目标数据获取毫米波雷达与激光雷达的融合数据；通过坐标转换获取映射至图像坐标系下的点云图像；将所述点云图像与视频图像的有效目标数据分割后送入目标检测模型中进行目标检测，再通过算法呈现在全景图像中，确保机场环境中小目标的检测精度和效果。本发明采用毫米波雷达、激光雷达和高清阵列摄像机融合的方式，能在各种气象环境条件下，获得机场场面目标检测的理想效果和空管效能，最大程度地降低机场空管的安全隐患。

Description

一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目 标检测方法及系统

技术领域

本发明涉及一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，属于计算机视觉技术领域。

背景技术

在传统的目标检测系统中，主要都是使用单摄像头进行目标检测，虽然现在目标检测系列算法模型发展迅速，但是摄像头受逆光、能见度低等环境因素影响颇大，识别准确率在不同环境下会有较大波动。而在机场环境中，由于是室外环境，单摄像头检测非常容易受到逆光、天气变化等影响，导致目标检测的准确度降低；同时单摄像头对大场景下的小目标检测精度差，尤其不能满足机场的高安全性标准，产生安全隐患。

虽然毫米波雷达在恶劣的天气下也能正常工作，而且可以直接判断目标的运动状态，但是毫米波雷达的识别精度很有限，生成的点云也很稀疏，同时也难以判断障碍物的具体边缘轮廓，对于小尺寸的障碍物更是难以判别。

激光雷达可以准确的感知周边环境的三维信息，探测精度也在厘米级。激光雷达可以准确的感知周边环境的三维信息，探测精度在厘米级以内。这就使得激光雷达能够准确的识别出障碍物具体轮廓、距离，且不会漏判、误判前方出现的障碍物。相比高清阵列摄像机和毫米波雷达，激光雷达普遍的有效探测距离也更远。激光的优势在于聚焦，很长的距离上都不会发散，但这样就无法绕过障碍物，在雨雾、风沙等天气时会受到极大的干扰，甚至无法工作。

因此，需要一种能在机场环境中，能在各种场景下都能完成高精度的目标检测的方法。

发明内容

本发明的目的是提供一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，通过获取毫米波雷达、激光雷达以及高清阵列摄像机在同一时刻的有效目标数据，并将该数据转化成为图像坐标系下的多个子区域图像，对所述子区域图像进行目标检测后再进行拼接，可以在诸如下雨、黑夜能见度低时导致相机性能下降的情况下，通过毫米波雷达，激光雷达融合的方式来辅助摄像机检测，以获取相比摄像头更精确的机场目标检测结果，并且既能识别机场中的各种小目标，又能解决直接全景图像检测造成的检测精度问题，从而降低安全隐患。

为达到上述目的，本发明是采用下述技术方案实现的。

一方面，本发明提供了一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，包括：

获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据；

对所述待检测区域数据进行预处理得到有效目标数据；

对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据；

将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像；

将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，得到所述目标检测神经网络输出的对应各子图像区域的目标检测结果；

对子图像区域的目标检测结果进行拼接，得到获取目标检测结果的全景图像。

上述技术方案中，通过获取毫米波雷达、激光雷达以及高清阵列摄像机在同一时刻的有效目标数据，将毫米波雷达和激光雷达的有效目标数据进行对齐融合，并通过坐标映射的方式，将两种雷达融合后的雷达信息转换到图像坐标系中，对每个摄像头的区域分别进行检测，最后再通过算法拼接，将若干个摄像机的图像拼接获得全景图像，既能识别机场中的各种小目标，又能解决直接全景图像检测造成的检测精度问题，从而降低安全隐患。

可选的，所述获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据，包括：

获取毫米波雷达检测的当前时刻数据的数据格式为目标点云在毫米波雷达坐标系中的坐标值/>其中/>为目标点与毫米波雷达原点的距离，/>表示目标与毫米波雷达原点竖直方向之间的仰角，/>为偏向角，为目标点的速度，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；

获取激光雷达检测的当前时刻数据的数据格式为目标点云在激光雷达坐标系中的坐标值/>其中/>和/>分别为激光雷达坐标系下X、Y、Z轴的坐标值，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；

获取高清阵列摄像机拍摄的测量时刻为i的场景图像；

基于所述当前时刻点云数据当前时刻点云数据/>以及测量时刻为i的场景图像获取待检测区域数据。

可选的，所述对所述待检测区域数据进行预处理得到有效目标数据，包括：

对所述毫米波雷达检测的当前时刻数据进行滤波处理，得到有效目标的点云速度信息、点云距离信息以及点云回波强度的RDM图；

对所述激光雷达检测的当前时刻雷达数据进行地面点云分割，得到易处理的点云图像，对所述易处理的点云图像进行DBSCAN聚类算法剔除异常点，得到有效目标聚类簇；

对所述高清阵列摄像机拍摄的测量时刻为i的场景图像和预先拍摄的背景图像做差值，得到差分图像，对所述差分图像进行二值化操作得到二值图像，对所述二值图像进行边缘检测算法，得到有效目标轮廓，基于所述目标轮廓信息初步获取有效目标box。

可选的，所述对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据，包括：

将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在时间上对齐，在测量时刻i下，得到所述毫米波雷达检测数据坐标所述激光雷达检测数据坐标/>

将毫米波雷达的点云和激光雷达的点云分别进行时刻i、距离和/>仰角和/>匹配，偏向角/>和/>匹配，将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在空间上对齐，得到对齐后的目标点云坐标/>

其中，为激光雷达计算目标点距离原点距离，/>为目标与激光雷达原点竖直方向之间的仰角，/>为偏向角，/>为目标点的速度，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；

基于所述对齐后的有效目标数据获取数据层融合后的点云数据。

可选的，其特征是，所述基于所述对齐后的有效目标数据获取数据层融合后的点云数据，包括：

获取对齐后数据的当前时刻i的目标聚类簇，此处的点云的单个坐标为

获取当前时刻i的目标点云状态向量，单个目标点的状态向量为 规定状态矩阵/>其中Δt为当前时刻i和下一时刻i+1之间的实际时间间隔，单位为秒s，规定外部影响u＝[0 0 0 0 0 0]^T；

规定协方差矩阵为过程噪声矩阵/> 基于所述状态向量x、状态矩阵S、协方差矩阵Q、噪声矩阵N以及第i+1时刻的预测值的计算公式x′＝S·x+u和误差矩阵计算公式Q′＝S·Q·S^T+N，得到所述第i+1时刻的测量值/>和预测值x′的预测误差θ，表达式为：

其中，

规定卡尔曼增益K＝Q′·H^T·(H·Q′·H^T+§)^-1，其中§为测量噪声矩阵，代表激光雷达目标测量值与目标真值之间的差值，§为确定值，与激光雷达自身硬件相关，将所述卡尔曼增益K反向传播给i+1时刻的状态向量x和i+2时刻的误差矩阵Q′，得到更新后的i+1时刻的状态向量x和i+2时刻的误差矩阵Q′，表达式为：

x＝x′+Kθ以及Q′＝S·Q·S^T+N，

其中，i+1时刻协方差矩阵更新为Q＝(I-KH)·Q′。

可选的，所述将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像，包括：

将所述毫米波雷达、激光雷达以及高清阵列摄像机固定在同一位置，将所述激光雷达和毫米波雷达的安装位置作为坐标系原点，得到目标点在雷达坐标系下的坐标P(X_i，Y_i，Z_i)，单位为米，V_i表示目标的速度信息，单位为米/秒；

将成像平面的中点设为图像坐标系的原点，图像坐标系的X轴和Y轴分别平行于成像平面的相邻两边，相机光心C到成像平面的距离为h，得到目标点P在成像平面上的成像点p点，单位为毫米；

将光心C设为所述高清阵列摄像机坐标系坐标原点，高清阵列摄像机坐标系X轴和Y轴分别平行于图像坐标系的X轴和Y轴，Z轴为高清阵列摄像机的光心轴，得到目标点在高清阵列摄像机坐标系下的坐标单位为米；

将成像平面的左上角设为图像像素坐标的坐标系原点，得到目标点在图像像素坐标系下的坐标单位为像素，将dx和dy设为单个像素在图像坐标系下的物理尺寸；

基于所述雷达坐标系下的目标点坐标得到图像像素坐标系下的目标点坐标，计算公式为：

其中矩阵为高清阵列摄像机参数矩阵，/>为像素坐标系的中心点，矩阵/>为雷达坐标系转换成相机坐标系的转换矩阵，矩阵M为雷达坐标系到相机坐标系的旋转变换矩阵，/>为雷达坐标系到相机坐标系的平移变换向量。

可选的，所述得到目标点在图像像素坐标系下的坐标包括：假设高清阵列摄像头包含n行m列个摄像头，摄像头编号j∈[1，n*m]，得到第j个区域下的像素坐标其中/>为向下取整符号，N和M分别为像素坐标系的长和宽像素值。

可选的，所述目标检测神经网络的训练方法包括：

将所述高清阵列摄像机视频图像按照摄像头区域分为n块获取n张图片，并利用数据预处理中的轮廓信息对所述n张图片自动标注目标框，得到图片集合Imagesl；

将所述点云图像同样分为n块获取n张图片，并利用数据预处理中的轮廓信息对所述n张图片自动标注目标框，得到图片集合Images2，所述Images2与所述Images1共用同一个label集合；

基于所述图片集合Images1和图片集合Images2得到双模态数据集；

将所述双模态数据集输入神经网络，得到训练好的目标检测神经网络。

可选的，所述将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，包括：将一一对应的Imagel子区域图像和Image2子区域图像同时送入目标检测神经网络中进行检测。

第二方面，本发明提供一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测系统，包括：

数据获取模块：用于获取所述毫米波雷达、激光雷达以及高清阵列摄像机同步采集的图像数据；

数据预处理模块：用于对所述毫米波雷达检测数据、激光雷达检测数据以及高清阵列摄像头拍摄的图像数据进行预处理，得到有效的目标数据；

雷达数据融合及映射模块：用于对所述毫米波雷达检测数据以及激光雷达检测数据进行数据融合，并将融合后的数据映射至图像坐标系，得到图像坐标系下的点云图像；

目标检测模块：用于将雷达图像数据及其相对应的高清阵列摄像机图像数据输入预先训练好的目标检测模型进行目标检测，得到各图像的目标检测结果；

图像分割及拼接模块：用于对图像数据进行分割得到子图像区域，以及用于对子图像区域进行拼接得到全景图像。

与现有技术相比，本发明所达到的有益效果：

本发明通过将毫米波雷达、激光雷达和高清阵列摄像机融合进行检测，以应对机场场景下的不同恶劣天气带来的挑战，将毫米波雷达和激光雷达的数据进行对齐融合校准，并通过坐标映射的方式，将两种雷达融合后的雷达信息转换到图像坐标系中，通过更改目标检测算法的网络结构，让融合后的雷达数据和高清阵列摄像机获取的视频数据在特征层上进行深度融合，从而获得精度更高的检测结果，集成了各个设备的优点，即使在面对不同的天气条件，光线的明亮与否，都能获得比普通摄像机目标检测更好的结果，能及时准确的检测出机场中出现的障碍物，降低机场安全隐患，提供基础保障，有更高的稳定性。

附图说明

图1所示为本发明的一种实施例中目标检测流程示意图；

图2所示为本发明的一种实施例中对毫米波雷达、激光雷达和高清阵列摄像机获得数据的预处理模块示意图；

图3所示为本发明的一种实施例中对毫米波雷达和激光雷达获得数据进行对齐、融合及校准的模块示意图；

图4所示为本发明的一种实施例中对雷达融合数据训练的backbonel网络结构示意图；

图5所示为本发明的一种实施例中对高清阵列摄像机图像训练的backbone2网络结构示意图；

图6所示为本发明的一种实施例中进行视频目标检测模块的Head部分网络结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的总体技术构思为：通过获取毫米波雷达、激光雷达以及高清阵列摄像机在同一时刻的有效目标数据，将毫米波雷达和激光雷达的有效目标数据进行对齐融合，并通过坐标映射的方式，将两种雷达融合后的雷达信息转换到图像坐标系中，对每个摄像头的区域分别进行检测，最后再通过算法拼接，将若干个摄像机的图像拼接获得全景图像，可以在诸如下雨、黑夜能见度低时导致相机性能下降的情况下，通过毫米波雷达，激光雷达融合的方式来辅助摄像机检测，以获取相比摄像头更精确的机场目标检测结果，并且既能识别机场中的各种小目标，又能解决直接全景图像检测造成的检测精度问题。

实施例1

本实施例介绍一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，包括：

获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据；

对所述待检测区域数据进行预处理得到有效目标数据；

对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据；

将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像；

将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，得到所述目标检测神经网络输出的对应各子图像区域的目标检测结果；

对子图像区域的目标检测结果进行拼接，得到获取目标检测结果的全景图像。

本实施例的具体实现参考图1，包括以下内容。

一、包含雷达点云图像以及摄像机视频图像的子图像区域数据的获取

在应用时，本发明需要获取毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据，预处理后获取其有效目标数据，再转换为雷达融合数据映射至图像坐标系下的点云图像和高清阵列摄像机有效目标数据的同步生成的图像数据，其分割后的子图像区域作为输入yolov5目标检测模型的目标数据。

在yolov5模型训练时，需要获取毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据，对其进行预处理获取其有效目标数据，转换为包含激光雷达数据和毫米波雷达数据融合后的点云图像和高清阵列摄像机拍摄的视频图像的双模态数据集，作为训练样本。

步骤一：获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据。

高清阵列摄像机拍摄的视频数据，视频每秒帧数因高清阵列摄像机硬件性能差异各有不同，这里拟定为50fps，每帧的时间间隔为1000ms/50fps＝20ms/fps；而激光雷达点云数据一帧为激光束扫描一次360°，以每秒50帧的激光雷达为例，每帧点云耗时为1000ms/50＝20ms，毫米波雷达数据为毫米波雷达在一个工作周期内发射的一连串FMCW信号。在此工作场景下，由于相机检测区域固定，激光雷达及毫米波雷达无需360°全景检测，假设目标场景夹角为120°，因此相机拍摄一帧的时间激光雷达可扫描场景3次，即可将激光雷达3次检测的点云组合对应视频帧一帧，同时避免了激光雷达点云稀疏的问题。这里为同步获取三个设备的信息，以高清阵列摄像机的帧与帧之间的时间片时长为单位时间，同步下的一帧为间隔单位时间的各个设备的检测数据。

毫米波雷达检测的当前时刻数据的数据格式为目标点云在毫米波雷达坐标系中的坐标值/>其中/>表示与目标点的距离，/>表示目标与雷达坐标系Z轴之间的夹角，这里为仰角，/>为偏向角。/>为毫米波雷达坐标系下检测到的目标点速度，i表示第i个时刻。

激光雷达检测的当前时刻的数据含义为目标点云在激光雷达坐标系中的坐标值/>分别为激光雷达坐标系下X、Y、Z轴的坐标值，i表示第i个时刻。

步骤二：对所述待检测区域数据进行预处理得到有效目标数据。

此步骤的具体实现参考图2，包括以下内容。

1.将毫米波雷达检测的数据通过滤波算法进行滤波操作，剔除离群野值、空目标、无效目标和噪声点，获取目标的点云角度信息以及点云速度信息，点云距离信息和点云回波强度的RDM图；

2.激光雷达检测得到的当前时刻雷达点云图，将检测的点云图像进行地面点云分割，得到处理后的点云图像；然后将差值点云图像进行DBSCAN聚类算法剔除异常点，得到目标聚类簇。具体原理为每个簇类的密度高于该簇类周围的密度，噪声密度小于任一簇类的密度，具体操作为：寻找核心点形成临时聚类簇——扫描全部样本点，具体标准为r＜0.5m，MinPoints＝5，如果某个样本点r半径范围内点数目大于等于MinPoints，则将该样本点录入核心点列表，并将密度直达的点形成对应的临时聚类簇；对临时聚类簇合并形成聚类簇——对于每一个临时聚类簇，检查其中的点是否为核心点，如果是，将该点对应的临时聚类簇和当前临时聚类簇合并，得到新的临时聚类簇；重复此操作，直到当前临时聚类簇中的每一个点要么不在核心点列表，要么其密度直达的点都已经在该临时聚类簇，该临时聚类簇升级成为聚类簇，继续对剩余的临时聚类簇进行相同的合并操作，直到全部临时聚类簇被处理。

3.将高清阵列摄像机拍摄到的当前时刻场景的视频帧和预先拍摄的背景图像做差值，获得差分后的图像；对获得的差分图像进行Otsu算法计算阈值，低于阈值的像素点灰度值置为0，高于阈值的灰度值置为255，由此获得差分图像的二值图像，对此二值图像进行边缘检测，具体操作为对图像进行图像腐蚀操作和图像膨胀操作，去除图像的噪声点并还原维持为原本形状，获得目标轮廓，并根据目标轮廓信息初步获得目标框。

步骤三：对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据。

此步骤的具体实现参考图3，包括以下内容。

1.将激光雷达数据和毫米波雷达数据的数据对齐，该操作进一步包括：

(1)激光雷达数据和毫米波雷达数据在时间上的对齐：

激光雷达坐标数据格式为激光雷达坐标系下的坐标其中下标i指的是第i个时刻；毫米波雷达坐标数据格式为毫米波雷达坐标系下的坐标其中下标i指的是第i个时刻；

(2)激光雷达数据和毫米波雷达数据在空间上的对齐：

通过公式计算目标的仰角，通过公式/>将毫米波雷达的点云和激光雷达的点云分别进行时刻i、距离/>和/>仰角/>和/>偏向角/>和/>进行数据对齐匹配，由于检测过程中目标运动都是刚体运动，毫米波雷达点云较为稀疏，所以毫米波雷达点云对齐激光雷达临时聚类簇，获得对齐后的目标点云的坐标为/>其中X_i，Y_i，Z_i为对齐后的目标坐标，/>为目标点速度。

2.将激光雷达数据和毫米波雷达数据的进行数据融合及校准，该操作进一步包括：

获得当前时刻i的目标点云状态向量；获得当前时刻i的目标点云状态向量，单个目标点的状态向量为其中x_i，y_i，z_i为目标点的坐标，/>为在x、y、z方向上的速度分量，通过对毫米波雷达测得的速度数据进行处理后获得，规定状态矩阵/>其中Δt为当前时刻i和下一时刻i+1之间的实际时间间隔，单位为秒s，规定外部影响u＝[0 0 0 0 0 0]^T；由于此处的状态向量是激光雷达检测数据和毫米波雷达检测数据同步的结果，因此弥补了激光雷达在测速上的不足，很大程度减少了速度向量上的误差，因此规定协方差矩阵为/>过程噪声矩阵此处定位单位矩阵；目标物体为匀速刚体运动，第i+1时刻的预测值的计算公式为/> 误差矩阵Q′＝S·Q·S^T+N；计算第i+1时刻的测量值/>和预测值x′的差值，即预测误差/>其中/>测量值/>规定卡尔曼增益K＝Q′·H^T·(H·Q′·H^T+§)^-1，其中§为测量噪声矩阵，代表激光雷达目标测量值与目标真值之间的差值，该值与激光雷达自身硬件相关，为确定值；将计算得到的卡尔曼增益K(预测误差权重)反向传播给即将参与i+2时刻运算的i+1时刻的状态向量进行更新x＝x′+Kθ，更新后的状态向量当作i+1时刻的目标点真实状态向量；同时对i+2时刻误差矩阵进行更新Q′＝S·Q·S^T+N，其中i+1时刻协方差矩阵更新为Q＝(I-KH)·Q′。

上述校准操作中测量值由激光雷达获取，速度分量/>由毫米波雷达获取，状态向量/>为激光雷达数据和毫米波雷达数据对齐后获取。

步骤四：将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像。

1.毫米波雷达、激光雷达和高清阵列摄像机固定在同一位置。激光雷达和毫米波雷达的坐标系原点均为安装位置，用P(X_i，Y_i，Z_i)来表示目标的在雷达坐标系下的坐标信息，单位为米，表示目标的速度信息，单位为米/秒；

图像坐标系的原点为成像平面的中点，平行与成像平面的相邻两边为x轴和y轴，相机光心到成像平面的距离为h，目标点P在成像平面上成像点为p点，单位为毫米；

高清阵列摄像机坐标系将光心C定位坐标系原点，X轴和Y轴分别为平行于图像坐标系的X轴和Y轴，高清阵列摄像机的光心轴Z轴，用来表示目标点在高清阵列摄像机坐标系下的坐标值，单位为米；

像素坐标系的原点为成像平面的左上角，且该坐标系的单位为像素，像素坐标系下，目标的坐标为设dx和dy为单个像素在图像坐标系下的物理尺寸；

2.雷达坐标系下的目标点坐标转换为图像像素坐标系的公式为 其中矩阵/>为高清阵列摄像机参数矩阵，为像素坐标系的中心点，矩阵/>为雷达坐标系转换成相机坐标系的转换矩阵，矩阵M为雷达坐标系到相机坐标系的旋转变换矩阵，/>为雷达坐标系到相机坐标系的平移变换向量；由于阵列摄像机和雷达安装在同一位置，所以矩阵M＝1_3×3，平移变换向量雷达坐标覆盖范围为整个高清阵列摄像机坐标覆盖范围，由于高清阵列摄像机包含多个镜头，此处假定为n*m个区域(n行m列个摄像头)，因此摄像机编号为j∈[1，n*m]，事先划分好各个区域的雷达坐标转换为像素坐标后的范围，通过坐标范围分割相应的区域，第j个区域下的像素坐标为/>其中/>为向下取整符号，N和M分别为像素坐标系的长和宽像素值。

3.雷达坐标系中目标点P(X_i，Y_i，Z_i)的速度信息V_i转换为像素坐标系中像素的灰度值信息，灰度值＝速度％255*10，速度越快，灰度值越大，反之越小。

步骤五：将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，得到所述目标检测神经网络输出的对应各子图像区域的目标检测结果。

本实施例的具体实施过程中，送入检测的摄像机拍摄的图像和雷达融合转换生成的雷达融合图像要一一对应，同时送入yolov5的检测算法进行检测。

二、yolov5模型的训练

基于前述内容已经获取毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据，对其进行预处理获取其有效目标数据，转换为包含激光雷达数据和毫米波雷达数据融合后的点云图像和高清阵列摄像机拍摄的视频图像的双模态数据集，作为训练样本。

步骤一：将激光雷达数据和毫米波雷达数据融合后的点云图像和高清阵列摄像机拍摄的视频图像制作成双模态数据集。

本实施例中，将高清阵列摄像头拍摄好的全景图片按照摄像头区域分成n块，一张图片可以分为n张图片，利用数据预处理中的轮廓信息自动标注目标框，依此制作图片数据集合Images1。雷达图像同样按照上面方式，一张转换后的雷达图片分为n张图片，依此制作图片数据集合Images2，两个数据集共用同一个label。

步骤二：设计yolov5的训练网络，将双模态的数据集合送入yolov5的模型中进行训练。

在yolov5的训练过程中，会使用mosaic数据增强，将一张图片再与随机的另外三张图片进行拼接，所以这里启用mosaic数据增强时应保证两个数据集对对应的图片随机挑选的其他三张图片也要相对应，并且采用的操作也相同。同样的对其他相应的函数，增加另外一个数据集Images2的输入以及相应参数。

以及在训练的过程中，Image1和Image2的数据同时输入网络，Image1经过backbone1的网络，Image2经过backbone2的网络，以图4和图5举例(图6同理)：图4和图5中每个方块代表当前层的名称，方块左边的序号代表当前层的序号，每个序号上下对应的中括号的内容代表输入输出数据的格式。如图4所示，backbone1中：在第0层前，输入图片格式为[640×640×3]，其中前两位数字代表图片长宽的像素值，第三位代表图像的通道数，经过第0层Conv操作后，输出数据格式为[320×320×32]。如图5所示，其中backbone2的网络中接受了来自backbone1若干层数的特征输入，backbone2中的第15层、19层和22层分别接受了来自backbonel中第4层、第6层和第8层C3操作后的结果输入。这样操作丰富了检测时的特征信息，提高了检测精度，同时增加了鲁棒性，保证在不同气候条件下检测结果的稳定。

三、得到全景目标检测结果

步骤：对子图像区域的目标检测结果进行拼接，得到获取目标检测结果的全景图像。

具体实现：将雷达数据和视频图像同步生成的图像数据分割成多个子区域送入目标检测模块进行检测，各个子区域检测完成后通过逆向操作拼接回阵列摄像机全景图像，获得并预览检测结果。

实施例2

与实施例1基于相同的发明构思，本实施例介绍一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测系统，包括：

数据获取模块：用于获取所述毫米波雷达、激光雷达以及高清阵列摄像机同步采集的图像数据；

数据预处理模块：用于对所述毫米波雷达检测数据、激光雷达检测数据以及高清阵列摄像头拍摄的图像数据进行预处理，得到有效的目标数据；

雷达数据融合及映射模块：用于对所述毫米波雷达检测数据以及激光雷达检测数据进行数据融合，并将融合后的数据映射至图像坐标系，得到图像坐标系下的点云图像；

目标检测模块：用于将雷达图像数据及其相对应的高清阵列摄像机图像数据输入预先训练好的yolov5模型进行目标检测，得到各图像的目标检测结果；

图像分割及拼接模块：用于对图像数据进行分割得到子图像区域，以及用于对子图像区域进行拼接得到全景图像。

其中，所述yolov5的训练样本为包含激光雷达数据和毫米波雷达数据融合后的点云图像和高清阵列摄像机拍摄的视频图像的双模态数据集，所述点云图像和视频图像由对毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据进行预处理得到。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统，其特征是，包括：

获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据；

对所述待检测区域数据进行预处理得到有效目标数据；

对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据；

将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像；

将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，得到所述目标检测神经网络输出的对应各子图像区域的目标检测结果；

对子图像区域的目标检测结果进行拼接，得到获取目标检测结果的全景图像。

2.根据权利要求1所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据，包括：

获取毫米波雷达检测的当前时刻数据 的数据格式为目标点云在毫米波雷达坐标系中的坐标值/>其中/>为目标点与毫米波雷达原点的距离，/>表示目标与毫米波雷达原点竖直方向之间的仰角，/>为偏向角，/>为目标点的速度，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；

获取激光雷达检测的当前时刻数据 的数据格式为目标点云在激光雷达坐标系中的坐标值/>其中/>和/>分别为激光雷达坐标系下X、Y、Z轴的坐标值，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；

获取高清阵列摄像机拍摄的测量时刻为i的场景图像；

基于所述当前时刻点云数据当前时刻点云数据/>以及测量时刻为i的场景图像获取待检测区域数据。

3.根据权利要求2所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述对所述待检测区域数据进行预处理得到有效目标数据，包括：

对所述毫米波雷达检测的当前时刻数据进行滤波处理，得到有效目标的点云速度信息、点云距离信息以及点云回波强度的RDM图；

对所述激光雷达检测的当前时刻雷达数据进行地面点云分割，得到易处理的点云图像，对所述易处理的点云图像进行DBSCAN聚类算法剔除异常点，得到有效目标聚类簇；

对所述高清阵列摄像机拍摄的测量时刻为i的场景图像和预先拍摄的背景图像做差值，得到差分图像，对所述差分图像进行二值化操作得到二值图像，对所述二值图像进行边缘检测算法，得到有效目标轮廓，基于所述目标轮廓信息初步获取有效目标box。

4.根据权利要求3所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合，得到融合后的点云数据，包括：

将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在时间上对齐，在测量时刻i下，得到所述毫米波雷达检测数据坐标所述激光雷达检测数据坐标/>

将毫米波雷达的点云和激光雷达的点云分别进行时刻i、距离和/>仰角/>和/>匹配，偏向角/>和/>匹配，将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在空间上对齐，得到对齐后的目标点云坐标/>

其中，为激光雷达计算目标点距离原点距离，/>为目标与激光雷达原点竖直方向之间的仰角，/>为偏向角，/>为目标点的速度，i为测量时刻，表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段；

基于所述对齐后的有效目标数据获取数据层融合后的点云数据。

5.根据权利要求4所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述基于所述对齐后的有效目标数据获取数据层融合后的点云数据，包括：

获取对齐后数据的当前时刻i的目标聚类簇，此处的点云的单个坐标为

获取当前时刻i的目标点云状态向量，单个目标点的状态向量为 规定状态矩阵/>其中Δt为当前时刻i和下一时刻i+1之间的实际时间间隔，单位为秒s，规定外部影响u＝[0 0 0 0 0 0]^T；

规定协方差矩阵为过程噪声矩阵/> 基于所述状态向量x、状态矩阵S、协方差矩阵Q、噪声矩阵N以及第i+1时刻的预测值的计算公式x'＝S·x+u和误差矩阵计算公式Q'＝S·Q·S^T+N，得到所述第i+1时刻的测量值/>和预测值x'的预测误差θ，表达式为：

其中，

规定卡尔曼增益K＝Q'·H^T·(H·Q'·H^T+§)^-1，其中§为测量噪声矩阵，代表激光雷达目标测量值与目标真值之间的差值，§为确定值，与激光雷达自身硬件相关，将所述卡尔曼增益K反向传播给i+1时刻的状态向量x和i+2时刻的误差矩阵Q'，得到更新后的i+1时刻的状态向量x和i+2时刻的误差矩阵Q'，表达式为：

x＝x'+Kθ以及Q'＝S·Q·S^T+N，

其中，i+1时刻协方差矩阵更新为Q＝(I-KH)·Q'。

6.根据权利要求5所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述将所述点云数据映射至图像坐标系下，得到图像坐标系下的点云图像，包括：

将所述毫米波雷达、激光雷达以及高清阵列摄像机固定在同一位置，将所述激光雷达和毫米波雷达的安装位置作为坐标系原点，得到目标点在雷达坐标系下的坐标P(X_i,Y_i,Z_i)，单位为米，V_i表示目标的速度信息，单位为米/秒；

将成像平面的中点设为图像坐标系的原点，图像坐标系的X轴和Y轴分别平行于成像平面的相邻两边，相机光心C到成像平面的距离为h，得到目标点P在成像平面上的成像点p点，单位为毫米；

将光心C设为所述高清阵列摄像机坐标系坐标原点，高清阵列摄像机坐标系X轴和Y轴分别平行于图像坐标系的X轴和Y轴，Z轴为高清阵列摄像机的光心轴，得到目标点在高清阵列摄像机坐标系下的坐标单位为米；

将成像平面的左上角设为图像像素坐标的坐标系原点，得到目标点在图像像素坐标系下的坐标单位为像素，将dx和dy设为单个像素在图像坐标系下的物理尺寸；

基于所述雷达坐标系下的目标点坐标得到图像像素坐标系下的目标点坐标，计算公式为：

其中矩阵为高清阵列摄像机参数矩阵，/>为像素坐标系的中心点，矩阵/>为雷达坐标系转换成相机坐标系的转换矩阵，矩阵M为雷达坐标系到相机坐标系的旋转变换矩阵，/>为雷达坐标系到相机坐标系的平移变换向量。

7.根据权利要求6所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述得到目标点在图像像素坐标系下的坐标包括：假设高清阵列摄像头包含n行m列个摄像头，摄像头编号j∈[1，n*m]，得到第j个区域下的像素坐标 其中/>为向下取整符号，N和M分别为像素坐标系的长和宽像素值。

8.根据权利要求7所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述目标检测神经网络的训练方法包括：

将所述高清阵列摄像机视频图像按照摄像头区域分为n块获取n张图片，并利用数据预处理中的轮廓信息对所述n张图片自动标注目标框，得到图片集合Images1；

将所述点云图像同样分为n块获取n张图片，并利用数据预处理中的轮廓信息对所述n张图片自动标注目标框，得到图片集合Images2，所述Images2与所述Images1共用同一个label集合；

基于所述图片集合Images1和图片集合Images2得到双模态数据集；

将所述双模态数据集输入神经网络，得到训练好的目标检测神经网络。

9.根据权利要求7所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法，其特征是，所述将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域，输入预先训练的目标检测神经网络，包括：将一一对应的Image1子区域图像和Image2子区域图像同时送入目标检测神经网络中进行检测。

10.一种如权利要求1-9任一项所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测系统，其特征是，包括：

数据获取模块：用于获取所述毫米波雷达、激光雷达以及高清阵列摄像机同步采集的图像数据；

数据预处理模块：用于对所述毫米波雷达检测数据、激光雷达检测数据以及高清阵列摄像头拍摄的图像数据进行预处理，得到有效的目标数据；

雷达数据融合及映射模块：用于对所述毫米波雷达检测数据以及激光雷达检测数据进行数据融合，并将融合后的数据映射至图像坐标系，得到图像坐标系下的点云图像；

目标检测模块：用于将雷达图像数据及其相对应的高清阵列摄像机图像数据输入预先训练好的目标检测模型进行目标检测，得到各图像的目标检测结果；

图像分割及拼接模块：用于对图像数据进行分割得到子图像区域，以及用于对子图像区域进行拼接得到全景图像。