CN113281738A - 一种多传感器融合的目标检测系统及检测方法 - Google Patents

一种多传感器融合的目标检测系统及检测方法 Download PDF

Info

Publication number
CN113281738A
CN113281738A CN202110676395.7A CN202110676395A CN113281738A CN 113281738 A CN113281738 A CN 113281738A CN 202110676395 A CN202110676395 A CN 202110676395A CN 113281738 A CN113281738 A CN 113281738A
Authority
CN
China
Prior art keywords
module
agx
millimeter wave
image
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110676395.7A
Other languages
English (en)
Inventor
李晓欢
霍科辛
陈倩
唐欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUILIN GUOCHUANG CHAOYANG INFORMATION TECHNOLOGY CO LTD
Guilin University of Electronic Technology
Original Assignee
GUILIN GUOCHUANG CHAOYANG INFORMATION TECHNOLOGY CO LTD
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUILIN GUOCHUANG CHAOYANG INFORMATION TECHNOLOGY CO LTD, Guilin University of Electronic Technology filed Critical GUILIN GUOCHUANG CHAOYANG INFORMATION TECHNOLOGY CO LTD
Priority to CN202110676395.7A priority Critical patent/CN113281738A/zh
Publication of CN113281738A publication Critical patent/CN113281738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种多传感器融合的目标检测系统及检测方法，该系统解决了智能驾驶对本地感知海量多源异构数据和外部协作数据的实时性融合处理要求，现有的硬件系统即使能满足实时性要求，其造价也会更加昂贵。本系统采用了分布式计算平台，在满足性能需求的同时，造价更加经济实惠。该方法通过融合毫米波雷达与视觉信息，解决了因外部光源变换，雾雨天气造成的单摄像头感知的局限性，使其在极端天气下也可以检测到物体。同时通过融合激光雷达信息，能获取到物体的精确距离信息。

Description

一种多传感器融合的目标检测系统及检测方法
技术领域
本发明涉及目标检测技术领域，具体是一种多传感器融合的目标检测系统及检测方法。
背景技术
自动驾驶车辆感知环境是自动驾驶系统自动驾驶车辆感知环境通过传感器来获取信息，目前主流的传感器有激光雷达、毫米波雷达、超声波雷达以及相机等，然而各种传感器都有其各自的优缺点，传感器对环境的适应性不同。自动驾驶感知系统的检测不仅要识别当前物体的类别，还要测量出障碍物与自动驾驶车辆之间的相对距离。
由于传感器自身的缺陷，在雾天、雨天、夜晚等恶劣环境下，单类传感器性能受限，无法准确检测障碍物。由于激光雷达、毫米波雷达都有较好的测距效果，根据传感器标定得到的坐标变换融合车辆检测的信息。而天气影响环境的车辆检测问题，则可以通过多传感器融合进行互补感知环境，提高检测的环境适应能力。
而现有的多传感器融合系统大多占用大量算力，普通的计算平台算力不足，达不到实时性的要求。
发明内容
本发明的目的在于克服现有技术的不足，而提高一种多传感器融合的目标检测系统及检测方法。
实现本发明目的的技术方案是：
一种多传感器融合的目标检测系统，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中激光雷达通过交换机模块与第二AGX模块连接，毫米波雷达和图像采集模块分别通过CAN收发器模块和交换机模块与第三AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。
所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块。
所述的图像采集模块为摄像机或照相机。
一种多传感器融合的目标检测方法，包括如下步骤：
1）毫米波与视觉数据融合，具体步骤如下：
1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；
1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；
1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像；
1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；
1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：
所述的毫米波特征提取网络，包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第五卷积层、第四最大池化层、第六卷积层、第五最大池化层和第七卷积层，将步骤1-3）生成的毫米波图像从第一卷积层输入毫米波特征提取网络中，最后第六卷积层输出第一特征图像，第七卷积层输出第二特征图像；
所述的图像与毫米波融合的检测网络，包括Yolov4-tiny骨干网络、第一空间注意力模块、第二空间注意力模块、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第一上采样层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、小目标检测层和大目标检测层；图像采集模块采集到的图像经过Yolov4-tiny骨干网络后得到第三特征图像和第四特征图像，毫米波特征提取网络输出的第二特征图的一个分支先与第四特征图像进行concat操作进行特征图拼接，第二特征图的另一个分支经过第一空间注意力模块增强特定区域特征权值后与concat操作后的特征图进行相乘操作后进入第八卷积层，依次经过第八卷积层、第九卷积层、第十卷积层后，第十卷积层的一个分支生成第五特征图像，第十卷积层的另一分支再依次经过第十一卷积层和第一上采样后与第三特征图像进行concat操作后与经过第二空间注意力模块的第一特征图相乘，再依次经过第十二卷积层、第十三卷积层、第十四卷积层；第十四卷积层的一个分支输出与第五特征图像进行concat操作后输入第十五卷积层，再经过大目标检测层；第十四卷积层的一个分支输出送入小目标检测层，小目标检测层和大目标检测层分别输出预测值，预测值通过非极大值抑制NMS筛选出Boxes，生成最终预测结果，预测结果包括预测框边框信息、置信度、类别信息；
1-6）将步骤1-4）获得的训练集经过亮度随机变化、颜色变换、尺寸变换数据增强操作后，输入基于yolov4-tiny改进的毫米波与图像融合检测模型中对模型进行训练，再将实时采集到的图像数据和毫米波数据输入训练后的模型中，得到预测框边框信息、置信度、类别信息，并将检测结果传输至第一AGX模块中；
2）激光雷达障碍物检测，具体步骤如下：
2-1）激光雷达将采集到的信息传输至第二AGX模块，第二AGX模块接收激光雷达传输的信息，并对信息进行欧几里得聚类处理，得到将目标的三维检测框在点云坐标系的坐标及其对应的距离；
2-2）将三维检测框在点云坐标系的坐标通过外部标定的方法，转换到相机的像素坐标系中，得到目标的检测框信息及距离，再将目标的检测框信息及距离传输至第一AGX模块中；
3）第一AGX模块根据步骤1-6）得到的结果和步骤2-2）的结果进行交并比IOU计算，若激光雷达检测框和相机毫米波融合输出的检测框的交并比IOU大于一定的阈值，则表示检测到的是同一个物体，输出检测到的目标的距离、类别和方位；
4）步骤3得到的输出结果再显示模块中显示或者通过LTE-5G模块、WiFi模块传输至上位机。
步骤1-3）中，所述的毫米波图像，是首先生成一张与对应相机图片尺寸相同的像素值全0的图像，以每个毫米波点为圆心O i ，设置一个点R i 距离在毫米波坐标系中距离圆心1m，通过步骤1-1）的标定方法把R i 转换到像素坐标系，计算转换到的像素坐标系的点与圆心相距的像素距离，并以该距离为半径画圆，在这个范围的像素值用上面转换后的横向速度、纵向速度、RCS填充，最后即得到毫米波图像。
本发明提供的一种多传感器融合的目标检测系统及检测方法，该系统与现有系统相比，解决了智能驾驶对本地感知海量多源异构数据和外部协作数据的实时性融合处理要求，现有的硬件系统即使能满足实时性要求，其造价也会更加昂贵。本系统采用了分布式计算平台，在满足性能需求的同时，造价更加经济实惠。该方法通过融合毫米波雷达与视觉信息，解决了因外部光源变换，雾雨天气造成的单摄像头感知的局限性，使其在极端天气下也可以检测到物体。同时通过融合激光雷达信息，能获取到物体的精确距离信息。
附图说明
图1为一种多传感器融合的目标检测系统的结构框图；
图2为毫米波特征提取网络的示意图；
图3为基于yolov4-tiny的毫米波视觉融合检测模型的示意图；
图4为毫米波图像的示意图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。
实施例：
如图1所示，一种多传感器融合的目标检测系统，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中图像采集模块和毫米波雷达分别通过交换机模块和CAN收发器模块与第三AGX模块连接，激光雷达通过交换机与第二AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。
所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块，是一款集成快运算、快启动、快优化的计算盒子，拥有超强的计算能力，适用于自动驾驶、人工智能、自动化方向的硬件设备。
所述的图像采集模块为摄像机或照相机。
所述的交换机模块，是8路千兆交换机模块。
所述的CAN收发器模块，是3路CAN收发器模块。
使用该系统时，用于感知的设备分别是激光雷达，毫米波雷达，图像采集模块，其中激光雷达通过以太网线连接到8路千兆交换机模块，与计算盒子进行通信，其数据将发送到第二AGX模块进行处理，输出物体的距离信息；毫米波雷达通过3路CAN收发模块连接，其数据由第三AGX模块接收，同时图像采集模块的相机获取的图像数据由以太网传输，并也由第三AGX模块接收；毫米波数据和图像数据在第三AGX模块进行数据融合，输出物体类型，在图像中位置，物体的距离信息。
一种多传感器融合的目标检测方法，包括如下步骤：
1）毫米波与视觉数据融合，具体步骤如下：
1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；
1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；
1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像，如图4所示，其中横向速度、纵向速度、RCS进行归一化处理的计算公式如下：
Figure DEST_PATH_IMAGE001
Figure 824688DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
毫米波图像是首先生成一张与对应相机图片尺寸相同的像素值全0的图像，以每个毫米波点为圆心O i ，设置一个点R i 距离在毫米波坐标系中距离圆心1m，通过步骤1-1）的标定方法把R i 转换到像素坐标系，计算转换到的像素坐标系的点与圆心相距的像素距离，并以该距离为半径画圆，在这个范围的像素值用上面转换后的横向速度、纵向速度、RCS填充，最后即得到毫米波图像。
1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；
1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：
所述的毫米波特征提取网络，如图2所示，包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第五卷积层、第四最大池化层、第六卷积层、第五最大池化层和第七卷积层，将步骤1-3）生成的毫米波图像从第一卷积层输入毫米波特征提取网络中，最后第六卷积层输出第一特征图像，第七卷积层输出第二特征图像；
图2中，卷积层（m，n）表示卷积核个数为m，大小为n×n的卷积层，最大池化层用于调整特征图的尺寸，处理好的毫米波经过第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层，第五卷积层、第四最大池化层、第六卷积层、第五最大池化层、第七卷积层，最后输出的第一特征图尺寸为26×26，维度为128；第二特征图的尺寸为13×13，维度为128。
所述的图像与毫米波融合的检测网络，如图3所示，包括Yolov4-tiny骨干网络、第一空间注意力模块、第二空间注意力模块、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第一上采样层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、小目标检测层和大目标检测层；图像采集模块采集到的图像经过Yolov4-tiny骨干网络后得到第三特征图像和第四特征图像，毫米波特征提取网络输出的第二特征图的一个分支先与第四特征图像进行concat操作进行特征图拼接，第二特征图的另一个分支经过第一空间注意力模块增强特定区域特征权值后与concat操作后的特征图进行相乘操作后进入第八卷积层，依次经过第八卷积层、第九卷积层、第十卷积层后，第十卷积层的一个分支生成第五特征图像，第十卷积层的另一分支再依次经过第十一卷积层和第一上采样后与第三特征图像进行concat操作后与经过第二空间注意力模块的第一特征图相乘，再依次经过第十二卷积层、第十三卷积层、第十四卷积层；第十四卷积层的一个分支输出与第五特征图像进行concat操作后输入第十五卷积层，再经过大目标检测层；第十四卷积层的一个分支输出送入小目标检测层，小目标检测层和大目标检测层分别输出预测值，预测值通过非极大值抑制NMS筛选出Boxes，生成最终预测结果，预测结果包括预测框边框信息、置信度、类别信息；
检测层输出的预测值大小为S*S*3*（4+1+B），S表示最后将原图片划分成S*S个网格，3为每层anchorbox数量，4为边框大小（x,y,w,h），1为置信值，B为类型数。
1-6）将步骤1-4）获得的训练集经过亮度随机变化、颜色变换、尺寸变换等数据增强操作后，输入基于yolov4-tiny改进的毫米波与图像融合检测模型中对模型进行训练，再将实时采集到的图像数据和毫米波数据输入训练后的模型中，得到预测框边框信息、置信度、类别信息，并将检测结果传输至第一AGX模块中；
2）激光雷达障碍物检测，具体步骤如下：
2-1）激光雷达将采集到的信息传输至第二AGX模块，第二AGX模块接收激光雷达传输的信息，并对信息进行欧几里得聚类处理，得到将目标的三维检测框在点云坐标系的坐标及其对应的距离；
2-2）将三维检测框在点云坐标系的坐标通过外部标定的方法，转换到相机的像素坐标系中，得到目标的检测框信息及距离，再将目标的检测框信息及距离传输至第一AGX模块中；
3）第一AGX模块根据步骤1-6）得到的结果和步骤2-2）的结果进行交并比IOU计算，若激光雷达检测框和相机毫米波融合输出的检测框的交并比IOU大于一定的阈值，则表示检测到的是同一个物体，根据激光雷达检测到的精确距离信息，输出检测到的目标的距离、类别和方位；
4）步骤3得到的输出结果再显示模块中显示或者通过LTE-5G模块、WiFi模块传输至上位机。

Claims (5)

1.一种多传感器融合的目标检测系统，其特征在于，包括第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达和电源管理模块，第一AGX模块作为主机、第二AGX模块和第三AGX模块作为从机，其中激光雷达通过交换机模块与第二AGX模块连接，毫米波雷达和图像采集模块分别通过CAN收发器模块和交换机模块与第三AGX模块连接，第二AGX模块和第三AGX模块还通过交换机模块与第一AGX模块连接，LTE-5G模块和WiFi模块分别与第一AGX模块连接，第一AGX模块还与显示模块连接，电源管理模块为第一AGX模块、第二AGX模块、第三AGX模块、LTE-5G模块、WiFi模块、交换机模块、CAN收发器模块、显示模块、图像采集模块、激光雷达、毫米波雷达供电。
2.根据权利要求1所述的一种多传感器融合的目标检测系统，其特征在于，所述的第一AGX模块、第二AGX模块和第三AGX模块，是基于NVIDIA jetson_AGX_Xavier的数据处理模块。
3.根据权利要求1所述的一种多传感器融合的目标检测系统，其特征在于，所述的图像采集模块为摄像机或照相机。
4.一种多传感器融合的目标检测方法，其特征在于，包括如下步骤：
1）毫米波与视觉数据融合，具体步骤如下：
1-1）对毫米波雷达和图像采集模块进行标定，计算出外部参数，使雷达坐标系中的目标点能映射到像素坐标系中，使图像采集模块的图片能显示毫米波检测到物体的位置；
1-2）图像采集模块和毫米波雷达将采集到的数据输入第三AGX模块，将毫米波数据和图片数据进行时间同步，选取每一张图片的时间戳作为采样点，选取与时间戳最接近的毫米波数据与其匹配；
1-3）对毫米波数据中的横向速度、纵向速度、RCS进行归一化处理后，转换到0~255的范围内，生成毫米波图像；
1-4）采用步骤1-3）的方法同时处理包含毫米波数据和图像数据的数据集，生成训练集；
1-5）建立基于yolov4-tiny改进的毫米波与图像融合检测模型，包括毫米波特征提取网络和图像与毫米波融合的检测网络，具体如下：
所述的毫米波特征提取网络，包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第五卷积层、第四最大池化层、第六卷积层、第五最大池化层和第七卷积层，将步骤1-3）生成的毫米波图像从第一卷积层输入毫米波特征提取网络中，最后第六卷积层输出第一特征图像，第七卷积层输出第二特征图像；
所述的图像与毫米波融合的检测网络，包括Yolov4-tiny骨干网络、第一空间注意力模块、第二空间注意力模块、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第一上采样层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、小目标检测层和大目标检测层；图像采集模块采集到的图像经过Yolov4-tiny骨干网络后得到第三特征图像和第四特征图像，毫米波特征提取网络输出的第二特征图的一个分支先与第四特征图像进行concat操作进行特征图拼接，第二特征图的另一个分支经过第一空间注意力模块增强特定区域特征权值后与concat操作后的特征图进行相乘操作后进入第八卷积层，依次经过第八卷积层、第九卷积层、第十卷积层后，第十卷积层的一个分支生成第五特征图像，第十卷积层的另一分支再依次经过第十一卷积层和第一上采样后与第三特征图像进行concat操作后与经过第二空间注意力模块的第一特征图相乘，再依次经过第十二卷积层、第十三卷积层、第十四卷积层；第十四卷积层的一个分支输出与第五特征图像进行concat操作后输入第十五卷积层，再经过大目标检测层；第十四卷积层的一个分支输出送入小目标检测层，小目标检测层和大目标检测层分别输出预测值，预测值通过非极大值抑制NMS筛选出Boxes，生成最终预测结果，预测结果包括预测框边框信息、置信度、类别信息；
1-6）将步骤1-4）获得的训练集经过亮度随机变化、颜色变换、尺寸变换数据增强操作后，输入基于yolov4-tiny改进的毫米波与图像融合检测模型中对模型进行训练，再将实时采集到的图像数据和毫米波数据输入训练后的模型中，得到预测框边框信息、置信度、类别信息，并将检测结果传输至第一AGX模块中；
2）激光雷达障碍物检测，具体步骤如下：
2-1）激光雷达将采集到的信息传输至第二AGX模块，第二AGX模块接收激光雷达传输的信息，并对信息进行欧几里得聚类处理，得到将目标的三维检测框在点云坐标系的坐标及其对应的距离；
2-2）将三维检测框在点云坐标系的坐标通过外部标定的方法，转换到相机的像素坐标系中，得到目标的检测框信息及距离，再将目标的检测框信息及距离传输至第一AGX模块中；
3）第一AGX模块根据步骤1-6）得到的结果和步骤2-2）的结果进行交并比IOU计算，若激光雷达检测框和相机毫米波融合输出的检测框的交并比IOU大于一定的阈值，则表示检测到的是同一个物体，输出检测到的目标的距离、类别和方位；
4）步骤3得到的输出结果再显示模块中显示或者通过LTE-5G模块、WiFi模块传输至上位机。
5.根据权利要求4所述的一种多传感器融合的目标检测方法，其特征在于，步骤1-3）中，所述的毫米波图像，是首先生成一张与对应相机图片尺寸相同的像素值全0的图像，以每个毫米波点为圆心O i ，设置一个点R i 距离在毫米波坐标系中距离圆心1m，通过步骤1-1）的标定方法把R i 转换到像素坐标系，计算转换到的像素坐标系的点与圆心相距的像素距离，并以该距离为半径画圆，在这个范围的像素值用上面转换后的横向速度、纵向速度、RCS填充，最后即得到毫米波图像。
CN202110676395.7A 2021-06-18 2021-06-18 一种多传感器融合的目标检测系统及检测方法 Pending CN113281738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110676395.7A CN113281738A (zh) 2021-06-18 2021-06-18 一种多传感器融合的目标检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110676395.7A CN113281738A (zh) 2021-06-18 2021-06-18 一种多传感器融合的目标检测系统及检测方法

Publications (1)

Publication Number Publication Date
CN113281738A true CN113281738A (zh) 2021-08-20

Family

ID=77284945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110676395.7A Pending CN113281738A (zh) 2021-06-18 2021-06-18 一种多传感器融合的目标检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN113281738A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115236656A (zh) * 2022-09-22 2022-10-25 中国电子科技集团公司第十研究所 用于飞机避障的多源传感器目标关联方法、设备及介质
CN115273064A (zh) * 2022-07-14 2022-11-01 中国人民解放军国防科技大学 复杂运动背景下稀疏事件点小目标分割方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114708585B (zh) * 2022-04-15 2023-10-10 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115273064A (zh) * 2022-07-14 2022-11-01 中国人民解放军国防科技大学 复杂运动背景下稀疏事件点小目标分割方法
CN115273064B (zh) * 2022-07-14 2023-05-09 中国人民解放军国防科技大学 复杂运动背景下稀疏事件点小目标分割方法
CN115236656A (zh) * 2022-09-22 2022-10-25 中国电子科技集团公司第十研究所 用于飞机避障的多源传感器目标关联方法、设备及介质
CN115236656B (zh) * 2022-09-22 2022-12-06 中国电子科技集团公司第十研究所 用于飞机避障的多源传感器目标关联方法、设备及介质

Similar Documents

Publication Publication Date Title
US10565458B2 (en) Simulation system, simulation program and simulation method
CN108229366B (zh) 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN113281738A (zh) 一种多传感器融合的目标检测系统及检测方法
US11915492B2 (en) Traffic light recognition method and apparatus
CN107862293A (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN110008843B (zh) 基于点云和影像数据的车辆目标联合认知方法和系统
US20190204834A1 (en) Method and apparatus for object detection using convolutional neural network systems
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
US11455806B2 (en) System and method for free space estimation
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN113610044B (zh) 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN108469817B (zh) 基于fpga和信息融合的无人船避障控制系统
CN111967373B (zh) 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法
EP3531224A1 (en) Environment-adaptive sense and avoid system for unmanned vehicles
CN113688738B (zh) 一种基于激光雷达点云数据的目标识别系统及方法
CN114332494A (zh) 车路协同场景下基于多源融合的三维目标检测与识别方法
EP3441960A1 (en) Intelligent lighting system, intelligent vehicle and auxiliary vehicle driving system and method therefor
CN112926415A (zh) 一种行人避让系统和行人监测方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN115578709A (zh) 一种车路协同的特征级协同感知融合方法和系统
KR102441103B1 (ko) 객체 식별 무인 항공기 및 무인 항공기의 객체 식별 방법
Tu et al. Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera
WO2020010517A1 (zh) 轨迹预测方法及装置
CN113936139B (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN115631123B (zh) 仿生视觉融合的恶劣环境成像装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination