CN111352112A - 基于视觉、激光雷达和毫米波雷达的目标检测方法 - Google Patents

基于视觉、激光雷达和毫米波雷达的目标检测方法 Download PDF

Info

Publication number
CN111352112A
CN111352112A CN202010380040.9A CN202010380040A CN111352112A CN 111352112 A CN111352112 A CN 111352112A CN 202010380040 A CN202010380040 A CN 202010380040A CN 111352112 A CN111352112 A CN 111352112A
Authority
CN
China
Prior art keywords
radar
millimeter wave
data
wave radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010380040.9A
Other languages
English (en)
Other versions
CN111352112B (zh
Inventor
魏宪
郭杰龙
李朝
兰海
邵东恒
唐晓亮
汤璇
冯远志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202010380040.9A priority Critical patent/CN111352112B/zh
Publication of CN111352112A publication Critical patent/CN111352112A/zh
Priority to PCT/CN2020/121753 priority patent/WO2021223368A1/zh
Priority to US17/746,697 priority patent/US11915470B2/en
Application granted granted Critical
Publication of CN111352112B publication Critical patent/CN111352112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于视觉、激光雷达和毫米波雷达的目标检测方法，包括：获取摄像头，激光雷达，毫米波雷达的探测到的原始数据，并将三者进行时间和空间同步；根据雷达协议对毫米波雷达数据进行解算；基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；提取点云鸟瞰图和摄像头图像的特征图；将生成的三维感兴趣区域投影到激光雷达的点云鸟瞰图的特征图和摄像头图像的特征图；将带有预选框的特征图进行融合，融合图像进行全连接层处理。本发明利用不同的传感器数据进行数据融合，大大减少了候选框的生成数量，提高了候选框的质量，加快了识别速度，通过传感器冗余提高不同环境下目标检测的可靠性。

Description

基于视觉、激光雷达和毫米波雷达的目标检测方法
技术领域
本发明涉及目标检测技术领域，特别是涉及一种基于视觉，激光雷达和毫米波雷达的目标检测方法。
背景技术
随着国家大力推进人工智能的发展和智能交通行业的快速形成，智能停车、车联网、自动驾驶等领域的快速发展。目标检测技术成为了重要的研究方向。目标检测是自动驾驶领域最重要和基础的研究领域。车辆的自动驾驶离不开对周围障碍物的精确快速检测。在目标检测中车辆依靠传感器获取车辆周围的信息，包括激光雷达，毫米波雷达，超声波雷达，视觉相机等。激光雷达抗干扰能力较强、分辨率高，测距精确度高，但是在雨雾天气下适用性较差，且数据以点云格式输出，计算量较大；毫米波雷达测距精度较低，但是穿透性强，具有全天候、全天时的特点，适用于相对恶劣环境，且数据量小。为了保证车辆安全，精确实现环境感知，需采用多传感器融合技术进行数据冗余处理。
障碍物检测的方法通常有基于机器视觉的检测方法和基于雷达技术的检测方法。基于机器视觉的检测方法具有探测范围广、获取信息量大的优点。毫米波雷达则具有探测范围广，适应性好，可穿透雨雾，可以直接获得深度信息等优点。现有技术中，使用单传感器检测障碍物的方法有：申请号为CN201210143389.6的专利“一种基于单目视觉的前方车辆检测方法”，申请号为CN201410193393.2的专利“基于毫米波雷达的汽车主动防撞预警系统”，申请号为CN201710100068的专利“基于多传感器信息融合的障碍物检测方法”等。
近年来，基于多传感器信息融合的障碍物检测方法是研究的热点之一，如申请号CN201810038468.8的专利申请中公开了一种基于毫米波和激光雷达的障碍物特征提取方法。
但是现有的方法有不足之处。在做目标级别的融合专利中利用视觉相机检测到的目标和毫米波雷达检测的目标进行结果对比。在视觉相机检测阶段生成大量的锚点，消耗计算资源，生成的锚点比例尺寸固定，对大型车辆，行人等不同比例的障碍物准确率下降。在特征级别的融合中，现有专利利用毫米波雷达来生成候选区域，对候选区域进行处理，这种方法在发生毫米别波雷达遗漏目标时，不能够准确的检测目标。
发明内容
本发明的目的是提供一种基于视觉，激光雷达和毫米波雷达融合的目标检测方法，为了克服现有技术的不足。
本发明的目的是通过以下技术方案实现的：
一种基于视觉、激光雷达和毫米波雷达融合的目标检测方法，包括以下步骤；
步骤一、获取摄像头，激光雷达，毫米波雷达的探测到的原始数据；并将毫米波雷达，激光雷达，摄像头进行时间和空间同步；
步骤二、根据雷达协议对毫米波雷达数据进行解算；
步骤三、基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；
步骤四、对于没有毫米波雷达点生成感兴趣区域的位置遍历生成感兴趣区域；
步骤五、对激光雷达获取的点云数据进行预处理生成鸟瞰图，提取点云鸟瞰特征图和由摄像头获取数据的特征图；
步骤六、将步骤三和步骤四中生成的三维感兴趣区域投影到步骤无中的点云鸟瞰特征图和由摄像头获取数据的特征图；
步骤七、将步骤六种的感兴趣区域和点云鸟瞰特征图和由摄像头获取数据的特征图进行大小特征图的融合，融合图像再进行全连接层处理，最终得到检测结果图输出。
进一步的，所述步骤一中，获取摄像头数据，毫米波雷达数据，激光雷达数据：通过激光雷达扫过相机FOV的中心时，将触发相机曝光，摄像头以12Hz运行，而激光雷达以20Hz运行，12Hz相机的曝光尽可能均匀地分布在20Hz激光雷达扫描中，因此并非所有激光雷达扫描都有对应的相机帧和毫米波雷达帧；取三者同步的帧作为三个传感器的关键帧；为获得更多的数据，将多帧扫描的毫米波雷达数据和激光雷达数据叠加到关键帧，只对关键帧做后续处理；
传感器以车辆的IMU作为参考点；摄像头相对IMU平移矩阵Tc,旋转矩阵Rc,激光雷达平移矩阵Tl,旋转矩阵Rl,毫米波雷达雷达平移矩阵Tr,旋转矩阵Rr,激光雷达坐标(Xl,Yl,Zl),毫米波雷达坐标(Xr,Yr,Zr)
Figure BDA0002481602210000031
R＝Rr·Rl
T＝Tr-Tl；
因为地面的海拔高度并不是一样的，根据车辆IMU安装位置作为世界坐标系的参考点，通过IMU计算图像中的地平面的法向量n,和摄像头的高度h，摄像头的旋转矩阵为Rc,摄像头安装位置相对传感器的平移矩阵Tc，单位法向量nr，可得地面函数向量[n,Tra[2]]
Figure BDA0002481602210000032
Tc＝[T11 T12 T13]
Tra＝Rc*Tc T
n＝Rc*nr。
进一步的，所述步骤二中，根据对应的雷达协议对毫米波雷达数据进行解算，解算后的数据信息包含位置，速度，雷达反射面积，雷达点状态等信息。
进一步的，所述步骤三中，基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；位置信息作为长方体感兴趣区域的中心点，矢量速度的方向作为长方低面矩形长的那条边的方向，根据雷达反射面积RCS的大小来确定感兴趣区域的大小，根据RCS大小范围确定3D框的尺寸大小，如下表所示，
Figure BDA0002481602210000033
根据毫米波雷达点的速度(Vx,Vy)和补偿速度信息(Vx_comp,Vy_comp)，及根据公式：
Figure BDA0002481602210000041
来确定3D框的方向角度；
Figure BDA0002481602210000042
进一步的，所述步骤四中，对于没有毫米波雷达点生成感兴趣区域的位置遍历生成感兴趣区域，毫米波雷达短波束探测范围有限，短波探测范围0到30米的探测角度90度，30到70米探测角度减小到18度，70米外的长波探测角度18度，探测障碍物的范围是[-30,30,0,70]；对于探测范围内无感兴趣区域的位置采取如下方法实现：
1)根据步骤三得到的感兴趣区域投影到鸟瞰平面；
2)根据投影的二维候选框，得到背景区域；
3)为保证不遗漏目标，在背景区域遍历生成候选框。
进一步的，所述步骤五中，对原始的激光点云数据进行处理，保留在垂直地平面的方向上选取[-0.3,2.5]米的范围内的激光雷达点，将激光雷达数据在此范围内进行平均切片，分为4片；将每个片内的点云压缩成水平二维图像，加上点的强度信息得到一个[600700 5]维度的点云鸟瞰图；使用神经网络模型提取点云鸟瞰图和相机图像的特征图；得到的特征图的大小与输入图像的大小不变。
进一步的，所述步骤六中，对利用毫米波雷达生成的锚点和遍历生成的锚点都有一个索引号；将感兴趣区域投影到两个特征图中；毫米波雷达数据和激光雷达数据同为三维数据，通过S1两者空间同步即可确定三维感兴趣区域，得到三维感兴趣区域的顶点坐标点R＝[x；y；z]；3维感兴趣区域的转换关系为：
Figure BDA0002481602210000051
其中(Xp,Yp)是图像坐标系中投影点的坐标，P是相机参数的到的矩阵；通过上述步骤得到在图像中3D区域坐标点，得到的各个顶点坐标点根据垂直地面的法向量n和相机高度Tra[2]进行调整，得到调整后的坐标点(X,Y,Z*)，
Figure BDA0002481602210000052
Z*＝-(a*X+c*Y+d)/b
将大小相同特征图进行融合，通过全连接层对融合后的图像进行处理，筛选出锚点，并对锚点框的大小，方向进行回归。
与现有技术相比，本发明的优点和有益效果是：
本发明通过三种传感器的融合，提高系统的冗余度，确保车辆行驶的安全性。利用毫米波雷达确定ROI(感兴趣区域)的方法，大大的减少了ROI的数量，减轻的计算负担，提高识别准确率。利用毫米波雷达反射面积来确定ROI区域大小，更加灵活的确定ROI的尺寸大小，解决的对不同尺寸大小的障碍物无法确定合适尺寸的ROI问题。通过毫米波雷达的速度信息，生成带有方向的ROI，解决了卷积神经网络对图片的旋转不变性问题，提高了识别障碍物朝向的准确性。
本发明保证自动驾驶汽车在目标检测是既能保证准确性又能保证检测速度，极大地提高了自动驾驶的安全稳定。
附图说明
图1为车载毫米波雷达和激光雷达安装位置示意图；
图2为ROI编码方式；
图3为毫米波雷达速度方向示意图；
图4为毫米波雷达生成ROI区域和背景区域示意图；
图5为利用多传感器融合目标检测的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将通过具体实施例并结合附图对本发明的技术方案进行清楚、完整地描述。
实施例1
一种基于视觉、激光雷达和毫米波雷达融合的目标检测方法，具体流程图如图5所示，包括：
步骤一中获取摄像头数据，毫米波雷达数据，激光雷达数据。相机和激光雷达安装在车辆顶部，如图1所示。通过激光雷达扫过相机FOV的中心时，将触发相机曝光。摄像头以12Hz运行，而激光雷达以20Hz运行。12Hz相机的曝光尽可能均匀地分布在20Hz激光雷达扫描中，因此并非所有激光雷达扫描都有对应的相机帧和毫米波雷达帧。我们取三者同步的帧作为三个传感器的关键帧。为获得更多的数据，将多帧扫描的毫米波雷达数据和激光雷达数据叠加到关键帧，只对关键帧做后续处理。
传感器以车辆的IMU作为参考点，IMU安装在车辆中心位置，可获得车辆速度，姿态等信息。摄像头相对IMU平移矩阵Tc,旋转矩阵Rc,激光雷达平移矩阵Tl,旋转矩阵Rl,毫米波雷达雷达平移矩阵Tr,旋转矩阵Rr。
Figure BDA0002481602210000061
R＝Rr·Rl
T＝Tr-Tl
因为地面的海拔高度并不是一样的。根据车辆IMU安装位置作为世界坐标系的参考点。通过IMU计算图像中的地平面的法向量n,和摄像头的高度h。摄像头的旋转矩阵为Rc,摄像头安装位置相对传感器的平移矩阵Tc。单位法向量nr。可得地面函数向量[n,Tra[2]]
Figure BDA0002481602210000062
Tc＝[T11 T12 T13]
Tra＝Rc*Tc T
n＝Rc*nr
步骤二、根据对应的雷达协议对毫米波雷达数据进行解算。解算后的数据信息包含位置，速度，雷达反射面积，雷达点状态等信息，如图2所示。
步骤三、基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；位置信息作为长方体感兴趣区域的中心点，矢量速度的方向作为长方低面矩形长的那条边的方向。根据雷达反射面积RCS的大小来确定感兴趣区域的大小。根据RCS大小范围确定3D框的尺寸大小。RCSdb<0,3D框大小(0.5m*0.5m*1.8m),0<RCSdb<20,3D框大小(2m*4m*1.8m)。3D框采用图2的编码方式。通过这种方法来减少参数量。目标RCSdb大小如表所示。行人和车辆的RCSdb大小区分性更大。
Figure BDA0002481602210000073
根据毫米波雷达点的速度(Vx,Vy)，此速度为绝对速度。补偿速度信息(Vx_comp,Vy_comp)，补偿速度是根据IMU得到的车辆本身的运动速度。根据公式：
Figure BDA0002481602210000071
θ大小范围为(0,π)，通过θ来确定3D框的方向角度,如图3所示：
Figure BDA0002481602210000072
步骤四、对于没有毫米波雷达点生成感兴趣区域的位置遍历生成感兴趣区域，如图4所示。毫米波雷达短波束探测范围有限，短波探测范围0到30米的探测角度90度，30到70米探测角度减小到18度，70米外的长波探测角度18度，这会产生探测盲区。我们探测障碍物的范围是[-30,30,0,70]。对于探测范围内无感兴趣区域的位置采取如下方法实现。
1)根据步骤三得到的感兴趣区域投影到鸟瞰平面。
2)根据投影的二维候选框，得到背景区域。
3)为保证不遗漏目标，在背景区域遍历生成候选框。
步骤五、对原始的激光点云数据进行处理，我们保留在垂直地平面的方向上选取[-0.3,2.5]米的范围内的激光雷达点。将激光雷达数据在此范围内进行平均切片，分为4片。将每个片内的点云压缩成水平二维图像。加上点的强度信息得到一个[600 700 5]维度的点云鸟瞰图，使用神经网络模型提取点云鸟瞰图和相机图像的特征图。得到的特征图的大小与输入图像的大小不变。
步骤六、对利用毫米波雷达生成的锚点和遍历生成的锚点都有一个索引号。将感兴趣区域投影到两个特征图中。毫米波雷达数据和激光雷达数据同为三维数据，通过S1两者空间同步即可确定三维感兴趣区域。得到三维感兴趣区域的顶点坐标点R＝[x；y；z]。3维感兴趣区域的转换关系为：
Figure BDA0002481602210000081
其中(Xp,Yp)是图像坐标系中投影点的坐标，P是相机参数的到的矩阵。通过上述步骤得到在图像中3D区域坐标点。得到的各个顶点坐标点根据垂直地面的法向量n和相机高度Tra[2]组成的地面向量[nTra[2]]T进行坐标调整。得到调整后的坐标点(X,Y,Z*)。
Figure BDA0002481602210000082
Z*＝-(a*X+c*Y+d)/b。
将大小相同特征图进行融合，通过全连接层对融合后的图像进行处理，筛选出锚点，并对锚点框的大小，方向进行回归，对每个框给出分数，通过NMS筛选分数高的框，得到检测结果，输出。

Claims (7)

1.一种基于视觉、激光雷达和毫米波雷达融合的目标检测方法，其特征在于，该检测方法包括以下步骤；
步骤一、获取摄像头，激光雷达，毫米波雷达的探测到的原始数据；并将毫米波雷达，激光雷达，摄像头进行时间和空间同步；
步骤二、根据雷达协议对毫米波雷达数据进行解算；
步骤三、基于毫米波雷达解算后的数据的位置，速度，雷达反射面积生成三维的感兴趣区域；
步骤四、对于没有毫米波雷达点生成感兴趣区域的位置遍历生成感兴趣区域；
步骤五、对激光雷达获取的点云数据进行预处理生成鸟瞰图，提取点云鸟瞰特征图和由摄像头获取数据的特征图；
步骤六、将步骤三和步骤四中生成的三维感兴趣区域投影到步骤无中的点云鸟瞰特征图和由摄像头获取数据的特征图；
步骤七、将步骤六种的感兴趣区域和点云鸟瞰特征图和由摄像头获取数据的特征图进行大小特征图的融合，融合图像再进行全连接层处理，最终得到检测结果图输出。
2.如权利要求1所述的目标检测方法，其特征在于，所述步骤一中，通过激光雷达扫过摄像头FOV的中心时，将触发相机曝光，摄像头的曝光分布在激光雷达扫描中；取摄像头、激光雷达和毫米波雷达同步的帧作为三个传感器的关键帧；为获得更多的数据，将多帧扫描的毫米波雷达数据和激光雷达数据叠加到关键帧，对关键帧做后续处理。
3.如权利要求1所述的目标检测方法，其特征在于，所述步骤二中，根据对应的雷达协议对毫米波雷达数据进行解算，解算后的数据信息包含位置，速度，雷达反射面积，雷达点状态信息数据。
4.如权利要求1所述的目标检测方法，其特征在于，所述步骤三中，基于步骤二获得信息数据生成三维的感兴趣区域；位置信息作为长方体感兴趣区域的中心点，矢量速度的方向作为长方低面矩形长的那条边的方向，根据雷达反射面积RCS的大小来确定感兴趣区域的大小，根据RCS大小范围确定3D框的尺寸大小，如下表所示：
Figure FDA0002481602200000021
Figure FDA0002481602200000023
根据毫米波雷达点的速度(Vx,Vy)和补偿速度信息(Vx_comp,Vy_comp)，及根据公式：
Figure FDA0002481602200000022
来确定3D框的方向角度。
5.如权利要求1所述的目标检测方法，其特征在于，所述步骤四中，对于没有毫米波雷达点生成感兴趣区域的位置遍历生成感兴趣区域，毫米波雷达短波束探测范围有限，短波探测范围0到30米的探测角度90度，30到70米探测角度减小到18度，70米外的长波探测角度18度，探测障碍物的范围是[-30,30,0,70]；对于探测范围内无感兴趣区域的位置采取如下方法实现：
1)根据步骤三得到的感兴趣区域投影到鸟瞰平面；
2)根据投影的二维候选框，得到背景区域；
3)为保证不遗漏目标，在背景区域遍历生成候选框。
6.如权利要求1所述的目标检测方法，其特征在于，所述步骤五中，对原始的激光点云数据进行处理，保留在垂直地平面的方向上选取[-0.3,2.5]米的范围内的激光雷达点，将激光雷达数据在此范围内进行平均切片，分为4片；将每个片内的点云压缩成水平二维图像，加上点的强度信息得到一个[600 700 5]维度的点云鸟瞰图；使用神经网络模型提取点云鸟瞰图和由摄像头获取的特征图；得到的特征图的大小与输入图像的大小不变。
7.如权利要求1所述的目标检测方法，其特征在于，所述步骤六中，对利用毫米波雷达生成的锚点和遍历生成的锚点都有一个索引号；将感兴趣区域投影到两个特征图中；毫米波雷达数据和激光雷达数据同为三维数据，通过S1两者空间同步即可确定三维感兴趣区域，得到三维感兴趣区域的顶点坐标点R＝[x；y；z]；3维感兴趣区域的转换关系为：
Figure FDA0002481602200000031
其中(Xp,Yp)是图像坐标系中投影点的坐标，P是相机参数的到的矩阵，摄像头相对IMU平移矩阵Tc,旋转矩阵Rc；通过上述步骤得到在图像中3D区域坐标点，得到的各个顶点坐标点根据地面函数向量向量进行坐标调整，得到调整后的坐标点(X,Y,Z*)，
将大小相同特征图进行融合，通过全连接层对融合后的图像进行处理，筛选出锚点，并对锚点框的大小，方向进行回归。
CN202010380040.9A 2020-05-08 2020-05-08 基于视觉、激光雷达和毫米波雷达的目标检测方法 Active CN111352112B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010380040.9A CN111352112B (zh) 2020-05-08 2020-05-08 基于视觉、激光雷达和毫米波雷达的目标检测方法
PCT/CN2020/121753 WO2021223368A1 (zh) 2020-05-08 2020-10-19 基于视觉、激光雷达和毫米波雷达的目标检测方法
US17/746,697 US11915470B2 (en) 2020-05-08 2022-05-17 Target detection method based on fusion of vision, lidar, and millimeter wave radar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010380040.9A CN111352112B (zh) 2020-05-08 2020-05-08 基于视觉、激光雷达和毫米波雷达的目标检测方法

Publications (2)

Publication Number Publication Date
CN111352112A true CN111352112A (zh) 2020-06-30
CN111352112B CN111352112B (zh) 2022-11-29

Family

ID=71195125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010380040.9A Active CN111352112B (zh) 2020-05-08 2020-05-08 基于视觉、激光雷达和毫米波雷达的目标检测方法

Country Status (3)

Country Link
US (1) US11915470B2 (zh)
CN (1) CN111352112B (zh)
WO (1) WO2021223368A1 (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083441A (zh) * 2020-09-10 2020-12-15 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112215306A (zh) * 2020-11-18 2021-01-12 同济大学 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112415518A (zh) * 2020-11-20 2021-02-26 南京理工大学 基于车载毫米波雷达的可通行空间检测方法
CN112800935A (zh) * 2021-01-25 2021-05-14 山东大学 一种基于激光雷达的虫群轨迹预测和虫害防治效果评估设备及布设方法
CN113095154A (zh) * 2021-03-19 2021-07-09 西安交通大学 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN113128434A (zh) * 2021-04-27 2021-07-16 南京大学 一种对单目rgb图像进行3d目标检测的方法
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113192182A (zh) * 2021-04-29 2021-07-30 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的实景重建方法及系统
CN113222111A (zh) * 2021-04-01 2021-08-06 上海智能网联汽车技术中心有限公司 适应全天候环境的自动驾驶4d感知方法、系统及介质
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置
CN113504525A (zh) * 2021-08-16 2021-10-15 中国气象局气象探测中心 一种雾区能见度反演方法及系统
CN113610044A (zh) * 2021-08-19 2021-11-05 清华大学 基于自注意力机制的4d毫米波三维目标检测方法及系统
WO2021223368A1 (zh) * 2020-05-08 2021-11-11 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN113640802A (zh) * 2021-07-30 2021-11-12 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
CN113655497A (zh) * 2021-08-30 2021-11-16 杭州视光半导体科技有限公司 基于fmcw固态扫描激光雷达的感兴趣区域扫描方法
CN113848825A (zh) * 2021-08-31 2021-12-28 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN113935379A (zh) * 2021-10-15 2022-01-14 中国科学技术大学 一种基于毫米波雷达信号的人体活动分割方法及系统
CN113950085A (zh) * 2021-11-19 2022-01-18 上海电机学院 一种智能反射面辅助毫米波通信的安全设计方法
WO2022012158A1 (zh) * 2020-07-17 2022-01-20 华为技术有限公司 一种目标确定方法以及目标确定装置
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114820392A (zh) * 2022-06-28 2022-07-29 新石器慧通（北京）科技有限公司 激光雷达检测的运动目标畸变补偿方法、设备及存储介质
WO2022166042A1 (zh) * 2021-02-05 2022-08-11 泉州装备制造研究所 一种点云极坐标编码方法及装置
CN115032651A (zh) * 2022-06-06 2022-09-09 合肥工业大学 一种基于激光雷达与机器视觉融合的目标检测方法
WO2022206517A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种目标检测方法及装置
WO2022237210A1 (zh) * 2021-05-12 2022-11-17 上海仙途智能科技有限公司 障碍物信息生成
CN116085193A (zh) * 2023-04-06 2023-05-09 南京牧镭激光科技股份有限公司 一种基于多源数据的风机主控净空控制方法
CN116188933A (zh) * 2023-05-04 2023-05-30 泉州装备制造研究所 一种基于群等变的鸟瞰图目标方向预测方法
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
WO2023124780A1 (zh) * 2021-12-27 2023-07-06 北京万集科技股份有限公司 点云数据增强方法、装置、计算机设备、系统及存储介质
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117689877A (zh) * 2023-12-20 2024-03-12 华诺星空技术股份有限公司 基于雷视数据融合的目标检测方法、设备及存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4153033A4 (en) * 2020-05-19 2024-06-26 Dentalez, INC. DENTAL OPERATION ACTIVATED BY BIOMETRICS
CN114137512B (zh) * 2021-11-29 2024-04-26 湖南大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN114200442B (zh) * 2021-12-10 2024-04-05 合肥工业大学 一种基于毫米波雷达和视觉的道路目标检测与关联方法
CN114199168A (zh) * 2021-12-16 2022-03-18 珠海格力电器股份有限公司 一种室内体积探测方法、装置、设备及介质
CN114013433B (zh) * 2021-12-24 2023-12-05 东风悦享科技有限公司 一种基于高精度地图的毫米波雷达自适应调节方法
CN114279468B (zh) * 2021-12-31 2022-06-14 北京理工大学 一种基于统计分析的毫米波雷达与视觉相机动态标定方法
CN114910901B (zh) * 2022-05-30 2024-07-12 深圳市大族机器人有限公司 一种协作机器人高精度多传感器融合测距系统
CN115346368B (zh) * 2022-07-30 2024-01-05 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知系统及方法
CN115327529B (zh) * 2022-09-05 2024-07-16 中国科学技术大学 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
CN115797397B (zh) * 2022-09-09 2024-04-05 北京科技大学 一种机器人全天候自主跟随目标人员的方法及系统
CN115496977B (zh) * 2022-09-14 2023-04-25 北京化工大学 一种基于多模态序列数据融合的目标检测方法及装置
CN115630335B (zh) * 2022-10-28 2023-06-27 北京中科东信科技有限公司 一种基于多传感器融合和深度学习模型道路信息生成方法
CN115578608B (zh) * 2022-12-12 2023-02-28 南京慧尔视智能科技有限公司 一种基于毫米波雷达点云的抗干扰分类方法及装置
CN115861601B (zh) * 2022-12-20 2023-12-29 清华大学 一种多传感器融合感知方法及装置
CN116052120A (zh) * 2023-01-12 2023-05-02 苏州大学 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN115797425B (zh) * 2023-01-19 2023-06-16 中国科学技术大学 一种基于点云鸟瞰图和由粗到精策略的激光全局定位方法
CN115797814B (zh) * 2023-02-13 2023-05-23 广东电网有限责任公司肇庆供电局 基于无人机的输电线路树障隐患实时评估计算方法
CN115965749B (zh) * 2023-03-16 2023-06-23 联易云科(北京)科技有限公司 一种基于雷视融合的三维重建设备
CN116381665B (zh) * 2023-04-24 2023-11-14 中国人民解放军国防科技大学 一种基于四维生物雷达定位被困人员的方法及系统
CN116482677B (zh) * 2023-06-25 2023-08-29 成都远望科技有限责任公司 一种基于海雾观测的多雷达协同控制扫描调度方法
CN116839570B (zh) * 2023-07-13 2023-12-01 安徽农业大学 一种基于传感器融合目标检测的作物行间作业导航方法
CN117152199B (zh) * 2023-08-30 2024-05-31 成都信息工程大学 一种动态目标运动矢量估计方法、系统、设备及存储介质
CN117036895B (zh) * 2023-10-10 2023-12-19 之江实验室 基于相机与激光雷达点云融合的多任务环境感知方法
CN117218123B (zh) * 2023-11-09 2024-02-02 上海擎刚智能科技有限公司 一种基于点云的冷轧带钢飞丝设备故障检测方法及系统
CN117611638B (zh) * 2023-12-07 2024-05-17 北京擎锋精密科技有限公司 一种基于图像处理的车辆行人多目标跟踪方法
CN117998328B (zh) * 2024-04-07 2024-06-11 北京航空航天大学 一种基于算网资源主动优化的盲区感知方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
CN110794406A (zh) * 2019-11-12 2020-02-14 北京经纬恒润科技有限公司 多源传感器数据融合系统和方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
CN101782646B (zh) * 2009-01-19 2012-08-29 财团法人工业技术研究院 全周环境感测系统及方法
CN102682455B (zh) 2012-05-10 2014-11-12 天津工业大学 一种基于单目视觉的前方车辆检测方法
WO2015025195A1 (en) * 2013-08-23 2015-02-26 Insight Robotics Limited A method of determining the location of a point of interest and the system thereof
CN103935364B (zh) 2014-05-08 2016-07-06 吉林大学 基于毫米波雷达的汽车主动防撞预警系统
CN207636768U (zh) * 2017-11-07 2018-07-20 郑州宇通客车股份有限公司 一种智能车辆的感知系统及车辆
CN108509972A (zh) 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
US11676284B2 (en) * 2019-03-22 2023-06-13 Nvidia Corporation Shape fusion for image analysis
CN110058597A (zh) * 2019-06-19 2019-07-26 奥特酷智能科技(南京)有限公司 一种自动驾驶异构系统及实现方法
US11100646B2 (en) * 2019-09-06 2021-08-24 Google Llc Future semantic segmentation prediction using 3D structure
CN110726990B (zh) * 2019-09-23 2023-04-07 江苏大学 一种基于ds-gnn算法的多传感器融合方法
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
CN114868148A (zh) * 2019-12-27 2022-08-05 索尼半导体解决方案公司 信息处理装置、信息处理系统、信息处理程序及信息处理方法
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110794406A (zh) * 2019-11-12 2020-02-14 北京经纬恒润科技有限公司 多源传感器数据融合系统和方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021223368A1 (zh) * 2020-05-08 2021-11-11 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
US11915470B2 (en) 2020-05-08 2024-02-27 Quanzhou equipment manufacturing research institute Target detection method based on fusion of vision, lidar, and millimeter wave radar
WO2022012158A1 (zh) * 2020-07-17 2022-01-20 华为技术有限公司 一种目标确定方法以及目标确定装置
CN112083441A (zh) * 2020-09-10 2020-12-15 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112083441B (zh) * 2020-09-10 2023-04-21 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN112215306B (zh) * 2020-11-18 2023-03-31 同济大学 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112215306A (zh) * 2020-11-18 2021-01-12 同济大学 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN112415518B (zh) * 2020-11-20 2023-09-26 南京理工大学 基于车载毫米波雷达的可通行空间检测方法
CN112415518A (zh) * 2020-11-20 2021-02-26 南京理工大学 基于车载毫米波雷达的可通行空间检测方法
CN112800935A (zh) * 2021-01-25 2021-05-14 山东大学 一种基于激光雷达的虫群轨迹预测和虫害防治效果评估设备及布设方法
WO2022166042A1 (zh) * 2021-02-05 2022-08-11 泉州装备制造研究所 一种点云极坐标编码方法及装置
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
US11397242B1 (en) 2021-02-23 2022-07-26 Tsinghua University 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds
CN113158763B (zh) * 2021-02-23 2021-12-07 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113095154A (zh) * 2021-03-19 2021-07-09 西安交通大学 基于毫米波雷达与单目相机的三维目标检测系统及方法
WO2022206517A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种目标检测方法及装置
CN113222111A (zh) * 2021-04-01 2021-08-06 上海智能网联汽车技术中心有限公司 适应全天候环境的自动驾驶4d感知方法、系统及介质
CN113128434A (zh) * 2021-04-27 2021-07-16 南京大学 一种对单目rgb图像进行3d目标检测的方法
CN113128434B (zh) * 2021-04-27 2023-11-21 南京大学 一种对单目rgb图像进行3d目标检测的方法
CN113192182A (zh) * 2021-04-29 2021-07-30 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的实景重建方法及系统
WO2022237210A1 (zh) * 2021-05-12 2022-11-17 上海仙途智能科技有限公司 障碍物信息生成
CN113506372A (zh) * 2021-07-26 2021-10-15 西北工业大学 一种环境重建方法及装置
CN113640802B (zh) * 2021-07-30 2024-05-17 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
CN113640802A (zh) * 2021-07-30 2021-11-12 国网上海市电力公司 一种基于多融合传感器的机器人空间定位方法和系统
CN113504525B (zh) * 2021-08-16 2024-05-14 中国气象局气象探测中心 一种雾区能见度反演方法及系统
CN113504525A (zh) * 2021-08-16 2021-10-15 中国气象局气象探测中心 一种雾区能见度反演方法及系统
CN113610044A (zh) * 2021-08-19 2021-11-05 清华大学 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN113610044B (zh) * 2021-08-19 2022-02-15 清华大学 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN113655497A (zh) * 2021-08-30 2021-11-16 杭州视光半导体科技有限公司 基于fmcw固态扫描激光雷达的感兴趣区域扫描方法
CN113655497B (zh) * 2021-08-30 2023-10-27 杭州视光半导体科技有限公司 基于fmcw固态扫描激光雷达的感兴趣区域扫描方法
CN113848825B (zh) * 2021-08-31 2023-04-11 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN113848825A (zh) * 2021-08-31 2021-12-28 国电南瑞南京控制系统有限公司 柔性生产车间agv状态监控系统及方法
CN113935379B (zh) * 2021-10-15 2024-02-27 中国科学技术大学 一种基于毫米波雷达信号的人体活动分割方法及系统
CN113935379A (zh) * 2021-10-15 2022-01-14 中国科学技术大学 一种基于毫米波雷达信号的人体活动分割方法及系统
CN113950085A (zh) * 2021-11-19 2022-01-18 上海电机学院 一种智能反射面辅助毫米波通信的安全设计方法
WO2023124780A1 (zh) * 2021-12-27 2023-07-06 北京万集科技股份有限公司 点云数据增强方法、装置、计算机设备、系统及存储介质
CN114708585B (zh) * 2022-04-15 2023-10-10 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN114708585A (zh) * 2022-04-15 2022-07-05 电子科技大学 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN115032651A (zh) * 2022-06-06 2022-09-09 合肥工业大学 一种基于激光雷达与机器视觉融合的目标检测方法
CN115032651B (zh) * 2022-06-06 2024-04-09 合肥工业大学 一种基于激光雷达与机器视觉融合的目标检测方法
CN114820392A (zh) * 2022-06-28 2022-07-29 新石器慧通（北京）科技有限公司 激光雷达检测的运动目标畸变补偿方法、设备及存储介质
CN114820392B (zh) * 2022-06-28 2022-10-18 新石器慧通（北京）科技有限公司 激光雷达检测的运动目标畸变补偿方法、设备及存储介质
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116363615B (zh) * 2023-03-27 2024-02-23 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116085193A (zh) * 2023-04-06 2023-05-09 南京牧镭激光科技股份有限公司 一种基于多源数据的风机主控净空控制方法
CN116188933A (zh) * 2023-05-04 2023-05-30 泉州装备制造研究所 一种基于群等变的鸟瞰图目标方向预测方法
CN116188933B (zh) * 2023-05-04 2023-09-01 泉州装备制造研究所 一种基于群等变的鸟瞰图目标方向预测方法及装置
CN117036868B (zh) * 2023-10-08 2024-01-26 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117689877A (zh) * 2023-12-20 2024-03-12 华诺星空技术股份有限公司 基于雷视数据融合的目标检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN111352112B (zh) 2022-11-29
WO2021223368A1 (zh) 2021-11-11
US11915470B2 (en) 2024-02-27
US20220277557A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
CN111352112B (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111368706B (zh) 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
Bertozzi et al. Obstacle detection and classification fusing radar and vision
Sugimoto et al. Obstacle detection using millimeter-wave radar and its visualization on image sequence
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN108509972A (zh) 一种基于毫米波和激光雷达的障碍物特征提取方法
WO2017057041A1 (ja) 信号処理装置、信号処理方法、およびプログラム
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN116685873A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN111045000A (zh) 监测系统和方法
CN110568433A (zh) 基于毫米波雷达的高空抛物检测方法
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN114118252A (zh) 一种基于传感器多元信息融合的车辆检测方法及检测装置
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
CN112784679A (zh) 车辆避障方法和装置
Zhou et al. Verification of AIS data by using video images taken by a UAV
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN116229224A (zh) 融合感知方法、装置、电子设备及存储介质
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN113189581A (zh) 一种毫米波雷达与视觉融合透雾目标识别算法处理方法
CN116977806A (zh) 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统
CN116129553A (zh) 一种基于多源车载设备的融合感知方法及系统
CN114925769B (zh) 一种多传感器数据融合处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant