CN111812649A - 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 - Google Patents
基于单目相机与毫米波雷达融合的障碍物识别与定位方法 Download PDFInfo
- Publication number
- CN111812649A CN111812649A CN202010677974.9A CN202010677974A CN111812649A CN 111812649 A CN111812649 A CN 111812649A CN 202010677974 A CN202010677974 A CN 202010677974A CN 111812649 A CN111812649 A CN 111812649A
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- wave radar
- monocular camera
- camera
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/414—Discriminating targets with respect to background clutter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/418—Theoretical aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种基于单目相机与毫米波雷达融合的障碍物识别与定位方法,包括传感器数据采集与时间同步、毫米波雷达与单目相机测量对象匹配和使用扩展卡尔曼滤波算法对两种传感器的测量数据进行滤波与融合;本发明采用多传感器融合的方式,使机器人能够感知比单个传感器更加丰富且精确的障碍物信息。相对单纯基于坐标转换的融合方式来说,本发明所使用的扩展卡尔曼滤波数据融合方式获取的数据更加接近真实值,且大大减少了传感器测量噪声带来的影响。
Description
技术领域
本发明涉及多传感器融合技术领域,尤其涉及一种基于单目相机与毫米波雷达融合的障碍物识别与定位方法。
背景技术
随着无人驾驶、无人机等智能机器人的发展,环境感知技术取得了巨大的进步。目前较为成熟的目标识别与定位方法是利用深度学习算法对图像进行处理,包括RCNN,YOLO,SSD等系列,这些深度学习算法能够实现对障碍物的高准确率识别,甚至得到精确的物体轮廓边界。然而单一视觉传感器的感知能力是有限的,且容易受到环境的干扰,因此将其他传感器与视觉传感器进行融合能够切实提高机器人的感知能力。
毫米波雷达是一种通过发射毫米波来判断物体距离的主动式传感器。毫米波雷达获取的障碍物深度信息精度高且测量范围广,具有可靠性好、环境鲁棒性强、成本合理等优势。将单目相机与毫米波雷达进行融合,既可以获取障碍物的轮廓信息,又能得到精确的三维坐标,克服了单目相机无法获取精确深度信息以及毫米波雷达点云过于稀疏与噪点干扰的问题。
目前已有的单目相机与毫米波雷达融合的处理方法大多是:分别采集单目相机数据以及毫米波雷达数据,进行时间同步处理;使用深度学习算法或者直接对二值图像进行形态学处理获取障碍物的轮廓信息以及像素位置;使用提前标定获取的毫米波雷达与单目相机外参将毫米波雷达点云数据投影到像素平面,与视觉获取的轮廓位置进行匹配得到最终的障碍物信息。这种方法虽然能够融合两种传感器的测量信息,但是并没有考虑毫米波雷达的噪声干扰,最终融合得到的数据可能会出现突变、漏检等现象,整个算法的鲁棒性较低。使用扩展卡尔曼滤波算法对传感器数据进行融合,既能获取更加准确的坐标信息,又能保证测量的鲁棒性。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于单目相机与毫米波雷达数据融合的障碍物识别与定位方法,结合单目相机与毫米波雷达的优势,能够使机器人获取环境中障碍物的精确位置与轮廓,相对于现有方法提升了测量精度与鲁棒性。
技术方案
一种基于单目相机与毫米波雷达融合的障碍物识别与定位方法,其特征在于步骤如下:
步骤1:传感器数据采集与时间同步
1.1)采集毫米波雷达与单目相机的数据,根据毫米波雷达提供的通信协议读取二维点云数据,使用OpenCV读取单目相机的图像信息;
1.2)根据点云与图像的时间戳信息将毫米波雷达与单目相机的数据进行时间序列配准,保证两个传感器融合数据的时间一致;
步骤2:毫米波雷达与单目相机测量对象匹配;
2.1)使用提前训练好的深度学习模型对视觉图像中的障碍物进行识别,获取包络障碍物的最小矩形框;
2.2)根据雷达相机外参矩阵与相机内参矩阵将雷达点云坐标(xri,yri)转换到像素坐标(uri,vri),具体转换关系如下:
2.3)遍历视觉检测的矩形框的中心像素位置(uci,vci),距离(uri,vri)最近的点即为毫米波雷达与单目相机共同检测到的障碍物;
步骤3:使用扩展卡尔曼滤波算法对两种传感器的测量数据进行滤波与融合;
3.1)状态量的预测:融合后的状态量为雷达坐标系下的坐标与速度xf(px,py,pz,vx,vy),根据卡尔曼滤波方程,状态量及其不确定度的预测值可表示为:
其中,x′f为xf的预测值,F表示线性系统状态量的变化系数,P、P′分别表示系统的不确定度以及不确定度的预测,Q表示线性系统x′f=Fxf的额外干扰因素;
3.2)毫米波雷达测量更新:毫米波雷达测量得到的障碍物位置和速度为xr(xr,yr,vxr,vyr),根据卡尔曼滤波方程,状态量及其不确定度的更新值可表示为:
其中,x′fr、P′r为根据毫米波雷达测量数据更新后的状态量以及不确定度,H表示状态量与毫米波雷达测量值之间的转换关系,Rradar表示毫米波雷达测量值的不确定度,可以根据雷达的出厂参数获取;
3.3)单目相机测量更新:步骤2中与毫米波雷达匹配到的视觉检测到的障碍物的中心像素坐标为xs(u,v),根据卡尔曼滤波方程,状态量及其不确定度的更新值可表示为:
其中,f(x′f)表示状态量向像素坐标系投影的坐标转换关系,使用针孔相机模型,因此坐标转换为非线性映射,Hj表示非线性映射关系中的像素坐标关于状态量的雅克比矩阵,Rcam表示单目相机测量值的不确定度,为单位矩阵;
3.4)按照步骤1中配准的时间序列,获取毫米波雷达及单目相机的测量值,并不断更新状态量,每更新一次执行一次预测,由此获得更加精确的障碍物位置信息。
步骤2.2中的K可以通过matlab或者OpenCV中的张正友法进行标定获取。
有益效果
本发明提出的一种基于单目相机与毫米波雷达融合的障碍物识别与定位方法,包括传感器数据采集与时间同步、毫米波雷达与单目相机测量对象匹配和使用扩展卡尔曼滤波算法对两种传感器的测量数据进行滤波与融合。本发明采用多传感器融合的方式,使机器人能够感知比单个传感器更加丰富且精确的障碍物信息。相对单纯基于坐标转换的融合方式来说,本发明所使用的扩展卡尔曼滤波数据融合方式获取的数据更加接近真实值,且大大减少了传感器测量噪声带来的影响。
附图说明
图1是毫米波雷达与单目相机数据融合的流程图;
图2是毫米波雷达与单目相机之间的坐标转换关系。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
如图1所示,传感器数据采集与时间同步;
1.1)采集毫米波雷达与单目相机的数据,根据毫米波雷达提供的通信协议解析传感器数据,获取二维点云信息,使用OpenCV读取单目相机的图像信息;
1.2)根据点云与图像的时间戳信息将毫米波雷达与单目相机的数据进行时间序列配准,保证两个传感器融合数据的时间一致;
2)如图1所示,将毫米波雷达与单目相机测量对象匹配;
2.1)提前采集具有障碍物信息的图片,使用基于YOLO-v3的深度学习训练模型,使模型能够对视觉图像中的障碍物进行识别,获取包络障碍物的最小矩形框;
2.2)如图2所示为毫米波雷达与单目相机的坐标转换关系,OrXrYrZr,OcXcYcZc和OsXsYs分别表示雷达坐标系、相机坐标系和像素坐标系,根据雷达相机外参矩阵与相机内参矩阵将雷达点云坐标(xri,yri)转换到像素坐标(uri,vri),具体转换关系如下:
其中,zc为空间点到相机平面的实际深度,K表示相机的内参矩阵可以通过matlab或者OpenCV中的张正友法进行标定获取,R和T分别表示相机与雷达之间的旋转矩阵与平移向量,可以提前标定或直接测量获取,H表示毫米波雷达与相机之间的高度差,可直接测量获取。
2.3)遍历视觉检测的矩形框的中心像素位置(uci,vci),距离(uri,vri)最近的点即为毫米波雷达与单目相机共同检测到的障碍物;
3)如图1右边所示,使用扩展卡尔曼滤波算法对两种传感器的测量数据进行滤波与融合;
3.1)状态量的预测:融合后的状态量为雷达坐标系下的坐标与速度xf(px,py,pz,vx,vy),根据卡尔曼滤波方程,状态量及其不确定度的预测值可表示为:
其中,x′f为xf的预测值,P、P′分别表示系统的不确定度以及不确定度的预测,F表示线性系统状态量的变化系数,由于是线性系统,可知:
Q表示线性系统x′f=Fxf的额外干扰因素,由于假设成了线性系统,因此干扰量与加速度有关:
其中,v=Ga表示加速度对速度的增量。
3.2)毫米波雷达测量更新:毫米波雷达测量得到的障碍物位置和速度为xr(xr,yr,vxr,vyr),根据卡尔曼滤波方程,状态量及其不确定度的更新值可表示为:
其中,x′fr、P′r为根据毫米波雷达测量数据更新后的状态量以及不确定度,H=[I,0]表示状态量与毫米波雷达测量值之间的转换关系,Rradar表示毫米波雷达测量值的不确定度,可以根据雷达的出厂参数获取。
3.3)单目相机测量更新:步骤2中与毫米波雷达匹配到的视觉检测到的障碍物的中心像素坐标为xs(u,v),根据卡尔曼滤波方程,状态量及其不确定度的更新值可表示为:
其中,Rcam表示单目相机测量值的不确定度,为单位矩阵。f(x′f)表示状态量向像素坐标系投影的坐标转换关系,使用针孔相机模型,因此坐标转换为非线性映射:
f(xf)=[u,v]T=KT[px,py,pz,1]T
Hj表示非线性映射关系中的像素坐标关于状态量的雅克比矩阵:
3.4)按照步骤1中配准的时间序列,获取毫米波雷达及单目相机的测量值,并不断更新状态量,每更新一次执行一次预测,由此获得更加精确的障碍物位置信息。
Claims (2)
1.一种基于单目相机与毫米波雷达融合的障碍物识别与定位方法,其特征在于步骤如下:
步骤1:传感器数据采集与时间同步
1.1)采集毫米波雷达与单目相机的数据,根据毫米波雷达提供的通信协议读取二维点云数据,使用OpenCV读取单目相机的图像信息;
1.2)根据点云与图像的时间戳信息将毫米波雷达与单目相机的数据进行时间序列配准,保证两个传感器融合数据的时间一致;
步骤2:毫米波雷达与单目相机测量对象匹配;
2.1)使用提前训练好的深度学习模型对视觉图像中的障碍物进行识别,获取包络障碍物的最小矩形框;
2.2)根据雷达相机外参矩阵与相机内参矩阵将雷达点云坐标(xri,yri)转换到像素坐标(uri,vri),具体转换关系如下:
2.3)遍历视觉检测的矩形框的中心像素位置(uci,vci),距离(uri,vri)最近的点即为毫米波雷达与单目相机共同检测到的障碍物;
步骤3:使用扩展卡尔曼滤波算法对两种传感器的测量数据进行滤波与融合;
3.1)状态量的预测:融合后的状态量为雷达坐标系下的坐标与速度xf(px,py,pz,vx,vy),根据卡尔曼滤波方程,状态量及其不确定度的预测值可表示为:
其中,x′f为xf的预测值,F表示线性系统状态量的变化系数,P、P′分别表示系统的不确定度以及不确定度的预测,Q表示线性系统x′f=Fxf的额外干扰因素;
3.2)毫米波雷达测量更新:毫米波雷达测量得到的障碍物位置和速度为xr(xr,yr,vxr,vyr),根据卡尔曼滤波方程,状态量及其不确定度的更新值可表示为:
其中,x′fr、P′r为根据毫米波雷达测量数据更新后的状态量以及不确定度,H表示状态量与毫米波雷达测量值之间的转换关系,Rradar表示毫米波雷达测量值的不确定度,可以根据雷达的出厂参数获取;
3.3)单目相机测量更新:步骤2中与毫米波雷达匹配到的视觉检测到的障碍物的中心像素坐标为xs(u,v),根据卡尔曼滤波方程,状态量及其不确定度的更新值可表示为:
其中,f(x′f)表示状态量向像素坐标系投影的坐标转换关系,使用针孔相机模型,因此坐标转换为非线性映射,Hj表示非线性映射关系中的像素坐标关于状态量的雅克比矩阵,Rcam表示单目相机测量值的不确定度,为单位矩阵;
3.4)按照步骤1中配准的时间序列,获取毫米波雷达及单目相机的测量值,并不断更新状态量,每更新一次执行一次预测,由此获得更加精确的障碍物位置信息。
2.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的障碍物识别与定位方法,其特征在于步骤2.2中的K可以通过matlab或者OpenCV中的张正友法进行标定获取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010677974.9A CN111812649A (zh) | 2020-07-15 | 2020-07-15 | 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010677974.9A CN111812649A (zh) | 2020-07-15 | 2020-07-15 | 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111812649A true CN111812649A (zh) | 2020-10-23 |
Family
ID=72864813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010677974.9A Pending CN111812649A (zh) | 2020-07-15 | 2020-07-15 | 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111812649A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465193A (zh) * | 2020-11-09 | 2021-03-09 | 苏州挚途科技有限公司 | 多传感器数据融合的参数优化方法及装置 |
CN113327297A (zh) * | 2021-06-30 | 2021-08-31 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
CN113514803A (zh) * | 2021-03-25 | 2021-10-19 | 武汉光庭信息技术股份有限公司 | 一种单目相机和毫米波雷达的联合标定方法 |
CN113721235A (zh) * | 2021-08-31 | 2021-11-30 | 北京百度网讯科技有限公司 | 对象状态确定方法、装置、电子设备以及存储介质 |
CN114429432A (zh) * | 2022-04-07 | 2022-05-03 | 科大天工智能装备技术(天津)有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
US20220230443A1 (en) * | 2021-01-19 | 2022-07-21 | Micromax International Corp. | Method and system for detecting and analyzing objects |
CN115139921A (zh) * | 2022-06-17 | 2022-10-04 | 湖南信息学院 | 一种多传感器融合装置 |
CN115616560A (zh) * | 2022-12-02 | 2023-01-17 | 广汽埃安新能源汽车股份有限公司 | 车辆避障方法、装置、电子设备和计算机可读介质 |
TWI800140B (zh) * | 2021-12-06 | 2023-04-21 | 致伸科技股份有限公司 | 監控方法 |
CN116363623A (zh) * | 2023-01-28 | 2023-06-30 | 苏州飞搜科技有限公司 | 基于毫米波雷达与视觉融合的车辆检测方法 |
CN117593620A (zh) * | 2024-01-19 | 2024-02-23 | 中汽研(天津)汽车工程研究院有限公司 | 一种基于相机和激光雷达融合的多目标检测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100066587A1 (en) * | 2006-07-14 | 2010-03-18 | Brian Masao Yamauchi | Method and System for Controlling a Remote Vehicle |
CN109490890A (zh) * | 2018-11-29 | 2019-03-19 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
CN109752719A (zh) * | 2019-01-27 | 2019-05-14 | 南昌航空大学 | 一种基于多传感器的智能汽车环境感知方法 |
CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN110726990A (zh) * | 2019-09-23 | 2020-01-24 | 江苏大学 | 一种基于ds-gnn算法的多传感器融合方法 |
-
2020
- 2020-07-15 CN CN202010677974.9A patent/CN111812649A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100066587A1 (en) * | 2006-07-14 | 2010-03-18 | Brian Masao Yamauchi | Method and System for Controlling a Remote Vehicle |
CN109490890A (zh) * | 2018-11-29 | 2019-03-19 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
CN109752719A (zh) * | 2019-01-27 | 2019-05-14 | 南昌航空大学 | 一种基于多传感器的智能汽车环境感知方法 |
CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
CN110726990A (zh) * | 2019-09-23 | 2020-01-24 | 江苏大学 | 一种基于ds-gnn算法的多传感器融合方法 |
Non-Patent Citations (8)
Title |
---|
CHRISTOPHE BLAN: "EKF and Particle Filter Track to Track Fusion : a quantitative comparison from Radar/Lidar obstacle tracks", 《2005 7TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 * |
RENYUAN ZHANG: "Extending Reliability of mmWave Radar Tracking and Detection via Fusion With Camera", 《IEEE ACCESS》 * |
付梦印等: "视觉传感器与激光测距雷达空间对准方法", 《红外与激光工程》 * |
刘志强等: "前方车辆障碍物检测方法的研究", 《机械设计与制造》 * |
孙宁等: "基于多传感器信息融合的车辆目标识别方法", 《汽车工程》 * |
宝鹤鹏等: "面向停车场场景的多传感器融合匹配算法与融合数据的并行处理", 《现代计算机》 * |
朱安福等: "多传感器信息融合的目标跟踪研究", 《计算机工程与应用》 * |
郭恩特等: "图像和惯性传感器相结合的摄像机定位和物体三维位置估计", 《福州大学学报(自然科学版)》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465193A (zh) * | 2020-11-09 | 2021-03-09 | 苏州挚途科技有限公司 | 多传感器数据融合的参数优化方法及装置 |
US20220230443A1 (en) * | 2021-01-19 | 2022-07-21 | Micromax International Corp. | Method and system for detecting and analyzing objects |
US11663832B2 (en) * | 2021-01-19 | 2023-05-30 | Micromax International Corp. | Method and system for detecting and analyzing objects |
CN113514803A (zh) * | 2021-03-25 | 2021-10-19 | 武汉光庭信息技术股份有限公司 | 一种单目相机和毫米波雷达的联合标定方法 |
CN113327297A (zh) * | 2021-06-30 | 2021-08-31 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
CN113721235A (zh) * | 2021-08-31 | 2021-11-30 | 北京百度网讯科技有限公司 | 对象状态确定方法、装置、电子设备以及存储介质 |
CN113721235B (zh) * | 2021-08-31 | 2023-08-25 | 北京百度网讯科技有限公司 | 对象状态确定方法、装置、电子设备以及存储介质 |
TWI800140B (zh) * | 2021-12-06 | 2023-04-21 | 致伸科技股份有限公司 | 監控方法 |
CN114429432B (zh) * | 2022-04-07 | 2022-06-21 | 科大天工智能装备技术(天津)有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
CN114429432A (zh) * | 2022-04-07 | 2022-05-03 | 科大天工智能装备技术(天津)有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
CN115139921A (zh) * | 2022-06-17 | 2022-10-04 | 湖南信息学院 | 一种多传感器融合装置 |
CN115616560A (zh) * | 2022-12-02 | 2023-01-17 | 广汽埃安新能源汽车股份有限公司 | 车辆避障方法、装置、电子设备和计算机可读介质 |
CN116363623A (zh) * | 2023-01-28 | 2023-06-30 | 苏州飞搜科技有限公司 | 基于毫米波雷达与视觉融合的车辆检测方法 |
CN116363623B (zh) * | 2023-01-28 | 2023-10-20 | 苏州飞搜科技有限公司 | 基于毫米波雷达与视觉融合的车辆检测方法 |
CN117593620A (zh) * | 2024-01-19 | 2024-02-23 | 中汽研(天津)汽车工程研究院有限公司 | 一种基于相机和激光雷达融合的多目标检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111812649A (zh) | 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 | |
CN108152831B (zh) | 一种激光雷达障碍物识别方法及系统 | |
WO2022022694A1 (zh) | 自动驾驶环境感知方法及系统 | |
CN110675431B (zh) | 一种融合图像和激光点云的三维多目标跟踪方法 | |
CN108932736B (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
CN111260773B (zh) | 小障碍物的三维重建方法、检测方法及检测系统 | |
CN111815717B (zh) | 一种多传感器融合外参联合半自主标定方法 | |
CN106774296A (zh) | 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法 | |
CN111260715B (zh) | 深度图的处理方法、小障碍物检测方法及系统 | |
CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
CN109407115B (zh) | 一种基于激光雷达的路面提取系统及其提取方法 | |
CN112629520A (zh) | 一种机器人导航与定位方法、系统、设备及存储介质 | |
CN111811502B (zh) | 一种运动载体多源信息融合导航方法及系统 | |
CN115376109A (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
CN111340884B (zh) | 一种双目异构相机与rfid的双重目标定位与身份辨识方法 | |
CN117333846A (zh) | 恶劣天气下基于传感器融合和增量学习的检测方法及系统 | |
CN116817891A (zh) | 一种实时多模态感知的高精地图构建方法 | |
KR20180066668A (ko) | 무인 이동체의 주행 환경 제작 기술을 위한 장치 및 방법 | |
CN114459467B (zh) | 一种未知救援环境中基于vi-slam的目标定位方法 | |
CN115588036A (zh) | 图像采集方法及装置、机器人 | |
CN114049542A (zh) | 一种动态场景下基于多传感器的融合定位方法 | |
CN114910062A (zh) | 一种多源信息融合的导航定位方法 | |
CN113066133A (zh) | 一种基于路面标识几何特征的车载摄像头在线自标定方法 | |
CN113504385A (zh) | 复数相机测速方法及测速装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201023 |