CN111830519B - 多传感器融合的测距方法 - Google Patents

多传感器融合的测距方法 Download PDF

Info

Publication number
CN111830519B
CN111830519B CN202010496208.2A CN202010496208A CN111830519B CN 111830519 B CN111830519 B CN 111830519B CN 202010496208 A CN202010496208 A CN 202010496208A CN 111830519 B CN111830519 B CN 111830519B
Authority
CN
China
Prior art keywords
radar
target
camera
image
ranging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010496208.2A
Other languages
English (en)
Other versions
CN111830519A (zh
Inventor
单丰武
李雪
范圣印
陈立伟
姜筱华
熊敏
龚朋朋
弥博文
朱祖伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Jiangling Group New Energy Automobile Co Ltd
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Jiangxi Jiangling Group New Energy Automobile Co Ltd
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Jiangling Group New Energy Automobile Co Ltd, Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Jiangxi Jiangling Group New Energy Automobile Co Ltd
Priority to CN202010496208.2A priority Critical patent/CN111830519B/zh
Publication of CN111830519A publication Critical patent/CN111830519A/zh
Application granted granted Critical
Publication of CN111830519B publication Critical patent/CN111830519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种多传感器融合的测距方法，包括：(1)联合标定，获取相机的内参和相机到雷达的转换矩阵，获取雷达目标和图像目标数据；(2)将雷达目标框信息投影到图像坐标系下，匹配雷达目标和图像目标；(3)保持车辆在平坦的直线路线上行驶一定距离，得到雷达目标和图像目标匹配成功的组，使用匹配成功组的雷达测距结果和视觉测距结果拟合视觉系统测距误差曲线；(4)使用匹配成功组的雷达测距结果和系统误差校正后视觉测距结果计算俯仰角；(5)对多组俯仰角结果进行加权融合；(6)根据俯仰角校正视觉测距结果。提高了自动驾驶中前车目标检测的精度和效率。适用于大探测范围内的高精度目标测距。

Description

多传感器融合的测距方法
技术领域
本发明涉及测量、测试领域，具体涉及自动驾驶领域的传感器测量技术，特别涉及一种多传感器融合的测距方法及装置。
背景技术
随着技术进步和科技发展，自动驾驶成为现阶段交通运输工具领域的研究热点。通过感知系统实现自动驾驶是交通发展史上重大的进步和创新。
在自动驾驶领域的前车目标检测中，传感器检测结果的精度和效率将直接影响交通工具的自动驾驶性能，成为影响自动驾驶安全性和可靠性的重要因素，是自动驾驶感知系统的重要研究内容。目前通常采用的前车目标检测方法分为图像测距和雷达测距两种。
申请号为CN201310070139的中国专利文献提出了一种弯道车距测量方法，使用激光雷达探测结果校正相机的俯仰角对相机检测结果进行校正，俯仰角计算公式为：
Figure BDA0002522915720000011
但是该方法针对每个目标分别校正，不同目标计算的俯仰角存在偏差时无法统一。
申请号为CN201610608255的中国专利文献提出了一种基于测距补偿的车辆测距方法及装置，利用陀螺仪测量车辆的俯仰角对图像测距进行补偿，补偿后距离公式为：
Figure BDA0002522915720000012
但该方法中使用陀螺仪增加了系统复杂度，且测距过程需要使用消失点计算结果，而消失点的计算受图像的影响，适用范围有限，稳定性低，间接影响了测距结果的准确性。
申请号为CN20191057104的中国专利文献提出了一种基于激光雷达、图像前融合的目标检测方法，使用投影融合后的数据训练神经网络来进行目标检测和定位，但神经网络占用系统资源多，不利于在嵌入式平台上的使用，并且系统的实时性差。
美国专利文献US20190293782A1提出了一种基于图像和雷达目标识别融合的测距方法，采用比例关系表征图像测距结果和雷达测距结果的关系，以此对图像结果进行校正，计算误差大，导致系统可靠性变差。
因此，如何在较大范围内对目标进行实时精确地检测成为亟待解决的技术问题。
发明内容
本发明针对上述技术问题，为了研究探测范围大、测量精度高同时又计算消耗少的自动驾驶感知系统，提高自动驾驶中前车目标检测的精度和效率，提出了新的多传感器融合的测距方法，采用将图像探测和雷达测距相结合的方法，克服了图像探测范围大但是测距结果受俯仰角影响，以及雷达测距结果精确但对遮挡鲁棒性差、探测范围小于图像、受环境影响大的问题，能够对检测结果进行有效校正，检测结果精度高，适于对大范围内目标的实时检测。
为解决上述技术问题，根据本发明的一个方面，提供了一种多传感器融合的测距方法，包括以下步骤：
步骤一、联合标定，获取相机的内参和相机到雷达的转换矩阵，获取雷达目标数据和图像目标数据；
步骤二、将雷达目标框信息投影到图像坐标系下，匹配雷达目标和图像目标；
步骤三、保持车辆在平坦的直线路线上行驶一定距离，得到雷达目标和图像目标匹配成功的组，使用匹配成功组的雷达测距结果和视觉测距结果拟合视觉系统测距误差曲线；
步骤四、使用匹配成功组的雷达测距结果和系统误差校正后视觉测距结果计算俯仰角；
步骤五、对多组俯仰角结果进行加权融合；
步骤六、根据俯仰角校正视觉测距结果。
优选地，相机内参参数表示为内参矩阵K：
Figure BDA0002522915720000031
其中fx、fy表示相机x，y方向焦距，px、py表示相机中心点相对于左上角偏移。
优选地，相机到雷达的转换矩阵M为：
Figure BDA0002522915720000032
其中rij(i,j＝1,2,3)表示相机坐标系相对于雷达坐标系的旋转矩阵的元素，向量[t1,t2,t3]T表示相机坐标系相对于雷达坐标系的平移关系，其中T为转置符号。
优选地，所述获取雷达目标数据和图像目标数据包括：使用行驶过程中实时获取经过时间同步的雷达目标数据和图像目标数据，分别包括目标框信息和距离信息；所述雷达目标数据通过雷达获取，所述图像目标数据通过相机获取；所述雷达包括激光雷达或毫米波雷达；所述相机包括RGB相机、红外相机或深度相机。
优选地，所述匹配雷达目标和图像目标，其匹配项包括目标框中心点位置、目标框重叠区域面积比例、横向距离差和纵向距离差，当上述四个匹配项均小于各自的阈值时认为目标匹配成功。
优选地，视觉测距结果和雷达测距结果的误差如公式(1)所示：
Figure BDA0002522915720000033
其中，ki为拟合后第i个目标视觉测距结果和雷达测距结果的系统误差；Di lidar为第i个目标雷达检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离。
优选地，使用多组目标分别计算视觉测距结果和雷达测距结果的误差ki。
优选地，采用最小二乘法拟合ki和Di的二次关系曲线为：
Figure BDA0002522915720000045
其中，a、b、c为拟合所得的二次曲线参数。
优选地，采用最小二乘法拟合ki和Di，则校正系统误差后的视觉测距输出结果如公式(2)所示：
Figure BDA0002522915720000041
其中Di image为第i个目标图像检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离，ki表示拟合后第i个目标视觉测距结果和雷达测距结果的系统误差。
优选地，由单个目标计算的车辆的俯仰角θ为：
Figure BDA0002522915720000042
其中H为相机距地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。
优选地，车辆的俯仰角θ为：
θ＝β-α (6)
其中
Figure BDA0002522915720000043
Figure BDA0002522915720000044
其中H为相机距地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。
优选地，当存在多组匹配成功的目标对时，根据距离远近对结果进行加权融合，作为最终的俯仰角检测结果，当共有n组匹配成功目标对时，第i个目标的雷达检测距离为Di lidar，使用第i个目标计算的车辆俯仰角为θi，则第i个目标权重为：
Figure BDA0002522915720000051
其中函数f()为权值函数。
最终俯仰角计算结果为：
Figure BDA0002522915720000052
通过最终计算得出的俯仰角，对相机测距结果进行校正，针对图像视野范围内的所有目标，每个目标的最终检测距离为：
Figure BDA0002522915720000053
其中H为相机距离地面的高度，Dimage为当前目标的图像检测距离结果，θresult为最终俯仰角计算结果。
为解决上述技术问题，根据本发明的另一个方面，提供了一种多传感器融合的测距装置，包括：
数据获取装置，进行联合标定，获取相机的内参和相机到雷达的转换矩阵，获取雷达目标数据和图像目标数据；
目标匹配装置，将雷达目标框信息投影到图像坐标系下，匹配雷达目标和图像目标；
匹配及拟合装置，保持车辆在平坦的直线路线上行驶一定距离，得到雷达目标和图像目标匹配成功的组，使用匹配成功组的雷达测距结果和视觉测距拟合视觉系统测距误差曲线；
俯仰角计算装置，使用匹配成功组的雷达测距结果和系统误差校正后视觉测距结果计算俯仰角；
加权融合装置，对多组俯仰角结果进行加权融合；
校正装置，根据俯仰角校正视觉测距结果。
优选地，相机内参参数表示为内参矩阵K：
Figure BDA0002522915720000061
其中fx、fy表示相机x，y方向焦距，px、py表示相机中心点相对于左上角偏移。
优选地，相机到雷达的转换矩阵M为：
Figure BDA0002522915720000062
其中rij(i,j＝1,2,3)表示相机坐标系相对于雷达坐标系的旋转矩阵的元素，向量[t1,t2,t3]T表示相机坐标系相对于雷达坐标系的平移关系，其中T为转置符号。
优选地，所述获取雷达目标数据和图像目标数据包括：使用行驶过程中实时获取经过时间同步的雷达目标数据和图像目标数据，分别包括目标框信息和距离信息；所述雷达目标数据通过雷达获取，所述图像目标数据通过相机获取；所述雷达包括激光雷达或毫米波雷达；所述相机包括RGB相机、红外相机或深度相机。
优选地，所述匹配雷达目标和图像目标，其匹配项包括目标框中心点位置、目标框重叠区域面积比例、横向距离差和纵向距离差，当上述四个匹配项均小于各自的阈值时认为目标匹配成功。
优选地，视觉测距结果和雷达测距结果的误差如公式(1)所示：
Figure BDA0002522915720000063
其中，ki为拟合后第i个目标视觉测距结果和雷达测距结果的系统误差；Di lidar为第i个目标雷达检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离。
优选地，使用多组目标分别计算视觉测距结果和雷达测距结果的误差ki。
优选地，采用最小二乘法拟合ki和Di的二次关系曲线为：
Figure BDA0002522915720000071
其中，a、b、c为拟合所得的二次曲线参数。
优选地，采用最小二乘法拟合ki和Di，则校正系统误差后的视觉测距输出结果如公式(2)所示：
Figure BDA0002522915720000072
其中Di image为第i个目标图像检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离，ki表示拟合后第i个目标视觉测距结果和雷达测距结果的系统误差。
优选地，由单个目标计算的车辆的俯仰角θ为：
Figure BDA0002522915720000073
其中H为相机距地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。
优选地，车辆的俯仰角θ为：
θ＝β-α (6)
其中
Figure BDA0002522915720000074
Figure BDA0002522915720000075
其中H为相机距地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。
优选地，当存在多组匹配成功的目标对时，根据距离远近对结果进行加权融合，作为最终的俯仰角检测结果，当共有n组匹配成功目标对时，第i个目标的雷达检测距离为Di lidar，使用第i个目标计算的车辆俯仰角为θi则第i个目标权重为：
Figure BDA0002522915720000081
其中函数f()为权值函数。
最终俯仰角计算结果为：
Figure BDA0002522915720000082
通过最终计算得出的俯仰角，对相机测距结果进行校正，针对图像视野范围内的所有目标，每个目标的最终检测距离为：
Figure BDA0002522915720000083
其中H为相机距离地面的高度，Dimage为当前目标的图像检测距离结果，θresult为最终俯仰角计算结果。
本发明的有益效果：
1、使用无俯仰状态下的雷达测距结果和视觉测距结果推算出视觉测距的系统误差，并拟合系统误差与视觉测距结果的关系曲线，使用系统误差对图像测距结果进行校正，能够在采用俯仰角校正前去除视觉测距系统的系统误差，提高测距精度；
2、根据雷达测距结果和校正后的视觉测距结果的相互关系，推算出车辆当前的俯仰角，并使用俯仰角对图像测距结果进行修正，提高目标的测距精度；
3、当存在多组匹配结果时，采用距离相关的加权融合方式得出车体的最终俯仰角检测结果，提高俯仰角计算结果的准确性；
4、克服了视觉探测方法虽然探测范围大但是测距结果受俯仰角影响的缺陷，提高了在颠簸路段的测距准确性；
5、克服了雷达测距方法虽然探测结果精确但对遮挡鲁棒性差、探测距离小于视觉、受环境影响大的问题；雷达测距方法只能应用于近距离目标检测而不适于远距离目标检测；而本发明既能应用于近距离目标检测又适于远距离目标检测；
6、实现了探测范围大、测量精度高同时又计算消耗少的自动驾驶感知系统，提高了自动驾驶中对前车目标检测的精度和效率，系统可靠性高。
附图说明
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将更加清楚。
图1是视觉测距示意图；
图2是拟合曲线图；
图3是几何关系示意图；
图4是权值函数f()的图像；
图5是测距方法流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明。
本发明的多传感器融合的测距方法根据几何关系，不需要使用消失点估计结果和陀螺仪进行姿态测量，降低了系统复杂度，首先利用雷达测距和视觉测距结果推算出系统误差，之后使用校正后结果关系推算出车辆的俯仰角大小，并根据距离进行加权融合得出最终俯仰角结果，充分发挥图像和雷达的优点，弥补图像测距不准、激光雷达对遮挡鲁棒性差且探测距离较近或毫米波雷达两侧存在盲区等问题，实现对视野范围内多目标的精准测距。具体地，所述多传感器融合的测距方法包括如下步骤：
步骤一、联合标定，获取相机的内参和相机到雷达的转换矩阵，获取雷达目标数据和图像目标数据；
其中，标定相机内参、外参，获得相机内参参数，表示为内参矩阵K：
Figure BDA0002522915720000101
其中fx、fy表示相机x，y方向焦距，px、py表示相机中心点相对于左上角偏移，都可通过标定的方法获得。
相机到雷达的转换矩阵M为：
Figure BDA0002522915720000102
其中rij(i,j＝1,2,3)表示相机坐标系相对于雷达坐标系的旋转矩阵的元素，向量[t1,t2,t3]T表示相机坐标系相对于雷达坐标系的平移关系，其中T为转置符号。
使用行驶过程中实时获取经过时间同步的雷达目标数据和图像目标数据，分别包括目标框信息和距离信息；
步骤二、将雷达目标信息投影到图像坐标系下，匹配雷达目标和图像目标；
其中，使用步骤一中获取的转换矩阵M和内参矩阵K将雷达获取的目标框信息投影到图像坐标系下，并与图像目标框进行匹配。匹配项包括目标框中心点位置、目标框重叠区域面积比例、横向距离差和纵向距离差，当上述四个匹配项均小于各自的阈值时认为目标匹配成功。.
步骤三、保持车辆在平坦的直线路线上行驶一定距离，得到雷达目标和图像目标匹配成功的组，使用匹配成功组的雷达测距结果和视觉测距拟合视觉系统测距误差曲线；
其中，保持车辆在平坦的直线路线上行驶一定距离。图1为视觉测距示意图，图1中，O为相机位置，I为相机的像平面，0为图像的中心点，f为相机焦距，H为相机距地面高度，y1，y2分别为B目标、C目标与地面交点在图像中位置的纵坐标，D1、D2分别为B目标、C目标的距离。
视觉测距结果Di为：
Figure BDA0002522915720000111
其中H代表相机距离地面高度，f代表相机焦距，yi为图像中目标框底边距离图像中心的竖直方向距离。
选择匹配成功的目标对视觉测距的系统误差进行校正，视觉测距结果和雷达测距结果的误差如公式(1)所示：
Figure BDA0002522915720000112
其中，ki为拟合后第i个目标视觉测距结果和雷达测距结果的系统误差；Di lidar为第i个目标雷达检测距离结果。
使用多组目标分别计算视觉测距结果和雷达测距结果的误差ki，如图2所示，采用最小二乘法拟合ki和Di的二次关系曲线为：
Figure BDA0002522915720000113
其中，a、b、c为拟合所得的二次曲线参数。
则校正系统误差后的视觉测距输出结果如公式(2)所示：
Figure BDA0002522915720000114
其中Di image为第i个目标图像检测距离结果，ki为拟合后第i个目标视觉测距结果和雷达测距结果的系统误差；。
步骤四、针对单个目标使用匹配成功组的雷达测距结果和系统误差校正后视觉测距结果计算俯仰角；
图3是几何关系示意图；选择匹配成功的目标，根据图3所示的几何关系可以得出由单个目标计算所得的车辆的俯仰角θ为：
Figure BDA0002522915720000121
其中H为相机距地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。其中
Figure BDA0002522915720000122
Figure BDA0002522915720000123
β应大于90度，α和θ均小于90度，则俯仰角计算公式也可以缩写为：
θ＝β-α (6)
图3中，实线代表真实水平线，虚线代表本车存在俯仰时相机视线的平行线。O为相机位置，实线框C为目标实际位置，D为相机的像平面，虚线框B为本车存在俯仰时根据相机观测结果认为目标所在的位置。
步骤五、对多组俯仰角结果进行加权融合；
当存在多组匹配成功的目标对时，根据距离远近对结果进行加权融合，作为最终的俯仰角检测结果，当共有n组匹配成功目标对时，第i个目标的雷达检测距离为Di lidar，使用第i个目标对计算的车辆俯仰角为θi，则第i个目标权重为：
Figure BDA0002522915720000124
其中函数f()为权值函数，优选地，一种权值函数是如图4所示的图形函数。
最终俯仰角计算结果为：
Figure BDA0002522915720000131
步骤六、根据俯仰角校正视觉测距结果；
通过计算得出的俯仰角，可以对相机测距结果进行校正，针对图像视野范围内的n个目标，每个目标的最终检测距离为：
Figure BDA0002522915720000132
其中H为相机距离地面的高度，Dimage为当前目标的图像检测距离结果，θresult为最终俯仰角计算结果。
测距方法流程图如图5所示。
所述雷达包括激光雷达和毫米波雷达等；所述相机包括能够用于测距的RGB相机、红外相机、深度相机等。
本发明提出的新的多传感器融合的测距方法，采用将图像探测和雷达测距相结合的方法，克服了图像探测范围大但是测距结果受俯仰角影响，以及雷达测距结果精确但对遮挡鲁棒性差、探测范围小于图像、受环境影响大的问题。
本发明同时使用雷达测距和相机测距结果计算俯仰角，存在多个目标时能够采用加权融合的方式得出更为准确的俯仰角。克服了激光雷达探测结果校正相机的俯仰角时，需要针对每个目标分别校正，不同目标计算的俯仰角存在偏差时无法统一的问题。
本发明不需要增加其他传感器和消失点计算等过程，系统复杂度低，测距误差小。在无需增加额外成本的条件下，即可克服采用消失点计算准确性低的缺点。
本发明根据几何原理推断出测距误差和俯仰角，不必训练神经网络来进行目标检测和定位，占用系统资源少，具有良好的实时性，能够在嵌入式平台实时运行。
本发明采用曲线拟合出雷达测距和图像测距结果的误差关系，并且使用误差校正后的测距结果计算俯仰角，与采用比例关系表征图像测距结果和雷达测距结果关系的相比，测距准确性大大提高。
由此可见，本发明的多传感器融合的测距方法能够实时准确地检测和定位前车目标，能够对检测结果进行有效校正，检测结果精度高，适于对大范围内目标的实时检测；无需针对每个目标进行分别校正，检测效率高，提高了检测精度，减少了计算误差，降低了计算复杂度，减少了对系统计算资源的占用，有利于在嵌入式平台上使用，增强了系统的可靠性。
至此，已经结合附图所示的优选实施方法描述了本发明的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (18)

1.一种多传感器融合的测距方法，其特征在于，包括以下步骤：
步骤一、联合标定，获取相机的内参和相机到雷达的转换矩阵，获取雷达目标数据和图像目标数据；
步骤二、将雷达目标框信息投影到图像坐标系下，匹配雷达目标和图像目标；
步骤三、保持车辆在平坦的直线路线上行驶一定距离，得到雷达目标和图像目标匹配成功的组，使用匹配成功组的雷达测距结果和视觉测距结果拟合视觉系统测距误差曲线；
步骤四、使用匹配成功组的雷达测距结果和系统误差校正后视觉测距结果计算俯仰角；
步骤五、对多组俯仰角结果进行加权融合；
步骤六、根据俯仰角校正视觉测距结果；
其中，
当存在多组匹配成功的目标对时，根据距离远近对结果进行加权融合，作为最终的俯仰角检测结果，当共有n组匹配成功目标对时，第i个目标雷达检测距离结果为Di lidar，使用第i个目标计算的车辆俯仰角为θi，则第i个目标权重为：
Figure FDA0004186460450000011
其中函数f()为权值函数；
Figure FDA0004186460450000012
其中，weight(i)为第i个目标权重，θi为使用第i个目标计算的车辆俯仰角；
通过最终计算得出的俯仰角，对相机测距结果进行校正，针对图像视野范围内的所有目标，每个目标的最终检测距离为：
Figure FDA0004186460450000021
其中H为相机距离地面的高度，Dimage为当前目标的图像检测距离结果，θresult为最终俯仰角计算结果。
2.根据权利要求1所述的多传感器融合的测距方法，其特征在于，
相机的内参参数表示为内参矩阵K：
Figure FDA0004186460450000022
其中fx、fy表示相机x，y方向焦距，px、py表示相机中心点相对于左上角偏移。
3.根据权利要求1所述的多传感器融合的测距方法，其特征在于，
相机到雷达的转换矩阵M为：
Figure FDA0004186460450000023
其中rij(i,j＝1,2,3)表示相机坐标系相对于雷达坐标系的旋转矩阵的元素，向量[t1,t2,t3]T表示相机坐标系相对于雷达坐标系的平移关系，其中T为转置符号。
4.根据权利要求1所述的多传感器融合的测距方法，其特征在于，
所述获取雷达目标数据和图像目标数据包括：使用行驶过程中实时获取经过时间同步的雷达目标数据和图像目标数据，分别包括目标框信息和距离信息；所述雷达目标数据通过雷达获取，所述图像目标数据通过相机获取；所述雷达包括激光雷达或毫米波雷达；所述相机包括RGB相机、红外相机或深度相机。
5.根据权利要求1所述的多传感器融合的测距方法，其特征在于，
所述匹配雷达目标和图像目标，其匹配项包括目标框中心点位置、目标框重叠区域面积比例、横向距离差和纵向距离差，当上述四个匹配项均小于各自的阈值时认为目标匹配成功。
6.根据权利要求1所述的多传感器融合的测距方法，其特征在于，
视觉测距结果和雷达测距结果的误差如公式(1)所示：
Figure FDA0004186460450000031
其中，ki为拟合后第i个目标视觉测距结果和雷达测距结果的系统误差；Di lidar为第i个目标雷达检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离。
7.根据权利要求6所述的多传感器融合的测距方法，其特征在于，
使用多组目标分别计算视觉测距结果和雷达测距结果的误差ki。
8.根据权利要求6或7所述的多传感器融合的测距方法，其特征在于，
采用最小二乘法拟合ki和Di的二次关系曲线为：
Figure FDA0004186460450000032
其中，a、b、c为拟合所得的二次曲线参数；
采用最小二乘法拟合ki和Di，则校正系统误差后的视觉测距输出结果如公式(2)所示：
Figure FDA0004186460450000033
其中Di image为第i个目标图像检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离，ki表示拟合后第i个目标视觉测距结果和雷达测距结果的系统误差。
9.根据权利要求1所述的多传感器融合的测距方法，其特征在于，
由单个目标计算的车辆的俯仰角θ为：
Figure FDA0004186460450000041
其中H为相机距离地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。
10.一种多传感器融合的测距装置，其特征在于，包括：
数据获取装置，进行联合标定，获取相机的内参和相机到雷达的转换矩阵，获取雷达目标数据和图像目标数据；
目标匹配装置，将雷达目标框信息投影到图像坐标系下，匹配雷达目标和图像目标；
匹配及拟合装置，保持车辆在平坦的直线路线上行驶一定距离，得到雷达目标和图像目标匹配成功的组，使用匹配成功组的雷达测距结果和视觉测距拟合视觉系统测距误差曲线；
俯仰角计算装置，使用匹配成功组的雷达测距结果和系统误差校正后视觉测距结果计算俯仰角；
加权融合装置，对多组俯仰角结果进行加权融合；
校正装置，根据俯仰角校正视觉测距结果；
其中，
当存在多组匹配成功的目标对时，根据距离远近对结果进行加权融合，作为最终的俯仰角检测结果，当共有n组匹配成功目标对时，第i个目标雷达检测距离结果为Di lidar，使用第i个目标计算的车辆俯仰角为θi，则第i个目标权重为：
Figure FDA0004186460450000042
其中函数f()为权值函数；
Figure FDA0004186460450000051
其中，weight(i)为第i个目标权重，θi为使用第i个目标计算的车辆俯仰角；
通过最终计算得出的俯仰角，对相机测距结果进行校正，针对图像视野范围内的所有目标，每个目标的最终检测距离为：
Figure FDA0004186460450000052
其中H为相机距离地面的高度，Dimage为当前目标的图像检测距离结果，θresult为最终俯仰角计算结果。
11.根据权利要求10所述的多传感器融合的测距装置，其特征在于，
相机内参参数表示为内参矩阵K：
Figure FDA0004186460450000053
其中fx、fy表示相机x，y方向焦距，px、py表示相机中心点相对于左上角偏移。
12.根据权利要求10所述的多传感器融合的测距装置，其特征在于，
相机到雷达的转换矩阵M为：
Figure FDA0004186460450000054
其中rij(i,j＝1,2,3)表示相机坐标系相对于雷达坐标系的旋转矩阵的元素，向量[t1,t2,t3]T表示相机坐标系相对于雷达坐标系的平移关系，其中T为转置符号。
13.根据权利要求10所述的多传感器融合的测距装置，其特征在于，
所述获取雷达目标数据和图像目标数据包括：使用行驶过程中实时获取经过时间同步的雷达目标数据和图像目标数据，分别包括目标框信息和距离信息；所述雷达目标数据通过雷达获取，所述图像目标数据通过相机获取；所述雷达包括激光雷达或毫米波雷达；所述相机包括RGB相机、红外相机或深度相机。
14.根据权利要求10所述的多传感器融合的测距装置，其特征在于，
所述匹配雷达目标和图像目标，其匹配项包括目标框中心点位置、目标框重叠区域面积比例、横向距离差和纵向距离差，当上述四个匹配项均小于各自的阈值时认为目标匹配成功。
15.根据权利要求10所述的多传感器融合的测距装置，其特征在于，
视觉测距结果和雷达测距结果的误差如公式(1)所示：
Figure FDA0004186460450000061
其中，ki为拟合后第i个目标视觉测距结果和雷达测距结果的系统误差；Di lidar为第i个目标雷达检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离。
16.根据权利要求15所述的多传感器融合的测距装置，其特征在于，
使用多组目标分别计算视觉测距结果和雷达测距结果的误差ki。
17.根据权利要求15或16所述的多传感器融合的测距装置，其特征在于，
采用最小二乘法拟合ki和Di的二次关系曲线为：
Figure FDA0004186460450000062
其中，a、b、c为拟合所得的二次曲线参数；
采用最小二乘法拟合ki和Di，则校正系统误差后的视觉测距输出结果如公式(2)所示：
Figure FDA0004186460450000063
其中Di image为第i个目标图像检测距离结果；H代表相机距离地面高度，f代表相机焦距，yi为图像中第i个目标的目标框底边距离图像中心的竖直方向距离，ki表示拟合后第i个目标视觉测距结果和雷达测距结果的系统误差。
18.根据权利要求10所述的多传感器融合的测距装置，其特征在于，
由单个目标计算的车辆的俯仰角θ为：
Figure FDA0004186460450000071
其中H为相机距地面高度，Dlidar为单个目标的雷达检测距离结果，Dimage为单个目标的图像检测距离结果。
CN202010496208.2A 2020-06-03 2020-06-03 多传感器融合的测距方法 Active CN111830519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010496208.2A CN111830519B (zh) 2020-06-03 2020-06-03 多传感器融合的测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010496208.2A CN111830519B (zh) 2020-06-03 2020-06-03 多传感器融合的测距方法

Publications (2)

Publication Number Publication Date
CN111830519A CN111830519A (zh) 2020-10-27
CN111830519B true CN111830519B (zh) 2023-07-07

Family

ID=72899178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010496208.2A Active CN111830519B (zh) 2020-06-03 2020-06-03 多传感器融合的测距方法

Country Status (1)

Country Link
CN (1) CN111830519B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562009A (zh) * 2020-12-03 2021-03-26 深圳宇磐科技有限公司 一种相机设备参数和安装姿态参数自动标定方法及系统
CN113486795A (zh) * 2021-07-06 2021-10-08 广州小鹏自动驾驶科技有限公司 视觉识别性能测试方法、装置、系统及设备
CN114705222B (zh) * 2022-03-31 2024-09-24 重庆长安汽车股份有限公司 基于感知数据的车载多目测距设备标定校准方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
WO2019238127A1 (zh) * 2018-06-15 2019-12-19 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统
JP2020057189A (ja) * 2018-10-02 2020-04-09 日野自動車株式会社 運転支援システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3633469B2 (ja) * 2000-10-06 2005-03-30 日産自動車株式会社 車間距離設定装置
US20040104338A1 (en) * 2001-09-24 2004-06-03 Bennett Ralph W. Calibration and error correction method for an oscillating scanning device
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
CN102661733B (zh) * 2012-05-28 2014-06-04 天津工业大学 一种基于单目视觉的前方车辆测距方法
CN103196418A (zh) * 2013-03-06 2013-07-10 山东理工大学 一种弯道车距测量方法
TWI693829B (zh) * 2018-12-24 2020-05-11 緯創資通股份有限公司 電子裝置及其影像測距方法
CN110095764B (zh) * 2019-06-06 2024-07-05 江西江铃集团新能源汽车有限公司 一种车载雷达标定装置及其标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238127A1 (zh) * 2018-06-15 2019-12-19 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统
JP2020057189A (ja) * 2018-10-02 2020-04-09 日野自動車株式会社 運転支援システム
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Study on the Calibration of Pitch Angle Deviation for Airborne Lidar System;Jiang, LX (Jiang Lixing);LASER RADAR TECHNOLOGY AND APPLICATIONS XVIII;全文 *
Development of a Camera Localization System for Three-Dimensional Digital Image Correlation Camera Triangulation;Alessandro Sabato;IEEE Sensors Journal;第20卷(第19期);全文 *
面向高级辅助驾驶雷达和视觉传感器信息融合算法的研究;杨鑫;刘威;林辉;;汽车实用技术(第01期);全文 *

Also Published As

Publication number Publication date
CN111830519A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US10989560B2 (en) Map data correcting method and device
CN111830519B (zh) 多传感器融合的测距方法
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
JP6821712B2 (ja) 自然光景中での統合センサの較正
CN112189225B (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
CN103487034B (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
US20100235129A1 (en) Calibration of multi-sensor system
CN103499337B (zh) 一种基于立式标靶的车载单目摄像头测距测高装置
CN112698302A (zh) 一种颠簸路况下的传感器融合目标检测方法
CN113673282A (zh) 目标检测方法和装置
KR20190134231A (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN110488838B (zh) 一种室内自主导航机器人精确重复定位方法
CN116184430B (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112284416A (zh) 一种自动驾驶定位信息校准装置、方法及存储介质
CN114758504A (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN113327296A (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN114295099B (zh) 基于单目摄像头的测距方法、车载测距设备以及存储介质
CN116704458A (zh) 一种自动驾驶商用车横向定位方法
CN115079143A (zh) 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant