CN114298142A - 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置 - Google Patents
一种相机和毫米波雷达的多源异构传感器信息融合方法及装置 Download PDFInfo
- Publication number
- CN114298142A CN114298142A CN202111388177.XA CN202111388177A CN114298142A CN 114298142 A CN114298142 A CN 114298142A CN 202111388177 A CN202111388177 A CN 202111388177A CN 114298142 A CN114298142 A CN 114298142A
- Authority
- CN
- China
- Prior art keywords
- target
- camera
- data
- millimeter wave
- wave radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种信息融合方法及装置，特别涉及一种相机和毫米波雷达的多源异构传感器信息融合方法及装置，包括：Step1：目标预处理；Step2：时间空间同步：对不同传感器数据进行时间空间同步；Step3：目标匹配：计算目标之间的相似程度，将相似程度最高的目标进行匹配；Step4：目标融合：对数据进行融合；Step5：CIPV/P目标筛选：CIPV/P目标筛选模块对融合后的数据进行筛选，挑选最危险的目标；充分发挥各传感器的目标检测优势,实现了信息冗余和互补，提升系统的目标检测能力；有效降低虚警率，提高了系统精确度，解决了目前市场产品虚警多的问题；有效提高ADAS系统性能，减少交通事故发生率，解决了用户体验差的问题。
Description
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种相机和毫米波雷达的多源异构传感器信息融合方法及装置。
背景技术
随着消费者对汽车安全性和舒适性的需求日益增长,智能驾驶技术受到了广泛的关注和研究,感知模块作为智能驾驶系统的重要一环,其获取的环境信息是智能驾驶技术成功应用的基础。单一的视觉相机传感器检测识别精度不够高，稳定性也比较差，检测纵向距离范围也比较近，相机容易受到光线、天气等因素的影响，尤其在晚上，下雨天。毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息，激光雷达虽然能探测到3D信息，准确率更高，但是容易受到下雨天，雾霾天气环境的约束，成本非常高，因此基于单一传感器的环境感知方案往往可能会存在一些局限性。通过对不同传感器进行信息融合,可以充分发挥各传感器的目标检测优势,以实现信息冗余和互补。因此,为了提升系统的目标检测能力,对多传感器信息融合的研究尤为重要，同时，基于成本考虑，使用相机和毫米波雷达进行融合相对于激光雷达来说，成本更低，所以车厂跟容易青睐毫米波雷达。
发明内容
本发明为了解决上述现有技术中存在问题，提供一种相机和毫米波雷达的多源异构传感器信息融合方法及装置，以解决现在的技术问题。
本发明解决其技术问题所采用的技术方案是：
本发明提供了一种相机和毫米波雷达的多源异构传感器信息融合方法及装置，包括：
Step1：目标预处理；
Step2：时间空间同步：对不同传感器数据进行时间空间同步；
Step3：目标匹配：计算目标之间的相似程度，将相似程度最高的目标进行匹配；
Step4：融合：对数据进行融合；
Step5：CIPV/P目标筛选：CIPV/P目标筛选模块对融合后的数据进行筛选，挑选最危险的目标(在路径上最近的车辆/行人)。
优选的，所述目标预处理包括：空目标剔除，对向行驶目标剔除和无效目标剔除。
优选的，所述时间空间同步包括：
假定融合过程的采样周期为T，使用相机的测量值为基准，然后对毫米波雷达实际测量值进行预测和插值处理，接下来获取雷达在融合模块的采样时刻的插值数据，以该数据作为雷达和相机实际测量值的近似值，并用该数据进行融合。
优选的，所述目标匹配包括：
将时间同步模块处理过的传感器数据输入到全局最邻近匹配算法中；
计算雷达目标与摄像头目标的横向误差、纵向误差以及相对速度误差；
以横向误差、纵向误差、相对速度误差为输入，设计最优性能指标函数Eij。
优选的，所述融合包括：
融合模块输入已经经过匹配好的雷达数据和摄像头数据；
使用扩展卡尔曼滤波函数分别对雷达数据和摄像头数据进行计算；输出计算的误差，并更新卡尔曼滤波函数参数；分别计算出雷达的误差权重和摄像头的误差权重；
通过使用加权的方法，计算出融合后的测量值。
优选的，所述危险目标筛选包括：
对融合后的目标进行筛选，挑选最危险的目标，同时输出危险目标信号列表。
本发明的有益效果是：
充分发挥各传感器的目标检测优势，实现了信息冗余和互补，提升系统的目标检测能力；
有效降低虚警率，提高了系统精确度，解决了目前市场产品虚警多的问题；
可以提高ADAS系统性能，减少交通事故发生率，解决了用户体验差的问题。
附图说明
本发明的上述的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的相机和毫米波雷达的多源异构传感器信息融合方法及装置的毫米波雷达和相机的采样点的示意图；
图2是本发明实施例的相机和毫米波雷达的多源异构传感器信息融合方法及装置的目标匹配的流程图；
图3是本发明实施例的相机和毫米波雷达的多源异构传感器信息融合方法及装置的融合过程的流程图。
图4是本发明实施例的相机和毫米波雷达的多源异构传感器信息融合方法及装置的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本专利以智能驾驶系统的前向环境感知模块为研究内容，设计了一体化集成基于毫米波和雷达的多源异构信息融合设备，分别利用毫米波和相机进行目标检测，随后对毫米波和相机输出的目标及数据进行特征提取、身份识别以及决策层融合，最后对危险目标进行风险评估并以此为依据筛选出最有风险的目标。本专利通过对不同传感器进行信息融合,可以充分发挥各传感器的目标检测优势,实现了信息冗余和互补，提升系统的目标检测能力,并使用低功耗、低成本、高集成度的IMX6U开发板为载体设计出基于相机和毫米波雷达的多源异构传感器信息融合装置，降低智能驾驶系统在感知方面的成本。
本专利包含毫米波雷达、相机及IMX6U开发板，结构简单，易于扩展；
本专利中设计的基于相机和毫米波雷达的多源异构传感器信息融合装置为模块化设备，各部分成本低且更换方便。
本专利设计的基于相机和毫米波雷达的多源异构传感器信息融合装置使用便捷。
本专利包含保护机制，如果该装置没有接毫米波雷达和相机的CAN线，或者毫米波雷达和相机没有接收到所需的信息，或者毫米波雷达和相机工作异常，都会发送相应的工作异常报文信息，以供使用者进行问题排查。
本发明包含了目标预处理、时间空间同步、目标匹配、融合、危险目标筛选、程序应用6部分。
目标预处理：
(1)空目标剔除
摄像头可以同时输出至少10个甚至更多目标信号，但是摄像头实际探测范围内的有效目标数量可能少于10个，此时摄像头会输出一些参数为0的空目标，可以通过目标的参数是否为0判断其是否为空目标，进而对其进行过滤。
(2)对向行驶目标剔除
由于摄像头的探测范围相对较大，其工作时有可能会检测到其他车道内对向行驶的车辆。通过使用相对速度来判定目标车辆是否是对象来车。判定方法为：若速度为正值则表示前车在远离本车；反之，若速度为负值则表示前车在靠近本车。当本车和前车的相对速度为负值，并且相对速度的绝对值大于本车车速时，可以认为该目标是对向行驶的车辆，从而将其滤除。
(3)无效目标剔除
由于摄像头工作性能不稳定、障碍物干扰或者存在采样噪声等诸多因素，摄像头可能会接受到一些短时间存在的干扰信号，这些信号会一闪而过，快速消失，并且可能不是真实目标，所以需要对一些短暂出现的目标进行有效性检验，判断其是否为有效目标，对无效目标进行滤除，滤除算法可以采用现有方法。
时间空间同步：
不同类型的传感器采样周期不同，为了获得在同一时刻的多传感器目标数据，需要对不同传感器数据进行时间空间同步，由于现有市场中的相机和毫米波雷达在标定过程中已经做好了空间同步，空间同步不再成为本专利讨论的重点。
时间同步方法为：
时间同步模块用于完成时间同步方法，首先假定采用的摄像头采样周期为80ms，毫米波雷达采样周期约72ms，且摄像头在标定之后接收到的目标数据和雷达在同一个坐标系下，因此不需要再进行空间匹配。时间配准策略如下：首先假定融合模块的采样周期为T，使用相机的测量值为基准，然后对毫米波雷达实际测量值进行预测和插值处理，接下来获取雷达在融合模块采样时刻的插值数据(插值公式如下)，以该数据作为雷达和相机实际测量值的近似值，并用该数据进行融合。
该公式是拉格朗日插值公式，(tk-1,xk-1)，(tk,xk)，(tk+1,xk+1)已知这三个时刻的状态x，求t时刻的状态x(t)。附图1中正方形和圆形分别标识毫米波雷达和相机的采样点，假设融合开始时，t1时刻接收的毫米波雷达数据和相机数据不存在偏差，不需要进行插值处理。而在t2、t3时刻，由于毫米波雷达和相机的采样时间存在偏差，需要进行预测和插值处理，预测毫米波雷达在t2、t3时刻的观测值。为了获取雷达在t2时刻的观测值，可以根据雷达在0ms和72ms处的测量值进行状态预测，预测第144ms的观测值，然后根据雷达在0ms和72ms处的测量值以及144ms处的预测值进行拉格朗日插值，获取毫米波雷达在t2时刻的近似值。同理也可以获得t3时刻的近似值。
目标匹配：
在复杂的环境中，每个传感器可能检测到多个目标，每个目标的邻域内可能存在多个可匹配的对象，并且其中一些是不相关的数据点，即伪点对，因此需要依据一定规则计算目标之间的相似程度，将相似程度最高的目标进行匹配。
目标匹配模块的设计思路如图所示。
匹配步骤如下：
(1)将时间同步模块处理过的传感器数据输入到全局最邻近匹配算法中；
(2)计算雷达目标与摄像头目标的横向误差、纵向误差以及相对速度误差；
(3)以横向误差、纵向误差、相对速度误差为输入，设计最优性能指标函数Eij
式中：Eij表示第i个相机目标和j第个雷达目标的匹配偏差；ex为第i个相机目标和第j个雷达目标的纵向距离偏差，ey为第i个相机目标和第j个雷达目标的横向距离偏差，evrel为第i个相机目标和第j个雷达目标的纵向速度偏差，fd表示距离偏差的影响因数，fv表示速度偏差的影响因数，因为相机的横向速度偏差较大，所以公式中只考虑了目标的纵向速度，式中fd和fv设定默认值，可以根据实际测试结果进行调整优化。
(4)设定最优性能函数门限值Eth，然后获取最优目性能指标函数值；
具体为：
当Eij>Eth时，认为相机中第i个目标和毫米波雷达中第j个目标的差别太大，无法进行匹配；
对于Eij<＝Eth的目标对，认为二者具有一定相似性，可以进行匹配；
在满足匹配条件的目标对中寻找Eij最小的目标对，认为二者相似程度最高，表示的是同一个目标。
使用摄像头的数据确定匹配的雷达目标对有效性；
按照此逻辑依次匹配完所有相机目标，最后输出匹配成功的目标对和未匹配的目标
目标融合：
融合模块的输入是匹配模块的输出，使用的融合方法是协方差加权扩展卡尔曼滤波算法，预测模型使用的是恒加速度模型(Constant Acceleration，CA模型)；
融合过程如下：
融合模块输入的数据是已经经过匹配好的雷达数据和摄像头数据，
使用扩展卡尔曼滤波函数分别对雷达数据和摄像头数据进行计算，输出计算的误差，并更新卡尔曼滤波参数；分别计算出雷达的误差权重和摄像头的误差权重；
通过使用加权的方法，计算出融合后的测量值
CIPV/P(Closest In-Path Vehicle/Pedestrians，在路径上最近的车辆/行人)目标筛选
CIPV/P目标筛选模块对融合后的目标数据进行筛选，挑选最为危险的目标，同时输出危险目标信号列表。
CIPV/P目标筛选原则如下。
采取最先碰撞原则，根据TTC分别计算两个目标的碰撞时间，优先选择最先碰撞上的目标作为最终的CIPV/P目标，同时输出其属性信号。
TTC计算公式：
式中d表示自车与CIPV/P目标之间的距离，vrel表示自车与目标车之间的相对距离。
程序应用
程序应用过程如图所示。通过使用arm-linux-gnueabihf编译器将程序编译为开发板可执行文件，然后使用以太网文件传输工具链将程序下载到开发板中，重新启动开发板，程序即可运行，并实时向外传输危险目标信息。
使用过程：
将毫米波雷达安装位置在车头中间且距地面在35cm～65cm范围之间，毫米波雷达前面最好不要有遮挡，如果有遮挡物，则遮挡物的材料必须是具有很小电解质传到系数的材料，且这些材料中必须尽量减少金属和碳纤维的使用。
相机一般安装在前挡风玻璃内距地面高度1.2～2m且与车身中轴线横向距离小于10cm位置；保证该位置能够被雨刮器清洗或者容易清洗的区域；相机在安装时，需要车辆停放于水平地面且空载，安装角度也能够满足下表：
| 标准值 | 误差范围 | |
| YAW | 0 | ＜±1° |
| Roll | 0 | ＜±1° |
| Pitch | +1 | ＜±2° |
IMX6U开发板安装在车内散热条件好且干燥的位置。
使用时，相机和雷达的CANH/L线与IMX6U开发板的CAN1H/L线进行连接，然后给相机、雷达、IMX6U开发板供电，将IMX6U开发版的CAN2H/L接其他设备即可，且IMX6U开发板的CAN输出报文可以根据使用需求进行定制开发。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种相机和毫米波雷达的多源异构传感器信息融合方法及装置，其特征在于：包括：
Step1：目标预处理；
Step2：时间空间同步：对不同传感器数据进行时间空间同步；
Step3：目标匹配：计算目标之间的相似程度，将相似程度最高的目标进行匹配；
Step4：目标融合：对数据进行融合；
Step5：CIPV/P目标筛选：CIPV/P目标筛选模块对融合后的数据进行筛选，挑选最危险的目标。
2.根据权利要求1所述的相机和毫米波雷达的多源异构传感器信息融合方法及装置，其特征在于：所述目标预处理包括：空目标剔除，对向行驶目标剔除和无效目标剔除。
3.根据权利要求1所述的相机和毫米波雷达的多源异构传感器信息融合方法及装置，其特征在于：所述时间空间同步包括：
假定融合过程的采样周期为T，使用相机的测量值为基准，然后对毫米波雷达实际测量值进行预测和插值处理，接下来获取雷达在融合模块的采样时刻的插值数据，以该数据作为雷达和相机实际测量值的近似值，并用该数据进行融合。
4.根据权利要求1所述的相机和毫米波雷达的多源异构传感器信息融合方法及装置，其特征在于：所述目标匹配包括：
将时间同步模块处理过的传感器数据输入到全局最邻近匹配算法中；
计算雷达目标与摄像头目标的横向误差、纵向误差以及相对速度误差；
以横向误差、纵向误差、相对速度误差为输入，设计最优性能指标函数Eij。
5.根据权利要求1所述的相机和毫米波雷达的多源异构传感器信息融合方法及装置，其特征在于：所述融合包括：
融合模块输入已经经过匹配好的雷达数据和摄像头数据；
使用扩展卡尔曼滤波函数分别对雷达数据和摄像头数据进行计算；输出计算的误差，并更新卡尔曼滤波函数参数；分别计算出雷达的误差权重和摄像头的误差权重；
通过使用加权的方法，计算出融合后的测量值。
6.根据权利要求1所述的相机和毫米波雷达的多源异构传感器信息融合方法及装置，其特征在于：所述危险目标筛选包括：
对融合后的目标进行筛选，挑选最危险的目标，同时输出危险目标信号列表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111388177.XA CN114298142A (zh) | 2021-11-22 | 2021-11-22 | 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111388177.XA CN114298142A (zh) | 2021-11-22 | 2021-11-22 | 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114298142A true CN114298142A (zh) | 2022-04-08 |
Family
ID=80964694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111388177.XA Pending CN114298142A (zh) | 2021-11-22 | 2021-11-22 | 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298142A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115273460A (zh) * | 2022-06-28 | 2022-11-01 | 重庆长安汽车股份有限公司 | 多模感知融合的车辆变道预测方法、计算机设备及存储介质 |
| CN115290069A (zh) * | 2022-07-22 | 2022-11-04 | 清华大学 | 多源异构传感器数据融合与协同感知手持移动平台 |
-
2021
- 2021-11-22 CN CN202111388177.XA patent/CN114298142A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115273460A (zh) * | 2022-06-28 | 2022-11-01 | 重庆长安汽车股份有限公司 | 多模感知融合的车辆变道预测方法、计算机设备及存储介质 |
| CN115290069A (zh) * | 2022-07-22 | 2022-11-04 | 清华大学 | 多源异构传感器数据融合与协同感知手持移动平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
| CN107972662B (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
| CN104290753B (zh) | 一种前方车辆运动状态追踪预测装置及其预测方法 | |
| Ogawa et al. | Pedestrian detection and tracking using in-vehicle lidar for automotive application | |
| US9975550B2 (en) | Movement trajectory predicting device and movement trajectory predicting method | |
| CN112154455B (zh) | 数据处理方法、设备和可移动平台 | |
| EP2118818B1 (en) | Video-based road departure warning | |
| JP7466396B2 (ja) | 車両制御装置 | |
| CN114298142A (zh) | 一种相机和毫米波雷达的多源异构传感器信息融合方法及装置 | |
| CN110816540B (zh) | 交通拥堵的确定方法、装置、系统及车辆 | |
| JP4712562B2 (ja) | 車両の前方立体物認識装置 | |
| CN111505623B (zh) | 无人驾驶车辆行驶过程中的障碍物检测方法、系统、车辆 | |
| CN109444872B (zh) | 行人与车辆的区分方法、装置、计算机设备及存储介质 | |
| CN110095770A (zh) | 车辆周边目标物的检测方法 | |
| CN110435541A (zh) | 一种基于视觉识别和测距的车辆变道预警方法和系统 | |
| CN111959515B (zh) | 一种基于视觉检测的前向目标选择方法、装置及系统 | |
| CN115993597A (zh) | 一种视觉雷达感知融合方法及终端设备 | |
| CN114735018A (zh) | 一种基于单雷达的前方最危险目标车辆的筛选判断方法 | |
| CN113962301B (zh) | 一种多源输入信号融合的路面质量检测方法及系统 | |
| CN112241004A (zh) | 物体识别装置 | |
| US20230366981A1 (en) | Method for Determining a Sensor Degradation Status | |
| US11741718B2 (en) | Light interference detection during vehicle navigation | |
| CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
| CN111414857B (zh) | 一种基于视觉的多特征融合的前方车辆检测方法 | |
| CN108008412A (zh) | 一种多曲度融合行车防撞系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |