CN202163431U - 基于多传感器信息融合的碰撞及偏离预警装置 - Google Patents

基于多传感器信息融合的碰撞及偏离预警装置 Download PDF

Info

Publication number
CN202163431U
CN202163431U CN2011202293259U CN201120229325U CN202163431U CN 202163431 U CN202163431 U CN 202163431U CN 2011202293259 U CN2011202293259 U CN 2011202293259U CN 201120229325 U CN201120229325 U CN 201120229325U CN 202163431 U CN202163431 U CN 202163431U
Authority
CN
China
Prior art keywords
information
radar
vehicle
module
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011202293259U
Other languages
English (en)
Inventor
戎辉
龚进峰
何佳
黄伟
郑伟
张殿明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AERI Tianjin Automotive Engineering Research Institute Co Ltd
Original Assignee
China Automotive Technology and Research Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Technology and Research Center Co Ltd filed Critical China Automotive Technology and Research Center Co Ltd
Priority to CN2011202293259U priority Critical patent/CN202163431U/zh
Application granted granted Critical
Publication of CN202163431U publication Critical patent/CN202163431U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本实用新型公开了一种基于多传感器信息融合的前向碰撞及车道偏离预警装置,包括:毫米波雷达、通讯接口模块、摄像机、图像采集模块、显示及报警模块和车载处理单元;所述车载处理单元可实现对来自于所述通讯接口模块和图像采集模块的雷达信号和机器视觉信息进行融合处理;将上述预警装置用于防止车辆前向碰撞及车道偏离的预警,包括:设备驱动;雷达数据及图像数据的接收与处理;信息融合;最后将融合信息进行显示。本实用新型通过雷达、摄像机发现车辆行驶中潜在的碰撞危险,为驾驶员提供警示信息。本实用新型预警装置采用视觉与雷达相结合,从根本上提高了汽车防撞防车道偏离的准确率,经过试验得出:可以提高(5-20)%的准确度。

Description

基于多传感器信息融合的碰撞及偏离预警装置
技术领域
本实用新型涉及一种汽车驾驶员安全辅助系统,尤其涉及一种避免前向碰撞及车道偏离的预警系统。
背景技术
近年来,随着我国道路车辆数量的迅速增长,道路运输安全形势日益严峻。特大恶性交通事故频繁发生,不仅人员伤亡多,经济损失大,而且极易引起复杂的社会问题。据公安部2007年统计,我国道路交通事故致死总人数中,由货运车辆导致的占了29.4%。为此,“国家中长期科学和技术发展规划纲要”(2006-2020年)已将交通运输安全保障技术列为国家重大科技需求,投入大量人力物力开展各分项技术及其系统集成的研发工作,以减少重大交通事故的伤亡和经济损失,并加快技术成果转化,从而推动行业进步。
对交通事故的研究表明,驾驶员是影响道路交通安全性的主要因素。根据我国2004年的统计结果,由于驾驶员过失造成的交通事故数和死亡人数分别占到总数的89.8%和87.4%。由于人的反应时间、动作速率以及驾驶经验都有一定的局限性,而且驾驶员不可能在驾驶过程中始终保持最佳状态,所以经常会有由于驾驶员疲劳和疏忽以致不能妥善处理车辆行驶过程而发生的突发事件和紧急情况。因此,只要由人来驾驶车辆,就可能存在事故隐患。驾驶员辅助系统是解决这一问题的一项有效技术,它已经得到各汽车厂家和用户的积极关注。
安全辅助驾驶是智能交通系统的重要组成部分,其中自动巡航控制系统、车辆前向碰撞预警系统、前向避撞辅助系统等都可以大大减轻驾驶人员的负担,提高交通系统的安全性。实时准确地检测汽车前方行驶车辆等障碍物位置、速度信息是汽车防碰撞预警、自适应巡航控制等辅助驾驶系统实现的前提。多传感器信息融合是信息技术领域的发展方向。因此构建基于雷达和机器视觉的车辆前方障碍物检测系统可以为安全辅助驾驶系统的发展提供理论指导和技术支持。
现有技术中,关于汽车防撞防车道偏离控制装置也有研究,公开日为2009年11月25日,公开号为CN 101585361A的中国实用新型专利申请中公开了一种“汽车防撞防车道偏离控制装置”。包括77GHz毫米波雷达器,CCD视觉机器,雷达信号处理装置,视频处理模块,车载显示器,传感器,控制软件和扬声器;77GHz毫米波雷达器,CCD视觉机器,雷达信号处理装置,视频处理模块,车载显示器,传感器,控制软件和扬声器之间由信号连接。该技术方案的不足之处是:不具备CCD与雷达结合的方法,根本不能提高汽车防撞防车道偏离的准确率。
实用新型内容
针对上述现有技术,本实用新型提供一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置。根据车载障碍物检测的需求,确立本实用新型前向碰撞及车道偏离的预警装置设计的基本思路是:由车载雷达和前方CMOS摄像机获取前方车路信息,传送给车载计算机(即车载处理单元)进行信息融合处理,对车辆前方障碍物进行检测,并判断其危险等级,最后将报警信息以图形界面、震动或者声音提示的方式直观地提供给驾驶员。本实用新型所具有的主要功能是通过雷达、摄像机等传感器及时发现车辆行驶中潜在的碰撞危险,为驾驶员提供警示信息,及时提醒驾驶员调整车辆行驶状态,避免或减轻碰撞事故。
为了解决上述技术问题,本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置予以实现的技术方案是,包括毫米波雷达传感器、USB-CAN通讯接口模块、前方CMOS摄像机、图像采集模块、显示器及报警模块;车载处理单元;其中,所述毫米波雷达传感器用于检测其视野范围内的所有障碍物,并测量出每个目标的相对距离、相对速度和方位角度值,所述USB-CAN通讯接口模块将雷达信息传给所述车载处理单元进行处理;所述前方CMOS摄像机用于获取前方障碍物类型、在车道中的位置以及道路标线信息;所述图像采集模块通过同轴电缆接收前方CMOS摄像机拍摄到的电视图像画面,并对所获取的图像进行处理;所述车载处理单元对来自于所述USB-CAN通讯接口模块和图像采集模块的雷达信号和机器视觉信息进行融合处理;所述车载处理单元包含设备驱动模块、雷达数据接收和处理模块、图像数据接收和处理模块、数据融合模块、雷达目标显示模块以及图像显示模块;所述显示器及报警装置是人机交互接口,其中,所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息;所述报警装置用于发出语音报警信息,提示驾驶员注意保持安全距离。
本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置,其中,所述数据融合模块同时具有时间和空间上的信息融合功能,其中:所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步;所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合。所述毫米波雷达传感器的最大探测距离为175m。
与现有技术相比,本实用新型的有益效果是:
在驾驶辅助系统,如前向碰撞预警和车道偏离报警系统的行车环境中,雷达的测量值可能来自于目标车辆,也可能来自于其他干扰物。由于雷达自身工作状态不稳定或目标回波能量分布不均,可能出现虚假目标。同时,由于车辆行驶过程中的随机颠簸和摆动,雷达测量信号还可能出现短暂丢失的情况,从而导致目标物信息出现较大波动。因而,需要先对雷达测量信号进行相关处理,以便准确地选取有效目标。雷达对目标的检测和识别分为三部分:目标初选,目标信息预测以及目标一致性检验。其中,目标初选是遵循一定的规则,从所有雷达检测到的目标中选择一个有效目标。如何定义有效目标与驾驶辅助系统的类型有关。比如,对于自适应巡航控制系统(ACC)来讲,有效目标是处于本车道中,在本车前方最近的移动车辆;对于前向报警系统来说,有效目标则是处于本车道中,在本车前方最近的任何静止或者运动的障碍物。目标信息预测用于预估有效目标未来时刻的运动状态,为目标一致性检验做准备。而目标一致性检验则采用初选目标信息与目标预测值的相似程度进行判定和评价,以实现有效目标的跟踪功能。
人、车、路和环境是组成交通系统的基本要素,交通系统的运作通过这些基本要素相互作用和变化得以体现。车辆行驶在道路上,其行驶环境信息中最重要部分是车辆前方的信息。车辆前方信息也就是车辆前方道路上交通要素的相关信息。这些信息包括静态信息和动态信息。静态信息主要有:前方道路的线形、设施等信息。动态信息主要有:前车和本车的距离、速度、加速度、方位、在车道中的位置等信息。
本实用新型中采用雷达来获取前方车辆的距离、速度等信息,采用摄像机来获取前车在车道中的位置以及道路标线等信息,通过一车载处理单元控制毫米波雷达传感器、USB-CAN通讯接口模块、前方CMOS摄像机、图像采集模块、显示器及报警模块;并对接收到的雷达信号和机器视觉信息进行融合处理,最终将融合后的信息交由图像显示模块进行显示,并根据目标的危险等级作出相应的报警提示。本实用新型通过雷达、摄像机等传感器及时发现车辆行驶中潜在的碰撞危险,为驾驶员提供警示信息,及时提醒驾驶员调整车辆行驶状态,避免或减轻碰撞事故。本实用新型预警装置采用视觉机器与雷达相结合,从根本上提高了汽车防撞防车道偏离的准确率,经过试验得出:可以提高(5-20)%的准确度。
附图说明
图1是本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置的结构框图;
图2是本实用新型中车载处理单元的结构框图;
图3是本实用新型中图像采集与处理的主流程图;
图4是本实用新型中信息融合的主流程图;
图5是本实用新型中实现信息融合的结构框架图;
图6是本实用新型中实现信息融合中的车辆行驶坐标系;
图7是本实用新型中信息融合试验匹配图。
具体实施方式
根据车载障碍物检测的需求,本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置的基本思路是:由车载雷达(毫米波雷达传感器10)和前方CMOS摄像机30获取前方车路信息,传送给作为车载处理单元的计算机进行信息融合处理,对车辆前方障碍物进行检测,并判断其危险等级,最后将报警信息以图形界面、震动或者声音提示的方式直观地提供给驾驶员。由上述设计思路可以确定本实用新型预警装置具备信息获取功能、通信功能、信息处理功能和信息输出功能。
下面结合具体实施方式对本实用新型作进一步详细地描述。
如图1所示,本实用新型一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置,包括毫米波雷达传感器10、USB-CAN通讯接口模块20、前方CMOS摄像机30、图像采集模块40、显示器60及报警模块70;还包括一车载处理单元50。
其中,所述毫米波雷达传感器10用于检测其视野范围内的所有障碍物,并测量出每个目标的相对距离、相对速度和方位角度值,所述毫米波雷达传感器10的最大探测距离为175m。所述USB-CAN通讯接口模块20将雷达信息传给所述车载处理单元50进行处理;所述前方CMOS摄像机30用于获取前方障碍物类型、在车道中的位置以及道路标线信息;所述图像采集模块40通过同轴电缆接收前方CMOS摄像机30拍摄到的电视图像画面,并对所获取的图像进行处理;所述车载处理单元50(所述车载处理单元50既可以基于车载工控机,也可以基于嵌入式处理器)对来自于所述USB-CAN通讯接口模块20和图像采集模块40的雷达信号和机器视觉信息进行融合处理;如图2所示,本实用新型中的所述车载处理单元50包含设备驱动模块51、雷达数据接收和处理模块52、图像数据接收和处理模块53、数据融合模块54、雷达目标显示模块55以及图像显示模块56;所述数据融合模块54同时具有时间和空间上的信息融合功能,其中:所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步;所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合;如图1所示,所述显示器60及报警装置70是人机交互接口,其中,所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息;所述报警装置用于发出语音报警信息,提示驾驶员注意保持安全距离。
利用上述基于多传感器信息融合的前向碰撞及车道偏离的预警装置进行预警的方法,是利用所述车载处理单元50对来自于所述USB-CAN通讯接口模块20和图像采集模块40的雷达信号和机器视觉信息进行融合处理,如图2所示,从结构上分为雷达数据处理和图像数据处理两部分,其基本原理为:
雷达数据处理——首先,雷达数据接收和处理模块52通过USB-CAN通讯接口模块20接收雷达系统(本实用新型中指毫米波雷达传感器10)传送的数据,并对接收到的雷达数据进行解算,经过滤波将稳定的目标挑选出来,得到一组固定格式的目标数据,再由雷达图形显示模块55将二维目标方位实时显示在显示屏上。
图像数据处理——首先由图像数据接收和处理模块53接收前方CMOS摄像机30采集到的原始图像数据,图像数据接收和处理模块53对采集到的图像进行预处理,然后对车道线和障碍物进行特征提取与匹配。
将本实用新型的预警装置用于防止车辆前向碰撞及车道偏离的预警,包括以下步骤:
步骤一、设备驱动:
利用设备驱动模块51驱动设备,包括打开车载摄像机并驱动毫米波雷达传感器10和前方CMOS视觉传感器30;
步骤二、雷达数据及图像数据的接收与处理:
车载处理单元50中的雷达数据接收和处理模块52通过所述的USB-CAN接口模块20接收来自于所述毫米波雷达传感器10传送的雷达数据,该雷达数据包括在所述毫米波雷达传感器10的视野范围内的所有障碍物,并测量出每个目标的相对距离、相对速度和方位角度值;
与此同时,所述的图像采集模块40通过同轴电缆接收前方CMOS视觉传感器30拍摄到的电视图像画面,所述电视图像画面包括所获取的前方障碍物类型、在车道中的位置以及道路标线信息,所述车载处理单元50中的图像数据接收和处理模块53获取该电视图像画面后将视频流分解成单帧图像;然后对车道线和障碍物进行特征提取与匹配。
图3示出了本实用新型中一种图像采集与处理方法的流程。
步骤S10:开始;
步骤S11:设置摄像机参数,如分辨率为640×480;
步骤S12:打开摄像机;
步骤S13:判断是否已经打开摄像机,如果判断结果为否,返回执行步骤S12;
步骤S14:如果判断结果为真,将视频流分解成单帧图像,进行捕捉;
步骤S15:判断是否分解图像成功,捕获到单帧图像,如果判断结果为否,返回执行步骤S14;
步骤S20:如果判断结果为真,开始进行信息融合步骤(见后面的步骤三);
步骤S30:将信息融合步骤S20的处理结果显示出来,并将叠加的图像层显示在控件上。
步骤三、信息融合:
将上述步骤二中得到的所有障碍物中每个目标的相对距离、相对速度和方位角度值及车道线位置输入数据融合模块54进行像素级融合;包括:时间上的信息融合和空间上的信息融合;
所述时间上的信息融合,是采用线程同步方式创建雷达数据接收线程和摄像机数据接收线程,当每次采集当前帧图像时获取雷达当前时刻的数据,这样就将雷达数据和摄像机数据进行了时间上的同步。
所述空间上的信息融合过程如图4所示,是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合;预警信息融合和目标类型判断信息融合这两种融合都结合了雷达信息和图像信息。其中:
(1)预警信息融合——根据雷达10提供的距离和速度信息,判断该目标的危险等级。如果危险等级较低则将其放入观察区,不作处理。如果危险等级较高,则结合图像识别检测到的车道线位置,判断该目标与本车是否处于同一车道,如果不处于则将其也放入观察区,如果处于同一车道,则根据危险等级,采用语音报警的方式提示驾驶员。
(2)目标类型判断信息融合——将雷达坐标系下的目标投影到图像坐标系中,在图像中得到该目标对应的投影点,再以该投影点为中心,根据车距和车辆尾部尺寸的先验知识在图像中选取合适大小的矩形感兴趣区域,这样就将原来的整幅图像多目标分割任务分解成局部单目标分割任务。然后对每个ROI进行基于知识或者模板的识别方法,进而识别出目标的类型。
如图4所示:
步骤S201:根据雷达数据接收和处理模块(52)所获取的雷达数据解算出所识别目标的相对坐标和速度;
步骤S202:将目标的相对坐标进行透视变换;
步骤S203:得到目标在图像上对应的坐标;
步骤S204:利用图像数据接收和处理模块53获取图像数据;
步骤S205:识别车道线;
步骤S206:判断本车是否会存在车道偏离可能,如果判断结果为否,返回步骤S204准备进行下一帧图像数据的处理;
步骤S207:如果判断结果为真,发出车道偏离预警;
步骤S208:结合步骤S203中的目标在图像上的对应坐标和步骤S205的车道位置信息,判断本车与目标是否处于同一车道,如果判断结果为否,返回步骤S208准备进行下一帧图像数据的处理;
步骤S209:如果判断结果为真,在可能的目标在图像上对应的坐标周围建立可变大小的感兴趣区域ROI;
步骤S210:在步骤S209中建立的感兴趣区域ROI内进行目标识别,检验是否在该感兴趣区域ROI内识别出车辆;
步骤S211:判断该目标的危险级别是否高于阈值;如果判断结果为否,返回步骤S204准备进行下一帧图像数据的处理;
步骤S212:如果判断结果为真,发出前向碰撞预警。
以下是对上述步骤S202坐标变换(即完成空间上的数据融合)的进一步描述。
通过求解摄像机外部参数的约束方程后,雷达、摄像机、图像和车体坐标系的相对关系可以完全确定,从而雷达扫描点可以通过摄像机模型投影至图像像素坐标系上。
建立车体坐标系中物点P(xv,yv,zv)与图像像素坐标系中像点p(u,v)之间的转换关系,其像素级数据融合关系式如下:
(u,v,1)T=K(Rc(xv,yv,zv)T+Tc)                     (1)
式(1)中,Rc为摄像机外部参数的旋转矩阵,Tc为摄像机外部参数的平移向量,.fx、fy为x和y方向的等效焦距,u0,v0为图像像素中心的坐标;
式(2)中,K为摄像机内部参数矩阵: K = f x 0 u 0 0 f y v 0 0 0 1 - - - ( 2 )
通过式(1)和式(2)完成空间上的数据融合,其数据融合第一个目的是为了把雷达坐标系、摄像机坐标系、图像像素坐标系和车体坐标系统一起来。坐标系的统一和建立有利于环境感知传感器对环境和障碍物具体距离和方位的测量,摄像机外部参数的标定可以实现逆透视投影变换,为车辆视觉导航提供重要参数。另一个目的是为了把雷达扫描点投影到图像上,在图像坐标系上形成动态的感兴趣区域ROI,这样有利于缩小对前方车辆、行人或其他障碍物识别与跟踪的搜索区域,从而减少系统计算的时间,提高系统实时性。同时结合摄像机与雷达各自的感知特点,可以增强系统的鲁棒性,有效提高检测准确率,降低识别的虚警率。
雷达对目标参数的描述采用的是二维的平面坐标系,视景图像中的目标参数则采用三维空间坐标系。摄像机拍摄的目标图像可以根据透视关系简化为目标在显示平面上的投影。车辆目标在三维空间的位移有一些固有的规律,通过对描述车辆移动规律的关键参数进行分析,可以确定目标二维参数在三维视景图像中的投影关系。
实现雷达目标从二维平面坐标到三维视景坐标的转换的过程是:首先,建立一个三维空间坐标系O-xyz件图5,y轴指向为车头方向,O点表示透视投影的焦点;在y轴上的O’点垂直于x轴的平面上建立一个矩形表示显示平面,在z轴Z1处垂直于z轴的平面上建立一个矩形表示道路平面;在这个简化模型中,用点的坐标描述车辆目标的位置参数,设车辆目标点为三维空间坐标系O-xyz中的点R1,且该点位于道路平面Z1上,该点的坐标为R1(x1,y1,z1);设目标点R1在显示平面上的投影点为R2,因为R1和R2之间满足透视投影关系,所以R2即线段OR1和显示平面的交点。
如图5所示,假设雷达传感器和摄像机都安装在车辆左右正中的纵剖面上,设雷达目标点在以传感器位置为原点的二维平面坐标系中的坐标为T(xR,yR),雷达目标坐标系原点到焦点O的等效水平距离为d,焦点O相对于道路平面的等效高度为h,显示屏平面到焦点O的等效距离为l,根据其几何关系,可得:
x 2 = y 2 y 1 x 1 - - - ( 3 )
z 2 = y 2 y 1 z 1 - - - ( 4 )
其中:x1=xR,y1=yR+d,y2=l,z1=-h,代入式(3)和式(4)可得:
x 2 = l y R + d x R - - - ( 5 )
z 2 = - l y R + d h - - - ( 6 )
式(5)和式(6)中,xR和yR为雷达目标的传感器测量值,d和1为常量,其中:d为雷达目标坐标系原点到焦点O的等效水平距离,h为焦点O相对于道路平面的等效高度,l为显示屏平面到焦点O的等效距离;因而,式(5)和式(6)实现雷达目标从二维平面坐标到三维视景坐标的转换。
对预警信息融合的处理过程描述如下:
步骤208判断本车与目标是否处于同一车道。如图6所示,将图像检测到的车道线进行逆透视变换之后得到左、右车道线在车辆行驶坐标系中的横坐标xl、xr。根据毫米波雷达传感器10提供的前方目标纵坐标yo(距离)以及相对速度vo,判断该目标的危险级别。如果危险级别较高,则比较目标横纵坐标xo是否满足xl<xo<xr,如果满足则说明该目标与本车处于同车道内且危险级别较高,即:如果本车与目标的距离大于安全距离,则继续准备获取下一帧图像信息;如果本车与目标的距离小于安全距离,则结合图像识别检测到的车道线位置,判断该目标与本车是否处于同一车道,如果判断结果为否,则继续准备获取下一帧图像信息,如果判断结果为真,则根据危险等级采用语音报警的方式提示驾驶员。
上述安全距离是根据车体与前方目标物体的距离和相对速度及当前路面摩擦系数设定的。所述当前路面摩擦系数μ根据当前路面湿滑程度分为三个取值范围,理论中的安全距离模型计算公式如下:
D S = v r × ( t f + t d ) + v r 2 2 μg - - - ( 7 )
式(7)中:
Ds——安全距离,
vr——相对速度,
tf——驾驶员对目标的反应临界时间,其取值为1.3秒;
td——制动协调时间,其取值为0.2秒;
μ——路面摩擦系数,其取值范围与路面湿滑程度有关,其中:干路面时,μ取值范围为0.6~1.0;湿路面时,μ取值范围为0.3~0.6;冰雪路面时,μ取值范围为0.05~0.3;
g——重力加速度;
上述式(1)简化后如下:
D S = v r × 1.5 + v r 2 2 μg - - - ( 8 )
例如:前方目标距离小于安全距离,则语音提示“请保持前方车距”。
步骤四、最后将融合后的信息交由图像显示模块56进行显示。
图像显示模块56的输出界面如图7所示,图中右侧为雷达区检测到两个目标,然后把每个目标的横坐标与图像识别之后的车道线位置进行比较,判断这两个目标是否与本车处于同一车道内(步骤S208),结果发现左车与本车在同一车道。以该目标点为中心画一个矩形作为感兴趣区域(ROI),矩形的长宽与目标的距离和车尾尺寸的先验知识有关,一般适当地选取大一些(步骤S209)。然后在ROI内进行基于知识或者模板的目标识别,达到识别目标类型的目的(步骤S210)。图7中车体两侧线为识别出的车道线,车体外层矩形框为ROI,内层矩形框为目标识别之后对轮廓逼近的结果。对这两个目标的危险级别进行判断步骤S211,发现左侧目标的危险级别较高,进而执行步骤S212,用语音向驾驶员传达报警信息。
尽管上面结合图对本实用新型进行了描述,但是本实用新型并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本实用新型的启示下,在不脱离本实用新型宗旨的情况下,还可以做出很多变形,这些均属于本实用新型的保护之内。

Claims (3)

1.一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置,包括:毫米波雷达传感器(10)、USB-CAN通讯接口模块(20)、前方CMOS摄像机(30)、图像采集模块(40)、显示器(60)及报警模块(70);其特征在于:还包括车载处理单元(50);
所述毫米波雷达传感器(10)用于检测其视野范围内的所有障碍物,并测量出每个目标的相对距离、相对速度和方位角度值;
所述USB-CAN通讯接口模块(20)将雷达信息传给所述车载处理单元(50)进行处理;
所述前方CMOS摄像机(30)用于获取前方障碍物类型、在车道中的位置以及道路标线信息;
所述图像采集模块(40)通过同轴电缆接收前方CMOS摄像机(30)拍摄到的电视图像画面,并对所获取的图像进行处理;
所述车载处理单元(50)对来自于所述USB-CAN通讯接口模块(20)和图像采集模块(40)的雷达信号和机器视觉信息进行融合处理;所述车载处理单元(50)包含设备驱动模块(51)、雷达数据接收和处理模块(52)、图像数据接收和处理模块(53)、数据融合模块(54)、雷达目标显示模块(55)以及图像显示模块(56);
所述显示器(60)及报警装置(70)是人机交互接口,其中,所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息;所述报警装置用于发出语音报警信息,提示驾驶员注意保持安全距离。
2.根据权利要求1所述的基于多传感器信息融合的前向碰撞及车道偏离的预警装置,其特征在于:所述毫米波雷达传感器(10)的最大探测距离为175m。
3.根据权利要求1所述的基于多传感器信息融合的前向碰撞及车道偏离的预警装置,其特征在于:所述数据融合模块(54)同时具有时间和空间上的信息融合功能,其中:所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步;所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合。
CN2011202293259U 2011-06-30 2011-06-30 基于多传感器信息融合的碰撞及偏离预警装置 Expired - Fee Related CN202163431U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011202293259U CN202163431U (zh) 2011-06-30 2011-06-30 基于多传感器信息融合的碰撞及偏离预警装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011202293259U CN202163431U (zh) 2011-06-30 2011-06-30 基于多传感器信息融合的碰撞及偏离预警装置

Publications (1)

Publication Number Publication Date
CN202163431U true CN202163431U (zh) 2012-03-14

Family

ID=45799278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011202293259U Expired - Fee Related CN202163431U (zh) 2011-06-30 2011-06-30 基于多传感器信息融合的碰撞及偏离预警装置

Country Status (1)

Country Link
CN (1) CN202163431U (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN103303309A (zh) * 2013-06-26 2013-09-18 奇瑞汽车股份有限公司 汽车追尾碰撞预警方法和系统
CN103568948A (zh) * 2013-10-15 2014-02-12 奇瑞商用车(安徽)有限公司 一种车辆驾驶安全控制系统
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN105005049A (zh) * 2015-07-09 2015-10-28 珠海市中大电器有限公司 基于微波探测技术的车载防撞报警器及车距测量示警方法
CN105844921A (zh) * 2016-03-17 2016-08-10 乐卡汽车智能科技(北京)有限公司 一种车道保持方法、装置和系统
CN105866779A (zh) * 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
CN106004884A (zh) * 2016-07-11 2016-10-12 南昌工学院 基于复合传感实现路情实时识别和危险判断的方法及其系统
CN106080393A (zh) * 2016-08-08 2016-11-09 浙江吉利控股集团有限公司 自动驾驶辅助显示系统
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
WO2017113803A1 (zh) * 2015-12-28 2017-07-06 林涛 一种便携式无线汽车防撞系统及数据处理方法
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN107458308A (zh) * 2016-06-02 2017-12-12 王明伟 一种辅助驾驶方法及系统
CN107521411A (zh) * 2017-07-18 2017-12-29 吉林大学 一种辅助驾驶员的车道级导航增强现实装置
CN107643086A (zh) * 2016-07-22 2018-01-30 北京四维图新科技股份有限公司 一种车辆定位方法、装置及系统
CN107867283A (zh) * 2016-09-26 2018-04-03 浙江亚太机电股份有限公司 基于预测模型的集成式fcw/acc/aeb系统及车辆
CN107979812A (zh) * 2017-11-23 2018-05-01 重庆车辆检测研究院有限公司 Adas与v2v结合的超视距感知与发布方法及系统
CN108275149A (zh) * 2017-01-04 2018-07-13 本田技研工业株式会社 使用车辆通信进行合并辅助的系统和方法
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
CN108344994A (zh) * 2018-03-21 2018-07-31 杭州智波科技有限公司 一种摩托车和电动车的辅助驾驶系统的毫米波雷达系统
CN108847026A (zh) * 2018-05-31 2018-11-20 安徽四创电子股份有限公司 一种基于矩阵坐标转换实现数据叠加显示的方法
CN108960183A (zh) * 2018-07-19 2018-12-07 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN109466550A (zh) * 2018-11-19 2019-03-15 安徽江淮汽车集团股份有限公司 自适应巡航系统起步安全控制系统及方法
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN111098815A (zh) * 2019-11-11 2020-05-05 武汉市众向科技有限公司 一种基于单目视觉融合毫米波的adas前车碰撞预警方法
CN111137283A (zh) * 2019-12-27 2020-05-12 奇瑞汽车股份有限公司 传感器数据融合方法、装置、高级辅助驾驶系统及车辆
CN111323771A (zh) * 2020-03-02 2020-06-23 南京理工大学 基于固定距离的毫米波雷达与视频数据融合方法
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN111532274A (zh) * 2020-02-28 2020-08-14 南京航空航天大学 基于多传感器数据融合的智能车辆换道辅助系统及方法
CN112924972A (zh) * 2021-01-28 2021-06-08 四川写正智能科技有限公司 基于毫米波进行智能测距和避障提醒的装置和方法
CN113256962A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN113257021A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN103303309B (zh) * 2013-06-26 2016-07-06 奇瑞汽车股份有限公司 汽车追尾碰撞预警方法和系统
CN103303309A (zh) * 2013-06-26 2013-09-18 奇瑞汽车股份有限公司 汽车追尾碰撞预警方法和系统
CN103568948A (zh) * 2013-10-15 2014-02-12 奇瑞商用车(安徽)有限公司 一种车辆驾驶安全控制系统
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN105005049A (zh) * 2015-07-09 2015-10-28 珠海市中大电器有限公司 基于微波探测技术的车载防撞报警器及车距测量示警方法
WO2017113803A1 (zh) * 2015-12-28 2017-07-06 林涛 一种便携式无线汽车防撞系统及数据处理方法
CN107238834B (zh) * 2016-01-19 2021-10-08 安波福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN107238834A (zh) * 2016-01-19 2017-10-10 德尔福技术有限公司 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置
CN105844921A (zh) * 2016-03-17 2016-08-10 乐卡汽车智能科技(北京)有限公司 一种车道保持方法、装置和系统
CN105844921B (zh) * 2016-03-17 2018-05-01 乐卡汽车智能科技(北京)有限公司 一种车道保持方法、装置和系统
CN105866779A (zh) * 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
CN107458308B (zh) * 2016-06-02 2020-06-30 爱保科技有限公司 一种辅助驾驶方法及系统
CN107458308A (zh) * 2016-06-02 2017-12-12 王明伟 一种辅助驾驶方法及系统
CN106004884A (zh) * 2016-07-11 2016-10-12 南昌工学院 基于复合传感实现路情实时识别和危险判断的方法及其系统
CN107643086A (zh) * 2016-07-22 2018-01-30 北京四维图新科技股份有限公司 一种车辆定位方法、装置及系统
CN106080393A (zh) * 2016-08-08 2016-11-09 浙江吉利控股集团有限公司 自动驾驶辅助显示系统
CN107867283A (zh) * 2016-09-26 2018-04-03 浙江亚太机电股份有限公司 基于预测模型的集成式fcw/acc/aeb系统及车辆
CN107867283B (zh) * 2016-09-26 2020-02-28 浙江亚太机电股份有限公司 基于预测模型的集成式fcw/acc/aeb系统及车辆
CN108275149B (zh) * 2017-01-04 2022-02-01 本田技研工业株式会社 使用车辆通信进行合并辅助的系统和方法
CN108275149A (zh) * 2017-01-04 2018-07-13 本田技研工业株式会社 使用车辆通信进行合并辅助的系统和方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
CN106908783B (zh) * 2017-02-23 2019-10-01 苏州大学 基于多传感器信息融合的障碍物检测方法
CN107521411A (zh) * 2017-07-18 2017-12-29 吉林大学 一种辅助驾驶员的车道级导航增强现实装置
CN107979812A (zh) * 2017-11-23 2018-05-01 重庆车辆检测研究院有限公司 Adas与v2v结合的超视距感知与发布方法及系统
CN107979812B (zh) * 2017-11-23 2020-06-19 重庆车辆检测研究院有限公司 Adas与v2v结合的超视距感知与发布方法及系统
CN108344994A (zh) * 2018-03-21 2018-07-31 杭州智波科技有限公司 一种摩托车和电动车的辅助驾驶系统的毫米波雷达系统
CN108847026A (zh) * 2018-05-31 2018-11-20 安徽四创电子股份有限公司 一种基于矩阵坐标转换实现数据叠加显示的方法
CN108960183B (zh) * 2018-07-19 2020-06-02 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN108960183A (zh) * 2018-07-19 2018-12-07 北京航空航天大学 一种基于多传感器融合的弯道目标识别系统及方法
CN109466550A (zh) * 2018-11-19 2019-03-15 安徽江淮汽车集团股份有限公司 自适应巡航系统起步安全控制系统及方法
CN109466550B (zh) * 2018-11-19 2020-07-28 安徽江淮汽车集团股份有限公司 自适应巡航系统起步安全控制系统及方法
CN109839634A (zh) * 2019-01-25 2019-06-04 中国汽车技术研究中心有限公司 一种车载摄像头与雷达的目标融合方法
CN111098815A (zh) * 2019-11-11 2020-05-05 武汉市众向科技有限公司 一种基于单目视觉融合毫米波的adas前车碰撞预警方法
CN111137283A (zh) * 2019-12-27 2020-05-12 奇瑞汽车股份有限公司 传感器数据融合方法、装置、高级辅助驾驶系统及车辆
CN111137283B (zh) * 2019-12-27 2022-02-01 芜湖雄狮汽车科技有限公司 传感器数据融合方法、装置、高级辅助驾驶系统及车辆
CN113256962A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN113257021A (zh) * 2020-02-13 2021-08-13 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN111532274B (zh) * 2020-02-28 2021-04-27 南京航空航天大学 基于多传感器数据融合的智能车辆换道辅助系统及方法
CN111532274A (zh) * 2020-02-28 2020-08-14 南京航空航天大学 基于多传感器数据融合的智能车辆换道辅助系统及方法
CN111323771A (zh) * 2020-03-02 2020-06-23 南京理工大学 基于固定距离的毫米波雷达与视频数据融合方法
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN112924972A (zh) * 2021-01-28 2021-06-08 四川写正智能科技有限公司 基于毫米波进行智能测距和避障提醒的装置和方法
CN112924972B (zh) * 2021-01-28 2023-05-16 四川写正智能科技有限公司 基于毫米波进行智能测距和避障提醒的装置和方法
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置

Similar Documents

Publication Publication Date Title
CN202163431U (zh) 基于多传感器信息融合的碰撞及偏离预警装置
CN102303605A (zh) 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN101844542B (zh) 智能型车辆行驶安全辅助系统
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
WO2018105179A1 (ja) 車載用画像処理装置
CN102439644B (zh) 车辆用周边监控装置及车辆用周边监控方法
EP2461305B1 (en) Road shape recognition device
CN106324618B (zh) 实现基于激光雷达检测车道线系统的方法
CN110356325B (zh) 一种城市交通客运车辆盲区预警系统
CN102016921B (zh) 图像处理装置
DE102016120507A1 (de) Prädizieren von fahrzeugbewegungen anhand von fahrerkörpersprache
CN103879404B (zh) 可追踪移动物体的防撞警示方法及其装置
CN105620489A (zh) 驾驶辅助系统及车辆实时预警提醒方法
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
JP2007255979A (ja) 物体検出方法および物体検出装置
CN104115198A (zh) 车辆合流辅助系统和方法
CN101391589A (zh) 车载智能报警方法和装置
CN101135558A (zh) 一种基于机器视觉的汽车防撞预警方法及装置
CN112172663A (zh) 一种基于开车门的危险报警方法及相关设备
US20210387616A1 (en) In-vehicle sensor system
CN109871787A (zh) 一种障碍物检测方法及装置
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
JP3666332B2 (ja) 歩行者検知装置
CN104574993A (zh) 一种道路监控的方法及装置
CN113793533A (zh) 一种基于车辆前方障碍物识别的碰撞预警方法及其装置

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: CAERI (TIANJIN) AUTOMOTIVE ENGINEERING RESEARCH IN

Free format text: FORMER OWNER: CHINA AUTOMOTIVE TECHNOLOGY RESEARCH CENTER

Effective date: 20120331

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 300162 DONGLI, TIANJIN TO: 300457 HANGU, TIANJIN

TR01 Transfer of patent right

Effective date of registration: 20120331

Address after: 300457 Tianjin Xinye Development Zone West five Street No. 19 rooms

Patentee after: Bari (Tianjin) Automotive Engineering Research Institute Co. Ltd.

Address before: 300162 Tianjin city Dongli District Forest Road No. 218

Patentee before: China Automotive Technology Research Center

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120314

Termination date: 20200630