CN109080630B - 一种用于车辆的环境感知系统及其控制方法 - Google Patents

一种用于车辆的环境感知系统及其控制方法 Download PDF

Info

Publication number
CN109080630B
CN109080630B CN201810890729.9A CN201810890729A CN109080630B CN 109080630 B CN109080630 B CN 109080630B CN 201810890729 A CN201810890729 A CN 201810890729A CN 109080630 B CN109080630 B CN 109080630B
Authority
CN
China
Prior art keywords
vehicle
camera
millimeter wave
wave radar
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810890729.9A
Other languages
English (en)
Other versions
CN109080630A (zh
Inventor
刘贵如
王陆林
刘涛
刘华玉
修宇
邹姗
刘志军
朱程宇
张峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN201810890729.9A priority Critical patent/CN109080630B/zh
Publication of CN109080630A publication Critical patent/CN109080630A/zh
Application granted granted Critical
Publication of CN109080630B publication Critical patent/CN109080630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Abstract

本发明揭示了一种用于车辆的环境感知系统，车辆设有安装在车辆前方获取前方障碍物信息的前方毫米波雷达，以及安装在车辆后方的获取后方障碍物信息的后方毫米波雷达，所述前方毫米波雷达和后方毫米波雷达通过CAN总线将信号输送至处理器，车辆设有用于感知车辆周围环境的摄像头，所述处理器通过模拟视频输入接口接收每个摄像头的视频数据，所述处理器输出信号至执行单元。本发明通过低成本毫米波雷达和摄像头实现智能车周围环境的感知，智能车周围环境的感知范围包括前方150米、左右侧相邻车道以及车辆后方50～60米的区域范围内目标的实时检测。

Description

一种用于车辆的环境感知系统及其控制方法
技术领域
本发明涉及智能车技术领域，具体涉及一种城市复杂工况智能车环境感知系统及其实现方法。
背景技术
目前车辆要实现智能辅助驾驶和自动驾驶，需要通过传感器探测车辆周围环境，常采用视觉传感器、毫米波雷达传感器和激光雷达传感器。采用激光雷达实现对周围环境的感知，成本高，难以实现量产。采用毫米波雷达，虽然可以检测车辆前后方和四周区域内的目标，但是无法实现对周围环境的认知和学习，在非结构化道路环境下无法实现智能驾驶。
如果能够综合利用现有低成本的毫米波雷达和摄像头，替代激光雷达实现对车辆周围环境的感知，同时对四周环境进行认知和学习，引入深度学习，使得车辆通过离线或者在线训练，学习人类驾驶，实现制动辅助驾驶和自动驾驶，不断提高智能车的智能化水平，加速智能车的产业化。
发明内容
本发明所要解决的技术问题是实现一种采用毫米波雷达和摄像头实现对周围环境的感知，构成一种城市复杂工况智能车环境感知系统及其实现方法。
为了实现上述目的，本发明采用的技术方案为：一种用于车辆的环境感知系统，车辆设有安装在车辆前方获取前方障碍物信息的前方毫米波雷达，以及安装在车辆后方的获取后方障碍物信息的后方毫米波雷达，所述前方毫米波雷达和后方毫米波雷达通过CAN总线将信号输送至处理器，车辆设有用于感知车辆周围环境的摄像头，所述处理器通过模拟视频输入接口接收每个摄像头的视频数据，所述处理器输出信号至执行单元。
所述摄像头包括：
用于采集和识别前方车辆数据的第一前方摄像头；
用于采集和识别红绿灯数据的第二前方摄像头；
用于采集和识别前方车道线数据的第三前方摄像头；
用于采集和识别前方道路交通标志数据的第四前方摄像头。
所述摄像头还包括：
安装在车辆左侧后视镜位置的左侧前向摄像头和左侧后向摄像头；
安装在车辆右侧后视镜位置的右侧前向摄像头和右侧后向摄像头。
所述摄像头还包括：用于采集和识别后方车辆数据的后方摄像头。
所述处理器为视觉信息处理及深度学习运算平台。
所述执行单元为车内音响、主动制动单元、报警指示灯中的部分或全部。
一种基于所述环境感知系统的控制方法：
前方毫米波雷达和第一前方摄像头用于实时检测车辆正前方运动和静止的目标的相对距离、速度和方位角度；
左侧前向摄像头实时检测前方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
左侧后向摄像头实时检测后方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
右侧前向摄像头实时检测前方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
右侧后向摄像头实时检测后方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
后方毫米波雷达和后方摄像头用于实时检测车辆正后方运动和静止的目标的相对距离、速度和方位角度；
视觉信息处理及深度学习运算平台用于采集9个摄像头的输入信号和2个毫米波雷达的输出数据，并通过摄像头和雷达的安装位置和车辆坐标系之间的关系计算出目标相对车辆的位置信息以及车道线相对车辆的位置信息；
当视觉信息处理及深度学习运算平台获取的目标相对车辆的位置信息以及车道线相对车辆的位置信息达到报警或干涉阈值，则发出报警或进行主动干涉。
所述前方毫米波雷达和第一前方摄像头还用于实时监测前方纵向距离大于20米的两侧相邻车道内前方运动和静止的目标的相对距离、速度和方位角度；
后方毫米波雷达和后方摄像头还用于实时监测后方纵向距离大于20米的两侧相邻车道内后方接近运动目标的相对距离、速度和方位角度。
所述第二前方摄像头用于红绿灯数据的实时采集和识别；
所述第三前方摄像头用于前方车道线数据的实时采集和识别；
所述第四前方摄像头用于前方道路交通标志数据的实时采集和识别。
本发明的优点在于：
1、系统采用了低成本的摄像头和毫米波雷达，替代了昂贵的激光雷达，克服了智能车传感器系统成本较高的问题。
2、系统采用两侧前、后向摄像头检测路牙，克服了超声波雷达在高速下检测路牙实时性较差的问题。
3、系统引入了人工智能平台，通过自学习，提高智能车的驾驶水平，克服了现有基于规则的智能驾驶在非结构化道路上无法实现自动驾驶的问题，拓展了自动驾驶的应用场景。
附图说明
下面对本发明说明书中每幅附图表达的内容作简要说明：
图1为环境感知系统原理图。
具体实施方式
环境感知系统通过低成本毫米波雷达和摄像头实现智能车周围环境的感知。智能车周围环境的感知范围包括前方150米、左右侧相邻车道以及车辆后方50～60米的区域范围内目标的实时检测。
车辆前方150米的范围通过前视毫米波雷达进行检测，配合前方摄像头对前方区域的目标或者障碍物进行检测和识别，判断其危险程度并进行决策，通过智能车线控制动和线控转向进行危险规避。
车辆两侧相邻车道内目标的检测，由于横向探测距离小于5米，前方纵向距离大于20米的两侧相邻车道内目标检测通过前方毫米波雷达和摄像头进行检测和识别。前方纵向距离小于20米的两侧相邻车道内目标检测通过两侧安装在后视镜位置的前向摄像头进行检测和识别。后方纵向距离大于20米的两侧相邻车道内目标检测通过后方毫米波雷达和摄像头进行检测和识别。后方纵向距离小于20米的两侧相邻车道内目标检测通过两侧安装在后视镜位置的后向摄像头进行检测和识别。
具体来说：
环境感知系统包括前方毫米波雷达；后方毫米波雷达；四个前方摄像头；左侧前、后向摄像头；右侧前、后向摄像头；后视摄像头；视觉信息处理及深度学习运算平台以及CAN总线组成。
前方毫米波雷达和第一前方摄像头用于实时检测车辆正前方运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆直行是否危险及其危险程度，以及是否采取预警或者制动干预。
前方毫米波雷达和第一前方摄像头，还用于实时监测前方纵向距离大于20米的两侧相邻车道内前方运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向左或者向右变道是否危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。毫米波雷达和视觉信息的融合能够有效提高前方环境感知的准确性和有效性。
第二前方摄像头用于红绿灯数据的采集和识别。
第三前方摄像头用于前方车道线数据的采集和识别。
第四前方摄像头用于前方道路交通标志数据的采集和识别。
安装在车辆左侧后视镜位置的左侧前向摄像头用于检测前方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向左变道是否危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。
安装在车辆左侧后视镜位置的左侧后向摄像头用于检测后方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向左变道时，后方来车是否会发生追尾的危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。
安装在车辆右侧后视镜位置的右侧前向摄像头用于检测前方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向右变道是否危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。
安装在车辆右侧后视镜位置的右侧后向摄像头用于检测后方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度，进一步判断车辆向右变道时，后方来车是否会发生追尾的危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。
后方毫米波雷达和后方摄像头用于实时检测车辆正后方运动和静止的目标的相对距离、速度和方位角度，同时还用于实时监测后方纵向距离大于20米的两侧相邻车道内后方接近运动目标的相对距离、速度和方位角度，进一步判断车辆向左或者向右变道时，后方来车是否会发生追尾危险及其危险程度，当前方存在碰撞风险的情况下，决定是否实施变道避撞或者紧急制动。
前方毫米波雷达、第一前视摄像头、后方毫米波雷达、后视摄像头、左侧前视摄像头、左侧后视摄像头用于辅助本车实现向左安全变道。
前方毫米波雷达、前视摄像头、后方毫米波雷达、后视摄像头、右侧前视摄像头、右侧后视摄像头用于辅助本车实现向右安全变道。
上述九个摄像头用于感知车辆周围环境，建立环境模型，并通过自学习和训练，不断学习人驾驶车辆，提高智能车的驾驶水平。
视觉信息处理及深度学习运算平台用于采集9个摄像头的输入信号和2个毫米波雷达的输出数据，并通过摄像头和雷达的安装位置和车辆坐标系之间的关系计算出目标相对车辆的位置信息以及车道线相对车辆的位置信息。
视觉信息处理及深度学习运算平台通过模拟视频输入接口接收9个摄像头的视频数据。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (5)

1.一种用于车辆的环境感知系统，车辆设有安装在车辆前方获取前方障碍物信息的前方毫米波雷达，以及安装在车辆后方的获取后方障碍物信息的后方毫米波雷达，所述前方毫米波雷达和后方毫米波雷达通过CAN总线将信号输送至处理器，其特征在于：车辆设有用于感知车辆周围环境的摄像头，所述处理器通过模拟视频输入接口接收每个摄像头的视频数据，所述处理器输出信号至执行单元；
所述摄像头包括：
用于采集和识别前方车辆数据的第一前方摄像头；
用于采集和识别红绿灯数据的第二前方摄像头；
用于采集和识别前方车道线数据的第三前方摄像头；
用于采集和识别前方道路交通标志数据的第四前方摄像头；
安装在车辆左侧后视镜位置的左侧前向摄像头和左侧后向摄像头；
安装在车辆右侧后视镜位置的右侧前向摄像头和右侧后向摄像头；
用于采集和识别后方车辆数据的后方摄像头；
前方毫米波雷达和第一前方摄像头用于实时检测车辆正前方运动和静止的目标的相对距离、速度和方位角度；
左侧前向摄像头实时检测前方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
左侧后向摄像头实时检测后方纵向距离小于20米的左侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
右侧前向摄像头实时检测前方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
右侧后向摄像头实时检测后方纵向距离小于20米的右侧相邻车道内运动和静止的目标的相对距离、速度和方位角度；
后方毫米波雷达和后方摄像头用于实时检测车辆正后方运动和静止的目标的相对距离、速度和方位角度；
视觉信息处理及深度学习运算平台用于采集9个摄像头的输入信号和2个毫米波雷达的输出数据，并通过摄像头和雷达的安装位置和车辆坐标系之间的关系计算出目标相对车辆的位置信息以及车道线相对车辆的位置信息；
当视觉信息处理及深度学习运算平台获取的目标相对车辆的位置信息以及车道线相对车辆的位置信息达到报警或干涉阈值，则发出报警或进行主动干涉。
2.根据权利要求1所述的用于车辆的环境感知系统，其特征在于：所述处理器为视觉信息处理及深度学习运算平台。
3.根据权利要求2所述的用于车辆的环境感知系统，其特征在于：所述执行单元为车内音响、主动制动单元、报警指示灯中的部分或全部。
4.根据权利要求1所述的环境感知系统，其特征在于：
所述前方毫米波雷达和第一前方摄像头还用于实时监测前方纵向距离大于20米的两侧相邻车道内前方运动和静止的目标的相对距离、速度和方位角度；
后方毫米波雷达和后方摄像头还用于实时监测后方纵向距离大于20米的两侧相邻车道内后方接近运动目标的相对距离、速度和方位角度。
5.根据权利要求1或4所述的环境感知系统，其特征在于：
所述第二前方摄像头用于红绿灯数据的实时采集和识别；
所述第三前方摄像头用于前方车道线数据的实时采集和识别；
所述第四前方摄像头用于前方道路交通标志数据的实时采集和识别。
CN201810890729.9A 2018-08-07 2018-08-07 一种用于车辆的环境感知系统及其控制方法 Active CN109080630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810890729.9A CN109080630B (zh) 2018-08-07 2018-08-07 一种用于车辆的环境感知系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810890729.9A CN109080630B (zh) 2018-08-07 2018-08-07 一种用于车辆的环境感知系统及其控制方法

Publications (2)

Publication Number Publication Date
CN109080630A CN109080630A (zh) 2018-12-25
CN109080630B true CN109080630B (zh) 2020-10-16

Family

ID=64834005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810890729.9A Active CN109080630B (zh) 2018-08-07 2018-08-07 一种用于车辆的环境感知系统及其控制方法

Country Status (1)

Country Link
CN (1) CN109080630B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109720313A (zh) * 2018-12-29 2019-05-07 江西与德电子技术有限公司 一种控制方法、装置、设备及存储介质
CN111409553B (zh) * 2019-01-08 2024-02-20 上汽通用五菱汽车股份有限公司 一种adas显示装置与方法
CN111469835A (zh) * 2019-01-22 2020-07-31 观致汽车有限公司 基于拓扑地图的车辆辅助驾驶系统和方法
CN110008862B (zh) * 2019-03-22 2021-03-30 哈尔滨工业大学（深圳） 一种车辆目标检测方法及相关装置
CN110830774A (zh) * 2019-11-21 2020-02-21 盘古智能科技发展(南京)有限公司 一种城市动态大数据采集系统及方法、信息数据处理终端
CN111071151A (zh) * 2019-12-27 2020-04-28 奇瑞汽车股份有限公司 汽车的防碰撞方法、装置及存储介质
CN113060132B (zh) * 2019-12-30 2022-08-30 湖北航天技术研究院特种车辆技术中心 一种重型车辆的主动安全装置
CN111038393A (zh) * 2020-01-21 2020-04-21 河南科技大学 一种汽车后视镜用车道保持检测系统及其方法
CN111098786A (zh) * 2020-03-19 2020-05-05 南京泰晟科技实业有限公司 基于视觉和毫米波雷达融合的商用车安全驾驶辅助系统
CN112180364B (zh) * 2020-09-25 2022-07-15 华人运通(上海)自动驾驶科技有限公司 获取车辆周围环境的方法、装置、电子设备及存储介质
CN112298040A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种基于透明a柱的辅助驾驶方法
CN112835051A (zh) * 2021-01-12 2021-05-25 广州主塔智能科技有限公司 一种车载雷达警示系统
CN113221638B (zh) * 2021-03-31 2023-05-26 重庆长安汽车股份有限公司 一种车辆目标感知方法及系统
CN114435388B (zh) * 2022-02-23 2023-09-12 一汽解放汽车有限公司 车辆的安全控制系统、方法、装置、设备及车辆
CN114655122A (zh) * 2022-03-31 2022-06-24 江苏理工学院 一种基于激光雷达的智能车辆避障与紧急制动系统
CN116674644A (zh) * 2023-07-28 2023-09-01 北京小米移动软件有限公司 防碰撞控制方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101318491A (zh) * 2008-05-14 2008-12-10 合肥工业大学 嵌入式集成视觉辅助行车安全系统
KR20130085235A (ko) * 2012-01-19 2013-07-29 김동용 자동차의 무인 운전 시스템
US9989966B2 (en) * 2016-05-20 2018-06-05 Delphi Technologies, Inc. Intersection cross-walk navigation system for automated vehicles
CN106004659B (zh) * 2016-08-03 2017-08-04 安徽工程大学 车辆周围环境感知系统及其控制方法
CN107351785A (zh) * 2017-07-12 2017-11-17 奇瑞汽车股份有限公司 车辆周围环境感知系统
CN207523546U (zh) * 2017-10-10 2018-06-22 郑州宇通客车股份有限公司 客车用并线辅助装置与客车

Also Published As

Publication number Publication date
CN109080630A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109080630B (zh) 一种用于车辆的环境感知系统及其控制方法
CN110488319B (zh) 一种基于超声波和摄像头融合的碰撞距离计算方法及系统
US9880554B2 (en) Misrecognition determination device
CN103072537B (zh) 一种基于红外图像处理的汽车防撞安全保护方法
US8493195B2 (en) Method for detecting an environment of a vehicle
KR20200102004A (ko) 충돌 방지 장치, 시스템 및 방법
CN104290753A (zh) 一种前方车辆运动状态追踪预测装置及其预测方法
KR20180078986A (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN105216727A (zh) 一种车辆距离探测主动安全系统和控制方法
CN111708016B (zh) 一种毫米波雷达与激光雷达融合的车辆前碰撞预警方法
CN112406820B (zh) 多车道增强型自动紧急制动系统控制方法
KR20200134379A (ko) 충돌 방지 장치, 그를 가지는 차량 및 그 제어 방법
CN108032809B (zh) 一种倒车侧向辅助系统及其数据融合与控制方法
CN112793507A (zh) 基于惯性器件感知车辆右转运动特性的盲区预警制动系统
KR20200139443A (ko) 운전자 보조 시스템 및 그 제어 방법
CN205523950U (zh) 一种基于超声波雷达的汽车低速防撞预警系统
CN111469835A (zh) 基于拓扑地图的车辆辅助驾驶系统和方法
CN204124125U (zh) 一种前方车辆运动状态追踪预测装置
CN113221638B (zh) 一种车辆目标感知方法及系统
CN110901527A (zh) 一种车辆报警方法和装置
CN113415236A (zh) 重型车盲区监测及预警系统
JP4204830B2 (ja) 車両用運転支援装置
KR20160131196A (ko) 장애물 감지 장치
US20230182722A1 (en) Collision avoidance method and apparatus
Milanes et al. Traffic jam driving with NMV avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant