CN110422173A - 一种行车环境识别方法 - Google Patents

一种行车环境识别方法 Download PDF

Info

Publication number
CN110422173A
CN110422173A CN201910623416.1A CN201910623416A CN110422173A CN 110422173 A CN110422173 A CN 110422173A CN 201910623416 A CN201910623416 A CN 201910623416A CN 110422173 A CN110422173 A CN 110422173A
Authority
CN
China
Prior art keywords
target
vehicle
data
information
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910623416.1A
Other languages
English (en)
Other versions
CN110422173B (zh
Inventor
李海鹏
罗作煌
陈丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Desai Xiwei Intelligent Transportation Technology Research Institute Co Ltd
Original Assignee
Huizhou Desai Xiwei Intelligent Transportation Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Desai Xiwei Intelligent Transportation Technology Research Institute Co Ltd filed Critical Huizhou Desai Xiwei Intelligent Transportation Technology Research Institute Co Ltd
Priority to CN201910623416.1A priority Critical patent/CN110422173B/zh
Publication of CN110422173A publication Critical patent/CN110422173A/zh
Application granted granted Critical
Publication of CN110422173B publication Critical patent/CN110422173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种行车环境识别方法,包括如下步骤:步骤S1:通过雷达以及摄像机分别采集行车环境中的目标信息;步骤S2:对雷达以及摄像机所采集的目标信息进行初步融合处理,得到目标初步融合信息;步骤S3:根据目标初步融合信息和自车行驶状态判断当前行车环境模式;步骤S4:根据当前行车环境模式对目标初步融合信息进行对应的优化处理;步骤S5:输出优化处理后的目标信息数据。本申请设置有多个识别模式以及与识别模式对应的多个优化处理方式,针对不同目标利用不同识别模式进行识别,同时采用对应的优化处理方式对初步融合信息进行不同的融合优化处理,有效提高输出数据的准确率。

Description

一种行车环境识别方法
技术领域
本申请涉及车载导航领域,具体的,涉及一种行车环境识别方法。
背景技术
如今,ADAS(Advanced Driving Assistant System高级辅助驾驶系统)已然成为了汽车行业发展中的一大热点,就车辆方面而言,安装ADAS后的“成品车”无论在操稳性还是安全性方面都得到了巨大的提升,其中,ADAS技术分为“感知”与“控制”两大模块,而后者效果的好坏又有赖于前者的精度。请参考图1及2所示,ADAS技术的“感知”模块一般利用传感器对环境信息、车辆信息等进行检测,而采用“毫米波雷达(Radar)+单目摄像机(Monocular camera)”融合是最为普遍的传感器架构设计方案,布置便捷以及价格低廉是其流行的主要原因。其中,融合结果的位置和速度信息主要来自于毫米波雷达,而目标类别信息则来自于摄像机。但上述的传感器架构,容易存在虚警点、虚假航迹、目标粘黏以及因大幅跳变而带来的感知误差,使得后端的融合算法的应用难度大大增加。
现有技术中常采用在“数据融合”算法中加入“航迹管理”手段解决上述问题,其主要机理为:将当前时刻下的目标位置(present location)与上一时刻的目标位置(lastlocation)进行匹配关联,从而建立航迹,以此对“有效点”与“失效点”进行区分。其中关联算法主要包括最近邻匹配(nearest neighbor)、联合概率数据关联(Joint ProbabilisticData Association,JPDA)以及多假设跟踪(Multiple Hypothesis Tracking,MHT)等。
但是,目前的融合算法对所有的原始数据(raw data)均采用相同的处理方式,融合策略单一,如此一来,使得融合结果容易出现偏差,导致输出数据失真。
发明内容
本申请的目的在于提供一种准确率高的基于深度学习的行车环境识别方法。
本申请公开的一种基于深度学习的行车环境识别方法,如下步骤:步骤S1:通过雷达以及摄像机分别采集行车环境中的目标信息;步骤S2:对雷达以及摄像机所采集的目标信息进行初步融合处理,得到目标初步融合信息;步骤S3:根据目标初步融合信息和自车行驶状态判断当前行车环境模式;步骤S4:根据当前行车环境模式对目标初步融合信息进行对应的优化处理;步骤S5:输出优化处理后的目标信息数据。
根据本申请的一实施方式,当前行车环境模式选自:A1,正常模式:自车前侧的目标的目标类型为车辆,且该目标同时位于摄像机和雷达的探测范围内,其与自车纵向距离为L1~L2,横向距离为L3~L4,L1为5~8米,L2为90~110米,L3为-5米~-3米,L4为3米~5米,若雷达在自车一侧或两侧连续检测出多个冗余点,则自车到由其一侧或两侧的多个冗余点类聚处理后的冗余曲线的横向距离大于第一预设距离;B1,接近模式:自车前侧的目标的目标类型为非车辆,与自车距离为1.2~7米,且该目标的航迹信息曾携带为车辆类型,车辆类型消失前其航迹信息连续记录;C1,危险模式:自车前侧的目标的目标类型为非车辆,与自车距离为0~2米,雷达检测到的目标点闪烁,且雷达检测到的目标点闪烁前,该目标点的航迹信息连续记录;D1,边道模式:雷达在自车一侧或两侧连续检测出多个冗余点,且自车与由该侧或两侧的多个冗余点类聚处理后的冗余曲线的横向距离小于第二预设距离;E1,同时满足边道模式和接近模式;F1,同时满足边道模式和危险模式。
根据本申请的一实施方式,在步骤S1之前还包括步骤S0,采用深度学习算法构建对应多个行车环境模式的神经网络,并对神经网络进行数据训练,数据训练过程包括输入数据、过程处理以及输出数据,其中输入数据内容包括雷达提供的目标信息、摄像提供的目标信息、目标航迹以及自车信息,每种数据包括输入数据类型、数据个数以及数据来源,数据个数均为固定值,若当前时刻下实际数据个数不足则以“-1”作为默认值输入,若实际数据个数过多则舍弃部分直至满足神经网络尺度。
根据本申请的一实施方式,步骤S0中还包括对神经网络采用随机失活进行训练优化。
根据本申请的一实施方式,训练优化过程中若失活对象的所有输入≤0,则更换失活对象,否则,直至失活对象包含至少一个正值输入。
根据本申请的一实施方式,步骤S4中优化处理方法包括:A2,当当前行车环境模式为正常模式时,将目标初步融合信息作为目标信息数据,当其中任何目标的航迹信息长时间未与摄像机提供的视觉数据匹配时,删除其对应航迹信息携带的目标类型;B2,当当前行车环境模式为边道模式时,判断冗余曲线与车道线曲率是否相同,若是,定义对应多个冗余点为冗余数据,并且删除冗余数据,否者,定义对应多个冗余点为有用数据;C2,当当前行车环境模式为接近模式时,保留位于自车正前方的目标的目标类型,并且保留静态目标以及之前具有长久航迹的目标的目标类型;D2,当当前行车环境模式为危险模式时,保留自车正前方的目标的目标航迹和目标类型,非正前方的目标的中的静态目标、具有长久航迹的目标、以及携带车辆类型的目标的航迹信息保留;E2,当当前行车环境模式同时满足边道模式和接近模式时,位于自车正前方的目标的目标类型全部保留,其中静态目标以及之前具有长久航迹的目标的目标类型保留,删除冗余数据;F2,当当前行车环境模式同时满足边道模式和危险模式时,自车正前方目标的航迹信息和目标类型保留,非正前方的目标的中的静态目标、具有长久航迹的目标、以及携带车辆类型的目标的航迹保留,删除冗余数据。
根据本申请的一实施方式,步骤S1中还对雷达以及摄像机所采集的数据进行数据预处理,数据预处理具体为将雷达采集的数据从极坐标系下转换至直角坐标系下以及从摄像机数据中筛选出类型为车辆目标
根据本申请的一实施方式,步骤S3之前,当判断自车的车前的目标车辆距离自车超过100米时,跳过步骤S3,直接将目标初步融合信息作为目标信息数据输出。
本申请的行车环境识别方法设置有多个识别模式以及与识别模式对应的多个优化处理方式,针对不同目标利用不同识别模式进行识别,同时采用对应的优化处理方式对初步融合信息进行不同的融合优化处理,融合策略丰富,适用范围广,融合结果精确度高,有效提高输出数据的准确率。
附图说明
图1为现有技术中一种传感器架构的结构示意图。
图2为现有技术中一种传感器架构的传感器架构探测示意图。
图3为本申请中传感器架构的结构示意图。
图4为本申请中行车环境识别方法流程图。
图5为本申请中行车环境识别方法的边道模式示意图。
图6为本申请中识别区域的示意图。
图7为本申请中步骤S1中数据预处理的示意图。
图8为本申请中步骤S0中神经网络的示意图。
图9为本申请中神经网络的输出层的示意图。
具体实施方式
下面将结合具体实施例及附图对本申请作进一步详细描述。
请参考图3及4所示,分别为本申请中传感器架构的结构示意图以及行车环境识别方法流程图。
本申请提供一种基于深度学习的行车环境识别方法,其主要应用于车载导航,其应用于由雷达1、摄像机2以及ECU单元3(电子处理单元)构成的传感器架构,其中雷达1、摄像机2分别与ECU单元3的输入端电性连接,ECU单元3的输出端与后端网络电性连接。具体的,雷达探测距离大于摄像头的探测距离,而在探测角度方面摄像头的探测角度较大,雷达1可采用单毫米波雷达,其主要用于采集车辆目标距离、目标方位角、目标距离变化率,摄像机2可采用单摄像头传感器,其重要用于采集车辆位置信息、车辆速度信息、车道线信息以及交通标示信息,ECU单元3(电子处理单元)内设置有初步融合模块31、神经网络32以及融合优化模块33,利用初步融合模块31对对雷达1以及摄像机2所采集数据进行初步融合处理得出初步融合信息,然后再通过神经网络32对初步融合信息进行识别,判定数据中目标位于自车的方位,从而通过不同模式进行识别,并且通过融合优化模块32利用不同优化方式对数据处理后在输出至后端网络,其中融合信息包括目标类型以及目标航迹。
本申请的行车环境识别方法,主要包括S1至S5步骤。步骤:
步骤S1:通过雷达以及摄像机分别采集目标信息。
步骤S2:对雷达以及摄像机所采集的目标信息进行初步融合处理,得到目标初步融合信息。具体的,步骤S4中初步融合处理具体为通过匹配算法为将目标信息融合为包括纵向位置、横向位置、纵向速度、横向速度、目标类型的目标初步融合信息。其中匹配算法主要为最近邻匹配(nearest neighbor,NN)、联合概率数据关联(Joint Probabilistic DataAssociation,JPDA)以及多假设跟踪(Multiple Hypothesis Tracking,MHT)中的一种或多种组合。
步骤S3:根据步骤S3中的目标初步融合信息和自车行驶状态判断当前行车环境模式。
步骤S4:根据当前行车环境模式对目标初步融合信息进行对应的优化处理。
步骤S5:输出优化处理后的目标信息数据。
在一实施例中,本申请的行车环境识别方法的在步骤S3之前还包括:记录目标的航迹信息,其中,目标的航迹信息可包含在步骤S5中输出的目标信息数据中,从而丰富本申请的行车环境识别方法输出。
在一实施例中,当前行车环境模式主要选自A1-F1六种模式。本申请的行车环境识别方法主要用于对位于自车前侧的目标进行检测,而位于自车两侧的目标由于对自车的行驶安全影响较小,因此,定义位于自车两侧的数据点为冗余点。
A1,正常模式:自车前侧的目标的目标类型为车辆,且该目标同时位于摄像机和雷达的探测范围内,其与自车纵向距离为L1~L2,横向距离为L3~L4,L1为5~8米,L2为90~110米,L3为-5米~-3米,L4为3米~5米,若雷达在自车一侧或两侧连续检测出多个冗余点,则自车到由其一侧或两侧的多个冗余点类聚处理后的冗余曲线的横向距离大于第一预设距离,换句话说,若雷达在自车前侧的目标的一侧或两侧连续检测出多个冗余点,则前侧的目标到由其一侧或两侧的多个冗余点类聚处理后的冗余曲线的横向距离大于第一预设距离。其中第一预设距离参考现有技术中道路建设的车道宽度标准进行设置,具体的,第一预设距离为现有技术中略大于一车道的宽度距离,例如第一预设距离为2.4m~3.6m,也就是说,正常模式中,自车行驶于至少三车道中的中间车道,此时,雷达所探测的数据点较为独立,较少存在如护栏、树木、电线杆等物体所反馈的数据点。
B1,接近模式:自车前侧的目标的目标类型为非车辆,与自车距离为1.2~7米,且该目标的航迹信息曾携带为车辆类型,车辆类型消失前其航迹信息连续记录。
C1,危险模式:自车前侧的目标的目标类型为非车辆,与自车距离为0~2米,雷达检测到的目标点闪烁,且雷达检测到的目标点闪烁前,该目标点的航迹信息连续记录。也就是说,当塞目标与自车距离过近时,雷达所检测到的目标点由于探测距离短导致雷达数据时间短,目标点呈现闪烁现象。
D1,边道模式:请参考图4所示,其为本申请中行车环境识别方法的边道模式示意图,雷达在自车一侧或两侧连续检测出多个冗余点,且自车与由该侧或两侧的多个冗余点类聚处理后的冗余曲线的横向距离小于第二预设距离。其中第二预设距离同样参考现有技术中道路建设的车道宽度标准进行设置,具体的,第二预设距离为现有技术中略小于一车道的宽度距离,例如第二预设距离为0~2.2m。
E1,同时满足边道模式和接近模式。换句话说,此时自车位于两车道的道路上行驶,或者位移三车道以上的道路中的两侧边车道上行驶。
F1,同时满足边道模式和危险模式。换句话说,此时自车位于两车道的道路上行驶,或者位移三车道以上的道路中的两侧边车道上行驶。
在本生申请的行车环境识别方法中,在步骤S3之前,当判断自车的车前的目标车辆距离自车超过100米时,跳过步骤S3,直接将目标初步融合信息作为目标信息数据输出,如此一一来,对本申请的行车环境识别方法最大运作范围进行限制,从而保证识别方法的稳定性。
请一并参考图6所示,其为本申请中识别区域的示意图,通过上述六种识别模式使采用本申请的行车环境识别方法的汽车从行车方向划分为四种识别区域,分别为非识别区、模式识别区、类型保留区以及航迹保留区。
具体的,非识别区定义为离自车前方较远处区域,距离大于雷达所采集范围区域(例如大于100m),由于此处目标危险性较小因此不做环境识别,也就是说,本申请的行车环境识别方法所应用的传感器架构不对处于非识别区的目标进行环境识别,直接通过融合处理后进行目标信息数据输出。
模式识别区定义为自车与目标保持一定距离(例如6m110m)且目标车辆完整可视区域,换句话说,目标位于距离自车的距离落入雷达或摄像机的采集范围内,此时传感器架构开启行车环境识别功能。
类型保留区定义为在该区域内摄像机探测的目标出现死角部分可视,例如距离自车0m~7m范围。
航迹保留区定义为自车过于接近目标时,例如距离自车0~5m范围,雷达所采集数据的反馈间断时间短,目标数据点产生闪烁,此时神经网络大概率识别为危险模式。
在一实施例中,步骤S4中优化处理方法包括以下A2-F2。
A2,当当前行车环境模式为正常模式时,将目标初步融合信息作为目标信息数据,当其中任何目标的航迹信息长时间未与摄像机提供的视觉数据匹配时,删除其对应航迹信息携带的目标类型。换句话说,当一目标识别为一种,目标类型(例如目标识别为车辆)后,目标的航迹信息长时间与摄像机的数据不匹配,传感器架构删除对应目标的目标类型,作为无用数据处理。
B2,当当前行车环境模式为边道模式时,判断冗余曲线与车道线曲率是否匹配,既判断冗余曲线与车道线曲率是否相同,若是,定义对应多个冗余点为冗余数据,并且删除冗余数据,否者,定义对应多个冗余点为有用数据。
C2,当当前行车环境模式为接近模式时,保留位于自车正前方的目标的目标类型,并且保留静态目标以及之前具有长久航迹的目标的目标类型。其中具有长久航迹的目标具体为对应目标具有大于预设阀值时间的航迹信息,例如阀值时间为3S,则具有长久航迹的目标具有大于3S的航迹信息。
D2,当当前行车环境模式为危险模式时,保留自车正前方的目标的目标航迹和目标类型,非正前方的目标的中的静态目标、具有长久航迹的目标、以及携带车辆类型的目标的航迹信息保留;
E2,当当前行车环境模式同时满足边道模式和接近模式时,位于自车正前方的目标的目标类型全部保留,其中静态目标以及之前具有长久航迹的目标的目标类型保留,删除冗余数据;
F2,当当前行车环境模式同时满足边道模式和危险模式时,自车正前方目标的航迹信息和目标类型保留,非正前方的目标的中的静态目标、具有长久航迹的目标、以及携带车辆类型的目标的航迹保留,删除冗余数据。
在一实施例中,为了减少神经网络的工作负荷,提高其响应效率,ECU单元3中还设置有预处理模块34,请参考图7所示,其为数据预处理的示意图,其中预处理模块34用于对雷达1以及摄像机2所采集的原始数据进行预处理。具体的,在步骤S1中通过预处理模块34对雷达以及摄像机所采集的数据进行数据预处理,具体包括以下两点:1)将雷达采集的数据从极坐标系下转换至直角坐标系下;2)从摄像机数据中筛选出类型为车辆的目标,从省略摄像机的类型输入项,其中目标的类型于ECU中采用现有技术中的识别方法对数据进行预匹配,即ECU对摄像机数据中的目标进行自动识别匹配类型。通过上述预处理模块34有效提高传感器架构的响应速度,并且防止神经网络的模型过程而导致的梯度消失现象(Gradient Vanishing),有效提高本申请的行车环境识别方法可靠性。
在一实施例中,请参考图8所示,其为为本申请中步骤S0中神经网络的示意图,在步骤S1之前还包括步骤S0:采用深度学习算法构建对应多个行车环境模式的神经网络,例如图8中所示的前馈全连接的神经网络模型,并对神经网络进行数据训练。其中输入数据内容包括雷达提供的目标信息、摄像提供的目标信息、目标航迹以及自车信息,每种数据包括输入数据类型、数据个数以及数据来源。具体的,数据个数均为固定值,若当前时刻下实际数据个数不足则以“-1”作为默认值输入,若实际数据个数过多则舍弃部分直至满足神经网络尺度,如此一来,保证每次输入数据的有效性,有效保证数据训练过程的稳定性,减少错误发生,缩短训练时长。在另一实施例中,ECU单元3还设置有航迹存储模块35,其中航迹存储模块35用于记录目标的航迹信息换句话说,航迹存储模块35存储目标至少2帧航迹信息,在数据训练过程中输入数据时,航迹存储模块35将至少2帧目标历史航迹信息输入至神经网络进行数据训练,有效提高本申请行车环境识别方法对行车环境识别准确性。
在一实施例中,神经网络采用Xavier算法进行参数初始化设计,使得神经网络的权重均匀分布。
在一实施例中,神经网络采用ReLU函数作为激活函数,使得当输入数值为默认值“-1”时,激活函数输出为“0”,从而更加有效率的梯度下降以及反向传播,进一步避免梯度爆炸和梯度消失问题。
在一实施例中,步骤S2中还包括对神经网络采用随机失活进行训练优化,从而进一步降低梯度消失现象对神经网络的影响。在另一实施例中,训练优化过程中若失活对象的所有输入≤0,则更换失活对象,否则,直至失活对象包含至少一个正值输入,如此一来,使得随机失活具备导向性,有效增加随机失活的使用有效性。
在又一实施例中,请参考图9所示,其为本申请中神经网络的输出层的示意图,神经网络采用独热编码(one-hot encode),如此一来,使得本申请的行车环境识别方法的六种识别模式两两之间相互独立,换句话说,单一时刻下自车只可能存在其中一种识别模式,保证输出数据的准确性。在另一实施例中,神经网络还采用归一化指数函数(softmax)作为网络输出层,进一步提升神经网络的响应速度。
综上所述,本申请的行车环境识别方法设置有多个识别模式以及与识别模式对应的多个优化处理方式,针对不同目标利用不同识别模式进行识别,同时采用对应的优化处理方式对初步融合信息进行不同的融合优化处理,融合策略丰富,适用范围广,融合结果精确度高,有效提高输出数据的准确率。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
虽然对本申请的描述是结合以上具体实施例进行的,但是,熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化、是显而易见的。因此,所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。

Claims (10)

1.一种行车环境识别方法,其特征在于,包括如下步骤:
步骤S1:通过雷达以及摄像机分别采集行车环境中的目标信息;
步骤S2:对雷达以及摄像机所采集的目标信息进行初步融合处理,得到目标初步融合信息;
步骤S3:根据所述目标初步融合信息和自车行驶状态判断当前行车环境模式;
步骤S4:根据当前行车环境模式对所述目标初步融合信息进行对应的优化处理;以及
步骤S5:输出优化处理后的目标信息数据。
2.根据权利要求1所述的行车环境识别方法,其特征在于,所述步骤S2中初步融合处理具体为通过匹配算法为将目标信息融合为包括纵向位置、横向位置、纵向速度、横向速度、目标类型的目标初步融合信息。
3.根据权利要求1所述的行车环境识别方法,其特征在于,所述步骤S3之前还包括:记录目标的航迹信息的步骤。
4.根据权利要求3所述的行车环境识别方法,其特征在于,所述当前行车环境模式选自:
A1,正常模式:自车前侧的目标的目标类型为车辆,且该目标同时位于所述摄像机和雷达的探测范围内,其与自车纵向距离为L1~L2,横向距离为L3~L4,L1为5~8米,L2为90~110米,L3为-5米~-3米,L4为3米~5米,若所述雷达在自车一侧或两侧连续检测出多个冗余点,则自车到由其一侧或两侧的多个冗余点类聚处理后的冗余曲线的横向距离大于第一预设距离;
B1,接近模式:自车前侧的目标的目标类型为非车辆,与自车距离为1.2~7米,且该目标的航迹信息曾携带为车辆类型,车辆类型消失前其航迹信息连续记录;
C1,危险模式:自车前侧的目标的目标类型为非车辆,与自车距离为0~2米,雷达检测到的目标点闪烁,且雷达检测到的目标点闪烁前,该目标点的航迹信息连续记录;
D1,边道模式:所述雷达在自车一侧或两侧连续检测出多个冗余点,且自车与由该侧或两侧的多个所述冗余点类聚处理后的冗余曲线的横向距离小于第二预设距离;
E1,同时满足边道模式和接近模式;以及
F1,同时满足边道模式和危险模式。
5.根据权利要求1所述的行车环境识别方法,其特征在于,所述步骤S1中还对雷达以及摄像机所采集的数据进行数据预处理,数据预处理具体为将雷达采集的数据从极坐标系下转换至直角坐标系下以及从摄像机数据中筛选出类型为车辆目标。
6.根据权利要求1所述的行车环境识别方法,其特征在于,在所述步骤S1之前还包括步骤S0:采用深度学习算法构建对应多个行车环境模式的神经网络,并对神经网络进行数据训练,所述数据训练过程包括输入数据、过程处理以及输出数据,其中所述输入数据内容包括雷达提供的目标信息、摄像提供的目标信息、目标航迹以及自车信息,每种数据包括输入数据类型、数据个数以及数据来源,所述数据个数均为固定值,若当前时刻下实际数据个数不足则以“-1”作为默认值输入,若实际数据个数过多则舍弃部分直至满足神经网络尺度。
7.根据权利要求7所述的行车环境识别方法,其特征在于,所述步骤S0中还包括对神经网络采用随机失活进行训练优化。
8.根据权利要求8所述的行车环境识别方法,其特征在于,所述训练优化过程中若失活对象的所有输入≤0,则更换失活对象,否则,直至失活对象包含至少一个正值输入。
9.根据权利要求3所述的行车环境识别方法,其特征在于,所述步骤S4中优化处理方法包括:
A2,当当前行车环境模式为所述正常模式时,将所述目标初步融合信息作为目标信息数据,当其中任何目标的航迹信息长时间未与摄像机提供的视觉数据匹配时,删除其对应航迹信息携带的目标类型;
B2,当当前行车环境模式为所述边道模式时,判断冗余曲线与车道线曲率是否相同,若是,定义对应多个冗余点为冗余数据,并且删除冗余数据,否者,定义对应多个冗余点为有用数据;
C2,当当前行车环境模式为所述接近模式时,保留位于自车正前方的目标的目标类型,并且保留静态目标以及之前具有长久航迹的目标的目标类型;
D2,当当前行车环境模式为所述危险模式时,保留自车正前方的目标的目标航迹和目标类型,非正前方的目标的中的静态目标、具有长久航迹的目标、以及携带车辆类型的目标的航迹信息保留;
E2,当当前行车环境模式同时满足边道模式和接近模式时,位于自车正前方的目标的目标类型全部保留,其中静态目标以及之前具有长久航迹的目标的目标类型保留,删除冗余数据;以及
F2,当当前行车环境模式同时满足边道模式和危险模式时,自车正前方目标的航迹信息和目标类型保留,非正前方的目标的中的静态目标、具有长久航迹的目标、以及携带车辆类型的目标的航迹保留,删除冗余数据。
10.根据权利要求10所述的行车环境识别方法,其特征在于,所述步骤S3之前,当判断自车的车前的目标车辆距离自车超过100米时,跳过步骤S3,直接将所述目标初步融合信息作为目标信息数据输出。
CN201910623416.1A 2019-07-11 2019-07-11 一种行车环境识别方法 Active CN110422173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910623416.1A CN110422173B (zh) 2019-07-11 2019-07-11 一种行车环境识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623416.1A CN110422173B (zh) 2019-07-11 2019-07-11 一种行车环境识别方法

Publications (2)

Publication Number Publication Date
CN110422173A true CN110422173A (zh) 2019-11-08
CN110422173B CN110422173B (zh) 2021-01-15

Family

ID=68410480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623416.1A Active CN110422173B (zh) 2019-07-11 2019-07-11 一种行车环境识别方法

Country Status (1)

Country Link
CN (1) CN110422173B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
WO2023066156A1 (zh) * 2021-10-18 2023-04-27 长沙中车智驭新能源科技有限公司 一种视觉雷达感知融合方法及终端设备
CN113033586B (zh) * 2019-12-24 2024-04-16 大富科技(安徽)股份有限公司 目标识别方法及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324936A (zh) * 2013-05-24 2013-09-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
CN106569214A (zh) * 2016-10-31 2017-04-19 惠州市德赛西威汽车电子股份有限公司 结合导航信息的自适应巡航车载雷达数据处理方法及系统
US20180067487A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Perceiving Roadway Conditions from Fused Sensor Data
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建系统与方法
CN108216249A (zh) * 2016-12-21 2018-06-29 罗伯特·博世有限公司 用于车辆的周围环境检测的系统和方法
US20180365503A1 (en) * 2017-06-16 2018-12-20 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium
CN109278754A (zh) * 2017-07-21 2019-01-29 福特全球技术公司 用于基于环境的驾驶员辅助功能的调整的方法和装置
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
KR20190040550A (ko) * 2017-10-11 2019-04-19 현대모비스 주식회사 차량에서의 장애물 검출장치 및 그 제어방법
CN109766757A (zh) * 2018-12-11 2019-05-17 惠州市德赛西威汽车电子股份有限公司 一种融合车辆和视觉信息的泊车位高精度定位方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324936A (zh) * 2013-05-24 2013-09-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
US20180067487A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Perceiving Roadway Conditions from Fused Sensor Data
CN106569214A (zh) * 2016-10-31 2017-04-19 惠州市德赛西威汽车电子股份有限公司 结合导航信息的自适应巡航车载雷达数据处理方法及系统
CN108216249A (zh) * 2016-12-21 2018-06-29 罗伯特·博世有限公司 用于车辆的周围环境检测的系统和方法
US20180365503A1 (en) * 2017-06-16 2018-12-20 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium
CN109278754A (zh) * 2017-07-21 2019-01-29 福特全球技术公司 用于基于环境的驾驶员辅助功能的调整的方法和装置
KR20190040550A (ko) * 2017-10-11 2019-04-19 현대모비스 주식회사 차량에서의 장애물 검출장치 및 그 제어방법
CN107972585A (zh) * 2017-11-30 2018-05-01 惠州市德赛西威汽车电子股份有限公司 结合雷达信息的自适应3d环视场景重建系统与方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN109766757A (zh) * 2018-12-11 2019-05-17 惠州市德赛西威汽车电子股份有限公司 一种融合车辆和视觉信息的泊车位高精度定位方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033586B (zh) * 2019-12-24 2024-04-16 大富科技(安徽)股份有限公司 目标识别方法及设备
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
WO2023066156A1 (zh) * 2021-10-18 2023-04-27 长沙中车智驭新能源科技有限公司 一种视觉雷达感知融合方法及终端设备

Also Published As

Publication number Publication date
CN110422173B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
US11084494B2 (en) Method for detecting safety of driving behavior, apparatus, device and storage medium
CN109849910B (zh) 无人驾驶车辆多目标决策控制方法、装置及计算机可读存储介质
CN110422173A (zh) 一种行车环境识别方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN110077398B (zh) 一种用于智能驾驶的危险处理方法
Tsugawa et al. An architecture for cooperative driving of automated vehicles
CN106251701A (zh) 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
CN105160356B (zh) 一种车辆主动安全系统传感器数据融合方法及系统
CN111391856A (zh) 汽车自适应巡航的前方弯道检测系统及方法
CN108133484B (zh) 基于场景分割的自动驾驶处理方法及装置、计算设备
CN105929823A (zh) 基于现有地图的自动驾驶系统及其驾驶方法
CN109270524B (zh) 基于无人驾驶的多数据融合障碍物检测装置及其检测方法
CN102509418A (zh) 一种多传感信息融合的疲劳驾驶评估预警方法及装置
CN107813817A (zh) 无人驾驶系统、无人驾驶方法及车辆
CN106569214B (zh) 结合导航信息的自适应巡航车载雷达数据处理方法及系统
CN106448267B (zh) 基于车联网的道路交通事故链阻断系统
CN106125731A (zh) 一种基于后方车辆行驶意图识别的无人驾驶车辆运动控制系统及方法
CN109878530B (zh) 识别车辆侧向行驶工况的方法和系统
CN115170863A (zh) 基于多源数据预估风险的方法、装置、设备及存储介质
CN111409455A (zh) 车辆的速度控制方法及装置、电子设备、存储介质
CN113689718B (zh) 智能信号灯与车道匹配系统及匹配方法
CN113432615B (zh) 基于多传感器融合可驾驶区域的检测方法、系统和车辆
CN113562005A (zh) 轨道列车司机行为智能监测和障碍物侵限智能侦测系统
CN114758494A (zh) 一种基于通信感知多源数据融合的交通参数检测系统及方法
CN111469852B (zh) 用于机动车的驾驶员辅助系统的主对象选择的方法和驾驶辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant