CN111845709B - 一种基于多信息融合的路面附着系数估计方法及系统 - Google Patents
一种基于多信息融合的路面附着系数估计方法及系统 Download PDFInfo
- Publication number
- CN111845709B CN111845709B CN202010693994.5A CN202010693994A CN111845709B CN 111845709 B CN111845709 B CN 111845709B CN 202010693994 A CN202010693994 A CN 202010693994A CN 111845709 B CN111845709 B CN 111845709B
- Authority
- CN
- China
- Prior art keywords
- road surface
- adhesion coefficient
- road
- image
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 abstract description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/02—Control of vehicle driving stability
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/064—Degree of grip
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种多信息融合的路面附着系数估计方法及系统,该方法包括:首先,借助摄像头获取的图像特征来实时识别路面类型,根据经验值获取该区域的第一路面附着系数;其次,构建激光雷达扫描获得的地面点云反射强度图,得到第二路面附着系数;然后,在车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处的第三路面附着系数;最后,以第三路面附着系数为基准,对第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。本发明在保证识别准确性的前提下,又满足了实时性的要求,对合理制定车辆主动安全控制策略以及对底盘各子系统间协调控制有重大的指导意义。
Description
技术领域
本发明涉及车前路面工况特征识别领域,尤其涉及一种基于多信息融合的路面附着系数估计方法及系统。
背景技术
全球每年仍有高达130多万人死于道路交通安全事故。交通安全事故的频繁发生不仅与汽车保有量的增加、驾驶员水平及其心理素质等相关,而且还与汽车主动安全控制技术的发展息息相关。特别是在路面附着条件较差的情况下,如在雪地、冰面和泥泞等较差的路面附着条件下,车辆极易出现抱死拖滑、侧翻和过度滑转甚至失稳等现象,使得轮胎力学特性极易处于极限状态,甚至失稳而酿成交通安全事故。实时准确地获取路面附着信息是实现车辆动力学稳定性控制的前提,也是合理制定车辆主动安全控制策略以及底盘各子系统间协调控制的重要参考依据。现有的路面附着系数估计方法存在如下问题:
(1)采用动力学响应来估计路面附着系数虽然准确度较高,但要求轮胎已到达附着极限的75-80%,且要求车辆加/减速、转向等驾驶操纵的配合。另外,所采用的递推最小二乘估计法是建立于一定长度的测量数据基础上,无法满足实时性要求。
(2)在路面环境和光照等外界因素理想的情况下,依据摄像头或激光雷达等图像方式来识别路面类型并估计与之对应的附着系数已具有较高的准确度。但现实中该方法受现场环境和天候影响较大;而且,所依赖的先验数据库很难涵盖特征各异、堆积物覆盖、甚至“表里”不同的复杂路面工况。
发明内容
本发明提出一种基于车辆动力学、摄像头、激光雷达传感器多信息融合的路面附着系数的估计方法及系统,既能满足实时性的要求,也能准确地识别出复杂的路面工况,对车辆主动安全控制策略以及底盘各子系统间协调控制具有重要的进步意义。
本发明提供了如下技术方案:
一方面,本发明提供了一种基于多信息融合的路面附着系数估计方法,该方法包括:
通过摄像头获取路面区域的图像,并基于所述路面区域的图像确定所述路面的路面类型;
基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;
构建激光雷达扫描获得的地面点云反射强度图,对所述地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,所述分割后的各个有效的路面区域具有类似的路面材质和相近的反射强度;
基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;
车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;
以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
优选地,基于所述路面区域的图像确定所述路面的路面类型包括:
基于所述路面区域的图像,获取所述路面区域的当前图像特征;
通过深度学习的方式由所述当前图像特征与已建模路面图像数据库的置信度实时识别当前路面类型。
优选地,基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数,包括:
从预先构建的先验数据库中找到与所述路面类型一致的先验路面类型;将所述先验路面类型对应的路面附着系数经验值作为第一路面附着系数。
优选地,基于所述先验数据库估计所述分割后的各个有效区域的附着系数,得到第二路面附着系数,包括:
建立所述分割后的路面区域的主成分反射强度和噪声反射强度的混合高斯分布概率模型,对于所述分割后的路面区域内的M个观测数据,构造似然函数L(x):
其中,x表示路面区域内的各个观测数据,qj为第j个观测数据,αi为混合比率,φ(qj|μi,σi)为第i个分模型的高斯分布密度;分割后的路面区域的主成分反射强度服从高斯分布N(μmax,σmax),其中μmax、σmax分别为高斯分布的最大期望值和最大标准差;噪声反射强度分布服从高斯分布N(μmin,σmin),其中μmin、σmin分别为高斯分布的最小期望值和最小标准差;参数αi,μi和σi根据极大似然估计原理求解;
所述分割后的路面区域的当前测量量与所述先验数据库中的先验路面类型i在概率密度函数上有交集,其联合概率为PiB;其中所述当前测量量的分布特征为N(μB,σB),先验模型i的分布特征为N(μi,σi),i=1,2,…,N,N为所述先验数据库中的先验路面类型的数量;
通过对比最大联合概率值,确定与所述当前测量量对应的最相近先验路面类型,将所述先验路面类型对应的路面附着系数经验值作为第二路面附着系数μB,其中,μB=μ(PB),PB为N个联合概率中的最大值,μ(PiB)为联合概率PiB对应的路面附着系数。
优选地,所述采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数,包括:
所述第三路面附着系数μx为:
其中,车辆动力学模型解算求得的某轮胎纵向力为Fx,垂向力为Fz,S为轮胎滑转率,S由递推最小二乘计算得到:
优选地,以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数,包括:
若(PA<Pmin)∪(PB<Pmin),则说明当前路面未建模或特征不明显,将摄像头获取的路面区域的图像、激光雷达反射强度及所述第三路面附着系数作为新增记录加入所述先验数据库;其中,PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;否则:
若PA>Pmin,说明摄像头得到的路面特征明显,将所述第一路面附着系数用于后续比较;
若PB>Pmin,说明激光雷达得到的路面特征明显,将所述第二路面附着系数用于后续比较;
若PA>Pmin且PB>Pmin,此时若当前路面为覆水、覆冰或者湿路的特殊天候,则输出最终的路面附着系数μ=μB;否则,将所述第一路面附着系数和所述第二路面附着系数进行融合,将融合后的附着系数用于后续比较;
比较环节如下:以所述第三路面附着系数为基准,若(PA>Pmin)∩(|μx-μA|>μmin),则意味着图像方式估计偏差较大,输出最终的路面附着系数μ=μx,并更新当前摄像头图像特征先验数据库中相对应的附着系数;其中,μA为第一路面附着系数、μB为第二路面附着系数,μx为第三路面附着系数,μi为融合后的路面附着系数,μmin为μA与μB的差异性阀值;PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;
若(PA>Pmin)∩(|μx-μA|<μmin),则意味着图像估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μA;
若(PB>Pmin)∩(|μx-μB|>μmin),则意味着激光雷达方式估计的偏差较大,则输出路面附着系数μ=μx,并更新当前激光雷达图像特征先验数据库中相对应的附着系数;
若(PB>Pmin)∩(|μx-μB|<μmin),则意味着激光雷达估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μB;
若[(PA>Pmin)∩(PB>Pmin)]∩(|μx-μi|<μmin),则意味着融合后的估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μi;
若[(PA>Pmin)∩(PB>Pmin)]∩(|μx-μi|>μmin),则意味着融合后的估计值偏差较大,则输出路面附着系数μ=μx,并更新当前数据库附着系数。
优选地,将所述第一路面附着系数和所述第二路面附着系数进行融合,包括:
以车前地形的2.5D网格为基准,将所述摄像头获得的路面区域和激光雷达获得的分割后的路面区域对齐;
根据激光雷达估计值的局部差异性分布,对μA进行修正,得到融合后的路面区域Bi附着系数μi:
其中,f(·)为修正函数;B1~BN为分割后的各子区域与所述摄像头获取的路面区域重叠的区域,μB1~μBN分别为分割后的各个子区域依据反射强度特征估计的附着系数。
另一方面,本发明还提供了一种基于多信息融合的路面附着系数估计系统,所述系统包括:摄像头、激光雷达、GPS、惯性测量单元以及路面附着系数估计装置;所述路面附着系数估计装置分别与所述摄像头、激光雷达、GPS、惯性测量单元连接;
所述摄像头用于实时获取路面区域的图像;
所述激光雷达用于实时扫描获得地面点云反射强度图;
所述GPS和惯性测量单元用于得到轮胎的纵向动力学响应;
所述路面附着系数估计装置,用于基于摄像头获取的路面区域的图像确定所述路面的路面类型;基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;对激光雷达得到的地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,分割后的每一区域具有类似的路面材质和相近的反射强度;并基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
本发明与现有技术相比具有如下有益效果:
(1)本发明采用了摄像机和激光雷达获得的图像识别为主,动力学响应在线学习为辅的路面附着系数识别方法,相比现有的采用动力学响应的方法来估计路面附着系数的方法,在保证识别准确性的前提下,又满足了实时性的要求。
(2)本发明采用了摄像机和激光雷达获得的图像识别为主,动力学响应在线学习为辅的路面附着系数识别方法,相比现有的采用摄像头或者激光雷达等图像方式来识别路面类型并估计附着系数的方法,通过动力学响应在线学习削弱了现场环境和气候的影响,并覆盖各种不同的路面工况,实时并且准确地得到路面附着系数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种路面附着系数估计方法的流程示意图;
图2为本发明一个实施例提供的附着系数融合过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实时准确地获取路面附着信息是实现车辆动力学稳定性控制的前提,也是合理制定车辆主动安全控制策略以及底盘各子系统间协调控制的重要参考依据。为此,本发明首先借助摄像头获取的图像特征来实时识别路面类型,然后根据经验值获取该区域A路面附着系数;其次,构件激光雷达扫描获得的地面点云反射强度图,分割出区域B具有类似的路面材质和相近的反射强度;然后,以车前地形的2.5D网格为基准,将区域A和区域B对齐;进一步地,在车辆行进过程中,采用轮胎的纵向动力学响应来再次估计车辆轮胎位置处的附着系数;最后,综合考虑当前路面特征与先验数据库的置信度以及路面实际状况,设计模糊理论,将摄像头、激光雷达、动力学响应估计得到的附着系数进行融合来估计路面最终的附着系数。
如图1所示,其示出了本发明实施例的一种基于多信息融合的路面附着系数估计方法,该方法的详细步骤说明如下:
S101、通过摄像头获取路面区域的图像,并基于路面区域的图像确定路面的路面类型。
S102、基于路面类型和预先构建的先验数据库,估计摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;先验数据库中包括各种先验路面类型对应的路面附着系数经验值。
普通路面类型(如土路、砂石路、沥青路等)的图像特征明显,本发明实施例中借助多层卷积神经网络,通过深度学习的方式由当前图像特征与已建模路面图像数据库的置信度(设为PA)来实时识别路面的类型,进一步结合经验值估计图像中该路面区域A的附着系数(设为μA)。
S103、构建激光雷达扫描获得的地面点云反射强度图,对地面点云反射强度的灰度图进行图像分割,分割后的每一区域具有类似的路面材质和相近的反射强度。
S104、基于先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数。
路面上存在破损、凹槽、地面标识、填充物等,测量的路面不是一个完全均质的路面。强度图中会存在很多无效信息,所以要对所述地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域。分割后的每一区域B具有类似的路面材质和相近的反射强度。
得到第二路面附着系数μB的具体方式如下:设路面区域B的主成分反射强度服从高斯分布N(μmax,σmax),其中μmax、σmax分别为高斯分布的最大期望值和最大标准差;噪声的反射强度分布服从高斯分布N(μmin,σmin),其中μmin、σmin分别为高斯分布的最小期望值和最小标准差。
建立二者的混合高斯分布概率模型,对于区域内的M个观测数据,构造似然函数L为:
其中,x表示路面区域内的各个观测数据,qj为第j个观测数据,αi为混合比率,φ(qj|μi,σi)为第i个分模型的高斯分布密度。
根据极大似然估计原理求解模型参数αi,μi和σi。
设先验数据库中有N个不同的路面类型,区域B的当前测量(分布特征为N(μB,σB))与先验模型i(i=1,2,…,N,分布特征为N(μi,σi))在概率密度函数上有交集,其联合概率为PiB。则可以通过对比最大联合概率值来确定与当前路面对应的最相近先验路面,进而估计路面附着系数μB:
μB=μ(PB) (2)
S105、车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数。
设车辆动力学模型解算求得的某轮胎纵向力为Fx,垂向力为Fz,则当前路面的附着系数,也就是第三路面附着系数μx可表示为:
S为轮胎滑转率,可通过递推最小二乘计算如下:
其中,K(t)为增益,P(t)为估计方差,λ为遗忘因子,λx为轮胎的纵向滑移率,可由当前车速vx和车轮转速w求得:
S106、以第三路面附着系数为基准,更新先验数据库并对第一路面附着系数和第二路面附着系数进行修正,得到最终的路面附着系数。
综合考虑当前路面特征与先验数据库的置信度以及路面有无潮湿、覆水、覆冰等情况,设计模糊逻辑,将采用摄像头(第一路面附着系数μA)、激光雷达(第二路面附着系数μB)和动力学响应(第三路面附着系数μx)融合的方式来估计最终的路面附着系数μ。其中基于动力学响应的附着系数μx估计方法主要用于先验数据库的“事前”构建和大偏差附着系数的“事后”在线修正。如图2所示,具体的描述如下:
若(PA<Pmin)∪(PB<Pmin),则说明当前路面未建模或特征不明显,将摄像头获取的路面区域的图像、激光雷达反射强度及所述第三路面附着系数作为新增记录加入所述先验数据库;其中,PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;否则:
若PA>Pmin,说明摄像头得到的路面特征明显,将所述第一路面附着系数用于后续比较;
若PB>Pmin,说明激光雷达得到的路面特征明显,将所述第二路面附着系数用于后续比较;
若PA>Pmin且PB>Pmin,此时若当前路面为覆水、覆冰或者湿路的特殊天候,则输出最终的路面附着系数-μ=μB;否则,将所述第一路面附着系数和所述第二路面附着系数进行融合,将融合后的附着系数用于后续比较。
本发明所述观点是车辆动力学响应所估计的附着系数μx较为准确,所以如果摄像头或者激光雷达估计的附着系数与动力学相差不大,则视为该方式是可信的。比较环节详细阐述如下:
以所述第三路面附着系数为基准,若(PA>Pmin)∩(|μx-μA|>μmin),则意味着图像方式估计偏差较大,输出最终的路面附着系数μ=μx,并更新当前摄像头图像特征先验数据库中相对应的附着系数;其中,μA为第一路面附着系数、μB为第二路面附着系数,μx为第三路面附着系数,μmin为μA与μB的差异性阀值;PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;
若(PA>Pmin)∩(|μx-μA|<μmin),则意味着图像估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μA;
若(PB>Pmin)∩(|μx-μB|>μmin),则意味着激光雷达方式估计的偏差较大,则输出路面附着系数μ=μx,并更新当前激光雷达图像特征先验数据库中相对应的附着系数;
若(PB>Pmin)∩(|μx-μB|<μmin),则意味着激光雷达估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μB;
若[(PA>Pmin)∩(PB>Pmin)]∩(|μx-μi|<μmin),则意味着融合后的估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μi;
若[(PA>Pmin)∩(PB>Pmin)]∩(|μx-μi|>μmin),则意味着融合后的估计值偏差较大,则输出路面附着系数μ=μx,并更新当前数据库附着系数。
基于上述模糊逻辑规则对图像特征、路面工况的综合评判,最终的路面附着系数μ,μ={μA,μB,μi,μx}。
本发明提出的采用摄像机和激光雷达获得的图像识别为主,动力学响应在线学习为辅的路面附着系数识别方法,在保证识别准确性的前提下,又满足了实时性的要求,对合理制定车辆主动安全控制策略以及对底盘各子系统间协调控制有重大的指导意义。
对应于上述实施例中的多信息融合的路面附着系数估计方法,本发明实施例中提供了一种基于多信息融合的路面附着系数估计系统,所述系统包括:摄像头、激光雷达、GPS、惯性测量单元以及路面附着系数估计装置;所述路面附着系数估计装置分别与所述摄像头、激光雷达、GPS、惯性测量单元连接;
所述摄像头用于实时获取路面区域的图像;
所述激光雷达用于实时扫描获得地面点云反射强度图;
所述GPS和惯性测量单元用于得到轮胎的纵向动力学响应;
所述路面附着系数估计装置,用于基于摄像头获取的路面区域的图像确定所述路面的路面类型;基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;对激光雷达得到的地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,分割后的每一区域具有类似的路面材质和相近的反射强度;并基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于多信息融合的路面附着系数估计方法,其特征在于,所述方法包括:
通过摄像头获取路面区域的图像,并基于所述路面区域的图像确定所述路面的路面类型;
基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;
构建激光雷达扫描获得的地面点云反射强度图,对所述地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,所述分割后的各个有效的路面区域具有类似的路面材质和相近的反射强度;
基于所述先验数据库估计所述分割后的各个有效区域的附着系数,得到第二路面附着系数;
车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;
以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数,包括:
若(PA≤Pmin)∩(PB≤Pmin),则说明当前路面未建模或特征不明显,将摄像头获取的路面区域的图像、激光雷达反射强度及所述第三路面附着系数作为新增记录加入所述先验数据库;其中,PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;否则:
若PA>Pmin,说明摄像头得到的路面特征明显,将所述第一路面附着系数用于后续比较;
若PB>Pmin,说明激光雷达得到的路面特征明显,将所述第二路面附着系数用于后续比较;
若PA>Pmin且PB>Pmin,此时若当前路面为覆水、覆冰或者湿路的特殊天候,则输出最终的路面附着系数μ=μB;否则,将所述第一路面附着系数和所述第二路面附着系数进行融合,将融合后的附着系数用于后续比较;
比较环节如下:
以所述第三路面附着系数为基准,若(PA>Pmin)∩(|μx-μA|>μmin),则意味着图像方式估计偏差较大,输出最终的路面附着系数μ=μx,并更新当前摄像头图像特征先验数据库中相对应的附着系数;其中,μA为第一路面附着系数、μB为第二路面附着系数,μi为融合后的路面附着系数,μx为第三路面附着系数,μmin为μA与μB的差异性阀值;PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;
若(PA>Pmin)∩(|μx-μA|<μmin),则意味着图像估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μA;
若(PB>Pmin)∩(|μx-μB|>μmin),则意味着激光雷达方式估计的偏差较大,则输出路面附着系数μ=μx,并更新当前激光雷达图像特征先验数据库中相对应的附着系数;
若(PB>Pmin)∩(|μx-μB|<μmin),则意味着激光雷达估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μB;
若[(PA>Pmin)∩(PB>Pmin)]∩(|μx-μi|<μmin),则意味着融合后的估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μi;
若[(PA>Pmin)∩(PB>Pmin)]∩(|μx-μi|>μmin),则意味着融合后的估计值偏差较大,则输出路面附着系数μ=μx,并更新当前数据库附着系数。
2.根据权利要求1所述的方法,其特征在于,基于所述路面区域的图像确定所述路面的路面类型包括:
基于所述路面区域的图像,获取所述路面区域的当前图像特征;
通过深度学习的方式由所述当前图像特征与已建模路面图像数据库的置信度实时识别当前路面类型。
3.根据权利要求1所述的方法,其特征在于,基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数,包括:
从预先构建的先验数据库中找到与所述路面类型一致的先验路面类型;
将所述先验路面类型对应的路面附着系数经验值作为第一路面附着系数。
4.根据权利要求1所述的方法,其特征在于,基于所述先验数据库估计所述分割后的各个有效区域的附着系数,得到第二路面附着系数,包括:
建立所述分割后的路面区域的主成分反射强度和噪声反射强度的混合高斯分布概率模型,对于所述分割后的路面区域内的M个观测数据,构造似然函数L(x):
其中,x表示路面区域内的各个观测数据,qj为第j个观测数据,αi为混合比率,φ(qj|μi,σi)为第i个分模型的高斯分布密度;分割后的路面区域的主成分反射强度服从高斯分布N(μmax,σmax),其中μmax、σmax分别为高斯分布的最大期望值和最大标准差;噪声反射强度分布服从高斯分布N(μmin,σmin),其中μmin、σmin分别为高斯分布的最小期望值和最小标准差;参数αi,μi和σi根据极大似然估计原理求解;
所述分割后的路面区域的当前测量量与所述先验数据库中的先验路面类型i在概率密度函数上有交集,其联合概率为PiB;其中所述当前测量量的分布特征为N(μB,σB),先验模型i的分布特征为N(μi,σi),i=1,2,…,N,N为所述先验数据库中的先验路面类型的数量;
通过对比最大联合概率值,确定与所述当前测量量对应的最相近先验路面类型,将所述先验路面类型对应的路面附着系数经验值作为第二路面附着系数μB,其中,μB=μ(PB),PB为N个联合概率中的最大值,μ(PiB)为联合概率PiB对应的路面附着系数。
7.一种基于权利要求1至6任一项所述的基于多信息融合的路面附着系数估计方法的路面附着系数估计系统,其特征在于,所述系统包括:摄像头、激光雷达、GPS、惯性测量单元以及路面附着系数估计装置;所述路面附着系数估计装置分别与所述摄像头、激光雷达、GPS、惯性测量单元连接;
所述摄像头用于实时获取路面区域的图像;
所述激光雷达用于实时扫描获得地面点云反射强度图;所
述GPS和惯性测量单元用于得到轮胎的纵向动力学响应;
所述路面附着系数估计装置,用于基于摄像头获取的路面区域的图像确定所述路面的路面类型;基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;对激光雷达得到的地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,分割后的每一区域具有类似的路面材质和相近的反射强度;并基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010693994.5A CN111845709B (zh) | 2020-07-17 | 2020-07-17 | 一种基于多信息融合的路面附着系数估计方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010693994.5A CN111845709B (zh) | 2020-07-17 | 2020-07-17 | 一种基于多信息融合的路面附着系数估计方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111845709A CN111845709A (zh) | 2020-10-30 |
CN111845709B true CN111845709B (zh) | 2021-09-10 |
Family
ID=73000502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010693994.5A Active CN111845709B (zh) | 2020-07-17 | 2020-07-17 | 一种基于多信息融合的路面附着系数估计方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111845709B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112389440B (zh) * | 2020-11-07 | 2021-06-04 | 吉林大学 | 一种基于车路作用机理的越野环境中车辆行驶风险预测方法 |
CN112644483A (zh) * | 2020-12-24 | 2021-04-13 | 宝能(西安)汽车研究院有限公司 | 车速控制方法、可读存储介质、车速控制装置和车辆 |
CN112863247A (zh) * | 2020-12-30 | 2021-05-28 | 潍柴动力股份有限公司 | 一种道路识别方法、装置、设备和存储介质 |
CN115339458A (zh) * | 2021-04-28 | 2022-11-15 | 华为技术有限公司 | 一种路面类型识别方法、装置及车辆 |
CN113361121B (zh) * | 2021-06-21 | 2022-03-29 | 吉林大学 | 一种基于时空同步与信息融合的路面附着系数估计方法 |
CN114235679B (zh) * | 2021-11-15 | 2023-02-10 | 同济大学 | 一种基于激光雷达的路面附着系数估计方法及系统 |
CN114264597B (zh) * | 2021-12-21 | 2022-07-22 | 盐城工学院 | 一种低成本的路面附着系数确定方法及系统 |
CN114506333B (zh) * | 2022-02-23 | 2023-03-21 | 阿波罗智能技术(北京)有限公司 | 路面附着系数确定方法、装置、设备以及自动驾驶车辆 |
CN115546743B (zh) * | 2022-11-24 | 2023-03-24 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 基于附着系数的车路协同控制方法、装置、设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549842B1 (en) * | 2001-10-31 | 2003-04-15 | Delphi Technologies, Inc. | Method and apparatus for determining an individual wheel surface coefficient of adhesion |
US8306712B2 (en) * | 2009-03-24 | 2012-11-06 | GM Global Technology Operations LLC | Road surface condition identification based on statistical pattern recognition |
DE102016214065A1 (de) * | 2016-07-29 | 2018-02-01 | Zf Friedrichshafen Ag | Bestimmung einer maximalen Kraftschlussgrenze |
CN107491736A (zh) * | 2017-07-20 | 2017-12-19 | 重庆邮电大学 | 一种基于卷积神经网络的路面附着系数辨识方法 |
CN108509918B (zh) * | 2018-04-03 | 2021-01-08 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
CN108983219B (zh) * | 2018-08-17 | 2020-04-07 | 北京航空航天大学 | 一种交通场景的图像信息和雷达信息的融合方法及系统 |
CN110263844B (zh) * | 2019-06-18 | 2021-04-06 | 北京中科原动力科技有限公司 | 一种在线学习和实时估计路面状态的方法 |
CN110765909B (zh) * | 2019-10-14 | 2023-06-02 | 同济大学 | 基于车载摄像头辅助分布式驱动电动汽车路面估计方法 |
-
2020
- 2020-07-17 CN CN202010693994.5A patent/CN111845709B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111845709A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111845709B (zh) | 一种基于多信息融合的路面附着系数估计方法及系统 | |
Huang et al. | Finding multiple lanes in urban road networks with vision and lidar | |
US10967869B2 (en) | Road surface condition estimation apparatus and road surface condition estimation method | |
Worrall et al. | Automated process for generating digitised maps through GPS data compression | |
JP2023536407A (ja) | 走行可能面識別技術 | |
CN111551958A (zh) | 一种面向矿区无人驾驶的高精地图制作方法 | |
Peterson et al. | Fast feature detection and stochastic parameter estimation of road shape using multiple LIDAR | |
Yoneda et al. | Urban road localization by using multiple layer map matching and line segment matching | |
CN106662447A (zh) | 利用行驶动态传感器确定多余的绝对位置 | |
CN110263844B (zh) | 一种在线学习和实时估计路面状态的方法 | |
US10684622B2 (en) | Vehicle dynamics monitor for autonomous vehicle | |
Kellner et al. | Road curb detection based on different elevation mapping techniques | |
CN113597396A (zh) | 利用道路表面特性的道路上定位方法和设备 | |
CN112085843B (zh) | 一种隧道类目标特征实时提取及测量方法和装置 | |
CN115236694A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
US11390292B2 (en) | Method for proposing a driving speed | |
CN110399664B (zh) | 一种驾驶速度的确定方法及装置 | |
CN110550041B (zh) | 一种基于云端数据共享的路面附着系数估计方法 | |
Parra-Tsunekawa et al. | A kalman-filtering-based approach for improving terrain mapping in off-road autonomous vehicles | |
CN113569778A (zh) | 基于多模态数据融合的路面湿滑区域检测及预警方法 | |
Kellner et al. | Laserscanner based road curb feature detection and efficient mapping using local curb descriptions | |
CN114419573A (zh) | 动态占据栅格估计方法及装置 | |
US20230314169A1 (en) | Method and apparatus for generating map data, and non-transitory computer-readable storage medium | |
Shan et al. | Vehicle collision risk estimation based on RGB-D camera for urban road | |
US20200317202A1 (en) | Method for ascertaining a liquid depth of a liquid accumulation on a travel path in front of a vehicle, and method for ascertaining a travel trajectory through a liquid accumulation on a travel path in front of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |