CN111845709B - 一种基于多信息融合的路面附着系数估计方法及系统 - Google Patents

一种基于多信息融合的路面附着系数估计方法及系统 Download PDF

Info

Publication number
CN111845709B
CN111845709B CN202010693994.5A CN202010693994A CN111845709B CN 111845709 B CN111845709 B CN 111845709B CN 202010693994 A CN202010693994 A CN 202010693994A CN 111845709 B CN111845709 B CN 111845709B
Authority
CN
China
Prior art keywords
road surface
adhesion coefficient
road
image
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010693994.5A
Other languages
English (en)
Other versions
CN111845709A (zh
Inventor
倪涛
赵丁选
张泮虹
张祝新
巩明德
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202010693994.5A priority Critical patent/CN111845709B/zh
Publication of CN111845709A publication Critical patent/CN111845709A/zh
Application granted granted Critical
Publication of CN111845709B publication Critical patent/CN111845709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02Control of vehicle driving stability
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/064Degree of grip

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种多信息融合的路面附着系数估计方法及系统,该方法包括:首先,借助摄像头获取的图像特征来实时识别路面类型,根据经验值获取该区域的第一路面附着系数;其次,构建激光雷达扫描获得的地面点云反射强度图,得到第二路面附着系数;然后,在车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处的第三路面附着系数;最后,以第三路面附着系数为基准,对第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。本发明在保证识别准确性的前提下,又满足了实时性的要求,对合理制定车辆主动安全控制策略以及对底盘各子系统间协调控制有重大的指导意义。

Description

一种基于多信息融合的路面附着系数估计方法及系统
技术领域
本发明涉及车前路面工况特征识别领域,尤其涉及一种基于多信息融合的路面附着系数估计方法及系统。
背景技术
全球每年仍有高达130多万人死于道路交通安全事故。交通安全事故的频繁发生不仅与汽车保有量的增加、驾驶员水平及其心理素质等相关,而且还与汽车主动安全控制技术的发展息息相关。特别是在路面附着条件较差的情况下,如在雪地、冰面和泥泞等较差的路面附着条件下,车辆极易出现抱死拖滑、侧翻和过度滑转甚至失稳等现象,使得轮胎力学特性极易处于极限状态,甚至失稳而酿成交通安全事故。实时准确地获取路面附着信息是实现车辆动力学稳定性控制的前提,也是合理制定车辆主动安全控制策略以及底盘各子系统间协调控制的重要参考依据。现有的路面附着系数估计方法存在如下问题:
(1)采用动力学响应来估计路面附着系数虽然准确度较高,但要求轮胎已到达附着极限的75-80%,且要求车辆加/减速、转向等驾驶操纵的配合。另外,所采用的递推最小二乘估计法是建立于一定长度的测量数据基础上,无法满足实时性要求。
(2)在路面环境和光照等外界因素理想的情况下,依据摄像头或激光雷达等图像方式来识别路面类型并估计与之对应的附着系数已具有较高的准确度。但现实中该方法受现场环境和天候影响较大;而且,所依赖的先验数据库很难涵盖特征各异、堆积物覆盖、甚至“表里”不同的复杂路面工况。
发明内容
本发明提出一种基于车辆动力学、摄像头、激光雷达传感器多信息融合的路面附着系数的估计方法及系统,既能满足实时性的要求,也能准确地识别出复杂的路面工况,对车辆主动安全控制策略以及底盘各子系统间协调控制具有重要的进步意义。
本发明提供了如下技术方案:
一方面,本发明提供了一种基于多信息融合的路面附着系数估计方法,该方法包括:
通过摄像头获取路面区域的图像,并基于所述路面区域的图像确定所述路面的路面类型;
基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;
构建激光雷达扫描获得的地面点云反射强度图,对所述地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,所述分割后的各个有效的路面区域具有类似的路面材质和相近的反射强度;
基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;
车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;
以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
优选地,基于所述路面区域的图像确定所述路面的路面类型包括:
基于所述路面区域的图像,获取所述路面区域的当前图像特征;
通过深度学习的方式由所述当前图像特征与已建模路面图像数据库的置信度实时识别当前路面类型。
优选地,基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数,包括:
从预先构建的先验数据库中找到与所述路面类型一致的先验路面类型;将所述先验路面类型对应的路面附着系数经验值作为第一路面附着系数。
优选地,基于所述先验数据库估计所述分割后的各个有效区域的附着系数,得到第二路面附着系数,包括:
建立所述分割后的路面区域的主成分反射强度和噪声反射强度的混合高斯分布概率模型,对于所述分割后的路面区域内的M个观测数据,构造似然函数L(x):
Figure BDA0002590390060000031
其中,x表示路面区域内的各个观测数据,qj为第j个观测数据,αi为混合比率,φ(qjii)为第i个分模型的高斯分布密度;分割后的路面区域的主成分反射强度服从高斯分布N(μmaxmax),其中μmax、σmax分别为高斯分布的最大期望值和最大标准差;噪声反射强度分布服从高斯分布N(μminmin),其中μmin、σmin分别为高斯分布的最小期望值和最小标准差;参数αi,μi和σi根据极大似然估计原理求解;
所述分割后的路面区域的当前测量量与所述先验数据库中的先验路面类型i在概率密度函数上有交集,其联合概率为PiB;其中所述当前测量量的分布特征为N(μBB),先验模型i的分布特征为N(μii),i=1,2,…,N,N为所述先验数据库中的先验路面类型的数量;
通过对比最大联合概率值,确定与所述当前测量量对应的最相近先验路面类型,将所述先验路面类型对应的路面附着系数经验值作为第二路面附着系数μB,其中,μB=μ(PB),PB为N个联合概率中的最大值,μ(PiB)为联合概率PiB对应的路面附着系数。
优选地,所述采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数,包括:
所述第三路面附着系数μx为:
Figure BDA0002590390060000041
其中,车辆动力学模型解算求得的某轮胎纵向力为Fx,垂向力为Fz,S为轮胎滑转率,S由递推最小二乘计算得到:
Figure BDA0002590390060000042
Figure BDA0002590390060000043
Figure BDA0002590390060000044
其中,K(t)为增益,P(t)为估计方差,λ为遗忘因子,λx为轮胎的纵向滑移率,
Figure BDA0002590390060000045
vx为当前车速、w为车轮转速。
优选地,以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数,包括:
若(PA<Pmin)∪(PB<Pmin),则说明当前路面未建模或特征不明显,将摄像头获取的路面区域的图像、激光雷达反射强度及所述第三路面附着系数作为新增记录加入所述先验数据库;其中,PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;否则:
若PA>Pmin,说明摄像头得到的路面特征明显,将所述第一路面附着系数用于后续比较;
若PB>Pmin,说明激光雷达得到的路面特征明显,将所述第二路面附着系数用于后续比较;
若PA>Pmin且PB>Pmin,此时若当前路面为覆水、覆冰或者湿路的特殊天候,则输出最终的路面附着系数μ=μB;否则,将所述第一路面附着系数和所述第二路面附着系数进行融合,将融合后的附着系数用于后续比较;
比较环节如下:以所述第三路面附着系数为基准,若(PA>Pmin)∩(|μxA|>μmin),则意味着图像方式估计偏差较大,输出最终的路面附着系数μ=μx,并更新当前摄像头图像特征先验数据库中相对应的附着系数;其中,μA为第一路面附着系数、μB为第二路面附着系数,μx为第三路面附着系数,μi为融合后的路面附着系数,μmin为μA与μB的差异性阀值;PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;
若(PA>Pmin)∩(|μxA|<μmin),则意味着图像估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μA
若(PB>Pmin)∩(|μxB|>μmin),则意味着激光雷达方式估计的偏差较大,则输出路面附着系数μ=μx,并更新当前激光雷达图像特征先验数据库中相对应的附着系数;
若(PB>Pmin)∩(|μxB|<μmin),则意味着激光雷达估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μB
若[(PA>Pmin)∩(PB>Pmin)]∩(|μxi|<μmin),则意味着融合后的估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μi
若[(PA>Pmin)∩(PB>Pmin)]∩(|μxi|>μmin),则意味着融合后的估计值偏差较大,则输出路面附着系数μ=μx,并更新当前数据库附着系数。
优选地,将所述第一路面附着系数和所述第二路面附着系数进行融合,包括:
以车前地形的2.5D网格为基准,将所述摄像头获得的路面区域和激光雷达获得的分割后的路面区域对齐;
根据激光雷达估计值的局部差异性分布,对μA进行修正,得到融合后的路面区域Bi附着系数μi
Figure BDA0002590390060000061
其中,f(·)为修正函数;B1~BN为分割后的各子区域与所述摄像头获取的路面区域重叠的区域,μB1~μBN分别为分割后的各个子区域依据反射强度特征估计的附着系数。
另一方面,本发明还提供了一种基于多信息融合的路面附着系数估计系统,所述系统包括:摄像头、激光雷达、GPS、惯性测量单元以及路面附着系数估计装置;所述路面附着系数估计装置分别与所述摄像头、激光雷达、GPS、惯性测量单元连接;
所述摄像头用于实时获取路面区域的图像;
所述激光雷达用于实时扫描获得地面点云反射强度图;
所述GPS和惯性测量单元用于得到轮胎的纵向动力学响应;
所述路面附着系数估计装置,用于基于摄像头获取的路面区域的图像确定所述路面的路面类型;基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;对激光雷达得到的地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,分割后的每一区域具有类似的路面材质和相近的反射强度;并基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
本发明与现有技术相比具有如下有益效果:
(1)本发明采用了摄像机和激光雷达获得的图像识别为主,动力学响应在线学习为辅的路面附着系数识别方法,相比现有的采用动力学响应的方法来估计路面附着系数的方法,在保证识别准确性的前提下,又满足了实时性的要求。
(2)本发明采用了摄像机和激光雷达获得的图像识别为主,动力学响应在线学习为辅的路面附着系数识别方法,相比现有的采用摄像头或者激光雷达等图像方式来识别路面类型并估计附着系数的方法,通过动力学响应在线学习削弱了现场环境和气候的影响,并覆盖各种不同的路面工况,实时并且准确地得到路面附着系数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种路面附着系数估计方法的流程示意图;
图2为本发明一个实施例提供的附着系数融合过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实时准确地获取路面附着信息是实现车辆动力学稳定性控制的前提,也是合理制定车辆主动安全控制策略以及底盘各子系统间协调控制的重要参考依据。为此,本发明首先借助摄像头获取的图像特征来实时识别路面类型,然后根据经验值获取该区域A路面附着系数;其次,构件激光雷达扫描获得的地面点云反射强度图,分割出区域B具有类似的路面材质和相近的反射强度;然后,以车前地形的2.5D网格为基准,将区域A和区域B对齐;进一步地,在车辆行进过程中,采用轮胎的纵向动力学响应来再次估计车辆轮胎位置处的附着系数;最后,综合考虑当前路面特征与先验数据库的置信度以及路面实际状况,设计模糊理论,将摄像头、激光雷达、动力学响应估计得到的附着系数进行融合来估计路面最终的附着系数。
如图1所示,其示出了本发明实施例的一种基于多信息融合的路面附着系数估计方法,该方法的详细步骤说明如下:
S101、通过摄像头获取路面区域的图像,并基于路面区域的图像确定路面的路面类型。
S102、基于路面类型和预先构建的先验数据库,估计摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;先验数据库中包括各种先验路面类型对应的路面附着系数经验值。
普通路面类型(如土路、砂石路、沥青路等)的图像特征明显,本发明实施例中借助多层卷积神经网络,通过深度学习的方式由当前图像特征与已建模路面图像数据库的置信度(设为PA)来实时识别路面的类型,进一步结合经验值估计图像中该路面区域A的附着系数(设为μA)。
S103、构建激光雷达扫描获得的地面点云反射强度图,对地面点云反射强度的灰度图进行图像分割,分割后的每一区域具有类似的路面材质和相近的反射强度。
S104、基于先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数。
路面上存在破损、凹槽、地面标识、填充物等,测量的路面不是一个完全均质的路面。强度图中会存在很多无效信息,所以要对所述地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域。分割后的每一区域B具有类似的路面材质和相近的反射强度。
得到第二路面附着系数μB的具体方式如下:设路面区域B的主成分反射强度服从高斯分布N(μmaxmax),其中μmax、σmax分别为高斯分布的最大期望值和最大标准差;噪声的反射强度分布服从高斯分布N(μminmin),其中μmin、σmin分别为高斯分布的最小期望值和最小标准差。
建立二者的混合高斯分布概率模型,对于区域内的M个观测数据,构造似然函数L为:
Figure BDA0002590390060000091
其中,x表示路面区域内的各个观测数据,qj为第j个观测数据,αi为混合比率,φ(qjii)为第i个分模型的高斯分布密度。
根据极大似然估计原理求解模型参数αi,μi和σi
设先验数据库中有N个不同的路面类型,区域B的当前测量(分布特征为N(μBB))与先验模型i(i=1,2,…,N,分布特征为N(μii))在概率密度函数上有交集,其联合概率为PiB。则可以通过对比最大联合概率值来确定与当前路面对应的最相近先验路面,进而估计路面附着系数μB:
μB=μ(PB) (2)
其中,
Figure BDA0002590390060000092
PB为N个联合概率中的最大值,μ(PiB)为联合概率PiB对应的路面附着系数。
S105、车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数。
设车辆动力学模型解算求得的某轮胎纵向力为Fx,垂向力为Fz,则当前路面的附着系数,也就是第三路面附着系数μx可表示为:
Figure BDA0002590390060000093
S为轮胎滑转率,可通过递推最小二乘计算如下:
Figure BDA0002590390060000094
Figure BDA0002590390060000095
Figure BDA0002590390060000096
其中,K(t)为增益,P(t)为估计方差,λ为遗忘因子,λx为轮胎的纵向滑移率,可由当前车速vx和车轮转速w求得:
Figure BDA0002590390060000097
S106、以第三路面附着系数为基准,更新先验数据库并对第一路面附着系数和第二路面附着系数进行修正,得到最终的路面附着系数。
综合考虑当前路面特征与先验数据库的置信度以及路面有无潮湿、覆水、覆冰等情况,设计模糊逻辑,将采用摄像头(第一路面附着系数μA)、激光雷达(第二路面附着系数μB)和动力学响应(第三路面附着系数μx)融合的方式来估计最终的路面附着系数μ。其中基于动力学响应的附着系数μx估计方法主要用于先验数据库的“事前”构建和大偏差附着系数的“事后”在线修正。如图2所示,具体的描述如下:
若(PA<Pmin)∪(PB<Pmin),则说明当前路面未建模或特征不明显,将摄像头获取的路面区域的图像、激光雷达反射强度及所述第三路面附着系数作为新增记录加入所述先验数据库;其中,PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;否则:
若PA>Pmin,说明摄像头得到的路面特征明显,将所述第一路面附着系数用于后续比较;
若PB>Pmin,说明激光雷达得到的路面特征明显,将所述第二路面附着系数用于后续比较;
若PA>Pmin且PB>Pmin,此时若当前路面为覆水、覆冰或者湿路的特殊天候,则输出最终的路面附着系数-μ=μB;否则,将所述第一路面附着系数和所述第二路面附着系数进行融合,将融合后的附着系数用于后续比较。
本发明所述观点是车辆动力学响应所估计的附着系数μx较为准确,所以如果摄像头或者激光雷达估计的附着系数与动力学相差不大,则视为该方式是可信的。比较环节详细阐述如下:
以所述第三路面附着系数为基准,若(PA>Pmin)∩(|μxA|>μmin),则意味着图像方式估计偏差较大,输出最终的路面附着系数μ=μx,并更新当前摄像头图像特征先验数据库中相对应的附着系数;其中,μA为第一路面附着系数、μB为第二路面附着系数,μx为第三路面附着系数,μmin为μA与μB的差异性阀值;PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;
若(PA>Pmin)∩(|μxA|<μmin),则意味着图像估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μA
若(PB>Pmin)∩(|μxB|>μmin),则意味着激光雷达方式估计的偏差较大,则输出路面附着系数μ=μx,并更新当前激光雷达图像特征先验数据库中相对应的附着系数;
若(PB>Pmin)∩(|μxB|<μmin),则意味着激光雷达估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μB
若[(PA>Pmin)∩(PB>Pmin)]∩(|μxi|<μmin),则意味着融合后的估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μi
若[(PA>Pmin)∩(PB>Pmin)]∩(|μxi|>μmin),则意味着融合后的估计值偏差较大,则输出路面附着系数μ=μx,并更新当前数据库附着系数。
基于上述模糊逻辑规则对图像特征、路面工况的综合评判,最终的路面附着系数μ,μ={μABix}。
本发明提出的采用摄像机和激光雷达获得的图像识别为主,动力学响应在线学习为辅的路面附着系数识别方法,在保证识别准确性的前提下,又满足了实时性的要求,对合理制定车辆主动安全控制策略以及对底盘各子系统间协调控制有重大的指导意义。
对应于上述实施例中的多信息融合的路面附着系数估计方法,本发明实施例中提供了一种基于多信息融合的路面附着系数估计系统,所述系统包括:摄像头、激光雷达、GPS、惯性测量单元以及路面附着系数估计装置;所述路面附着系数估计装置分别与所述摄像头、激光雷达、GPS、惯性测量单元连接;
所述摄像头用于实时获取路面区域的图像;
所述激光雷达用于实时扫描获得地面点云反射强度图;
所述GPS和惯性测量单元用于得到轮胎的纵向动力学响应;
所述路面附着系数估计装置,用于基于摄像头获取的路面区域的图像确定所述路面的路面类型;基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;对激光雷达得到的地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,分割后的每一区域具有类似的路面材质和相近的反射强度;并基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于多信息融合的路面附着系数估计方法,其特征在于,所述方法包括:
通过摄像头获取路面区域的图像,并基于所述路面区域的图像确定所述路面的路面类型;
基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;
构建激光雷达扫描获得的地面点云反射强度图,对所述地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,所述分割后的各个有效的路面区域具有类似的路面材质和相近的反射强度;
基于所述先验数据库估计所述分割后的各个有效区域的附着系数,得到第二路面附着系数;
车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;
以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数,包括:
若(PA≤Pmin)∩(PB≤Pmin),则说明当前路面未建模或特征不明显,将摄像头获取的路面区域的图像、激光雷达反射强度及所述第三路面附着系数作为新增记录加入所述先验数据库;其中,PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;否则:
若PA>Pmin,说明摄像头得到的路面特征明显,将所述第一路面附着系数用于后续比较;
若PB>Pmin,说明激光雷达得到的路面特征明显,将所述第二路面附着系数用于后续比较;
若PA>Pmin且PB>Pmin,此时若当前路面为覆水、覆冰或者湿路的特殊天候,则输出最终的路面附着系数μ=μB;否则,将所述第一路面附着系数和所述第二路面附着系数进行融合,将融合后的附着系数用于后续比较;
比较环节如下:
以所述第三路面附着系数为基准,若(PA>Pmin)∩(|μxA|>μmin),则意味着图像方式估计偏差较大,输出最终的路面附着系数μ=μx,并更新当前摄像头图像特征先验数据库中相对应的附着系数;其中,μA为第一路面附着系数、μB为第二路面附着系数,μi为融合后的路面附着系数,μx为第三路面附着系数,μmin为μA与μB的差异性阀值;PA为摄像头图像特征置信度,PB为激光雷达图像特征置信度,Pmin为预设的最低置信度阀值;
若(PA>Pmin)∩(|μxA|<μmin),则意味着图像估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μA
若(PB>Pmin)∩(|μxB|>μmin),则意味着激光雷达方式估计的偏差较大,则输出路面附着系数μ=μx,并更新当前激光雷达图像特征先验数据库中相对应的附着系数;
若(PB>Pmin)∩(|μxB|<μmin),则意味着激光雷达估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μB
若[(PA>Pmin)∩(PB>Pmin)]∩(|μxi|<μmin),则意味着融合后的估计值与动力学估计值符合度较高,输出最终的路面附着系数μ=μi
若[(PA>Pmin)∩(PB>Pmin)]∩(|μxi|>μmin),则意味着融合后的估计值偏差较大,则输出路面附着系数μ=μx,并更新当前数据库附着系数。
2.根据权利要求1所述的方法,其特征在于,基于所述路面区域的图像确定所述路面的路面类型包括:
基于所述路面区域的图像,获取所述路面区域的当前图像特征;
通过深度学习的方式由所述当前图像特征与已建模路面图像数据库的置信度实时识别当前路面类型。
3.根据权利要求1所述的方法,其特征在于,基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数,包括:
从预先构建的先验数据库中找到与所述路面类型一致的先验路面类型;
将所述先验路面类型对应的路面附着系数经验值作为第一路面附着系数。
4.根据权利要求1所述的方法,其特征在于,基于所述先验数据库估计所述分割后的各个有效区域的附着系数,得到第二路面附着系数,包括:
建立所述分割后的路面区域的主成分反射强度和噪声反射强度的混合高斯分布概率模型,对于所述分割后的路面区域内的M个观测数据,构造似然函数L(x):
Figure FDA0003177290040000031
其中,x表示路面区域内的各个观测数据,qj为第j个观测数据,αi为混合比率,φ(qjii)为第i个分模型的高斯分布密度;分割后的路面区域的主成分反射强度服从高斯分布N(μmaxmax),其中μmax、σmax分别为高斯分布的最大期望值和最大标准差;噪声反射强度分布服从高斯分布N(μminmin),其中μmin、σmin分别为高斯分布的最小期望值和最小标准差;参数αi,μi和σi根据极大似然估计原理求解;
所述分割后的路面区域的当前测量量与所述先验数据库中的先验路面类型i在概率密度函数上有交集,其联合概率为PiB;其中所述当前测量量的分布特征为N(μBB),先验模型i的分布特征为N(μii),i=1,2,…,N,N为所述先验数据库中的先验路面类型的数量;
通过对比最大联合概率值,确定与所述当前测量量对应的最相近先验路面类型,将所述先验路面类型对应的路面附着系数经验值作为第二路面附着系数μB,其中,μB=μ(PB),PB为N个联合概率中的最大值,μ(PiB)为联合概率PiB对应的路面附着系数。
5.根据权利要求1所述的方法,其特征在于,所述采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数,包括:
所述第三路面附着系数μx为:
Figure FDA0003177290040000041
其中,车辆动力学模型解算求得的某轮胎纵向力为Fx,垂向力为Fz,S(t)为轮胎滑转率,可由递推最小二乘计算得到:
Figure FDA0003177290040000042
Figure FDA0003177290040000043
Figure FDA0003177290040000044
其中,K(t)为增益,P(t)为估计方差,λ为遗忘因子,λx为轮胎的纵向滑移率,
Figure FDA0003177290040000045
vx为当前车速、w为车轮转速,R为车轮半径。
6.根据权利要求1所述的方法,其特征在于,将所述第一路面附着系数和所述第二路面附着系数进行融合,包括:
以车前地形的2.5D网格为基准,将所述摄像头获得的路面区域和激光雷达获得的分割后的路面区域对齐;
根据激光雷达估计值的局部差异性分布,对μA进行修正,得到融合后的路面区域Bi附着系数μi
Figure FDA0003177290040000051
其中,f(·)为修正函数;B1~BN为分割后的各子区域与所述摄像头获取的路面区域重叠的区域,μB1~μBN分别为分割后的各个子区域依据反射强度特征估计的附着系数。
7.一种基于权利要求1至6任一项所述的基于多信息融合的路面附着系数估计方法的路面附着系数估计系统,其特征在于,所述系统包括:摄像头、激光雷达、GPS、惯性测量单元以及路面附着系数估计装置;所述路面附着系数估计装置分别与所述摄像头、激光雷达、GPS、惯性测量单元连接;
所述摄像头用于实时获取路面区域的图像;
所述激光雷达用于实时扫描获得地面点云反射强度图;所
述GPS和惯性测量单元用于得到轮胎的纵向动力学响应;
所述路面附着系数估计装置,用于基于摄像头获取的路面区域的图像确定所述路面的路面类型;基于所述路面类型和预先构建的先验数据库,估计所述摄像头获取的路面区域的路面附着系数,得到第一路面附着系数;所述先验数据库中包括各种先验路面类型对应的路面附着系数经验值;对激光雷达得到的地面点云反射强度的灰度图进行图像分割,将无效路面信息剔除掉,得到分割后的各个有效的路面区域,分割后的每一区域具有类似的路面材质和相近的反射强度;并基于所述先验数据库估计所述分割后的每一区域的附着系数,得到第二路面附着系数;车辆行进过程中,采用轮胎的纵向动力学响应估计车辆轮胎位置处路面的附着系数,得到第三路面附着系数;以所述第三路面附着系数为基准,更新所述先验数据库并对所述第一路面附着系数和所述第二路面附着系数进行修正,得到最终的路面附着系数。
CN202010693994.5A 2020-07-17 2020-07-17 一种基于多信息融合的路面附着系数估计方法及系统 Active CN111845709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010693994.5A CN111845709B (zh) 2020-07-17 2020-07-17 一种基于多信息融合的路面附着系数估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010693994.5A CN111845709B (zh) 2020-07-17 2020-07-17 一种基于多信息融合的路面附着系数估计方法及系统

Publications (2)

Publication Number Publication Date
CN111845709A CN111845709A (zh) 2020-10-30
CN111845709B true CN111845709B (zh) 2021-09-10

Family

ID=73000502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010693994.5A Active CN111845709B (zh) 2020-07-17 2020-07-17 一种基于多信息融合的路面附着系数估计方法及系统

Country Status (1)

Country Link
CN (1) CN111845709B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112389440B (zh) * 2020-11-07 2021-06-04 吉林大学 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
CN112644483A (zh) * 2020-12-24 2021-04-13 宝能(西安)汽车研究院有限公司 车速控制方法、可读存储介质、车速控制装置和车辆
CN112863247A (zh) * 2020-12-30 2021-05-28 潍柴动力股份有限公司 一种道路识别方法、装置、设备和存储介质
CN115339458A (zh) * 2021-04-28 2022-11-15 华为技术有限公司 一种路面类型识别方法、装置及车辆
CN113361121B (zh) * 2021-06-21 2022-03-29 吉林大学 一种基于时空同步与信息融合的路面附着系数估计方法
CN114235679B (zh) * 2021-11-15 2023-02-10 同济大学 一种基于激光雷达的路面附着系数估计方法及系统
CN114264597B (zh) * 2021-12-21 2022-07-22 盐城工学院 一种低成本的路面附着系数确定方法及系统
CN114506333B (zh) * 2022-02-23 2023-03-21 阿波罗智能技术(北京)有限公司 路面附着系数确定方法、装置、设备以及自动驾驶车辆
CN115546743B (zh) * 2022-11-24 2023-03-24 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 基于附着系数的车路协同控制方法、装置、设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549842B1 (en) * 2001-10-31 2003-04-15 Delphi Technologies, Inc. Method and apparatus for determining an individual wheel surface coefficient of adhesion
US8306712B2 (en) * 2009-03-24 2012-11-06 GM Global Technology Operations LLC Road surface condition identification based on statistical pattern recognition
DE102016214065A1 (de) * 2016-07-29 2018-02-01 Zf Friedrichshafen Ag Bestimmung einer maximalen Kraftschlussgrenze
CN107491736A (zh) * 2017-07-20 2017-12-19 重庆邮电大学 一种基于卷积神经网络的路面附着系数辨识方法
CN108509918B (zh) * 2018-04-03 2021-01-08 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108983219B (zh) * 2018-08-17 2020-04-07 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110263844B (zh) * 2019-06-18 2021-04-06 北京中科原动力科技有限公司 一种在线学习和实时估计路面状态的方法
CN110765909B (zh) * 2019-10-14 2023-06-02 同济大学 基于车载摄像头辅助分布式驱动电动汽车路面估计方法

Also Published As

Publication number Publication date
CN111845709A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111845709B (zh) 一种基于多信息融合的路面附着系数估计方法及系统
Huang et al. Finding multiple lanes in urban road networks with vision and lidar
US10967869B2 (en) Road surface condition estimation apparatus and road surface condition estimation method
Worrall et al. Automated process for generating digitised maps through GPS data compression
JP2023536407A (ja) 走行可能面識別技術
CN111551958A (zh) 一种面向矿区无人驾驶的高精地图制作方法
Peterson et al. Fast feature detection and stochastic parameter estimation of road shape using multiple LIDAR
Yoneda et al. Urban road localization by using multiple layer map matching and line segment matching
CN106662447A (zh) 利用行驶动态传感器确定多余的绝对位置
CN110263844B (zh) 一种在线学习和实时估计路面状态的方法
US10684622B2 (en) Vehicle dynamics monitor for autonomous vehicle
Kellner et al. Road curb detection based on different elevation mapping techniques
CN113597396A (zh) 利用道路表面特性的道路上定位方法和设备
CN112085843B (zh) 一种隧道类目标特征实时提取及测量方法和装置
CN115236694A (zh) 障碍物检测方法、装置、电子设备和存储介质
US11390292B2 (en) Method for proposing a driving speed
CN110399664B (zh) 一种驾驶速度的确定方法及装置
CN110550041B (zh) 一种基于云端数据共享的路面附着系数估计方法
Parra-Tsunekawa et al. A kalman-filtering-based approach for improving terrain mapping in off-road autonomous vehicles
CN113569778A (zh) 基于多模态数据融合的路面湿滑区域检测及预警方法
Kellner et al. Laserscanner based road curb feature detection and efficient mapping using local curb descriptions
CN114419573A (zh) 动态占据栅格估计方法及装置
US20230314169A1 (en) Method and apparatus for generating map data, and non-transitory computer-readable storage medium
Shan et al. Vehicle collision risk estimation based on RGB-D camera for urban road
US20200317202A1 (en) Method for ascertaining a liquid depth of a liquid accumulation on a travel path in front of a vehicle, and method for ascertaining a travel trajectory through a liquid accumulation on a travel path in front of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant