CN114821193A - 一种基于相机和车速传感器的路面附着系数在线预测装置 - Google Patents

一种基于相机和车速传感器的路面附着系数在线预测装置 Download PDF

Info

Publication number
CN114821193A
CN114821193A CN202210586112.4A CN202210586112A CN114821193A CN 114821193 A CN114821193 A CN 114821193A CN 202210586112 A CN202210586112 A CN 202210586112A CN 114821193 A CN114821193 A CN 114821193A
Authority
CN
China
Prior art keywords
adhesion coefficient
camera
module
vehicle
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210586112.4A
Other languages
English (en)
Inventor
何睿
刘洁美
金小淞
吴坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202210586112.4A priority Critical patent/CN114821193A/zh
Publication of CN114821193A publication Critical patent/CN114821193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/04—Measuring adhesive force between materials, e.g. of sealing tape, of coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于智能车辆感知技术领域，具体为一种基于相机和车速传感器的路面附着系数在线预测装置，包括视觉感知模块、车辆运动信号采集模块、数据对齐模块、融合模块和在线更新模块；其中，视觉感知模块用于执行根据前视相机的图像数据得到基于相机的路面附着系数μ1；车辆运动信号采集模块用于执行获取车辆行驶中的车速、轮速等信息，利用滑移斜率得到基于车速的路面附着系数μ2；数据对齐模块用于执行根据速度传感器和里程计等信息将μ1和μ2完成同一路段同步，其结构合理，可减少在相机过度曝光、拖影及昏暗环境下成像质量差从而导致误识别的情况，提高系统的鲁棒性。

Description

一种基于相机和车速传感器的路面附着系数在线预测装置
技术领域
本发明涉及智能车辆感知技术领域，具体为一种基于相机和车速传感器的路面附着系数在线预测装置。
背景技术
在驾驶过程中，人-车-路信息获取难度的增加成为导致交通事故的重要因素，尤其在雨天、大雾、雪天及道路突变情况下，由于驾驶员对路面附着条件判断不足，极易影响车辆驱动性和稳定性，甚至导致追尾、侧滑。因此，路面识别是衡量车辆动力学安全边界的有效指标，也是提升车辆控制系统效能的关键。
目前，路面附着系数估计可分为“基于原因”和“基于效应”的识别方法。传统方法采用“基于效应”的方式，通过路面状态变化引起轮胎或车辆的响应来估计路面附着系数，估计精度较高，但需满足一定的纵侧向激励，且无法预测车轮未碾压过的区域，难以提前对车辆进行控制。
现有技术多采用“基于原因”的方式，借助相机和激光等传感器提取路面特征进行路面状态预测，随着自动驾驶技术的发展，相机在车辆中越来越普遍，以相机为传感器的实例分割算法可作为软件的附加组件集成到系统中，提高成本效益，实现主动预测，足以对应实际车辆行驶过程中的路面突变情况。但相机受外界天气和环境干扰较大，识别可靠性有待改进，且目前技术存在不能在线反馈调整的问题。
为此，我们提出一种新型的基于相机和车速传感器的路面附着系数在线预测装置解决上述问题。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于现有技术中存在的问题，提出了本发明。
因此，本发明的目的是提供一种基于相机和车速传感器的路面附着系数在线预测装置，可减少在相机过度曝光、拖影及昏暗环境下成像质量差从而导致误识别的情况，提高系统的鲁棒性。
为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
一种基于相机和车速传感器的路面附着系数在线预测装置，其包括视觉感知模块、车辆运动信号采集模块、数据对齐模块、融合模块和在线更新模块；其中，视觉感知模块用于执行根据前视相机的图像数据得到基于相机的路面附着系数μ1；车辆运动信号采集模块用于执行获取车辆行驶中的车速、轮速等信息，利用滑移斜率得到基于车速的路面附着系数μ2；数据对齐模块用于执行根据速度传感器和里程计等信息将μ1和μ2完成同一路段同步；融合模块用于执行以基于相机的路面附着系数μ1为基准，利用基于车速的路面附着系数μ2校验μ1的合理性，得到融合后的附着系数μ；在线更新模块用于执行将对齐的(image，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
作为本发明所述的一种基于相机和车速传感器的路面附着系数在线预测装置的一种优选方案，其中：所述视觉感知模块具体包括：a.利用相机获得车辆前方场景图片；b.对场景图片中的混合路面区域进行像素级标注，建立混合路面图像数据集；c.将数据集在实例分割网络模型中进行端到端训练，得到离线预训练的网络模型；d.将车辆在行驶过程中实时采集的前方场景图片预处理后，输入到控制器中预训练好的实例分割网络模型中，实现对路面区域的不同状态分割与分类；e.根据路面状态类型与附着系数的对应关系得到附着系数μ1。
作为本发明所述的一种基于相机和车速传感器的路面附着系数在线预测装置的一种优选方案，其中：所述车辆运动信号采集模块具体包括：a.根据车辆行驶状态估计纵向轮胎力、法向轮胎力和滑移率；b.根据附着系数μ2—滑移率sw曲线的斜率法得到附着系数μ2。
作为本发明所述的一种基于相机和车速传感器的路面附着系数在线预测装置的一种优选方案，其中：其特征在于：包括如下步骤：
步骤1：根据前视相机的图像数据得到基于相机的路面附着系数μ1；
步骤2：根据车辆行驶中的车速、轮速等信息，利用滑移斜率得到基于车速的路面附着系数μ2；
步骤3：数据对齐模块根据速度传感器和里程计等信息将μ1、μ2及图像信息实现同一路段同步；
步骤4：以基于相机的路面附着系数μ1为基准，利用基于车速的路面附着系数μ2校验μ1的合理性，得到融合后的附着系数μ；
步骤5：在线更新模块：将对齐的(imagw，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
与现有技术相比，本发明的有益效果是：基于车速传感器识别的附着系数对基于相机的路面附着系数进行合理性校验，并将对齐的(image，μ)数据流传输至视觉感知模块进行基于学习的在线调整，可减少在相机过度曝光、拖影及昏暗环境下成像质量差从而导致误识别的情况，提高系统的鲁棒性。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明装置的具体算法；
图2为本发明实例分割网络结构图；
图3为本发明数据对齐示意图；
图4为本发明装置的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
实施例1
如图3所示，一种基于相机和车速传感器的路面附着系数在线预测装置，包括视觉感知和运动信号采集模块，视觉感知主要为单目摄像头，用于采集车辆行驶过程中的场景图像，预处理后传输到基于相机的附着系数识别算法中，输出附着系数μ1；运动信号采集模块主要使用GPS、惯性测量单元和轮速传感器，获取加速度、车速及轮速信息，传输至基于附着系数μ2—滑移率sw曲线的附着系数识别算法中得到μ2；数据对齐模块根据速度传感器和里程计等信息将μ1、μ2及预处理后的图片完成同一路段的同步；接着计算μ1的置信度，以μ1为基准，利用μ2校验μ1的合理性，得到融合后的附着系数μ；最后，在线更新模块将对齐的(image，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
如图1所示，基于相机和车速传感器的路面附着系数在线预测装置，包括以下步骤：
步骤一：利用相机获得车辆前方场景图片，对场景图片中的混合路面区域进行像素级标注，建立混合路面图像数据集，将数据集在实例分割网络模型中进行端到端训练，得到离线预训练的网络模型，将车辆在行驶过程中实时采集的前方场景图片预处理后，输入到控制器中预训练好的实例分割网络模型中，实现对路面区域的不同状态分割与分类，根据路面状态类型与附着系数的对应关系得到附着系数μ1，当路面为单一路面类型时，系统直接输出该附着系数值，当路面为混合路面类型时，系统输出该附着系数集合中的最小值。
步骤二：车辆运动信号采集模块获取车辆行驶中的车速、轮速等信息，根据该信息估计纵向轮胎力、法向轮胎力，进而估计滑移率sw，利用附着系数μ2—滑移率sw曲线的斜率法得到附着系数μ2。
步骤三：如图4所示，数据对齐模块根据速度传感器和里程计等信息将μ1、μ2及图像信息实现同一路段同步。
步骤四：对基于相机的路面附着系数μ1进行置信度评估，以μ1为基准，利用基于车速的路面附着系数μ2校验μ1的合理性，得到融合后的附着系数μ。
步骤五：在线更新模块将对齐的(image，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
具体地，在步骤一中，相机通过拍摄场景图片，预处理后传输到实例分割网络模型中，检测不同状态的路面区域，实现像素级分割和分类。具体包括三个过程：图像预处理、模型训练及识别过程。
相机安装位置需保证获取的场景图像中道路区域占1/2-2/3。
图像预处理过程即畸变矫正，利用多次拍摄棋盘格标定板获得相机内参。相机的径向和切向畸变参数如下：
xdistorted＝x(1+k1r2+k2r4+k3r6)+[2p1xy+p2(r2+2x2)]
ydistorted＝y(1+k1r2+k2r4+k3r6)+[p1(r2+2y2)+2p2xy]
其中，(x，y)表示未畸变矫正前在标准化图像坐标系中的位置。(xdistorted，Ydistorted)表示畸变矫正后的位置，k1、k2及k3表示镜头的径向畸变参数，p1、p2表示镜头的切向畸变参数。r表示(x，y)在图像坐标系中距原点的距离。
r2＝x2+y2
路面状态类型主要分为：干燥、湿润、积水、积雪、雪浆及冰六种状态。由于路面状态复杂，路面包括单一路面及混合路面。
所述的路面图像数据集建立如下：
该训练样本中图像大小不做限制，使用labelme软件将图片中不同的路面状态进行像素级标注，保存得到json文件，标注内容具体为road_class，包括6类，dry，wet，stagnant，snow，snow_sludge，ice，图像像素(h,w)以及对应的区域角点坐标：{(x1，y1)，(x2，y2)，...，(xn，yn)}。以一定的比例将数据集随机分为训练集、验证集及测试集，作为实例分割模型的输入。
本发明对预训练的网络模型具体结构不做限制，可以检测不同状态的路面区域，实现像素级分割和分类即可。在一种优选的具体实施方式中，采用的实例分割模型具体如下：
包括4个主要部分，以ResNet101-FPN为主干架构(Backbone)、区域候选网络(RPN)、感兴趣区域分割(ROI)和边框回归(box Regression)、掩膜生成(Mask)，可针对车辆前方场景图片中的不同路面状态进行实例分割并分类，完成可行驶区域的划分与路面分类。
该深度学习算法使用的框架为TensorFlow或PyTorch或Keras等。
为提高网络模型训练精度，在训练阶段采用数据扩增的方式，如图像翻转、正则化等。
实例分割模型采用小批量随机梯度下降的反向传播算法进行训练，参数更新方法为动量梯度下降优化和学习率衰减策略，使用预训练的COCO数据集预训练模型初始化。
该实例分割网络模型的损失函数计算如下：
L＝Lcls+Lbox+Lmask
Lcls表示物体的分类损失函数，Lbox表示目标检测框损失函数，Lmask表示目标分割掩码损失函数，具体为平均二分类交叉熵损失函数。
Figure BDA0003663492740000081
其中，ω表示权值，b表示偏置，m表示样本集的数量，i表示当前样本数，
Figure BDA0003663492740000082
表示样本的实际输出，yi表示样本的期望输出。
识别过程如下：对相机传来的图像进行预处理后，传递到实例分割网络模型中，该网络模型识别的输出结果为路面区域的掩膜，路面区域类型以及检测的边界框。
所述的路面状态与附着系数映射表如下：
Figure BDA0003663492740000083
若路面为单一路面类型，则映射结果即为附着系数值:
μ1＝μ1
若路面为混合路面，以安全为基准，其中各个路面状态对应的附着系数中最小值为该图片的输出附着系数。
Figure BDA0003663492740000084
该算法可集成在自动泊车系统或交通标志识别等辅助驾驶算法中。
步骤二中，基于车速传感器的路面附着系数识别过程如下：
具体地，使用线性二自由度模型，忽略左右车辆的变化、忽略路面不平和风速，纵向动力学可表示为：
max＝Fxf+Fxr-Fr-DaV2
其中，m为整车质量，ax为纵向加速度，Fxf和Fxr是分别是前后轮驱动力，Fr表示滚动阻力，Da表示气动阻力，V表示纵向速度。
具体地，
Fr＝Crollmg
其中，Croll表示滚动阻力系数。
Figure BDA0003663492740000091
其中，ξ表示空气密度，Cd表示气动阻力系数，A表示车辆前方有效面积。
忽略轮胎侧向力时，归一化轮胎力为
Figure BDA0003663492740000092
其中，Fx表示轮胎所受的纵向力，Fz表示轮胎所受的法向力。
轮胎纵向力如下：
Fx＝Fxf+Fxr＝m|ax|+|Fr|+|DaV2|，ax≥0
Fx＝Fxf+Fxr＝m|ax|-|Fr|-|DaV2|，ax≤0
前后轮胎法向力如下：
Figure BDA0003663492740000093
Figure BDA0003663492740000094
其中，Lf，Lr表示前后轴到质心的距离，h表示质心高度，L＝Lf+Lr表示车辆的轴距。
纵向滑移率计算如下：
Figure BDA0003663492740000095
其中，ω表示车轮角速度，re表示车轮的有效半径。
上述使用的传感器包括GPS、加速度计及轮速传感器。
根据附着系数μ2-滑移率sw曲线可知，在低滑移率区间(Sw≤0.05)，归一化纵向力与滑移率成正比例关系。
Figure BDA0003663492740000101
其中，K表示μ2-sw曲线的斜率，K与路面附着系数呈正相关，可通过计算滑移斜率本来实现附着系数识别。
具体地，若为全驱车辆，滑移率与归一化纵向力的公式为：
Figure BDA0003663492740000102
Figure BDA0003663492740000103
其中，Kf，Kr表示前后轮的滑移斜率。
Fx＝Fxf+Fxr＝KfSwfFzf+KrSwrFzr
当前后轮所在地面材质相同时，Kf，Kr只由轮胎材质和前后轮轮胎数量决定。
Kf＝αKr
上述α由前后轮胎配置比例决定。
分析得到针对前驱、后驱及全驱统一轮胎归一化纵向力与滑移率关系。
Figure BDA0003663492740000104
具体地，若后驱模式，则α→∞，若前驱模式，则α→∞。
上述公式时变形式如下：
Figure BDA0003663492740000105
Figure BDA0003663492740000106
其中，
Figure BDA0003663492740000107
是测量的回归向量，θ(t)＝Kr(t)是未知参数，e(t)表示测量值Fx(t)与估计值
Figure BDA0003663492740000108
之间的误差。识别Kr后，进一步根据Kr与路面附着系数之间的对应关系即可实时识别附着系数。
当在高滑移率下(Sw＞0.05)时，由于不同路面归一化轮胎力差异显著，可直接使用归一化轮胎力ρ对路面附着系数分类，时变函数如下：
Figure BDA0003663492740000111
其中，θ(t)＝μ(t)为未知参数。
使用递归最小二乘法，通过上一时刻回归向量θ(t)的输入和输出参数，在每个采样时间更新未知向量
Figure BDA0003663492740000112
来最小化模型误差的均方根。
具体地迭代过程如下：
a.测量系统输出Fx(t)，计算回归向量θ(t)
b.计算识别误差e(t)，采样时间t处实际系统输出与前一个采样时间t-1处根据估计参数获得的预测模型输出的差值。
Figure BDA0003663492740000113
c.计算更新的增益向量K(t)
Figure BDA0003663492740000114
协方差矩阵P(t)
Figure BDA0003663492740000115
上式中的λ表示遗忘因子，决定收敛的速度，值越小，收敛越快，但带来了噪声和震荡，λ取值范围在0.9-1之间。
d.更新估计向量
θ(t)＝θ(t-1)+K(t)e(t)
基于a-d的迭代，即可实现对K(t)估算，进而查归一化轮胎力-滑移率映射表获得附着系数值μ2。
该算法可以配置在ABS或ESC等车辆控制器中。
步骤三，如图3所示，数据对齐模块根据速度传感器和里程计等信息将μ1、μ2及图像信息实现同一路段同步。
基于相机的路面附着系数μ1具有预测性，输出的结果是车辆前方一段路面的附着系数值，由于环境等影响可能会出现误识别；基于车速的路面附着系数μ2在处于稳态时，结果准确，输出结果是当前碾压路面的附着系数值，无法处理突变路面，存在滞后。
假设两种方式的数据传输耗时相同，则根据相机安装位置和视场角可得间距a：
a＝H tanθ
延迟距离y：
y＝L+a＝L+H tanθ
延迟时间Δt：
Figure BDA0003663492740000121
因此，相机估计的附着系数路段为经过Δt后的基于车速的附着系数估计路段。
具体地，若车辆每n帧提取一张图片，则Δt时间内经过的图片数量Δn为：
Figure BDA0003663492740000122
根据速度及位移信息即可匹配图片与基于车速的附着系数μ2，得到数据对，用作因为相机拍摄图像出现过度曝光等图像干扰时的数据库。
上述过程在中央控制单元中进行。
步骤四中，以基于相机的路面附着系数μ1为基准，利用基于车速的路面附着系数μ2校验μ1的合理性，得到融合后的附着系数μ。
由于本发明倾向于为辅助驾驶系统提供预测作用，因此，将基于相机的附着系数估计结果作为重点，基于车速的附着系数只提供校验。
取上一时刻的附着系数值μt-1，本时刻附着系数输出值包括基于相机的路面附着系数μt，1，和基于车速的附着系数μt，1。评估置信度ε，由于路面突变的情况较为少见，因此，
Figure BDA0003663492740000131
若ε≥0.5，认为基于相机的路面附着系数μ1具有较高可靠性，即作为当前附着系数估计值输出；若ε＜0.5，认为可靠性低，系统等待Δt后，使用基于车速的附着系数μt+Δt，2与基于相机的路面附着系数μt，1取均值作为附着系数的值；若相机拍摄有过度曝光、拖影或明显干扰时，无法获得基于附着系数值，使用基于车速的附着系数μt+Δt，2的值作为当前附着系数的值。
步骤五中，在线更新模块将对齐的(image，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
具体地，在t-1时刻，系统输出融合后的路面附着系数值μt-1，将其与Δt前的图片匹配，得到一组数据对(imaget-1，μt-1)；
将该数据对传输到相机子控制器中，扩充t时刻的基于相机的附着系数预测的数据集，在车辆行驶过程中，数据集不断扩充，系统将学习各类图像的干扰，从而提高基于相机的附着系数识别的可靠性。
虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (4)

1.一种基于相机和车速传感器的路面附着系数在线预测装置，其特征在于：包括视觉感知模块、车辆运动信号采集模块、数据对齐模块、融合模块和在线更新模块；
其中，视觉感知模块用于执行根据前视相机的图像数据得到基于相机的路面附着系数μ1；车辆运动信号采集模块用于执行获取车辆行驶中的车速、轮速等信息，利用滑移斜率得到基于车速的路面附着系数μ2；数据对齐模块用于执行根据速度传感器和里程计等信息将μ1和μ2完成同一路段同步；融合模块用于执行以基于相机的路面附着系数μ1为基准，利用基于车速的路面附着系数μ2校验μ1的合理性，得到融合后的附着系数μ；在线更新模块用于执行将对齐的(image，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
2.根据权利要求1所述的一种基于相机和车速传感器的路面附着系数在线预测装置，其特征在于：所述视觉感知模块具体包括：a.利用相机获得车辆前方场景图片；b.对场景图片中的混合路面区域进行像素级标注，建立混合路面图像数据集；c.将数据集在实例分割网络模型中进行端到端训练，得到离线预训练的网络模型；d.将车辆在行驶过程中实时采集的前方场景图片预处理后，输入到控制器中预训练好的实例分割网络模型中，实现对路面区域的不同状态分割与分类；e.根据路面状态类型与附着系数的对应关系得到附着系数μ1。
3.根据权利要求1所述的一种基于相机和车速传感器的路面附着系数在线预测装置，其特征在于：所述车辆运动信号采集模块具体包括：a.根据车辆行驶状态估计纵向轮胎力、法向轮胎力和滑移率；b.根据附着系数μ2—滑移率sw曲线的斜率法得到附着系数μ2。
4.根据权利要求1-3任意一项所述的一种基于相机和车速传感器的路面附着系数在线预测装置的使用方法，其特征在于：包括如下步骤：
步骤1：根据前视相机的图像数据得到基于相机的路面附着系数μ1；
步骤2：根据车辆行驶中的车速、轮速等信息，利用滑移斜率得到基于车速的路面附着系数μ2；
步骤3：数据对齐模块根据速度传感器和里程计等信息将μ1、μ2及图像信息实现同一路段同步；
步骤4：以基于相机的路面附着系数μ1为基准，利用基于车速的路面附着系数μ2校验μ1的合理性，得到融合后的附着系数μ；
步骤5：在线更新模块：将对齐的(image，μ)数据流传输至视觉感知模块的数据集，对网络模型进行扩充与训练，提高在图像干扰情况下附着系数估计的可靠性。
CN202210586112.4A 2022-05-26 2022-05-26 一种基于相机和车速传感器的路面附着系数在线预测装置 Pending CN114821193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586112.4A CN114821193A (zh) 2022-05-26 2022-05-26 一种基于相机和车速传感器的路面附着系数在线预测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586112.4A CN114821193A (zh) 2022-05-26 2022-05-26 一种基于相机和车速传感器的路面附着系数在线预测装置

Publications (1)

Publication Number Publication Date
CN114821193A true CN114821193A (zh) 2022-07-29

Family

ID=82518974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586112.4A Pending CN114821193A (zh) 2022-05-26 2022-05-26 一种基于相机和车速传感器的路面附着系数在线预测装置

Country Status (1)

Country Link
CN (1) CN114821193A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115503712A (zh) * 2022-09-22 2022-12-23 南京理工自动化研究院有限公司 考虑道路运行条件的智能网联汽车预测控制方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115503712A (zh) * 2022-09-22 2022-12-23 南京理工自动化研究院有限公司 考虑道路运行条件的智能网联汽车预测控制方法和系统

Similar Documents

Publication Publication Date Title
CN113361121B (zh) 一种基于时空同步与信息融合的路面附着系数估计方法
CN110765909B (zh) 基于车载摄像头辅助分布式驱动电动汽车路面估计方法
CN101320089B (zh) 用于估计车辆的车辆动力的系统和方法
CN107491736A (zh) 一种基于卷积神经网络的路面附着系数辨识方法
CN107972662A (zh) 一种基于深度学习的车辆前向碰撞预警方法
CN111696387B (zh) 一种基于前向障碍物识别的自适应防撞分级预警方法
CN110263844B (zh) 一种在线学习和实时估计路面状态的方法
CN109910897B (zh) 一种基于前方路面峰值附着系数的安全距离估算方法
CN102999759A (zh) 一种基于光流的车辆运动状态估计方法
CN111860322B (zh) 一种基于多源传感器信息融合的非结构化路面类型识别方法
CN111688706A (zh) 一种基于视觉与动力学的路面附着系数交互式估计方法
CN114572183A (zh) 一种汽车路面自适应的车辆控制方法及设备
Leng et al. Tire-road peak adhesion coefficient estimation method based on fusion of vehicle dynamics and machine vision
CN110502971A (zh) 基于单目视觉的道路车辆识别方法及系统
CN111688707A (zh) 一种视觉与动力学融合的路面附着系数估计方法
CN114821193A (zh) 一种基于相机和车速传感器的路面附着系数在线预测装置
CN114715168A (zh) 一种道路标线缺失环境下的车辆偏航预警方法和系统
CN110550041B (zh) 一种基于云端数据共享的路面附着系数估计方法
CN114802223B (zh) 一种智能车辆可控能力等级预测方法
Vosahlik et al. Self-supervised learning of camera-based drivable surface friction
CN114715158A (zh) 一种基于路面纹理特征的路面附着系数的测定装置及方法
CN113076988B (zh) 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
Jin et al. Road friction estimation method based on fusion of machine vision and vehicle dynamics
CN116843895B (zh) 一种基于图像识别的车辆胎压与重量联合预测方法及系统
CN116513198A (zh) 图像识别与动力学融合的路面附着系数估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination