CN116513198A - 图像识别与动力学融合的路面附着系数估计方法及系统 - Google Patents

Abstract

本发明公开一种图像识别与动力学融合的路面附着系数估计方法及系统，该方法包括利用语义分割网络和卷积神经网络确定路面类型；根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力；根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数；通过时空同步模块确定与第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定最终图像识别结果以及图像识别置信度；根据最终图像识别结果、图像识别置信度、第一路面附着系数及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略，确定最终路面附着系数。本发明可提高路面附着系数估计的准确性。

Description

图像识别与动力学融合的路面附着系数估计方法及系统

技术领域

本发明涉及汽车控制领域，特别是涉及一种图像识别与动力学融合的路面附着系数估计方法及系统。

背景技术

随着汽车智能化的发展，车辆主动安全控制系统逐渐在乘用车普及，如车身电子稳定系统（Electronic stability program，ESP）、自动紧急制动系统（Autonomousemergency braking，AEB）等，有效提高了车辆主动安全性能。路面附着系数是车辆主动安全控制系统关键参数，准确、快速估计路面附着系数对保障车辆主动安全控制至关重要。围绕路面附着系数估计，现有研究主要分为基于原因（Cause-based）法和基于效果（Effect-based）法两类。Cause-based法利用声波、红外、摄像头、雷达等传感器辨识路面状态，在此基础上进一步估计路面附着系数，这类方法可以对前方路面状态进行预判，但仅能确定路面类型而无法准确获得路面附着系数值，估计效果易受环境影响。Effect-based法通过建立与路面附着系数相关的车辆动力学模型，并结合状态观测器设计实现路面附着系数估计，现有研究主要聚焦于通过轮胎或车辆动力学响应特性实现路面附着系数估计。

现有技术主要有：

方案（1）构建融合估计器估计路面附着系数

专利CN 110765909 A提出了基于车载摄像头辅助分布式驱动电动汽车路面估计方法。其基本原理是：利用车载摄像头分别拍摄车辆前方干燥和潮湿路面的图像，基于颜色矩法和灰度共生矩阵法提取路面图像特征，利用支持向量机方法对各路面图像特征进行分类辨识；基于轮胎纵向力设计扰动估计器估计路面附着系数；考虑路面类型映射的附着系数经验值与真实值之差构造融合估计器，获取融合估计结果。

方案（2）融合图像识别法与动力学法的路面附着系数估计值

专利CN 111688707 A提出了一种视觉与动力学融合的路面附着系数估计方法。其基本原理是：首先获取车辆行驶过程中前方的路面图像，将图像输入训练完成的用于路面分类的深度神经网络模型，得到前方路面类型，根据路面类型与路面附着系数映射关系，获取路面附着系数视觉估计值；获取车辆行驶过程中轮胎的动力学信息，利用路面附着系数-轮胎纵向力估计器，获取当前路面峰值附着系数估计值；结合路面附着系数视觉估计值和基于轮胎动力学的路面峰值附着系数估计值，利用模糊推理规则得到最终路面附着系数估计值。

方案（3）摄像头、雷达和车辆动力学三种方法融合

专利CN 111845709 B提出了一种基于多信息融合的路面附着系数估计方法及系统。其基本原理是：首先摄像头采集前方路面图像，输入到训练好的路面分类器识别路面类型，得到路面类型对应的路面附着系数经验值，记为第一路面附着系数；其次，由激光雷达扫描获得的地面点云反射强度图得到第二路面附着系数；在车辆行进过程中，采用轮胎的纵向动力学响应估计车辆轮胎位置处的第三路面附着系数；最后，以第三路面附着系数为基准，对第一路面附着系数和所述第二路面附着系数进行修正，得到最终的路面附着系数。

方案（4）基于融合机制选择图像识别或动力学的路面附着系数估计值

专利CN 113361121 B提出了一种基于时空同步与信息融合的路面附着系数估计方法。其基本原理是：首先，传感器采集车辆前方路面图像信息和车辆动力响应信息；其次，通过训练好的语义分割网络提取采集的车辆前方路面图像中的路面区域，再送入训练好的路面类型识别网络得到路面类型识别结果，映射得到路面附着系数范围；根据采集的车辆动力学响应信息，采用无迹卡尔曼滤波器估计方法得到路面附着系数估计值；通过时空同步方法筛选出满足融合条件的路面类型识别结果与动力学的路面附着系数估计值；最后根据置信度门限值与加权概率值判断路面类型识别结果是否准确，融合基于图像信息的路面附着系数范围和动力学的路面附着系数估计值，输出最终估计值。

方案（5）以图像估计结果作为动力学估计器的约束

专利CN 115195751 A提出了一种基于多元信息融合的路面附着系数的估计方法及系统。其基本原理是：首先采集车辆的状态信息和前方路面图像；根据车辆状态信息和摄像头预瞄点与车道线间的横向距离估计车辆质心侧偏角，根据车辆状态信息估计车辆侧向力；由路面图像识别路面类型，映射到路面附着系数范围；综合上述估计和识别结果以及车辆状态信息，估计路面附着系数。

针对方案（1）：在图像识别部分仅针对路面的干燥和潮湿两种状态进行识别，通过人工提取图片特征存在识别精度低的问题，将图像识别结果作为动力学估计器的参数之一，未发挥图像识别法可以预判前方路面状态的优势。

针对方案（2）：利用模糊推理规则将路面附着系数视觉估计值与基于轮胎动力学的路面峰值附着系数估计值融合，得到最终路面附着系数估计值，同样未发挥图像识别法可以预判前方路面状态的优势。

针对方案（3）：采用三种方法估计路面附着系数，比较摄像头图像特征置信度与最低置信度阀值、激光雷达图像特征置信度与低置信度阀值、不同方法辨识的路面附着系数值之差与差异性阀值选择可信的估计结果，此方案未回避由图像特征确定的路面附着系数值不精确的缺点，反而以最准确的动力学估计值作为判断依据，在图像特征和激光雷达图像特征识别不准确的情况下才选择动力学估计值，判断逻辑存在缺陷。

针对方案（4）：通过一种判断机制融合基于视觉的路面附着系数估计结果和基于动力学的路面附着系数估计，判断机制中未考虑在车轮处于小滑移/小侧偏工况下基于动力学估计的路面附着系数精度差的情况。

针对方案（5）：由摄像头获取的路面信息确定路面附着系数范围，该范围作为基于动力学的路面附着系数估计器的约束，摄像头采集的路面信息受光照影响大，此方案未考虑摄像头采集的路面信息不准确的情况。

现有的融合路面图像信息与车辆动力学信息的路面附着系数辨识方法可以总结为估计器上的融合和规则上的融合两大类。估计器上的融合是将由图像信息确定的路面附着系数作为基于动力学的路面附着系数估计器的参数之一，这类方法能得到较为准确的估计值，但估计器的主体仍是动力学，仍存在轮胎小滑移/小侧偏情况下估计不准的问题。规则上的融合是建立一套判断逻辑，对两种估计结果进行选择，这类方法覆盖的工况广泛，但逻辑简单，难以完全发挥基于图像信息和基于动力学两种方法的优势。同时，在基于图像信息识别路面的方法中，包括机器学习和深度学习两种方法。机器学习的人工提取图像特征过程复杂，识别精度与特征的选择相关。深度学习可以自动学习图像特征，但高精度网络的结构复杂，模型参数多。

因此，为解决上述问题，亟需提供一种新的路面附着系数确定方法或系统，以提高路面附着系数确定的准确性。

发明内容

本发明的目的是提供一种图像识别与动力学融合的路面附着系数估计方法及系统，可提高路面附着系数确定的准确性。

为实现上述目的，本发明提供了如下方案：

一种图像识别与动力学融合的路面附着系数估计方法，包括：

利用车载摄像头获取车辆前方路面图像；

利用DeeplabV3+语义分割网络对车辆前方路面图像进行分割；并利用MobileNetV2轻量化卷积神经网络对分割后的车辆前方路面图像进行路面类型分类；

利用车载传感器获取车辆状态信息；所述车辆状态信息包括：前轮转角、车辆加速度、车轮转速和转矩；

根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力；

根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数；

通过时空同步模块确定与第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定最终图像识别结果以及图像识别置信度；所述时空同步模块用于查找包含第一路面附着系数路面的所有拍摄的车辆前方路面图像的图像识别结果，并将所有图像识结果出现频率最高的路面类型作为最终图像识别结果；

根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略；

根据图像识别与动力学融合策略确定最终的路面附着系数。

可选地，所述根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力，具体包括：

利用确定单轮动力学模型；

利用公式确定单轮动力学模型对应的离散状态空间方程；

其中，为车轮转动惯量；为车轮旋转角速度；为车轮旋转角加速度，为作用于车轮的驱动或制动力矩；为车轮滚动半径；为轮胎纵向力；为离散时刻；为时刻的状态变量，为时刻的状态变量；=为观测变量；为时刻的观测变量；=为控制量，为时刻的控制量；为时刻服从正态分布（0，）的过程噪声；为时刻服从正态分布（0，）的观测噪声；为过程噪声的协方差矩阵；为观测噪声的协方差矩阵；为状态矩阵，为控制矩阵，为观测矩阵。

可选地，所述根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数，具体包括以下公式：

；

其中，为轮胎纵向力，为实际路面附着系数，为轮胎滑移率，、、和分别为轮胎力学特性曲线的刚度因子、形状因子、峰值因子和曲率因子，和为轮胎力曲线相对于原点的水平偏移和纵向偏移。

可选地，所述根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略，具体包括：

当图像识别置信度大于或等于图像法置信度阈值时，根据最终图像识别结果确定对应的路面附着系数范围；

根据路面附着系数范围确定第二路面附着系数；

当第一路面附着系数在路面附着系数范围内时，将第一路面附着系数作为最终的路面附着系数；

当第一路面附着系数不在路面附着系数范围内时，将第二路面附着系数作为最终的路面附着系数；

当图像识别置信度小于图像法置信度阈值时，判断车辆纵向加速度的估计值与真实值之差是否大于误差阈值；

若大于，则将路面附着系数估计器确定的上一时刻的路面附着系数作为最终的路面附着系数；

若小于或等于，则将第一路面附着系数作为最终的路面附着系数。

可选地，所述当图像识别置信度大于或等于图像法置信度阈值时，根据最终图像识别结果确定对应的路面附着系数范围，之后还包括：

当最终图像识别结果为低附路面时，向车辆发送预警信号。

一种图像识别与动力学融合的路面附着系数估计系统，包括：

路面图像获取单元，用于利用车载摄像头获取车辆前方路面图像；

路面分类单元，用于利用DeeplabV3+语义分割网络对车辆前方路面图像进行分割；并利用MobileNetV2轻量化卷积神经网络对分割后的车辆前方路面图像进行路面类型分类；

车辆状态信息获取单元，用于利用车载传感器获取车辆状态信息；所述车辆状态信息包括：前轮转角、车辆加速度、车轮转速和转矩；

轮胎纵向力估计单元，用于根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力；

第一路面附着系数估计单元，用于根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数；

最终图像识别结果确定单元，用于通过时空同步模块确定与第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定最终图像识别结果以及图像识别置信度；所述时空同步模块用于查找包含第一路面附着系数路面的所有拍摄的车辆前方路面图像的图像识别结果，并将所有图像识结果出现频率最高的路面类型作为最终图像识别结果；

图像识别与动力学融合策略建立单元，用于根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略；

最终的路面附着系数确定单元，用于根据图像识别与动力学融合策略确定最终的路面附着系数。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种图像识别与动力学融合的路面附着系数估计方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种图像识别与动力学融合的路面附着系数估计方法及系统，采用轻量化DeeplabV3+语义分割网络和MobilenetV2分类网络，可以减少模型参数，计算速度快，且路面类型识别精度高，符合车载要求。摄像头拍摄的为前方路面图像，动力学信息反映当前行驶路面状态，提出的时空同步模块可以筛选符合动力学响应点的所有图像识别结果，匹配图像识别结果与动力学响应信息，为整体融合估计方法的实现奠定基础。由于图像识别受外界环境影响大，提出了图像识别法置信度计算方法，置信度的计算随车辆行驶情况自动调节。本发明基于单轮动力学模型估计轮胎纵向力，再构建基于粒子滤波的路面附着系数动力学估计器；其次，建立基于图像识别的路面附着系数估计方法。针对结构化道路干燥、潮湿、冰雪三种状态，通过DeeplabV3+语义分割网络分割道路，再通过MobileNetV2轻量化卷积神经网络实现路面类型分类，并通过查表获取前向路面附着系数；最后，建立图像识别与动力学估计时空同步方法和融合策略，实现了两类附着系数估计结果的有效关联和可靠融合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种图像识别与动力学融合的路面附着系数估计方法流程示意图；

图2为轻量化DeeplabV3+网络结构示意图；

图3为时空同步示意图；

图4为图像识别与动力学融合策略流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种图像识别与动力学融合的路面附着系数估计方法及系统，可提高路面附着系数确定的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明所提供的一种图像识别与动力学融合的路面附着系数估计方法，包括：

S101，利用车载摄像头获取车辆前方路面图像。

S102，利用DeeplabV3+语义分割网络对车辆前方路面图像进行分割；并利用MobileNetV2轻量化卷积神经网络对分割后的车辆前方路面图像进行路面类型分类。

DeeplabV3+语义分割网络：DeeplabV3+是目前最先进的语义分割网络，可实现路面区域划分，DeeplabV3+采用编码-解码结构，编码器首先经过骨干网络提取低维特征图，然后由空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）提取多尺度特征信息。1×1卷积提取细致的特征信息，不同空洞率的3×3空洞卷积提取不同大小感受野的信息，全局平均池化提取全局信息。解码器部分由低维特征图与四倍上采样的高维特征图级联，融合空间信息与通道信息以提高语义分割性能。最后，通过3×3卷积和四倍上采样得到最终分割结果。

MobileNetV2卷积神经网络：MobileNetV2采用深度可分离卷积。首先，特征图的每个通道仅与一个卷积核进行卷积运算，得到的特征图个数与通道数C一致；然后对新特征图采用N个1×1×C大小的卷积核进行卷积运算；最后得到与卷积核个数一致的N个特征图。深度可分离卷积操作可有效减少参数计算量。MobileNetv2在此基础上加入倒残差结构和线性瓶颈模块。倒残差结构将先降维再升维的残差结构调整为先升维再降维，先升维可丰富特征数量以提高模型精度。由于ReLU激活函数将非正的输入特征置0而导致大量信息丢失，因此，瓶颈模块采用线性激活函数以减少信息丢失。

本发明采用目前最先进的DeeplabV3+语义分割网络实现路面区域划分，考虑到车载计算单元的计算能力，将原骨干网络Xception替换为参数量更少的MobilenetV2，网络结构如图2所示。

语义分割结果将路面区域标为紫色，其他背景区域标为黑色，对语义分割结果图进行灰度化处理，得到的灰度图仅有两个值：背景区域灰度值为0，路面区域灰度值为90。值为90的像素点赋1，得到背景为0、路面为1的矩阵，再与原图矩阵运算得到仅包含路面区域的图像。将仅包含路面区域的图像输入到卷积神经网络识别路面类型。

本发明采用轻量化卷积神经网络MobileNetV2，MobileNetV2网络结构见表1，表1中Bottleneck代表倒残差的线性瓶颈模块；Conv2d代表二维卷积，未特殊标注的卷积均为3×3卷积；Avgpool代表平均池化；k代表类别数。

表1 MobileNetV2网络结构

得到图像识别的路面类型，再由路面类型与路面附着系数映射关系确定路面附着系数范围，以（范围上界+范围下界）/2作为路面附着系数估计值，映射关系见表2。

表2 路面类型-路面附着系数映射关系

S103，利用车载传感器获取车辆状态信息；所述车辆状态信息包括：前轮转角、车辆加速度、车轮转速和转矩。

S104，根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力。

建立单轮动力学模型：

（1）

式中：为车轮转动惯量；为车轮旋转角速度；为车轮旋转角加速度，为作用于车轮的驱动或制动力矩；为车轮滚动半径；为轮胎纵向力。

公式（1）离散状态空间方程为：

（2）

式中：为离散时刻；为时刻的状态变量，=[，]^T，为时刻的状态变量；=为观测变量；为时刻的观测变量；=为控制量，为时刻的控制量；为时刻服从正态分布（0，）的过程噪声；为时刻服从正态分布（0，）的观测噪声；为过程噪声的协方差矩阵；为观测噪声v的协方差矩阵；状态矩阵、控制矩阵与观测矩阵分别为：

（3）

式中：为离散采样时间。

公式（2）为线性系统，采用卡尔曼滤波算法，基本流程如下：

Step 4.1：根据上一时刻状态量及过程噪声计算先验估计值，可表示为：

（4）

其中，为状态矩阵的转置，为k时刻状态量先验估计，为时刻状态量估计值，为k时刻先验协方差矩阵，为时刻协方差矩阵，为过程噪声的协方差矩阵。

Step 4.2：计算卡尔曼增益，可表示为：

（5）

其中，为时刻卡尔曼增益，为观测矩阵的转置，为观测噪声的协方差矩阵。

Step 4.3：对先验估计进行校正，可表示为：

（6）

其中，为单位矩阵。

Step 4.4：获得由时刻到时刻状态量的最优估计值，重复Step 4.1-Step 4.4。

S105，根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数。

假设路面附着系数短时间内不发生剧烈变化，则状态空间方程可表示为：

（7）

式中： =为状态矢量，其中，下标分别表示左前轮、右前轮、左后轮、右后轮；=为观测矢量；为状态转移方程；为观测方程；为时刻过程噪声；为时刻观测噪声。

状态转移方程表示为：

（8）

其中，表示车轮，为时刻第车轮的路面附着系数估计值，为时刻第车轮的路面附着系数估计值，为第车轮时刻过程噪声。

观测方程由车辆纵向运动方程和纵向工况魔术轮胎模型组成，为精准表征轮胎力学特性，采用摩擦相似原理修正魔术轮胎公式模型，修正后的公式表示为：

（9）

式中：为轮胎纵向力；为实际路面附着系数；为轮胎滑移率。

观测方程表示为：

（10）

式中：为整车质量；为由惯性元件测得的车辆纵向加速度；为前轮转角，为时刻第车轮的轮胎纵向力，为时刻左前轮的轮胎纵向力，为时刻右前轮的轮胎纵向力，为时刻左后轮的轮胎纵向力，为时刻右后轮的轮胎纵向力，为时刻观测噪声，、、、为轮胎力学特性曲线的刚度因子、形状因子、峰值因子和曲率因子，为时刻第车轮的滑移率。

可以看出，路面附着系数估计器为非线性系统，因此采用适用于非线性非高斯系统的粒子滤波算法。以单个车轮为例，粒子滤波算法流程如下：

Step 5.1：初始化粒子数、过程噪声、观测噪声，基于图像识别法预测的路面附着系数值确定初始粒子集合。

Step 5.2：根据时刻的粒子集合中的每个粒子，由状态转移方程（9）计算得到时刻路面附着系数的先验估计值为：

（11）

下标表示第个粒子，=1，2，3，…，。

Step 5.3：状态的先验估计代入公式（10）计算先验观测值，先验观测值与传感器测量值间的误差为：

（12）

以后验分布概率密度函数与重要性函数的比值作为粒子权重，即：

（13）

其中，为时刻观测量为条件下的状态量的第粒子。

粒子权重归一化后的粒子权重可表示为：

（14）

时刻路面附着系数的后验估计为：

（15）

Step 5.4：对粒子集合进行重采样，首先由均匀分布U（0，1]生成随机数，在此基础上生成随机数组为：

（16）

当位于某粒子权重的累加区间时，序号，生成序号集合为：

（17）

其中，为计算新粒子序号的函数，为序号。

重新平均分配新粒子权重得到新的粒子集合为：

（18）

上述新的粒子集合为在=、=和=条件下重采样后新的第粒子和重采样后新的第粒子的权重的值。

其中，为时刻状态量的重采样后新的第粒子，为时刻重采样后新的第粒子的权重，为时刻状态量的第粒子。

得到新的粒子集合及其权重，代入下一次循环，重复Step 5.2 - Step 5.4。

S106，通过时空同步模块确定第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定最终图像识别结果以及图像识别置信度；所述时空同步模块用于查找包含第一路面附着系数路面的所有拍摄的车辆前方路面图像的图像识别结果，并将所有图像识结果出现频率最高的路面类型作为最终图像识别结果。

时空同步模块工作过程如图3所示，车载前置摄像头可通过拍摄车辆前向道路实现路面附着预测，而车辆动力学估计方法仅能估计车辆当下路面附着系数，首先需将两种方法估计结果进行时间和空间匹配。摄像头采样频率为30Hz，GPS采样频率为20Hz，惯导采样频率为100Hz，以20Hz频率进行采样。

由于基于图像识别的路面附着系数预测是对整车未来行驶区域的路面条件的辨识，不针对单个车轮，在时空同步中可将车辆近似为质点进行分析。如图3所示，为摄像头拍摄范围，为车辆质心到拍摄范围最小距离。在（=1，2，… ，，此时，为第个区间，为区间总数）点摄像头获取前方路面信息；在点获取车辆动力学响应信息。区间内摄像头获取的路面信息均包含点。摄像头采集图像需经过语义分割和卷积神经网络处理，设运算时间为，则经过后车辆由移动到，需保证不超过。因此，能够与处车辆动力学算法融合的摄像头拍摄点应满足：

条件（1）

条件（2）

选取区间所有图像识结果中出现频率最高的路面类型作为最终图像识别结果，输入动力学响应处，记该类型出现次数为，则分类概率为。设置图像识别法置信度，当某类型路面出现频率高于时才将该路面类型作为图像识别的最终结果。

S107，根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略。

S108，根据图像识别与动力学融合策略确定最终的路面附着系数。

S107具体包括：

当图像识别置信度大于或等于图像法置信度阈值时，根据最终图像识别结果确定对应的路面附着系数范围。

根据路面附着系数范围确定第二路面附着系数。

当第一路面附着系数在路面附着系数范围内时，将第一路面附着系数作为最终的路面附着系数。

当第一路面附着系数不在路面附着系数范围内时，将第二路面附着系数作为最终的路面附着系数。

当图像识别置信度小于图像法置信度阈值时，判断车辆纵向加速度的估计值与真实值之差是否大于误差阈值。

若大于，则将路面附着系数估计器确定的上一时刻的路面附着系数作为最终的路面附着系数。

若小于或等于，则将第一路面附着系数作为最终的路面附着系数。

所述当图像识别置信度大于或等于图像法置信度阈值时，根据最终图像识别结果确定对应的路面附着系数范围，之后还包括：

当最终图像识别结果为低附路面时，向车辆发送预警信号。

作为一个具体的实施例，如图4所示，存在以下三种情况：

情况（1）当图像识别结果为低附路面时，向车辆发送预警信号。

情况（2）当时，图像识别结果可信，查表得到路面类型对应的路面附着系数范围，预测值为，作为基于动力学的粒子滤波估计器初始值。判断是否在区间之间；若位于区间，则动力学估计准确，以动力学估计值作为最终估计值；相反，以图像法预测结果作为最终估计值。

情况（3）当时，此时图像预测结果不可信，则需判断基于动力学的估计结果是否可信。以纵向加速度的观测值与传感器测量值之差作为判断依据，若则基于动力学的估计准确，以动力学估计值作为最终估计值；否则保持上一时刻估计值不变。

本发明还提供一种图像识别与动力学融合的路面附着系数估计系统，包括：

路面图像获取单元，用于利用车载摄像头获取车辆前方路面图像。

路面分类单元，用于利用DeeplabV3+语义分割网络对车辆前方路面图像进行分割；并利用MobileNetV2轻量化卷积神经网络对分割后的车辆前方路面图像进行路面类型分类。

车辆状态信息获取单元，用于利用车载传感器获取车辆状态信息；所述车辆状态信息包括：前轮转角、车辆加速度、车轮转速和转矩。

轮胎纵向力估计单元，用于根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力。

第一路面附着系数估计单元，用于根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数。

最终图像识别结果确定单元，用于通过时空同步模块确定与第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定；所述时空同步模块用于查找包含第一路面附着系数路面的所有拍摄的车辆前方路面图像的图像识别结果，并将所有图像识结果出现频率最高的路面类型作为最终图像识别结果。

图像识别与动力学融合策略建立单元，用于根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略。

最终的路面附着系数确定单元，用于根据图像识别与动力学融合策略确定最终的路面附着系数。

对应上述方法，本发明还提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种图像识别与动力学融合的路面附着系数估计方法。

基于上述描述，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的计算机存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本发明在图像识别中，综合考虑网络识别精度和计算速度，采用轻量化DeeplabV3+语义分割网络和MobilenetV2分类网络，有效减少了模型参数，提高计算效率，且路面类型识别精度高。提出的时空同步模块筛选出符合动力学响应点的所有图像识别结果，有效关联了图像识别结果和动力学响应信息。提出了图像识别法置信度计算方法，置信度的计算随车辆行驶情况自动调节。提出低附路面警告模块，在识别前方路面为低附类型时向车辆发送警告信号。本发明提出的基于图像识别与动力学的路面附着系数估计方法，设置了图像识别置信度阈值和动力学估计误差阈值，充分考虑了图像识别或动力学识别结果不准确的情况，可以广泛覆盖车辆行驶工况。为充分发挥图像识别法的预判能力，提出的低附路面警告模块可以在识别前方路面为低附类型时向车辆发送警告信号。目前研究很少考虑图像识别和基于动力学估计路面附着系数结果不准确的情况，本发明的融合方法中充分考虑了两种方法估计结果不准确的情况，设置了图像识别置信度阈值和动力学估计误差阈值，覆盖工况更广泛。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种图像识别与动力学融合的路面附着系数估计方法，其特征在于，包括：

利用车载摄像头获取车辆前方路面图像；

利用DeeplabV3+语义分割网络对车辆前方路面图像进行分割；并利用MobileNetV2轻量化卷积神经网络对分割后的车辆前方路面图像进行路面类型分类；

利用车载传感器获取车辆状态信息；所述车辆状态信息包括：前轮转角、车辆加速度、车轮转速和转矩；

根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力；

根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数；

通过时空同步模块确定与第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定最终图像识别结果以及图像识别置信度；所述时空同步模块用于查找包含第一路面附着系数路面的所有拍摄的车辆前方路面图像的图像识别结果，并将所有图像识结果出现频率最高的路面类型作为最终图像识别结果；

根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略；

根据图像识别与动力学融合策略确定最终的路面附着系数。

2.根据权利要求1所述的一种图像识别与动力学融合的路面附着系数估计方法，其特征在于，所述根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力，具体包括：

利用确定单轮动力学模型；

利用公式确定单轮动力学模型对应的离散状态空间方程；

其中，为车轮转动惯量；为车轮旋转角速度；为车轮旋转角加速度，为作用于车轮的驱动或制动力矩；为车轮滚动半径；为轮胎纵向力；为离散时刻；为时刻的状态变量，为时刻的状态变量；=为观测变量；为时刻的观测变量；=为控制量，为时刻的控制量；为时刻服从正态分布（0，）的过程噪声；为时刻服从正态分布（0，）的观测噪声；为过程噪声的协方差矩阵；为观测噪声的协方差矩阵；为状态矩阵，为控制矩阵，为观测矩阵。

3.根据权利要求2所述的一种图像识别与动力学融合的路面附着系数估计方法，其特征在于，所述根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数，具体包括以下公式：

；

其中，为轮胎纵向力，为实际路面附着系数，为轮胎滑移率，、、和分别为轮胎力学特性曲线的刚度因子、形状因子、峰值因子和曲率因子，和为轮胎力曲线相对于原点的水平偏移和纵向偏移。

4.根据权利要求1所述的一种图像识别与动力学融合的路面附着系数估计方法，其特征在于，所述根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略，具体包括：

当图像识别置信度大于或等于图像法置信度阈值时，根据最终图像识别结果确定对应的路面附着系数范围；

根据路面附着系数范围确定第二路面附着系数；

当第一路面附着系数在路面附着系数范围内时，将第一路面附着系数作为最终的路面附着系数；

当第一路面附着系数不在路面附着系数范围内时，将第二路面附着系数作为最终的路面附着系数；

当图像识别置信度小于图像法置信度阈值时，判断车辆纵向加速度的估计值与真实值之差是否大于误差阈值；

若大于，则将路面附着系数估计器确定的上一时刻的路面附着系数作为最终的路面附着系数；

若小于或等于，则将第一路面附着系数作为最终的路面附着系数。

5.根据权利要求4所述的一种图像识别与动力学融合的路面附着系数估计方法，其特征在于，所述当图像识别置信度大于或等于图像法置信度阈值时，根据最终图像识别结果确定对应的路面附着系数范围，之后还包括：

当最终图像识别结果为低附路面时，向车辆发送预警信号。

6.一种图像识别与动力学融合的路面附着系数估计系统，其特征在于，包括：

路面图像获取单元，用于利用车载摄像头获取车辆前方路面图像；

路面分类单元，用于利用DeeplabV3+语义分割网络对车辆前方路面图像进行分割；并利用MobileNetV2轻量化卷积神经网络对分割后的车辆前方路面图像进行路面类型分类；

车辆状态信息获取单元，用于利用车载传感器获取车辆状态信息；所述车辆状态信息包括：前轮转角、车辆加速度、车轮转速和转矩；

轮胎纵向力估计单元，用于根据车辆状态信息，基于单轮动力学模型，采用卡尔曼滤波估计轮胎纵向力；

第一路面附着系数估计单元，用于根据轮胎纵向力，基于魔术轮胎公式，采用粒子滤波算法，建立路面附着系数估计器，估计第一路面附着系数；

最终图像识别结果确定单元，用于通过时空同步模块确定与第一路面附着系数路面对应的所有图像识别结果，并根据所有图像识别结果确定最终图像识别结果以及图像识别置信度；所述时空同步模块用于查找包含第一路面附着系数路面的所有拍摄的车辆前方路面图像的图像识别结果，并将所有图像识结果出现频率最高的路面类型作为最终图像识别结果；

图像识别与动力学融合策略建立单元，用于根据最终图像识别结果、图像识别置信度、第一路面附着系数以及车辆纵向加速度的估计值与真实值之差，建立图像识别与动力学融合策略；

最终的路面附着系数确定单元，用于根据图像识别与动力学融合策略确定最终的路面附着系数。

7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的一种图像识别与动力学融合的路面附着系数估计方法。