CN108749819B - 基于双目视觉的轮胎垂向力估算系统及估算方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的轮胎垂向力估算系统及估算方法，该系统包括：车辆姿态与速度估计模块、轮胎力估算模块；所述车辆姿态与速度估计模块包括：双目视觉里程计模块、惯性测量单元、视惯融合模块、坐标变换模块；双目视觉里程计模块包括：用于获取车辆原始图像信息的双目立体摄像机，用于获取左、右摄像头图像信息并对图像进行畸变校正的图像采集模块、用于对图像采集模块校正后的图像进行特征点提取的特征提取模块，用于获取特征点相对当前双目立体摄像机的三维坐标的特征匹配与跟踪模块，用于获取双目立体摄像机坐标下的x,y,z三轴的位移和角度的视觉运动估计模块。该系统可准确地估计出轮胎垂向力，使驾驶员准确探知车辆稳定性控制情况。

Description

基于双目视觉的轮胎垂向力估算系统及估算方法

技术领域

本发明属于汽车智能感知与控制领域，具体涉及一种基于双目视觉的轮胎垂向力估算系统及估算方法。

背景技术

随着无人驾驶技术的发展，越来越多先进的，具有大量可获取信息的传感器被加入到车辆系统中，这些新的传感器的加入，不仅为感知层提供了可靠的环境输入，同时可以为底层车辆控提供更多的传感器信息。如何有效利用这些信息来获得更好的车辆控制效果，已成为当今社会探讨和研究的话题。

车辆状态和动力学参数的正确估计对于使用主动控制来提高车辆操纵性和稳定性是非常重要的。但是目前量产车上配备的传感器(如轮速传感器和惯性传感器)对于车速和车身运动姿态的估算都不是十分准确。轮速传感器由于车辆驱动或制动以及侧偏的影响，会对车速的估计造成不利的影响；此外，现有量产车上配备的惯性传感器一般只具有三个轴的信息，分别是，x、y轴加速度，z轴横摆角速度，上述两种原因导致目前还无法实现对车辆操纵性和稳定性的准确控制；最关键的问题是，基于现有的智能感知与控制系统无法准确获取轮胎的垂向力，导致驾驶员无法准确探知车辆稳定性控制情况以及车辆侧翻的风险。

发明内容

本发明的第一个目的在于提供一种基于双目视觉的轮胎垂向力估算系统，以解决现有车速和车身运动姿态无法准确获取、无法准确估算轮胎垂向力，导致驾驶员无法准确探知车辆稳定性控制情况以及车辆侧翻风险的技术难题。

为实现上述目的，本发明运用双目视觉来获取车辆的速度和运动姿态，通过获取的速度和运动姿态信息进一步估算轮胎的垂向力，然后将估算到的轮胎垂向力动态显示到中控显示器上；具体是采用如下技术方案实现的：

一种基于双目视觉的轮胎垂向力估算系统，包括：车辆姿态与速度估计模块、轮胎力估算模块、轮胎力显示模块；

其中，所述车辆姿态与速度估计模块，用于对车辆的姿态和速度进行估计，具体包括：双目视觉里程计模块、惯性测量单元、视惯融合模块、坐标变换模块；

所述双目视觉里程计模块，用于对车载双目立体摄像机的位姿进行估计，具体包括：双目立体摄像机、图像采集模块、特征提取模块、特征匹配与跟踪模块、视觉运动估计模块；

所述双目立体摄像机，用于通过摄像机上的左摄像头、右摄像头，获取车辆前方的原始图像信息；

所述图像采集模块，用于获取左摄像头图像、右摄像头图像信息，并对获取的图像进行畸变校正；

所述特征提取模块，采用ORB特征提取算法对图像采集模块校正后的图像进行特征点提取；

所述特征匹配与跟踪模块，用于对特征提取模块提取到的左右图像特征点进行匹配，并获取特征点相对当前双目立体摄像机的三维坐标，以及对相邻帧图像进行特征点跟踪；具体包括：左右图像特征匹配模块、左右图像立体匹配模块和相邻图像特征跟踪模块；

其中，所述左右图像特征匹配模块，用于对特征提取模块提取的左右图像特征点进行相似度计算，获得左右图像中一致的特征点；

所述左右图像立体匹配模块，利用左右图像视差信息，计算左右图像特征匹配模块匹配到的特征点在双目立体摄像机坐标下的三维坐标位置；

所述相邻图像特征跟踪模块，用于在相邻帧上对三维特征点进行跟踪，并更新获取特征点在双目立体摄像机坐标下的三维坐标信息；

所述视觉运动估计模块，根据相邻图像特征跟踪模块获取的信息，采用PnP方法对双目立体摄像机姿态进行估计，获取双目立体摄像机坐标下的x,y,z三轴的位移和角度；

所述惯性测量单元为一个六轴的惯性测量单元，用于获得惯性测量单元坐标下的x,y,z 三轴的加速度和角速度；

所述视惯融合模块，采用卡尔曼滤波算法对惯性测量单元和双目视觉里程计模块输出的姿态信号进行融合，经坐标变换模块得到车辆坐标下的x,y,z三轴位移、加速度、角速度、角度以及速度，其中x轴加速度为a_x、角度为θ、角速度为y轴加速度为a_y；

所述轮胎力估算模块包括：车辆质量检测模块、侧向轮荷转移检测模块、轮胎垂向力计算模块；其中，所述车辆质量检测模块，使用车辆四分之一模型，通过悬架位移传感器来在线识别车辆的质量；

所述侧向轮荷转移检测模块，使用车辆模型，通过车辆姿态与速度估计模块得到的车身姿态信息，运用Kalman滤波算法计算得到侧向轮荷转移；

所述轮胎垂向力计算模块，根据获得的车辆的质量、侧向轮荷转移数据，使用kalman 滤波得到每个轮胎的轮胎垂向力；

所述轮胎力显示模块，用于将计算得到的轮胎垂向力显示在中控显示器上。

本发明的第二个目的在于提供一种基于双目视觉的轮胎垂向力估算方法，具体包括以下步骤：

步骤S1、利用六轴的惯性测量单元获得惯性测量单元坐标下的x,y,z三轴的加速度和角速度；

步骤S2、利用安装在车内部的双目立体摄像机获取车辆前方的原始图像信息，通过图像采集模块获取左摄像头图像、右摄像头图像信息，并对获取的图像进行畸变校正；

步骤S3、采用ORB特征提取算法对图像采集模块校正后的图像进行特征点提取；

步骤S4、通过特征匹配与跟踪模块对步骤S3提取到的左右图像特征点进行匹配，获得左右图像中一致的特征点，利用左右图像视差信息，计算获取的特征点相对当前双目立体摄像机的三维坐标；同时，对相邻帧上的三维特征点进行跟踪，并更新获取特征点在双目立体摄像机坐标下的三维坐标信息；

步骤S5、通过视觉运动估计模块对双目立体摄像机姿态进行估计，获取双目立体摄像机坐标下的x,y,z三轴的位移和角度；

步骤S6、采用卡尔曼滤波算法对惯性测量单元和视觉运动估计模块输出的位姿信号进行融合，经坐标变换模块得到车辆坐标下的x,y,z三轴位移、加速度、角速度、角度以及速度，其中x轴加速度为a_x、角度为θ、角速度为y轴加速度为a_y；

步骤S7、使用车辆四分之一模型，通过悬架位移传感器来在线识别车辆的质量；

步骤S8、使用车辆模型，通过步骤S6得到的车身姿态信息，运用Kalman滤波算法计算得到侧向轮荷转移；

步骤S9、根据获得的车辆的质量、侧向轮荷转移数据，使用kalman滤波得到每个轮胎的轮胎垂向力。

本发明的优点和有益效果：本发明利用双目立体摄像机来获取车辆姿态与速度，比传统方法中估计的车辆姿态和速度更加准确，不受车辆驱动或制动以及侧偏的影响；同时，通过获取车辆坐标下x轴加速度a_x、角度θ、角速度y轴加速度a_y可以准确计算得到侧向轮荷转移，根据侧向轮荷转移以及车辆的质量，便可以实时准确地估计出轮胎垂向力，使驾驶员准确探知车辆稳定性控制情况以及车辆侧翻风险，提高了车辆的驾驶安全性。

附图说明

图1是本发明轮胎垂向力估算系统的结构框图。

图2是双目视觉里程计模块的结构框图。

图3是本发明轮胎垂向力估算方法的流程图。

图4是四分之一车辆模型。

图5是车辆的横滚模型。

图6a是车辆的纵向和侧向轮荷转移模型中整车前视图。

图6b是车辆的纵向和侧向轮荷转移模型中整车侧视图。

具体实施方式

为使本领域技术人员清楚理解本发明的技术方案及其优点和效果，下面结果附图对本发明的技术方案进一步详细描述，但并不用于限定本发明的保护范围。

实施例1

如图1、图2所示，本发明提供的一种基于双目视觉的轮胎垂向力检测系统，包括：车辆姿态与速度估计模块A、轮胎力估算模块B、轮胎力显示模块C；

其中，所述车辆姿态与速度估计模块A，用于对车辆的姿态和速度进行估计，具体包括：双目视觉里程计模块1、惯性测量单元2、视惯融合模块3、坐标变换模块4；

其中，所述双目视觉里程计模块1，用于对车载双目立体摄像机的位姿进行估计，具体包括：双目立体摄像机11、图像采集模块12、特征提取模块13、特征匹配与跟踪模块14、视觉运动估计模块15；

所述双目立体摄像机11，用于通过摄像机上的左摄像头、右摄像头，获取车辆前方的原始图像信息；

所述图像采集模块12，用于获取左摄像头图像、右摄像头图像信息，并对获取的图像进行畸变校正；

所述特征提取模块13，采用ORB特征提取算法对图像采集模块12校正后的图像进行特征点提取；

所述特征匹配与跟踪模块14，用于对特征提取模块13提取到的左右图像特征点进行匹配，并获取特征点相对当前双目立体摄像机的三维坐标，以及对相邻帧图像进行特征点跟踪；具体包括：左右图像特征匹配模块141、左右图像立体匹配模块142和相邻图像特征跟踪模块143；

其中，所述左右图像特征匹配模块141，用于对特征提取模块13提取的左右图像特征点进行相似度计算，获得左右图像中一致的特征点；

所述左右图像立体匹配模块142，利用左右图像视差信息，计算左右图像特征匹配模块141匹配到的特征点在双目立体摄像机坐标下的三维坐标位置；

所述相邻图像特征跟踪模块143，用于在相邻帧上对三维特征点进行跟踪，并更新获取特征点在双目立体摄像机坐标下的三维坐标信息；

所述视觉运动估计模块15，根据相邻图像特征跟踪模块143获取的信息，采用 PnP(Perspective-n-Point)方法对双目立体摄像机姿态进行估计，获取双目立体摄像机坐标下的x,y,z三轴的位移和角度；

所述惯性测量单元2为一个六轴的惯性测量单元，用于获得惯性测量单元坐标下的 x,y,z三轴的加速度和角速度；

所述视惯融合模块3，采用卡尔曼滤波算法对惯性测量单元2和双目视觉里程计模块1 输出的姿态信号进行融合，经坐标变换模块4得到车辆坐标下的x,y,z三轴位移、加速度、角速度、角度以及速度，其中x轴加速度为a_x、角度为θ、角速度为y轴加速度为a_y；

所述轮胎力估算模块B包括：车辆质量检测模块、侧向轮荷转移检测模块、轮胎垂向力计算模块；其中，所述车辆质量检测模块，使用车辆四分之一模型，通过悬架位移传感器来在线识别车辆的质量，车辆四分之一模型见图4，图4中k_s和c_s分别为悬架刚度与阻尼，m_sij为簧上质量；k_t为轮胎刚度，m_u为簧下质量；

由胡克定律可得：

其中，Δ_ij为悬架位移传感器的伸缩量的波动值，g为重力加速度，Δm_sij为轮荷的波动量，i＝f时代表前轮，i＝r时代表后轮，j＝r代表左轮，j＝l代表右轮；那么，Δm_srr就是右后轮的轮荷波动量，在静止时每个车轮的总的轮荷为

m_sij＝Δm_sij+m_eij

车辆总质量为

m_v＝∑_i，jm_sij

其中，m_eij为每个车轮的设计载荷，也就是说，总的轮载是设计载荷与由于上下乘客或者装卸货物造成的载荷波动Δm_sij之和。

所述侧向轮荷转移检测模块，使用车辆模型，通过车辆姿态与速度估计模块A得到的车身姿态信息，运用Kalman滤波算法计算得到侧向轮荷转移；

车辆的横滚模型见图5，图5中θ为横滚角度(即沿车辆坐标系x轴的角度)，m_s为整车的簧上质量，h_cr为质心到横滚中心的垂向距离，h为质心到地面的距离，h_f为前轴横滚中心到地面的距离，e_f为前轴轮距；

车辆的纵向和侧向轮荷转移模型见图6a、图6b，图6a、图6b中m_v为整车质量，l_f为前轴距，l_r为后轴距，a_x为纵向加速度(即沿车辆坐标系x轴的加速度)，F_ZF为前轴载荷， F_ZR为后轴载荷，a_y为侧向加速度(即沿车辆坐标系y轴的加速度)，e_f为前轴轮距，F_Zfl为前轴左轮载荷，F_Zfr为后轴右轮载荷；

运用车辆动力学可以得到Kalman滤波器的状态方程和测量方程，如下所示：

其中，bm(t)和bs(t)分别为系统状态噪声和测量噪声；

其中，I_xx为纵向转动惯量，K_R和C_R分别为总的横滚刚度与阻尼，k_f为前轴横滚刚度，k_r为后轴横滚刚度，e_f为前轴轮距，e_r为后轴轮距，h_r为后轴横滚中心到地面的距离，l为轴距；状态转移矩阵A和测量矩阵H中的其它符号含义与前面的解释相同；

状态向量为

测量向量为

其中，a_ym测得的横向加速度，其数值为a_ym＝a_y+gθ,a_y为侧向加速度；

ΔF_zl和ΔF_zr分别为左右轮荷转移量，ΔF_zl+ΔF_zr作为测量量，事实上并非测得，而是基于ΔF_zl+ΔF_zr约等于零的假设；θ为横滚角度(即沿车辆坐标系x轴的角度)，为横滚角速率 (即沿车辆坐标系x轴的角速度)；在上述状态方程应用Kalman滤波框架即可得到轮荷转移量ΔF_zl和ΔF_zr。

所述轮胎垂向力计算模块，根据获得的车辆的质量、侧向轮荷转移数据，使用Kalman 滤波得到每个轮胎的轮胎垂向力，Kalman滤波的状态方程如下：

其中，bm(t)和bs(t)分别为系统状态噪声和测量噪声；

f(X(t))表达式如下所示：

h(X(t))表达式如下所示：

状态向量为测量向量为Z＝[ΔFz₁ (Fz_fl+Fz_fr) a_x a_y ΣF_ij]；

其中，∑F_ij＝m_vg，F_Zrl为后轴左轮载荷，F_Zrr为后轴右轮载荷

将所述状态向量和测量向量应用Kalman滤波算法，即可得到最后的四个轮胎的轮胎力。

所述轮胎力显示模块C，用于将计算得到的轮胎垂向力显示在中控显示器上。

实施例2

如图3所示，一种基于双目视觉的轮胎垂向力估算方法，具体包括以下步骤：

步骤S1、利用六轴的惯性测量单元获得惯性测量单元坐标下的x,y,z三轴的加速度和角速度；

步骤S2、利用安装在车内部的双目立体摄像机获取车辆前方的原始图像信息，通过图像采集模块获取左摄像头图像、右摄像头图像信息，并对获取的图像进行畸变校正；

步骤S3、采用ORB特征提取算法对图像采集模块校正后的图像进行特征点提取；

步骤S4、通过特征匹配与跟踪模块对步骤S3提取到的左右图像特征点进行匹配，获得左右图像中一致的特征点，利用左右图像视差信息，计算获取的特征点相对当前双目立体摄像机的三维坐标；同时，对相邻帧上的三维特征点进行跟踪，并更新获取特征点在双目立体摄像机坐标下的三维坐标信息；

步骤S5、通过视觉运动估计模块对双目立体摄像机姿态进行估计，获取双目立体摄像机坐标下的x,y,z三轴的位移和角度；

步骤S6、采用卡尔曼滤波算法对惯性测量单元和视觉运动检测模块输出的位姿信号进行融合，经坐标变换模块得到车辆坐标下的x,y,z三轴位移、加速度、角速度、角度以及速度，其中x轴加速度为a_x、角度为θ、角速度为y轴加速度为a_y；

步骤S7、使用车辆四分之一模型，通过悬架位移传感器来在线识别车辆的质量；

步骤S8、使用车辆模型，通过步骤S6得到的车身姿态信息，运用Kalman滤波算法计算得到侧向轮荷转移；

步骤S9、根据获得的车辆的质量、侧向轮荷转移数据，使用Kalman滤波得到每个轮胎的轮胎垂向力。

Claims (3)

1.一种基于双目视觉的轮胎垂向力估算系统，其特征在于，包括：车辆姿态与速度估计模块、轮胎力估算模块；

其中，所述车辆姿态与速度估计模块，用于对车辆的姿态和速度进行估计，具体包括：双目视觉里程计模块、惯性测量单元、视惯融合模块、坐标变换模块；

所述双目视觉里程计模块，用于对车载双目立体摄像机的位姿进行估计，具体包括：双目立体摄像机、图像采集模块、特征提取模块、特征匹配与跟踪模块、视觉运动估计模块；

所述双目立体摄像机，用于通过摄像机上的左摄像头、右摄像头，获取车辆前方的原始图像信息；

所述图像采集模块，用于获取左摄像头图像、右摄像头图像信息，并对获取的图像进行畸变校正；

所述特征提取模块，采用ORB特征提取算法对图像采集模块校正后的图像进行特征点提取；

所述特征匹配与跟踪模块，用于对特征提取模块提取到的左右图像特征点进行匹配，并获取特征点相对当前双目立体摄像机的三维坐标，以及对相邻帧图像进行特征点跟踪；具体包括：左右图像特征匹配模块、左右图像立体匹配模块和相邻图像特征跟踪模块；

其中，所述左右图像特征匹配模块，用于对特征提取模块提取的左右图像特征点进行相似度计算，获得左右图像中一致的特征点；

所述左右图像立体匹配模块，利用左右图像视差信息，计算左右图像特征匹配模块匹配到的特征点在双目立体摄像机坐标下的三维坐标位置；

所述相邻图像特征跟踪模块，用于在相邻帧上对三维特征点进行跟踪，并更新获取特征点在双目立体摄像机坐标下的三维坐标信息；

所述视觉运动估计模块，根据相邻图像特征跟踪模块获取的信息，采用PnP方法对双目立体摄像机姿态进行估计，获取双目立体摄像机坐标下的x,y,z三轴的位移和角度；

所述惯性测量单元为一个六轴的惯性测量单元，用于获得惯性测量单元坐标下的x,y,z三轴的加速度和角速度；

所述视惯融合模块，采用卡尔曼滤波算法对惯性测量单元和双目视觉里程计模块输出的姿态信号进行融合，经坐标变换模块得到车辆坐标下的x,y,z三轴位移、加速度、角速度、角度以及速度，其中x轴加速度为a_x、角度为θ、角速度为y轴加速度为a_y；

所述轮胎力估算模块包括：车辆质量检测模块、侧向轮荷转移检测模块、轮胎垂向力计算模块；其中，所述车辆质量检测模块，使用四分之一车辆模型，通过悬架位移传感器来在线识别车辆的质量；

所述侧向轮荷转移检测模块，使用车辆模型，通过车辆姿态与速度估计模块得到的车身姿态信息，运用Kalman滤波算法计算得到侧向轮荷转移；

所述轮胎垂向力计算模块，根据获得的车辆的质量、侧向轮荷转移数据，使用kalman滤波得到每个轮胎的轮胎垂向力。

2.根据权利要求1所述的一种基于双目视觉的轮胎垂向力估算系统，其特征在于，还包括轮胎力显示模块，所述轮胎力显示模块用于将计算得到的轮胎垂向力显示在中控显示器上。

3.一种基于双目视觉的轮胎垂向力估算方法，其特征在于，具体包括以下步骤：

步骤S1、利用六轴的惯性测量单元获得惯性测量单元坐标下的x,y,z三轴的加速度和角速度；

步骤S2、利用安装在车内部的双目立体摄像机获取车辆前方的原始图像信息，通过图像采集模块获取左摄像头图像、右摄像头图像信息，并对获取的图像进行畸变校正；

步骤S3、采用ORB特征提取算法对图像采集模块校正后的图像进行特征点提取；

步骤S4、通过特征匹配与跟踪模块对步骤S3提取到的左右图像特征点进行匹配，获得左右图像中一致的特征点，利用左右图像视差信息，计算获取的特征点相对当前双目立体摄像机的三维坐标；同时，对相邻帧上的三维特征点进行跟踪，并更新获取特征点在双目立体摄像机坐标下的三维坐标信息；

步骤S5、通过视觉运动估计模块对双目立体摄像机姿态进行估计，获取双目立体摄像机坐标下的x,y,z三轴的位移和角度；

步骤S6、采用卡尔曼滤波算法对惯性测量单元和视觉运动估计模块输出的位姿信号进行融合，经坐标变换模块得到车辆坐标下的x,y,z三轴位移、加速度、角速度、角度以及速度，其中x轴加速度为a_x、角度为θ、角速度为y轴加速度为a_y；

步骤S7、使用四分之一车辆模型，通过悬架位移传感器来在线识别车辆的质量；

步骤S8、使用车辆模型，通过步骤S6得到的车身姿态信息，运用Kalman滤波算法计算得到侧向轮荷转移；

步骤S9、根据获得的车辆的质量、侧向轮荷转移数据，使用kalman滤波得到每个轮胎的轮胎垂向力。