CN116523995A - 一种基于图像的汽车质心侧偏角的估计方法 - Google Patents

Abstract

一种基于图像的汽车质心侧偏角的估计方法，涉及一种汽车信息估计方法。确定车载摄像头坐标系、图像坐标系和大地坐标系之间的关系，标定车载摄像头参数为车载摄像头的焦距、旋转矩阵以及平移向量；对图像进行逆透视变换使得采集到的图像上的原本在地面上平行的轨迹平行；经过处理得到图像纹理方向，即为车载摄像头对地速度的方向；坐标转换确定车载摄像头在车体坐标系的坐标，求解汽车质心的对地速度，最终得到汽车质心侧偏角。利用车载摄像头基于图像估计汽车质心侧偏角，无需汽车动力学模型，鲁棒性好，泛用性强，计算负担小。

Description

一种基于图像的汽车质心侧偏角的估计方法

技术领域

本发明涉及一种汽车信息估计方法，尤其是一种基于图像的汽车质心侧偏角的估计方法，属于车辆运动状态估计技术领域。

背景技术

随着汽车电子技术的不断发展，车载控制器对车身状态信息的需求也不断增大。汽车的横摆率、纵向车速和质心侧偏角是重要的车身运动状态。其中，质心侧偏角反映了汽车对地速度方向与车头方向之间的偏差，对车辆稳定性等控制至关重要。

横摆率作为角速度容易通过车载传感器测量，纵向车速也可以通过车轮转速较为准确地估计。然而，质心侧偏角难以直接测量，需要进行估计。目前，针对质心侧偏角的估计主要依赖汽车动力学模型，尤其是高精度的汽车动力学模型。相应地，目前的估计方法普遍存在依赖车辆动力学参数，鲁棒性差，泛用性差，计算负担大等缺点。

此外，目前车载摄像头比较普及，如倒车影像、电子后视镜等，为基于摄像头的质心侧偏角估计提供了硬件基础。因此，有必要针对车载摄像头提出一种基于图像的汽车质心侧偏角的估计方法，以解决目前估计方法普遍存在的问题。

发明内容

为解决背景技术存在的不足，本发明提供一种基于图像的汽车质心侧偏角的估计方法，它利用车载摄像头基于图像估计汽车质心侧偏角，无需汽车动力学模型，鲁棒性好，泛用性强，计算负担小。

为实现上述目的，本发明采取下述技术方案：一种基于图像的汽车质心侧偏角的估计方法，包括以下步骤：

步骤一：标定车载摄像头参数

确定车载摄像头坐标系、图像坐标系和大地坐标系之间的关系，所述车载摄像头坐标系的原点在车载摄像头处，其X轴和Y轴方向与车载摄像头的感光元器件阵列排布一致，Z轴同轴指向车载摄像头正前方，车载摄像头坐标系下点的坐标表示为(x_C,y_C,z_C)，所述图像坐标系是车载摄像头采集到图像的平面坐标系，其X轴和Y轴方向与图像中像素排布一致，图像坐标系下点的坐标表示为(x_I,y_I)，所述大地坐标系的原点在车载摄像头正下方的地面处，其X轴和Y轴方向分别为车载摄像头坐标系X轴和Y轴在地面上的投影，Z轴穿过车载摄像头指向正上方，大地坐标系下点的坐标表示为(x_G,y_G,z_G)，

某点的坐标从大地坐标系到车载摄像头坐标系的转换关系为：

式中，R为旋转矩阵，T为平移向量，表示为：

其中，r_ij(i＝1,2,3，j＝1,2,3)表示旋转矩阵R中的元素，t_x、t_y、t_z分别表示车载摄像头原点在大地坐标系下的x、y、z坐标，

由于t_x＝t_y＝0，再从车载摄像头坐标系到图像坐标系的转换关系为：

式中，f为车载摄像头的焦距，

车载摄像头标定需要采集的内参为车载摄像头的焦距，外参为旋转矩阵以及平移向量；

步骤二：逆透视变换

对图像进行逆透视变换使得采集到的图像上的原本在地面上平行的轨迹平行，对于地面上的点，在大地坐标系下的坐标为(x_G,y_G,0)，转换到车载摄像头坐标系则表示为：

透视变换为：

整理得到：

根据上式即可得到图像坐标系中地面上的点在大地坐标系下的坐标，

逆透视变换为：

式中，(x'_I,y'_I)表示逆透视变换后的坐标；

步骤三：图像纹理方向识别

车载摄像头采集的图像经过逆透视变换后，经过处理得到图像纹理方向θ，图像纹理方向θ即为车载摄像头对地速度的方向；

步骤四：坐标转换

确定车载摄像头相对于车体的实际位置，定义车体坐标系原点在车辆质心位置，x轴指向车体前方，y轴指向车体左侧，设车载摄像头在所述车体坐标系的坐标为(a,b)，则车载摄像头的对地速度为：

(v_x-br,v_y+ar)

其中，v_x和v_y分别为汽车质心的对地速度在x轴和y轴的分量，r为横摆率，

车载摄像头对地速度的方向为图像纹理方向θ，则有：

(v_x-br)sinθ＝(v_y+ar)cosθ

由于a、b、v_x、r和θ已知，能够解出v_y：

v_y＝tanθ(v_x-br)-ar

则汽车质心侧偏角

与现有技术相比，本发明的有益效果是：本发明利用车载摄像头提出一种基于图像的汽车质心侧偏角的估计方法，相比于目前的估计方法，无需汽车动力学模型，研发成本低，鲁棒性好，能够方便地在各个车型间移植，泛用性强，不依赖车辆的动力学参数，无需计算车辆动力学，计算负担小。

附图说明

图1是本发明中车载摄像头坐标系、图像坐标系和大地坐标系的示意图；

图2是本发明中透视变换阶段地面上各点轨迹的示意图；

图3是本发明中逆透视变换阶段地面上各点轨迹的示意图；

图4是本发明中车载摄像头采集并逆透视变换后的图像；

图5是图4中图像进行canny边缘检测的结果图；

图6是图4中图像的纹理方向示意图；

图7是本发明中车载摄像头相对于车体的位置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1～图7所示，一种基于图像的汽车质心侧偏角的估计方法，包括以下步骤：

步骤一：标定车载摄像头参数

结合图1所示，确定车载摄像头坐标系、图像坐标系和大地坐标系之间的关系，所述车载摄像头坐标系的原点在车载摄像头处，^CX、^CY和^CZ分别表示其X轴、Y轴和Z轴，其中，^CX和^CY方向与车载摄像头的感光元器件阵列排布一致，^CZ同轴指向车载摄像头正前方，车载摄像头坐标系下点的坐标表示为(x_C,y_C,z_C)，所述图像坐标系是车载摄像头采集到图像的平面坐标系，^IX和^IY分别表示其X轴和Y轴，^IX和^IY方向与图像中像素排布一致，图像坐标系下点的坐标表示为(x_I,y_I)，所述大地坐标系的原点在车载摄像头正下方的地面处，^GX、^GY和^GZ分别表示其X轴、Y轴和Z轴，其中，^GX方向为^CX在地面上的投影，^GY方向为^CY在地面上的投影，^GZ穿过车载摄像头指向正上方，大地坐标系下点的坐标表示为(x_G,y_G,z_G)。

某点的坐标从大地坐标系到车载摄像头坐标系的转换关系为：

式中，R为旋转矩阵，T为平移向量，表示为：

其中，r_ij(i＝1,2,3，j＝1,2,3)表示旋转矩阵R中的元素，t_x、t_y、t_z分别表示车载摄像头原点在大地坐标系下的x、y、z坐标。

由于车载摄像头坐标系定义在大地坐标系正上方，因此，t_x＝t_y＝0，再从车载摄像头坐标系到图像坐标系的转换关系为：

式中，f为车载摄像头的焦距。

在转换过程中，大地坐标系上某点的坐标经过一次旋转变换、一次平移变换以及一次投影变换，对应的参数分别为旋转矩阵R、平移向量T和车载摄像头的焦距f，因此，车载摄像头标定需要采集的内参为车载摄像头的焦距f，外参为旋转矩阵R以及平移向量T；

步骤二：逆透视变换

结合图2所示，由于平移变换不改变向量的方向，而投影变换由于透视使得平行的直线汇聚到一点，地面上各点本应平行的轨迹在采集到的图像上会相交于一点，导致难以识别纹理方向。因此，首先要对图像进行逆透视变换，使得采集到的图像上的原本在地面上平行的轨迹平行。

对于地面上的点，在大地坐标系下的坐标为(x_G,y_G,0)，转换到车载摄像头坐标系则表示为：

透视变换为：

由上式得出图像坐标系中的点与地面上的点是一一对应的关系，因此将上式整理得到：

根据上式即可得到图像坐标系中地面上的点在大地坐标系下的坐标。

透视变换由于在x_C和y_C上除以z_C导致了近大远小，进一步导致地面上原本平行的直线在图像上相交于一点，通过逆透视变换乘以z_C消除这一影响，表示为：

式中，(x'_I,y'_I)表示逆透视变换后的坐标，z_C可通过x_G和y_G表示：

z_C＝r₃₁x_G+r₃₂y_G+t_z

结合x_G和y_G由x_I和y_I求取，最终z_C可由x_I和y_I求取。

结合图3所示，最终通过将图像经过逆透视变换处理，使图像上交于一点的地面轨迹重新平行；

步骤三：图像纹理方向识别

车载摄像头采集的图像经过逆透视变换后如图4所示，经过处理可得到图像纹理方向θ如图6所示，得到的图像纹理方向θ即为车载摄像头对地速度的方向。

图像纹理方向识别有多种方法，例如基于边缘检测的方法、基于神经网络的方法和基于一致性检验的方法等。本发明采用一种基于边缘检测的方法，涉及canny边缘检测算法及两种卷积核。

首先，将经过逆透视变换后的图像进行canny边缘检测，结果如图5所示，

然后用卷积核卷积核/>进行卷积，分别得到W_1sum和W_2sum，W_2sum表征了图像边缘整体向下的趋势，而W_1sum表征了图像边缘整体向左右移动的趋势。

最后，图像纹理方向表示为

步骤四：坐标转换

结合图7所示，确定车载摄像头相对于车体的实际位置，定义车体坐标系原点在车辆质心位置，x轴指向车体前方，y轴指向车体左侧，设车载摄像头在所述车体坐标系的坐标为(a,b)，则车载摄像头的对地速度为：

(v_x-br,v_y+ar)

其中，v_x和v_y分别为汽车质心的对地速度在x轴和y轴的分量，r为横摆率。

根据图像纹理方向可知，车载摄像头对地速度的方向为图像纹理方向θ，则有：

(v_x-br)sinθ＝(v_y+ar)cosθ

由于a、b、v_x、r和θ已知，能够解出v_y：

v_y＝tanθ(v_x-br)-ar

进一步得到汽车质心侧偏角β：

本发明的基于图像的汽车质心侧偏角的估计方法，在步骤一阶段进行标定车载摄像头参数，车载摄像头的内参反映了焦距信息，外参反映了位置和姿态，获取车载摄像头的内外参数后，可将车体坐标系与图像坐标系联系起来，车体坐标系中地面上的每点都与图像坐标系中对应的点存在唯一可逆的坐标转换，从而针对一台汽车或同种型号的汽车，车载摄像头的参数只需标定一次。在步骤二阶段进行逆透视变换，由于透视作用，地面上平行的直线在图像上相交于一点，不利于识别方向，根据车载摄像头的参数，去除图像的透视效果，使得地面上平行的直线在图像上仍然平行。在步骤三阶段进行图像纹理方向识别，汽车运动时地面上的点相对于车载摄像头也在运动，因此在车载摄像头的曝光时间内会留下一条轨迹，地面上各点的轨迹组合形成了图像纹理，图像纹理的方向反映了在图像坐标系下地面相对于车载摄像头的运动速度方向，可基于边缘检测等图像处理方法识别图像纹理方向。在步骤四阶段进行坐标转换，根据车载摄像头相对于质心的位置，结合车辆横摆率和纵向车速，求取车载摄像头相对于地面的运动速度，最后，根据该速度求出质心相对于路面的运动速度，进而求出质心侧偏角。

总体而言，汽车行驶过程中车载摄像头实时采集地面照片，由于汽车对于地面运动，地面上每一点在曝光时间内在车载摄像头的图像平面产生一条轨迹，地面上各点产生的轨迹在图像上形成带有方向性的纹理，其方向反应了车载摄像头相对于地面的速度方向。因此，首先对车载摄像头采集图像进行逆透视变换，然后提取出图像纹理的方向，结合车载摄像头相对于地面以及车身的位姿，即可得到车身的速度相对地面的方向，进一步能够计算出质心侧偏角。整个方法无需汽车动力学模型，泛用性强，计算负担小，而且能够方便地在各个车型间移植，十分便于实际应用。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的装体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同条件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种基于图像的汽车质心侧偏角的估计方法，其特征在于：包括以下步骤：

步骤一：标定车载摄像头参数

确定车载摄像头坐标系、图像坐标系和大地坐标系之间的关系，所述车载摄像头坐标系的原点在车载摄像头处，其X轴和Y轴方向与车载摄像头的感光元器件阵列排布一致，Z轴同轴指向车载摄像头正前方，车载摄像头坐标系下点的坐标表示为(x_C,y_C,z_C)，所述图像坐标系是车载摄像头采集到图像的平面坐标系，其X轴和Y轴方向与图像中像素排布一致，图像坐标系下点的坐标表示为(x_I,y_I)，所述大地坐标系的原点在车载摄像头正下方的地面处，其X轴和Y轴方向分别为车载摄像头坐标系X轴和Y轴在地面上的投影，Z轴穿过车载摄像头指向正上方，大地坐标系下点的坐标表示为(x_G,y_G,z_G)，

某点的坐标从大地坐标系到车载摄像头坐标系的转换关系为：

式中，R为旋转矩阵，T为平移向量，表示为：

其中，r_ij(i＝1,2,3，j＝1,2,3)表示旋转矩阵R中的元素，t_x、t_y、t_z分别表示车载摄像头原点在大地坐标系下的x、y、z坐标，

由于t_x＝t_y＝0，再从车载摄像头坐标系到图像坐标系的转换关系为：

式中，f为车载摄像头的焦距，

车载摄像头标定需要采集的内参为车载摄像头的焦距，外参为旋转矩阵以及平移向量；

步骤二：逆透视变换

对图像进行逆透视变换使得采集到的图像上的原本在地面上平行的轨迹平行，对于地面上的点，在大地坐标系下的坐标为(x_G,y_G,0)，转换到车载摄像头坐标系则表示为：

透视变换为：

整理得到：

根据上式即可得到图像坐标系中地面上的点在大地坐标系下的坐标，

逆透视变换为：

式中，(x'_I,y'_I)表示逆透视变换后的坐标；

步骤三：图像纹理方向识别

车载摄像头采集的图像经过逆透视变换后，经过处理得到图像纹理方向θ，图像纹理方向θ即为车载摄像头对地速度的方向；

步骤四：坐标转换

确定车载摄像头相对于车体的实际位置，定义车体坐标系原点在车辆质心位置，x轴指向车体前方，y轴指向车体左侧，设车载摄像头在所述车体坐标系的坐标为(a,b)，则车载摄像头的对地速度为：

(v_x-br,v_y+ar)

其中，v_x和v_y分别为汽车质心的对地速度在x轴和y轴的分量，r为横摆率，

车载摄像头对地速度的方向为图像纹理方向θ，则有：

(v_x-br)sinθ＝(v_y+ar)cosθ

由于a、b、v_x、r和θ已知，能够解出v_y：

v_y＝tanθ(v_x-br)-ar

则汽车质心侧偏角

2.根据权利要求1所述的一种基于图像的汽车质心侧偏角的估计方法，其特征在于：所述步骤三中处理得到图像纹理方向θ的方法采用基于边缘检测的方法，首先，将经过逆透视变换后的图像进行canny边缘检测，然后用卷积核卷积核进行卷积，分别得到W_1sum和W_2sum，W_2sum表征了图像边缘整体向下的趋势，而W_1sum表征了图像边缘整体向左右移动的趋势，图像纹理方向/>