CN110008893A - 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 - Google Patents

Abstract

本发明公开了一种基于车载图像传感器的车辆行驶跑偏自动检测方法，包括以下步骤：1)通过车载图像传感器采集车辆在行驶跑偏测试区域中行驶至两测点的图像；所述行驶跑偏测试区域中设有用于标识的车道中心线、第一测点和第二测点；2)对采集到的包括车道中心线的图像进行识别和处理，得到第一测点和第二测点位置处车辆的像素坐标，提取车道中心线特征点的像素坐标；3)对相机进行标定，计算像素坐标转化为世界坐标的转换矩阵；4)根据两测点对应的世界坐标，获取车辆在测试距离内的行驶跑偏量；所述测试距离为两测点之间的间隔距离。本发明方法检测效率高，在初始触发时即可确定车辆驶入角，无需其他触发点，测试现场布局简单方便。

Description

一种基于车载图像传感器的车辆行驶跑偏自动检测方法

技术领域

本发明涉及车辆检测领域，尤其涉及一种基于车载图像传感器的车辆行驶跑偏自动检测方法。

背景技术

汽车行驶跑偏是指汽车在干燥平直的路面上直线行驶，驾驶员不对方向盘进行任何干预时，汽车发生向左或向右偏转的现象。四轮定位参数、零件制造、整车装配、轮胎匹配等对车辆行驶跑偏存在不可避免的影响。汽车在直线行驶中发生跑偏不仅会造成零部件及轮胎等的磨损，甚至会威胁到用户的生命财产安全。随着人们对汽车整体性能要求的提高，汽车行驶跑偏问题日益受到行业关注，为避免存在行驶跑偏的车辆流入市场，研究开发高精度高效率的汽车行驶跑偏测试系统显得至关重要。

现有的基于激光测距的车辆行驶跑偏在线自动检测系统主要原理是当车辆通过测试区跑道两侧三对测点位置时，分别触发测点处布置的对射式光电开关，激光测距传感器测量与车辆的水平距离，前后测点测量的距离差即为测试区的行驶跑偏量。该方案测试精确度较高，但需在测试场地长期布置着激光测距传感器、数据采集卡、无线交换机、配电设施及其土建结构，在高温或长期阴雨天气下极易受损，设备需要经常维护，且在维护时容易触及硬件设施，造成重新标定的麻烦。

基于GPS记录汽车行驶轨迹的测试法，主要是利用测量学中的测量交会定位原理，在卫星时钟基本频率的驱动下，产生GPS信号并离开卫星发射天线，穿越大气层后通过车载接收机天线进入接收机内部，并与接收机自身产生的信号对比，通过空间分布的卫星以及卫星与测试车辆的距离交会出测试车辆的位置，并以此来记录测试车辆在规定的测试区域内的速度等运行参数，通过计算测试车辆前后的横向坐标差值，即可获得车辆驶过测试区域的跑偏量。此车载测试方案简单方便，不需要经常维护设备，能弥补上述两种方案的缺点，但此方案测试结果受到GPS信号大气延迟、多径效应、卫星时钟与接收机时钟误差的影响，实时性不强，精度低，无法满足高精度跑偏量测试需求。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于车载图像传感器的车辆行驶跑偏自动检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于车载图像传感器的车辆行驶跑偏自动检测方法，包括以下步骤：

1)通过车载图像传感器采集车辆在行驶跑偏测试区域中行驶至两测点的图像；所述行驶跑偏测试区域中设有用于标识的车道中心线、第一测点和第二测点；

2)对采集到的包括车道中心线的图像进行识别和处理，得到第一测点和第二测点位置处车辆的像素坐标，提取车道中心线特征点的像素坐标；

3)对相机进行标定，计算像素坐标转化为世界坐标的转换矩阵；

4)根据两测点对应的世界坐标，获取车辆在测试距离内的行驶跑偏量；所述测试距离为两测点之间的间隔距离。

按上述方案，所述步骤1)中车载图像传感器设置在车辆底部前端中部，用于采集车辆行驶的地面图像。

按上述方案，所述步骤1)中车载图像传感器与地面平行。

按上述方案，所述步骤2)中，对采集到的图像进行识别和处理，包括：采用Canny边缘检测算子呈现图像中车道中心线的边缘轮廓信息和采用Hough变换算法对分割出的道路线进行拟合。

按上述方案，所述步骤2)中，所述车道中心线特征点为采集的图像与车道中心线的交点。

按上述方案，所述步骤3)中像素坐标转化为世界坐标的过程包括：

像素坐标系o-uv转换为图像坐标系o-xy，原点o位于拍摄图像的左上直角顶点；

图像坐标转换为相机坐标，其中，相机坐标系为S-X_CY_CZ_C；

相机坐标转换为世界坐标，世界坐标系O-X_WY_WZ_W为系统的绝对坐标系。

按上述方案，所述步骤3)中像素坐标(u,v)转化为世界坐标(X_W,Y_W,Z_W)的转换矩阵如下：

式中，f_x、f_y分别为相机的x轴和y轴焦距，二者所在的矩阵表示相机的内部参数；R、T所在矩阵表示摄像机的外部参数，T为3*1的世界坐标系平移矩阵，R为3*3的世界坐标系旋转矩阵。

按上述方案，所述步骤3)中进行坐标变换时，对相机进行标定采用张正友标定法，获得相机的内外部参数，包括像主点坐标、相机的x轴和y轴焦距、摄影中心在世界坐标中的旋转矩阵和平移矩阵。

本发明产生的有益效果是：自动化程度高，实时性强，待测车辆经过测试区域时直接外部触发相机工作，实时将图像传输至工控室测试主机，经测试主机控制自动完成图像的识别处理；检测精度高，高帧频相机的像元尺寸为微米级别，该精度可以满足企业检测要求；检测效率高，在初始触发时即可确定车辆驶入角，无需其他触发点，测试现场布局简单方便。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的车载图像传感器图像采集示意图；

图3是本发明实施例的坐标转换示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于车载图像传感器的车辆行驶跑偏自动检测方法，包括以下步骤：

1)通过车载图像传感器采集车辆在行驶跑偏测试区域中行驶至两测点的图像；所述行驶跑偏测试区域中设有用于标识的车道中心线、第一测点和第二测点；所述车载图像传感器朝下设置，用于采集地面图片；

2)对采集到的包括车道中心线的图像进行识别和处理，得到第一测点和第二测点位置处车辆质心的像素坐标，提取车道中心线特征点的像素坐标；

在拍摄平面的俯视视图中，将车辆简化为质点M，建立图像二维坐标系，像素坐标系的x、y轴分别与图像边缘线重合。为简化模型，选取所拍摄道路图像中心点为原点，并分别平行于图像拍摄到的道路边缘线建立世界坐标系的X_W、Y_W轴。其中，在汽车行驶至测试区域起始位置(第一测点)时拍摄到的图像为1号图像，该图像下的世界坐标系为O₁-X_w1Y_w1；汽车行驶至测试区终点位置(第二测点)时拍摄到的图像为2号图像，该图像下的世界坐标系为O₂-X_w2Y_w2。

对道路图像的识别和处理方法主要包括：对采集到的图像进行预处理和图像增强处理；采用Canny边缘检测算子呈现图像道路中心线的边缘轮廓信息；采用Hough变换算法对分割出的道路中心线进行拟合，选取车道线左右边缘线边缘像素点的中间点作为特征点；

将待测车辆的行驶跑偏量问题转化为车载相机拍摄到的图像特征点的像素偏移问题，选取的特征点是车道线左右边缘线边缘像素点的坐标中间点，以确保像素偏移的准确性。

3)计算像素坐标转化为世界坐标的转换矩阵；

在相隔y1距离的测试起点和终点位置处分别布置一对对射式光电开关，当车辆经过时，阻断光电开关产生触发信号控制相机拍摄道路图像；

相机瞬间采集道路信息，并将图像实时传输至工控室测试主机；

基于共线条件方程式的近景摄影测量方法，经以下步骤将像素坐标转化为空间世界坐标，如图3：

3.1)像素坐标转化为图像坐标，像素坐标系o-uv原点位于拍摄图像的直角顶点，单位为pixel，图像坐标系o-xy原点在像素坐标系中坐标为(u₀,v₀)，单位为mm。

转换关系如下：

式中，dx、dy分别表示图像上每个像素表示的长度，单位是mm。

3.2)图像坐标转换为相机坐标，相机坐标系S-X_CY_CZ_C中一点P(X_C,Y_C,Z_C)经小孔成像原理投射至成像平面o-xy上，对应点坐标为(x,y)，由三角形相似，得转换关系如下：

式中，f即主距，为相机中心至像平面的垂直距离，不同于物镜焦距；

3.3)相机坐标转换为世界坐标，世界坐标系O-X_WY_WZ_W为系统的绝对坐标系，其经过平移和旋转后得到相机坐标系，所以可用平移矩阵和旋转矩阵来表示相机坐标系中点P_C(X_C,Y_C,Z_C)至世界坐标系中点P_W(X_W,Y_W,Z_W)的转换关系：

P_C＝RP_W+T即P_W＝R^-1(P_C-T)＝R^T(P_C-T)

式中，T为3*1的世界坐标系平移矩阵，R为3*3的世界坐标系旋转矩阵。

3.4)上述转换用矩阵的形式可表示为：

式中，f_x、f_y分别为摄像机的x轴和y轴焦距，二者所在的矩阵表示摄像机的内部参数；R、T所在矩阵表示摄像机的外部参数。

4)根据两测点处车道中心线特征点和相片顶点(这个应该不需要，有特征点坐标就够了，我觉得可以改为“车辆行驶模型”)对应的世界坐标，计算获取车辆在测试距离内的行驶跑偏量；所述测试距离为两测点之间的间隔距离。

如图2，图像传感器跟随车辆做旋转和平移运动后拍摄到的图像从1→2，车辆质心M₁→M₂，采集的图像2为极限情况下(一般情况下采集的图像与车道线只有略微的偏移，不会形成ΔBCD，偏量大的时候才有，但算法对一般情况均适用)车辆跑偏。考虑到车辆在进入起始测试点的过程中无法做到与车道标识线方向完全一致，即具有一定的起始驶入偏移量，这个偏移量在测试过程中不可忽视，所以测试结束时的跑偏量应为汽车起始偏移量与行驶过程跑偏引起的跑偏量叠加组成。假设拍摄图像的像素为m×n，则在世界坐标系的视场范围为x_m×y_n，则车辆质点的世界坐标为M(0,y_n/2)，其在世界坐标系下的跑偏量计算如下：

如起始测点处图像(图示为极限情况下偏移，一般情况的ΔBCD可通过构造得出)，当时：

车辆在起始测点处的偏移角度即驶入偏角为：

起始测点处水平方向的偏移量为：

如终止测点处图像，当时：

则车辆在终止测点处的偏移角度即驶出偏角表达式如下：

终止测点处水平方向的偏移量为：

当x_B＜0时，AM＜0，车辆在车道中心线右侧；当x_B＞0时，AM＞0，车辆在车道中心线左侧。

综上，车辆行驶过程的跑偏量为：

x₀＝A₂M₂-A₁M₁；

式中，B₁、C₁、D₁点为采集的图像1中道路线拟合后的特征点，坐标值分别为B₂、C₂、D₂点为采集的图像2中道路线拟合后的特征点，坐标值分别为A₁，A₂分别为车辆质心至车道中心线的垂足；P点为A₂M₂与QC₂的交点。

本发明选用的图像处理算法能较好地识别出车道中心线，并能完整地进行拟合。后续就能基于拟合结果，得到特征点坐标，进而进行跑偏量的计算。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，包括以下步骤：

1)通过车载图像传感器采集车辆在行驶跑偏测试区域中行驶至两测点的图像；所述行驶跑偏测试区域中设有用于标识的车道中心线、第一测点和第二测点；

2)对采集到的包括车道中心线的图像进行识别和处理，得到第一测点和第二测点位置处车辆的像素坐标，提取车道中心线特征点的像素坐标；

3)对相机进行标定，计算像素坐标转化为世界坐标的转换矩阵；

4)根据两测点对应的世界坐标，获取车辆在测试距离内的行驶跑偏量；所述测试距离为两测点之间的间隔距离。

2.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤1)中车载图像传感器设置在车辆底部前端中部，用于采集车辆行驶的地面图像。

3.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤1)中车载图像传感器与地面平行。

4.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤2)中，对采集到的图像进行识别和处理，包括：采用Canny边缘检测算子呈现图像中车道中心线的边缘轮廓信息和采用Hough变换算法对分割出的道路线进行拟合。

5.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤2)中，所述车道中心线特征点为采集的图像与车道中心线的交点。

6.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤3)中像素坐标转化为世界坐标的过程包括：

像素坐标系o-uv转换为图像坐标系o-xy，原点o位于拍摄图像的左上直角顶点；

图像坐标转换为相机坐标，其中，相机坐标系为S-X_CY_CZ_C；

相机坐标转换为世界坐标，世界坐标系O-X_WY_WZ_W为系统的绝对坐标系。

7.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤3)中像素坐标(u,v)转化为世界坐标(X_W,Y_W,Z_W)的转换矩阵如下：

式中，f_x、f_y分别为相机的x轴和y轴焦距，二者所在的矩阵表示相机的内部参数；R、T所在矩阵表示摄像机的外部参数，T为3*1的世界坐标系平移矩阵，R为3*3的世界坐标系旋转矩阵。

8.根据权利要求1所述的基于车载图像传感器的车辆行驶跑偏自动检测方法，其特征在于，所述步骤3)中进行坐标变换时，对相机进行标定采用张正友标定法，获得相机的内外部参数，包括像主点坐标、相机的x轴和y轴焦距、摄影中心在世界坐标中的旋转矩阵和平移矩阵。