CN108256484A - 一种车辆运动参数估算方法 - Google Patents

Abstract

本发明涉及一种车辆运动参数估算方法，所述车辆运动参数估算方法包括以下步骤：S1，获取车辆的车身环视图像；S2，检测所述车身环视图像中的角点；S3，通过金字塔LK光流跟踪算法，筛选步骤S2中检测出的角点；S4，通过RANSAC算法对角点进行二次筛选得到最佳矩阵模型；S5，通过所述最佳矩阵模型得到所述车辆的运动参数。通过本发明的车辆运动参数估算方法，可以在车辆时速较低时实现高精度的车辆运动参数估算。

Description

一种车辆运动参数估算方法

技术邻域

本发明涉及车辆运动参数估算技术邻域，尤其涉及一种车辆运动参数的估算方法。

背景技术

一般来说，现有的车辆运动参数的估算方式都是通过车辆模型来实现的，即通过对车辆运动过程进行建模，并结合车载传感器的数据估算出车辆的运动参数。但这种估算方法在车辆时速较低、传感器精度较低的情况下，估算出的车辆运动参数误差较大。

因此，需要一种即使在车辆时速较低的情况下也能够实现高精度的车辆运动参数估算的方法。

发明内容

本发明的目的在于解决上述技术问题，提供一种适合于车辆时速较低情况的运动参数估算方法。

为实现上述发明目的，本发明提供了一种车辆运动参数估算方法，所述方法包括以下步骤：S1，获取车辆的车身环视图像；S2，检测所述车身环视图像中的角点；S3，通过金字塔LK光流跟踪算法，筛选步骤S2中检测出的角点；S4，通过RANSAC算法对角点进行二次筛选得到最佳矩阵模型；S5，通过所述最佳矩阵模型得到所述车辆的运动参数。

优选地，在所述步骤S1中获取所述车辆的车身环视图像包括：通过安装在所述车辆的车身上的多个摄像头，采集所述车辆四周的图像；对采集到的图像进行标定拼接融合，得到所述车身环视图像。

优选地，在步骤S2中，使用FAST角点检测方法来检测所述车身环视图像中的角点。

优选地，使用FAST角点检测方法来检测所述车身环视图像中的角点包括：S21，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S22，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；S23，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。

优选地，所述步骤S2还包括：如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；如果所述特征点的得分值最大，则将所述特征点作为所述角点。

优选地，所述步骤S3包括：S31，使用金字塔LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；S32，使用金字塔LK光流后向跟踪算法，确定所述正向跟踪角点在上一帧中的后向跟踪角点；S33，计算所述上一帧中的角点与所述后向跟踪点之间的距离，如果所述距离小于预定阈值，则保留所述角点。

优选地，使用RANSAC算法进行的所述二次筛选包括：从上一帧图像和当前帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的所述变换矩阵模型作为最佳矩阵模型。

通过RANSAC算法得到的最佳矩阵模型为：

通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(x_c，y_c)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离d_x和沿竖直方向的运动距离d_y：

结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：

此外，在所述最优内点集内的角点中选择两个距离大于预定阈值的角点，分别计算这两个角点在前后两帧图像中的直线角度，然后计算两个直线角度的差的绝对值作为对应于这两个角点的车辆转角。当存在多个相距大于预定阈值的角点对时，得到多个车辆转角，将所述多个车辆转角进行加权平均，将最终得到的平均值作为所述车辆的车辆转角。

在根据本发明的车辆运动参数估算方法中，通过获取车身环视图像，对车身环视图像进行角点检测、角点筛选、二次筛选获得最佳矩阵模型，保证了最终参与估算的角点的准确性，即保证了车辆运动参数估算的准确性，提高了估算精度。

此外，根据本发明的车辆运动参数估算方法，相比于现有技术，规避了以传统建立车辆模型结合传感器的方式在车辆低速运动时运动参数估算误差较大的问题，从而解决了车辆低速情况下运动参数估算精度较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示意性表示根据本发明的车辆运动参数估算方法的流程图；

图2是示意性表示根据本发明的车辆的摄像装置的设置图；

图3是示意性表示车身环视图像的示图；

图4是示意性表示根据本发明的FAST角点检测方法检测角点的流程图；

图5是示意性表示FAST角点检测方法的示图；

图6是示意性表示根据本发明的采用金字塔LK光流跟踪方法跟踪角点的示意图；

图7是示意性表示根据本发明的采用金字塔LK光流跟踪方法跟踪角点的流程图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术邻域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

图1是示意性表示根据发明的车辆运动参数估算方法的流程图。如图1所示，根据本发明的车辆运动参数估算方法包括以下步骤：S1，获取车辆的车身环视图像；S2，检测所述车身环视图像中的角点；S3，通过金字塔LK光流跟踪算法，筛选步骤S2中检测出的角点；S4，通过RANSAC算法对角点进行二次筛选得到最佳矩阵模型；S5，通过最佳矩阵模型得到车辆的运动参数。

在步骤S1获取车辆的车身环视图像。具体地，获取车辆的车身环视图像需要通过安装在车身上的多个摄像头来采集车辆四周的图像，然和对采集到的图像进行标定拼接融合得到车身环视图像。

图2是示意性表示根据本发明的车辆的摄像装置的设置图。图3是示意性表示车身环视图像的示图。

如图2所示，可以在车身周围安装四个摄像头采集车身周围图像，其中L是左摄像头，F是前摄像头，R是右摄像头，B为后摄像头。通过对四个摄像头采集到的图像标定图像畸变参数，并矫正图像畸变参数，然后提取图像中的特征将多个图像拼接融合，生成车身环视图像。例如，如图3所示，生成的环视图像为车身周围图像的俯视图像。注意，安装多个摄像头以及如何获取车身环视图像可以采用现有技术的多种方式，本文将不再赘述。

在获取到车身环视图像后，检测车身环视图像中的角点。根据本发明的一种实施方式，可以采用FAST角点检测的方法来检测车身环视图像中的角点。

图4是示意性表示根据本发明的FAST角点检测方法检测角点的流程图。图5是示意性表示FAST角点检测方法的示图。

如图4所示，采用FAST角点检测方法检测车身环视图像中的角点可以包括：S21，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差；S22，如果多个像素差中有预定数量的像素差大于阈值，则将被测像素点作为特征点；S23，判断以特征点为中心的邻域内是否只有上述特征点这一个特征点，如果只有一个特征点，则将该特征点作为角点。以下以图5为例具体说明FAST角点检测方法。

具体如图5所示，以被测像素点p为中心，在半径为3(该半径可根据需要进行设置)的圆形邻域内，共有16个像素点(p1-p16)。设定一个阈值，分别计算像素点p1-p16与被测像素点P之间的像素差的绝对值，如果16个像素点与被测像素点p的像素差的绝对值中至少有9个像素差的绝对值大于设定的阈值，则将被测像素点p作为特征点。否则，被测像素点p不是特征点。然后，再对下一个像素点进行检测。

在具体的角点检测中，也可以首先计算p与p1、p9的像素差的绝对值，如果两个值都小于阈值，则p不是角点。如果两个值中至少一个大于阈值，则计算p与p1、p9、p5、p13的像素差的绝对值，如果有三个绝对值超过阈值，则再计算p与p1-p16的像素差的绝对值。如果有9个绝对值大于阈值，则将p确定为特征点。

在确定特征点之后，还需要确定以像素点p为中心的邻域(例如，3×3，5×5)内是否存在多个特征点。如果存在，则计算每个特征点的得分值，如果被测像素点p的得分值最大，则将被测像素点p作为角点。具体地，计算每个特征点的得分值的方法是：计算特征点与邻域内的多个像素点的像素差的绝对值得总和，例如，p与p1-p16的像素差的绝对值的总和。如果以像素点p为中心的邻域内只有像素点p一个特征点，则将该特征点p作为角点。

接下来，需要对检测出的角点进行筛选。

图6是示意性表示根据本发明的采用金字塔LK光流跟踪方法跟踪角点的示意图。图7是示意性表示根据本发明的采用金字塔LK光流跟踪方法跟踪角点的流程图。

如图6、图7所示，通过金字塔LK光流跟踪方法来筛选检测出的角点。具体地，该筛选方法包括：S31，使用金字塔LK光流正向跟踪算法，确定上一帧中的角点(例如，图7中的T0)在当前帧图像中的正向跟踪角点(例如，图7中的T01)；S32，使用金字塔LK光流后向跟踪算法，确定正向跟踪角点(T01)在上一帧中的后向跟踪角点(例如，图7中的T10)；S33，计算角点(T0)与后向跟踪角点(T10)之间的距离，如果两者之间的距离小于预定阈值d，则将角点保留进行下一步骤。如果两者之间的距离大于预定阈值d，则将此角点去除。使用上述过程，对步骤S2检测出的所有角点进行筛选。

注意，金字塔LK光流跟踪算法对于本领域技术人员来说是公知的，因此本文不再对其进行详细描述。

此后，在根据本发明的车辆运动参数估算方法中，可以对金字塔LK光流跟踪算法筛选出的角点进行二次筛选，从而可以进一步提高车辆运行参数估算的精度。

具体来说，可以使用RANSAC算法对经由步骤S3筛选后的角点进行二次筛选。使用RANSAC算法对角点进行二次筛选可以包括以下步骤：从上一帧图像和当前帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于设定的阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选取3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于设定的阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将最优内点集对应的变换矩阵模型作为最佳矩阵模型。

总的来说，角点的二次筛选是通过RANSAC算法寻找到一个最佳变换矩阵模型，使得满足该变换矩阵模型的角点最多，具体地，变换矩阵H的定义如下：

假设当前帧正向跟踪角点坐标为(x’，y’)，上一帧匹配的角点坐标为(x，y)，则有：

由上述矩阵可以看出，一对匹配角点可以构造2个方程，但矩阵有6个未知参数，因此至少要3对匹配角点，通过3对匹配角点即可求出变换矩阵H。然后按照下列关系式将之前通过LK光流法筛选的其他的匹配角点带入到矩阵中计算投影误差。

其中t表示设定阈值，如果角点对满足上述关系式则将角点对加入内点集。然后重复上述选择角点和计算投影误差的步骤，得到多个内点集。通过比较多个内点集中的角点数量，将含有角点数量最多的内点集作为最优内点集。例如，通过某3对角点对得到矩阵模型H，满足矩阵模型H的内点集中具有的角点的数量最多，即H矩阵模型为最佳矩阵模型。注意，如何利用RANSAC算法来得到矩阵模型H对于本领域技术人员来说是公知的，因此这里不再赘述。

在得到最佳矩阵模型之后，计算车辆的运动参数。在本发明的车辆运动参数估算方法中，基于通过RANSAC算法对角点二次筛选后得到的最佳矩阵模型来计算车辆运动参数。通过上述最佳矩阵模型H和车身环视图像中车辆的后轴中点处的坐标(x_c，y_c)，可以计算得出车辆转角δ以及车身环视图像中车辆沿水平方向的运动距离d_x、沿竖直方向的运动距离d_y。

具体来说，众所周知车辆在运动过程中，转弯时绕着两后轮的中点(后轴中点)处做旋转运动，由于车身环视图像中车辆模型大小与车辆的实际大小存在一定的对应关系，即车身环视图像中的车辆两后轮的轮间距与车辆实际的两后轮的轮间距存在一定的比例关系，由此可以得到车身环视图像中车辆后轴中心处的坐标(x_c，y_c)。

另外，环视图像中上一帧和当前帧图像的位置关系也可以用以下变换矩阵模型H1来表示：

假设在车身环视图像中，车辆的转角为δ，车辆的水平移动距离为d_x，车辆的垂直移动距离为d_y(注意：这里的距离都是像素距离)，则有：

x1＝scale*cos(δ)

x2＝-scale*sin(δ)

x3＝(d_x-x_c)*r1+(d_y-y_c)*x2+x_c

x4＝scale*cos(δ)

x5＝scale*sin(δ)

x6＝(d_x-x_c)*r4+(d_y-y_c)*x5+y_c

上述6个公式中scale是一个尺度变换因子。比较H和H1可以知道,其实车身环视图像的上一帧和当前帧之间的关系可以由RANSAC算法直接求解出来。也就是说，x1…x6与r1…r6是相等的。因此，可以将r1-r6代入上述公式内计算出车辆转角δ、车身环视图像中车辆的水平移动距离d_x，车辆的垂直移动距离d_y：

此后，结合前后两帧图像之间的时间间隔Δt和车身环视图像中每像素所代表的实际距离pixel_d，可以计算出车辆的运动距离D、运动速度V：

此外，除了上述基于最佳矩阵模型计算车辆转角的方法外，还可以根据最优内点集中的角点来得到车辆的转角信息。车辆转角的具体计算方式如下：在上一帧中选取两个距离相距较远的角点，比如A(x0,y0)，B(x1,y1)，如果两个角点的距离AB大于预定值d，则计算AB直线的角度α。同时在当前帧中计算对应直线A’B’直线的角度β，其中A’是与A匹配的正向跟踪角点，B’是与B匹配正向跟踪角点。车辆的转角为δ＝|β-α|，当存在多个相距较远的角点AB时，此时会求出多个车辆转角δ，主要的处理方法是将多个转角δ进行加权平均，将平均值作为最后的车辆转角。

需要指出的是，上述两种方式均能计算出车辆的转角，但基于最佳矩阵模型计算出的车辆转角的精确度高于基于角点计算出的车辆转角的精确度，具体可以根据对于车辆转角精确度的要求来选择使用何种计算方式。

需要特别说明的是，在本发明的技术方案中，随着车辆的行进，之前检测到的图像中角点的数量会减少，因为检测出的角点可能已经不在下一帧图像中。因此，会预先设置一个角点数量的阈值，当某一帧图像中的角点数量小于该阈值时，在保留现有角点的基础上，再次进行角点检测、角点筛选等操作，从而增加新的角点，进而保证运动参数估计的准确性。

如上所述，在根据本发明的车辆运动参数估算方法中，通过在车身环视图像中进行角点检测、角点筛选和二次筛选，保证了最终参与估算的角点的准确性，即保证了车辆运动参数估算的准确性，提高了估算精度。

此外，根据本发明的车辆运动参数估算方法，相比于现有技术，规避了以传统建立车辆模型结合传感器的方式在车辆低速运动时运动参数估算误差较大的问题，从而解决了车辆低速情况下运动参数估算精度较低的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种车辆运动参数估算方法，其特征在于，所述车辆运动参数估算方法包括以下步骤：

S1，获取车辆的车身环视图像；

S2，检测所述车身环视图像中的角点；

S3，通过金字塔LK光流跟踪算法，筛选步骤S2中检测出的角点；

S4，通过RANSAC算法对角点进行二次筛选得到最佳矩阵模型；

S5，通过所述最佳矩阵模型得到所述车辆的运动参数。

2.根据权利要求1所述的车辆运动参数估算方法，其特征在于，在步骤S1中获取所述车辆的车身环视图像包括：

通过安装在所述车辆的车身上的多个摄像头，采集所述车辆四周的图像；

对采集到的图像进行标定拼接融合，得到所述车身环视图像。

3.根据权利要求1所述的车辆运动参数估算方法，其特征在于，在步骤S2中，使用FAST角点检测方法来检测所述车身环视图像中的角点。

4.根据权利要求3所述的车辆运动参数估算方法，其特征在于，使用FAST角点检测方法来检测所述车身环视图像中的角点包括：

S21，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；

S22，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；

S23，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。

5.根据权利要求4所述的车辆运动参数估算方法，其特征在于，所述步骤S2还包括：

如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；

如果所述特征点的得分值最大，则将所述特征点作为所述角点。

6.根据权利要求1所述的车辆运动参数估算方法，其特征在于，所述步骤S3包括：

S31，使用金字塔LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；

S32，使用金字塔LK光流后向跟踪算法，确定所述正向跟踪角点在上一帧图像中的后向跟踪角点；

S33，计算所述上一帧中的所述角点与所述后向跟踪角点之间的距离，如果所述距离小于预定阈值，则保留所述角点。

7.根据权利要求1所述的车辆运动参数估算方法，其特征在于，使用RANSAC算法进行的所述二次筛选包括：

从当前帧图像和上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；

计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；

重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；

重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；

选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的变换矩阵模型作为最佳矩阵模型。

8.根据权利要求7所述的车辆运动参数估算方法，其特征在于，

通过RANSAC算法得到的所述最佳矩阵模型为：

通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(x_c，y_c)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离d_x和沿竖直方向的运动距离d_y：

结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：

9.根据权利要求7所述的车辆运动参数估算方法，其特征在于，在所述最优内点集内的角点中选择两个距离大于预定阈值的角点，分别计算这两个角点在前后两帧图像中的直线角度，然后计算两个直线角度的差的绝对值作为对应于这两个角点的车辆转角，

当存在多个相距大于预定阈值的角点对时，得到多个车辆转角，将所述多个车辆转角进行加权平均，将最终得到的平均值作为所述车辆的车辆转角。