CN103473774A - 一种基于路面图像特征匹配的车辆定位方法 - Google Patents

Abstract

本发明公开了一种基于路面图像特征匹配的车辆定位方法：确定车辆初始位置的地理坐标；在车辆行驶过程中实时拍摄路面图像；对拍摄的当前连续两帧路面图像依次进行匀光处理；实时对匀光处理后的连续两帧路面图像进行匹配，得到该连续两帧路面图像的匹配点对；根据得到的匹配点对进行车辆定位；判断当前两帧图像是否为最后的两帧，是则结束，否则重复上述步骤。该方法仅需要在车辆行驶过程中实时采集路面图像，并对连续两帧路面图像匹配，从而实现自主车辆定位，该方法不易受干扰，定位精度高，且省去了现有定位方法中提前采集全方位街景的费时费力的环节，因此省时省力。

Description

一种基于路面图像特征匹配的车辆定位方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于路面图像特征匹配的车辆定位方法。

背景技术

目前，常用的车辆定位技术有GPS定位技术和惯性导航（INS）。GPS定位技术是一种被动定位方式，其存在定位精度低、信号盲区、输出频率低等缺陷，当车辆行驶至无信号地区，GPS无法满足要求；当需要对车辆行为进行安全评估工作时，GPS定位精度无法满足要求。惯性导航（INS）是一种自主定位方式，在车辆行驶过程中实时获取车辆的经纬度和加速度，具有全天候、抗干扰和瞬时测量精度高等优点，然而，其主要部件陀螺仪会随时间进行漂移，导致其定位误差随时间进行累计，因而难以长时间独立工作，新的定位技术不断被探索。

近年来，随着图像处理技术快速发展，运用图像处理技术实现车辆自主高精度定位成为研究热点。目前，运用图像处理技术进行车辆定位的方式主要是：提前拍摄全方位街景并存储在数据库中，在车辆行驶过程中实时利用两个摄像头从不同角度拍摄街景，然后将拍摄的街景与预存的全方位街景进行匹配，利用三角测量的方法定位车辆的精确位置。这种方法的特点是定位精度较高，但是需要提前做准备工作，即全方位拍摄街景，因此该方法费时费力，不能适用于未经采集全景的车辆实时定位。

发明内容

针对上述现有技术的缺陷或不足，本发明的目的在于，提供一种基于路面图像特征匹配的车辆定位方法，该方法仅需要在车辆行驶过程中实时采集路面图像，并对连续两帧路面图像匹配，从而实现自主车辆定位，该方法不易受干扰，定位精度高，且省去了现有定位方法中提前采集全方位街景的费时费力的环节，因此省时省力。

为了完成上述任务，本发明采用以下技术方案予以解决：

一种基于路面图像特征匹配的车辆定位方法，具体包括如下步骤：

步骤一：确定车辆初始位置的地理坐标（p₀，q₀）；在车辆行驶过程中实时拍摄路面图像。

步骤二：对拍摄的当前连续两帧路面图像依次进行匀光处理。

步骤三：实时对匀光处理后的连续两帧路面图像进行匹配，得到该连续两帧路面图像的匹配点对。

步骤四，根据得到的匹配点对进行车辆定位。

步骤五，判断当前两帧图像是否为最后的两帧，是则结束，否则执行步骤二。

进一步的，所述步骤二的对路面图像进行匀光处理具体包括如下步骤：

将路面图像I₁划分为M×N个大小相等、互不重叠的子块图像，每个子块图像的大小为m×n，m，n取值为2^k，k=5、6、7；计算每个子块图像的平均灰度h(i,j)，其中，i＝1,2,…,M；j＝1,2,…,N，得到原图像I₁的背景子集H。

采用双线性插值方法将背景子集H扩大为与原图像I₁大小相等的背景图像I₀；

利用式1对图像进行整体灰度校正，得到校正后的图像ΔI。

ΔI＝I₁-I₀  （式1）

利用式2将校正后的背景图像ΔI映射到0～255灰度级空间得整体灰度校正图像I₂：

$I_2=(\mathrm{\ΔI}-{\mathrm{\ΔI}}_{\min })\×\frac{255}{(\mathrm{\Δ}{I}_{\max }-{\mathrm{\ΔI}}_{\min })}$    （式2）

式中，ΔI_max，ΔI_min分别是校正后的背景图像ΔI中的最大灰度值和最小灰度值。

对整体灰度校正图像I₂进行局部对比度增强：将整体灰度校正图像I₂划分为M×N个、图像子块大小为m×n，m，n取值为2^k，k=5、6、7；对每个图像子块进行直方图均衡化，得到局部对比度增强图像I₃；

将局部对比度增强图像I₃和整体灰度校正图像I₂按式3融合，得到增强图像F：

F＝w×I₃+(1-w)×I₂   （式3）

式中，w是融合权重，取0.5-0.7。

进一步的，所述步骤三的对匀光处理后的连续两帧路面图像进行匹配的具体步骤如下：

第1步：获取连续两帧路面图像的所有匹配点对；

第2步，判断第1步得到的匹配点对的个数是否大于阈值T，是则执行第4步；否则执行第3步；

第3步，基于SIFT特征点的Hu矩和灰度特征获得连续两帧路面图像的匹配点对；

第4步，消除错误匹配点对。

进一步的，所述第1步中，采用利用SIFT算法获取连续两帧路面图像的所有匹配点对。

进一步的，将SIFT算法中的欧氏距离函数用式4的街区距离L替换后，用替换后的SIFT算法获取连续两帧路面图像的匹配点对；街区距离L如下：

$L=\underset{k=1}{\overset{128}{\mathrm{\Σ}}}|l_{\mathrm{ik}}-l_{\mathrm{jk}}|,i=\mathrm{1,2},\·\·\·,N_1;j=\mathrm{1,2},\·\·\·,N_2$    （式4）

式中，l_ik表示连续两帧路面图像中第1帧路面图像的第i个SIFT特征点的第k个特征向量的元素；l_jk分别表示连续两帧路面图像中第2帧路面图像的第j个SIFT特征点的第k个特征向量的元素；N₁表示连续两帧路面图像中第1帧路面图像的SIFT特征点的个数；N₂表示连续两帧路面图像中第2帧路面图像的SIFT特征点的个数。

进一步的，所述第2步中的阈值T不小于3。

进一步的，所述第3步的具体步骤如下：

3.1获取Hu矩

对所述的连续两帧路面图像分别以每个SIFT特征点为圆心，r=32作圆，得到多个圆形的计算区域，然后对每个计算区域获取Hu矩；

3.2获取灰度特征

利用式8和式9计算每个计算区域的灰度平均值M和标准差σ，作为灰度特征向量；

$M=\underset{{(x-a)}^2+{(y-b)}^2=r^2}{\mathrm{\Σ}}f(x,y)/\mathrm{total}$    （式8）

$\mathrm{\σ}=\sqrt{\frac{\underset{{(x-a)}^2+{(y-b)}^2=r^2}{\mathrm{\Σ}}{(f(x,y)-M)}^2}{\mathrm{total}}}$    （式9）

式中，(a,b)为SIFT特征点的位置，r为SIFT特征点所在的计算区域的半径，total为SIFT特征点所在的计算区域内像素点的总数，f(x,y)为SIFT特征点所在的计算区域内坐标为(x,y)处的灰度值。

3.3获取匹配点对

对得到的连续两帧路面图像中所有SIFT特征点的Hu矩利用式10所示的最大最小值法分别计算SIFT特征点对（i，j）的相似度r_ij，得到SIFT特征点对（i，j）基于Hu矩的相似度矩阵r_Hu；对得到的连续两帧路面图像中所有SIFT特征点的灰度特征利用式10所示的最大最小值法分别计算SIFT特征点对（i，j）的相似度r_ij，得到SIFT特征点对（i，j）基于灰度特征的相似度矩阵r_gray；

$r_{\mathrm{ij}}=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\min (f_{\mathrm{ik}},f_{\mathrm{jk}})}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\max (f_{\mathrm{ik}},f_{\mathrm{jk}})},i=\mathrm{1,2},\·\·\·,N_1;j=\mathrm{1,2},\·\·\·,N_2$    （式10）

式中，i是指连续两帧路面图像中第1帧的任一SIFT特征点，j指第2帧中的任一SIFT特征点，M为特征向量中元素总个数，对于Hu矩，M=7，对于灰度特征，M=2。f_ik为第1帧路面图像中的第i个SIFT特征点的第k个特征向量的元素，f_jk为第2帧路面图像中的第j个SIFT特征点的第k个特征向量的元素。N₁表示第1帧路面图像SIFT特征点的个数；N₂表示第2帧路面图像SIFT特征点的个数。

利用式11对得到的基于Hu矩和基于灰度矩阵的相似度矩阵进行加权融合，得到最终匹配程度矩阵end_r。最后按照相似度rij降序排列（r_ij数值越大，相似度越大），取前若干个SIFT特征点对作为最佳匹配点对，组成匹配点对集合，一般取3-5个SIFT特征点对。

end_r＝weight×r_Hu+(1-weight)×r_gray   （式11）

式中，r_Hu为SIFT特征点对基于Hu矩的相似度矩阵，r_gray为SIFT特征点对基于灰度特征的相似度矩阵；weight为权重，取0.3-0.5；

将第1步获得的匹配点对加入所述的匹配点对集合。

进一步的，所述第4步使用RANSAC算法消除错误的匹配点对，具体步骤如下：

（1）对第1步获得的连续两帧路面图像匹配点对（m_k—m_k’，其中，k=1,2,…,m_n，m_n表示匹配点对的总个数），将匹配点对的坐标归一化；

（2）从匹配点对集合当中任取8个匹配点对，使用8点算法计算基本矩阵A_i；

（3）以sampson距离(d)为判据，在匹配点对集合（m_k—m_k’,k=1,2,…,m_n）寻找所有符合d<t条件的匹配点对，将它们作为内点，并记录满足基本矩阵A_i约束的内点数量。若内点数量大于事先给定阈值（阈值等于匹配点对总数m_n的80%），则保留A_i，否则舍弃；

（4）重复执行（2）和（3）两步骤k次（k=1000），记录每一次的满足基本矩阵A_i约束的内点数量；

（5）选取对应内点数最大的A_best，并把满足A_best约束的内点作为最终的内点，也即正确的匹配点对，不符合d<t条件的点对作为误配点对，予以剔除，t取0.001-0.01，k=1000。

进一步的，所述步骤四具体包括如下步骤：

将步骤三得到的连续两帧路面图像的匹配点对中的任意两组匹配点对同时代入式12，得到一组旋转角度θ和偏移量（a，b），直到所有的匹配点对都两两组合结束。

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& a\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& b\\ 0& 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$    （式12）

式中，（x，y）表示任意一组匹配点对中位于第1帧图像里的SIFT点的坐标；（X，Y）表示任意一组匹配点对中位于第2帧图像里的SIFT点的坐标。

将得到的所有组的旋转角度θ、偏移量（a，b）分别求平均值，得到当前的连续两帧连续的路面图像之间的旋转角度θ′以及偏移量(a′,b′)。

利用式13更新初始位置坐标下的图像偏转角end_θ：

end_θ＝θ′+end_θ   （式13）

end_θ的初始值为0。

利用式14计算初始位置坐标下的图像偏移量(end_a,end_b)：

end_a＝a′cos end_θ-b′sin end_θ   式（14)

end_b＝a′sin end_θ+b′cos end_θ

利用车辆物理位置与车辆在路面图像中位置的对应关系以及得到的图像偏移量(end_a,end_b)，获得车辆当前的偏移量（p，q）。

利用式15更新车辆位置：

end_p=p+end_p

end_q=q+end_q   （式15）

end_p的初始值为p₀，end_q的初始值为q₀。

与现有方法相比，本发明的方法的优点如下：

1、实时拍摄路面图像并处理，省去了现有全景拍摄定位方法中的前期准备工作，省时省力。

2、基于SIFT特征点的Hu矩和灰度特征的路面图像匹配算法解决了经典匹配算法SIFT无法找出路面图像匹配点的情况，保证了实现车辆定位过程的连续性。

3、基于路面图像匹配实现自主定位，精确度高；不容易受外界环境干扰。

4、弥补了GPS定位技术精度低和受信号强弱影响的不足，且不存在INS随时间漂移引起的误差累积问题。因此，可用于辅助GPS和INS进行车辆定位。

5、工程化实现方便，成本低，只需安装车载摄像头，功能芯片植入车载终端即可。

附图说明

图1是本发明基于路面图像特征匹配的车辆定位方法的流程图。

图2是本发明的实施例中对某幅图像进行匀光处理的效果图。其中，图2（a）为原拍摄图像；图2（b）为匀光处理后的图像。

图3是本发明的实施例中利用SIFT算法的第7、8两帧路面图像匹配效果图。其中，图3(a)是第7帧路面图像获得的SIFT特征点；图3(b)是第8帧路面图像获得的SIFT特征点；图3(c)是第7帧和第8帧路面图像之间获得的匹配点对。

图4是本发明的实施例中利用SIFT算法的第23帧和第24帧路面图像匹配效果图。其中，图4(a)是第23帧路面图像获得的SIFT特征点；图4(b)是第24帧路面图像获得的SIFT特征点；图4(c)是第23、24两帧路面图像之间获得的匹配点对。

图5是本发明的实施例中利用SIFT算法的第41帧和第42帧路面图像匹配效果图。其中，图5(a)是第41帧路面图像获得的SIFT特征点；图5(b)是第42帧路面图像获得的SIFT特征点；图5(c)是第41、42两帧路面图像之间获得的匹配点对。

图6是本发明的实施例中基于SIFT特征点的Hu矩和灰度特征的第67、68两帧路面匹配效果图。

图7是本发明的实施例中基于SIFT特征点的Hu矩和灰度特征的第90、91两帧路面匹配效果图。

图8是本发明的实施例中RANSAC算法消除误匹配点对的效果图。

图9是本发明的实施例中车辆定位的轨迹图。其中，图9(a)是车辆直线行驶的轨迹图；图9(b)是车辆曲线行驶的轨迹图。

以下将结合附图及具体实施方式对本发明进一步解释说明。

具体实施方式

参见图1，本发明的基于路面图像特征匹配的车辆定位方法，具体包括如下步骤：

步骤一：确定车辆初始位置的地理坐标（p₀，q₀）；在车辆行驶过程中，车载摄像头安装在车辆底面中心且面向路面实时拍摄，车载摄像头的帧率满足两帧图像具有重合部分；

步骤二：对拍摄的当前连续两帧路面图像依次进行匀光处理。

由于拍摄的路面图像通常亮度不均匀，给后续的图像处理和分析带来困难，因此需对灰度不均匀图像进行校正。

匀光处理具体包括如下步骤：

将路面图像I₁划分为M×N个大小相等、互不重叠的子块图像，每个子块图像的大小为m×n（m，n取值为2^k，k=5、6、7，取6效果较好）；计算每个子块图像的平均灰度h(i,j)，其中，i＝1,2,…,M；j＝1,2,…,N，得到原图像I₁的背景子集H。

采用双线性插值方法将背景子集H扩大为与原图像I₁大小相等的背景图像I₀；

利用式1对图像进行整体灰度校正，得到校正后的图像ΔI。

ΔI＝I₁-I₀   （式1）

利用式2将校正后的背景图像ΔI映射到0～255灰度级空间得整体灰度校正图像I₂：

$I_2=(\mathrm{\&Delta;I}-{\mathrm{\&Delta;I}}_{\min })\&times;\frac{255}{(\mathrm{\&Delta;}{I}_{\max }-{\mathrm{\&Delta;I}}_{\min })}$    （式2）

式中，ΔI_max，ΔI_min分别是校正后的背景图像ΔI中的最大灰度值和最小灰度值。

对整体灰度校正图像I₂进行局部对比度增强：将整体灰度校正图像I₂划分为M×N个、图像子块大小为m×n，m，n取值为2^k，k=5、6、7，经试验，k取6较好；对每个图像子块进行直方图均衡化，得到局部对比度增强图像I₃。

将局部对比度增强图像I₃和整体灰度校正图像I₂按式3融合，得到增强图像F。

F＝w×I₃+(1-w)×I₂   （式3）

式中，w是融合权重，取0.5-0.7。

步骤三：实时对匀光处理后的连续两帧路面图像进行匹配，得到该连续两帧路面图像的匹配点对。具体步骤如下：

第1步：获得初始的匹配点对，其实现方式有两种：

1）利用SIFT算法获取连续两帧路面图像的所有匹配点对。匹配点对是相匹配的一对SIFT特征点，该两个特征点分别来自连续的两帧路面图像。

2）利用改进的SIFT算法获取连续两帧路面图像的匹配点对。该方式与SIFT算法的区别仅在于，将SIFT算法中的欧氏距离函数用式4的街区距离L替换。

$L=\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}|l_{\mathrm{ik}}-l_{\mathrm{jk}}|,i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_1;j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_2$    （式4）

式中，l_ik表示连续两帧路面图像中第1帧路面图像的第i个SIFT特征点的第k个特征向量的元素；l_jk分别表示连续两帧路面图像中第2帧路面图像的第j个SIFT特征点的第k个特征向量的元素；N₁表示连续两帧路面图像中第1帧路面图像的SIFT特征点的个数；N₂表示连续两帧路面图像中第2帧路面图像的SIFT特征点的个数。

SIFT算法是一种成熟的经典匹配算法，其思想为：检测尺度空间中的极值点，精确定位检测到的极值点位置，为极值点分配方向，生成描述极值点的SIFT特征向量，采用欧氏距离函数作为特征的相似性度量，实现图像匹配。上述第2）种方式中，以街区距离L代替SIFT算法中的欧氏距离函数作为特征的相似性度量获得匹配点，能够降低图像匹配过程的计算量，提高算法效率，同时减少计算偏差。

第2步，判断第1步得到的匹配点对的个数是否大于阈值T（T不小于3），是则执行第4步；否则执行第3步；

第3步，基于SIFT特征点的Hu矩和灰度特征获得连续两帧路面图像的匹配点对。具体步骤如下：

3.1获取Hu矩

对所述的连续两帧路面图像分别以每个SIFT特征点为圆心，r=32作圆，得到多个圆形的计算区域，然后对每个计算区域获取Hu矩。

对图像（图像在本发明中是指圆形的计算区域）获取Hu矩是图像处理领域的常用手段，其过程如下：

定义p+q阶矩m_pq如下：

$m_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^p{y}^{p}f(x,y)$    （式5）

式中，(x,y)为图像位置坐标，f(x,y)为图像灰度。当图像发生平移变化时，m_pq也将发生改变。为使m_pq具有平移不变性，定义p+q阶中心距为：

$u_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y)$    （式6）

式中， $\stackrel{\&OverBar;}{x}=\frac{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xf}(x,y)}{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}f(x,y)},$ $\stackrel{\&OverBar;}{y}=\frac{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yf}(x,y)}{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}f(x,y)}$

即 $\stackrel{\&OverBar;}{x}=\frac{m_{10}}{m_{00}},$ $\stackrel{\&OverBar;}{y}=\frac{m_{01}}{m_{00}}$

令f(x,y)归一化： ${\mathrm{\&eta;}}_{\mathrm{pq}}=\frac{u_{\mathrm{pq}}}{u_{00}^r}$    （式7）

式中，r＝(p+q)/2+1，p+q＝2,3,…

Hu得到图像的各阶不变矩（即得到的Hu矩）如下：

φ₁＝η₂₀+η₀₂；

${\mathrm{\&phi;}}_2={({\mathrm{\&eta;}}_{20}-{\mathrm{\&eta;}}_{02})}^2+4{\mathrm{\&eta;}}_{11}^2;$

φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²；

φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₁₂+η₀₃)²]

  +(η₀₃-3η₂₁)(η₀₃+η₂₁)[(η₀₃+η₂₁)²-3(η₁₂+η₀₃)²]；

φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₀₃+η₂₁)；

φ₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]

+(η₃₀-3η₁₂)(η₀₃+η₂₁)[(3η₃₀+η₁₂)²-(η₂₁+η₀₃)²]。

3.2获取灰度特征

利用式8和式9计算每个计算区域的灰度平均值M和标准差σ，作为灰度特征向量。由于车辆行驶过程中可能出现转弯，拍摄的路面图像会发生偏转，因此选取圆形领域以保证灰度特征的旋转不变性。

$M=\underset{{(x-a)}^2+{(y-b)}^2=r^2}{\mathrm{\&Sigma;}}f(x,y)/\mathrm{total}$    （式8）

$\mathrm{\&sigma;}=\sqrt{\frac{\underset{{(x-a)}^2+{(y-b)}^2=r^2}{\mathrm{\&Sigma;}}{(f(x,y)-M)}^2}{\mathrm{total}}}$    （式9）

式中，(a,b)为SIFT特征点的位置，r为SIFT特征点所在的计算区域的半径，total为SIFT特征点所在的计算区域内像素点的总数，f(x,y)为SIFT特征点所在的计算区域内坐标为(x,y)处的灰度值。

3.3获取匹配点

对得到的连续两帧路面图像中所有SIFT特征点的Hu矩利用式10所示的最大最小值法分别计算SIFT特征点对（i，j）的相似度r_ij，得到SIFT特征点对（i，j）基于Hu矩的相似度矩阵r_Hu；对得到的连续两帧路面图像中所有SIFT特征点的灰度特征利用式10所示的最大最小值法分别计算SIFT特征点对（i，j）的相似度r_ij，得到SIFT特征点对（i，j）基于灰度特征的相似度矩阵r_gray；

$r_{\mathrm{ij}}=\frac{\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}\min (f_{\mathrm{ik}},f_{\mathrm{jk}})}{\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}\max (f_{\mathrm{ik}},f_{\mathrm{jk}})},i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_1;j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_2$    （式10）

式中，i是指连续两帧路面图像中第1帧的任一SIFT特征点，j指第2帧中的任一SIFT特征点，M为特征向量中元素总个数，对于Hu矩，M=7，对于灰度特征，M=2。f_ik为第1帧路面图像中的第i个SIFT特征点的第k个特征向量的元素，f_jk为第2帧路面图像中的第j个SIFT特征点的第k个特征向量的元素。N₁表示第1帧路面图像SIFT特征点的个数；N₂表示第2帧路面图像SIFT特征点的个数。

利用式11对得到的基于Hu矩和基于灰度矩阵的相似度矩阵进行加权融合，得到最终匹配程度矩阵end_r。最后按照相似度rij降序排列（r_ij数值越大，相似度越大），取前若干个SIFT特征点对作为最佳匹配点对，组成匹配点对集合，一般取3-5个SIFT特征点对。

end_r＝weight×r_Hu+(1-weight)×r_gray   （式11）

式中，r_Hu为SIFT特征点对基于Hu矩的相似度矩阵，r_gray为SIFT特征点对基于灰度特征的相似度矩阵；weight为权重，取0.3-0.5。

将第1步获得的匹配点对加入所述的匹配点对集合。

第4步，使用RANSAC算法消除错误匹配点对。步骤如下：

（1）对第1步获得的连续两帧路面图像匹配点对（m_k—m_k’，其中，k=1,2,…,m_n，m_n表示匹配点对的总个数），将匹配点对的坐标归一化；

（2）从匹配点对集合当中任取8个匹配点对，使用8点算法计算基本矩阵A_i；

（3）以sampson距离(d)为判据，在匹配点对集合（m_k—m_k’,k=1,2,…,m_n）寻找所有符合d<t条件的匹配点对，将它们作为内点，并记录满足基本矩阵A_i约束的内点数量。若内点数量大于事先给定阈值（阈值等于匹配点对总数m_n的80%），则保留A_i，否则舍弃；

（4）重复执行（2）和（3）两步骤k次（k=1000），记录每一次的满足基本矩阵A_i约束的内点数量；

（5）选取对应内点数最大的A_best，并把满足A_best约束的内点作为最终的内点，也即正确的匹配点对，不符合d<t条件的点对作为误配点对，予以剔除，t取0.001-0.01，k=1000。

步骤四，根据得到的匹配点对进行车辆定位，具体包括如下步骤：

将步骤三得到的连续两帧路面图像的匹配点对中的任意两组匹配点对同时代入式12，得到一组旋转角度θ和偏移量（a，b），直到所有的匹配点对都两两组合结束。

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& a\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& b\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$    （式12）

式中，（x，y）表示任意一组匹配点对中位于第1帧图像里的SIFT点的坐标；（X，Y）表示任意一组匹配点对中位于第2帧图像里的SIFT点的坐标。

将得到的所有组的旋转角度θ、偏移量（a，b）分别求平均值，得到当前的连续两帧连续的路面图像之间的旋转角度θ′以及偏移量(a′,b′)。

利用式13更新初始位置坐标下的图像偏转角end_θ：

end_θ＝θ′+end_θ   （式13）

end_θ的初始值为0。

利用式14计算初始位置坐标下的图像偏移量(end_a,end_b)：

end_a＝a′cos end_θ-b′sin end_θ   式(14)

end_b＝a′sin end_θ+b′cos end_θ

利用车辆物理位置与车辆在路面图像中位置的对应关系以及得到的图像偏移量(end_a,end_b)，获得车辆当前的偏移量（p，q）。

利用式15更新车辆位置：

end_p=p+end_p

end_q=q+end_q   （式15）

end_p的初始值为p₀，end_q的初始值为q₀；

步骤五，判断当前两帧图像是否为最后的两帧，是则结束，否则执行步骤二。

实施例1：

本实施中，将型号为SONY XCI-SX100C的数字CCD摄像头垂直安装于车辆正下方实时拍摄路面图像，选取长安大学信息学院门口一段长度为6米的直行路段作为测试，每秒拍摄30帧；拍摄视频共转化了279帧路面图像，图像大小为1280*960。

对拍摄的当前连续两帧路面图像依次进行匀光处理，某一帧图像匀光处理后的效果如图2所示。

车辆行驶过程中，拍摄的路面图像实时进行匹配，图3-图5是基于SIFT算法实现路面匹配的效果图。当采用SIFT算法时，有42组图像（连续两帧路面图像）出现了匹配点个数小于等于阈值T=3，因此，这42组图像使用基于SIFT特征点的Hu矩与灰度特征的路面图像匹配算法来实现，其中，在对第67、68连续两帧图像的处理过程中，第1步中获得的2组匹配点对，第3步获得匹配点对集合有3组（见图7），因此，第67、68连续两帧图像共得到了5组匹配点对（见图6）。这个过程中，以图7所示的90帧和91帧为例具体说明：“+和*”都代表SIFT特征点，第90帧路面图像有32个SIFT特征点，第91帧有22个，分别获取其Hu矩特征和灰度特征，然后计算不同特征下的相似度（见表1、表2）。然后对这两种相似度进行加权融合，weight=0.3，最终相似度如表3所示，最后按照相似度降序排列，选取前3组特征点对组成匹配点对集合。其中，采用RANSAC算法消除错误匹配得到最终匹配结果，对于第41帧和42帧（见图5）之间存在的误匹配点对，消除结果如图8所示。完成图像匹配后，以初始位置为标准计算路面图像的偏移量和角度，最终获得车辆运行的轨迹图，如图9（a）（以像素级为单位的车辆运行的轨迹图）所示。

表1 对于第90帧和第91帧路面图像的基于Hu矩的相似度

表2 对于第90帧和第91帧路面图像的基于灰度特征的相似度

表3 对于第90帧和第91帧路面图像的两种特征相似度的融合结果

实施例2：

本实施例中，将型号为SONY XCI-SX100C的数字CCD摄像头垂直安装于车辆正下方实时拍摄路面图像，选取长安大学信息学院门口一段长度为12米的拐弯路段作为测试，拍摄视频共转化了682帧路面图像，图像大小为1280*960。对车辆的定位过程与实施例1相同，最终车辆运行的定位轨迹如图9（b）（以像素级为单位的车辆运行的轨迹图）所示。

综上，可以看出，本发明的方法基于路面图像匹配实现自主定位，不容易受外界环境干扰，精确度高。

Claims (9)

1.一种基于路面图像特征匹配的车辆定位方法，其特征在于，具体包括如下步骤：

步骤一：确定车辆初始位置的地理坐标（p₀，q₀）；在车辆行驶过程中实时拍摄路面图像。

步骤二：对拍摄的当前连续两帧路面图像依次进行匀光处理。

步骤三：实时对匀光处理后的连续两帧路面图像进行匹配，得到该连续两帧路面图像的匹配点对。

步骤四，根据得到的匹配点对进行车辆定位。

步骤五，判断当前两帧图像是否为最后的两帧，是则结束，否则执行步骤二。

2.如权利要求1所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述步骤二的对路面图像进行匀光处理具体包括如下步骤：

将路面图像I₁划分为M×N个大小相等、互不重叠的子块图像，每个子块图像的大小为m×n（m，n取值为2^k，k=5、6、7）；计算每个子块图像的平均灰度h(i,j)，其中，i＝1,2,…,M；j＝1,2,…,N，得到原图像I₁的背景子集H。

采用双线性插值方法将背景子集H扩大为与原图像I₁大小相等的背景图像I₀；

利用式1对图像进行整体灰度校正，得到校正后的图像ΔI。

ΔI＝I₁-I₀  （式1）

利用式2将校正后的背景图像ΔI映射到0～255灰度级空间得整体灰度校正图像I₂：

$I_2=(\mathrm{\&Delta;I}-{\mathrm{\&Delta;I}}_{\min })\&times;\frac{255}{(\mathrm{\&Delta;}{I}_{\max }-{\mathrm{\&Delta;I}}_{\min })}$    （式2）

式中，ΔI_max，ΔI_min分别是校正后的背景图像ΔI中的最大灰度值和最小灰度值。

对整体灰度校正图像I₂进行局部对比度增强：将整体灰度校正图像I₂划分为M×N个、图像子块大小为m×n，m，n取值为2^k，k=5、6、7；对每个图像子块进行直方图均衡化，得到局部对比度增强图像I₃；

将局部对比度增强图像I₃和整体灰度校正图像I₂按式3融合，得到增强图像F：

F＝w×I₃+(1-w)×I₂   （式3）

式中，w是融合权重，取0.5-0.7。

3.如权利要求1所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述步骤三的对匀光处理后的连续两帧路面图像进行匹配的具体步骤如下：

第1步，获取连续两帧路面图像的所有匹配点对；

第2步，判断第1步得到的匹配点对的个数是否大于阈值T，是则执行第4步；否则执行第3步；

第3步，基于SIFT特征点的Hu矩和灰度特征获得连续两帧路面图像的匹配点对；

第4步，消除错误匹配点对。

4.如权利要求3所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述第1步中，采用利用SIFT算法获取连续两帧路面图像的所有匹配点对。

5.如权利要求3所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述第1步中，将SIFT算法中的欧氏距离函数用式4的街区距离L替换后，用替换后的SIFT算法获取连续两帧路面图像的匹配点对；街区距离L如下：

$L=\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}|l_{\mathrm{ik}}-l_{\mathrm{jk}}|,i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_1;j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_2$    （式4）

式中，l_ik表示连续两帧路面图像中第1帧路面图像的第i个SIFT特征点的第k个特征向量的元素；l_jk分别表示连续两帧路面图像中第2帧路面图像的第j个SIFT特征点的第k个特征向量的元素；N₁表示连续两帧路面图像中第1帧路面图像的SIFT特征点的个数；N₂表示连续两帧路面图像中第2帧路面图像的SIFT特征点的个数。

6.如权利要求3所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述第2步中的阈值T不小于3。

7.如权利要求3所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述第3步的具体步骤如下：

3.1获取Hu矩

对所述的连续两帧路面图像分别以每个SIFT特征点为圆心，r=32作圆，得到多个圆形的计算区域，然后对每个计算区域获取Hu矩；

3.2获取灰度特征

利用式8和式9计算每个计算区域的灰度平均值M和标准差σ，作为灰度特征向量；

$M=\underset{{(x-a)}^2+{(y-b)}^2=r^2}{\mathrm{\&Sigma;}}f(x,y)/\mathrm{total}$    （式8）

$\mathrm{\&sigma;}=\sqrt{\frac{\underset{{(x-a)}^2+{(y-b)}^2=r^2}{\mathrm{\&Sigma;}}{(f(x,y)-M)}^2}{\mathrm{total}}}$    （式9）

式中，(a,b)为SIFT特征点的位置，r为SIFT特征点所在的计算区域的半径，total为SIFT特征点所在的计算区域内像素点的总数，f(x,y)为SIFT特征点所在的计算区域内坐标为(x,y)处的灰度值。

3.3获取匹配点对

对得到的连续两帧路面图像中所有SIFT特征点的Hu矩利用式10所示的最大最小值法分别计算SIFT特征点对（i，j）的相似度r_ij，得到SIFT特征点对（i，j）基于Hu矩的相似度矩阵r_Hu；对得到的连续两帧路面图像中所有SIFT特征点的灰度特征利用式10所示的最大最小值法分别计算SIFT特征点对（i，j）的相似度r_ij，得到SIFT特征点对（i，j）基于灰度特征的相似度矩阵r_gray；

$r_{\mathrm{ij}}=\frac{\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}\min (f_{\mathrm{ik}},f_{\mathrm{jk}})}{\underset{k=1}{\overset{M}{\mathrm{\&Sigma;}}}\max (f_{\mathrm{ik}},f_{\mathrm{jk}})},i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_1;j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N_2$    （式10）

式中，i是指连续两帧路面图像中第1帧的任一SIFT特征点，j指第2帧中的任一SIFT特征点，M为特征向量中元素总个数，对于Hu矩，M=7，对于灰度特征，M=2。f_ik为第1帧路面图像中的第i个SIFT特征点的第k个特征向量的元素，f_jk为第2帧路面图像中的第j个SIFT特征点的第k个特征向量的元素。N₁表示第1帧路面图像SIFT特征点的个数；N₂表示第2帧路面图像SIFT特征点的个数。

利用式11对得到的基于Hu矩和基于灰度矩阵的相似度矩阵进行加权融合，得到最终匹配程度矩阵end_r。最后按照相似度rij降序排列（r_ij数值越大，相似度越大），取前若干个SIFT特征点对作为最佳匹配点对，组成匹配点对集合，一般取3-5个SIFT特征点对。

end_r＝weight×r_Hu+(1-weight)×r_gray  （式11）

式中，r_Hu为SIFT特征点对基于Hu矩的相似度矩阵，r_gray为SIFT特征点对基于灰度特征的相似度矩阵；weight为权重，取0.3-0.5；

将第1步获得的匹配点对加入所述的匹配点对集合。

8.如权利要求3所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述第4步使用RANSAC算法消除错误的匹配点对，具体步骤如下：

（1）对第1步获得的连续两帧路面图像匹配点对（m_k—m_k’，其中，k=1,2,…,m_n，m_n表示匹配点对的总个数），将匹配点对的坐标归一化；

（2）从匹配点对集合当中任取8个匹配点对，使用8点算法计算基本矩阵A_i；

（3）以sampson距离(d)为判据，在匹配点对集合（m_k—m_k’,k=1,2,…,m_n）寻找所有符合d<t条件的匹配点对，将它们作为内点，并记录满足基本矩阵A_i约束的内点数量。若内点数量大于事先给定阈值（阈值等于匹配点对总数m_n的80%），则保留A_i，否则舍弃；

（4）重复执行（2）和（3）两步骤k次，k=1000，记录每一次的满足基本矩阵A_i约束的内点数量；

（5）选取对应内点数最大的A_best，并把满足A_best约束的内点作为最终的内点，也即正确的匹配点对，不符合d<t条件的点对作为误配点对，予以剔除，t取0.001-0.01，k=1000。

9.如权利要求1所述的基于路面图像特征匹配的车辆定位方法，其特征在于，所述步骤四具体包括如下步骤：

将步骤三得到的连续两帧路面图像的匹配点对中的任意两组匹配点对同时代入式12，得到一组旋转角度θ和偏移量（a，b），直到所有的匹配点对都两两组合结束。

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& a\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& b\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$    （式12）

式中，（x，y）表示任意一组匹配点对中位于第1帧图像里的SIFT点的坐标；（X，Y）表示任意一组匹配点对中位于第2帧图像里的SIFT点的坐标。

将得到的所有组的旋转角度θ、偏移量（a，b）分别求平均值，得到当前的连续两帧连续的路面图像之间的旋转角度θ′以及偏移量(a′,b′)。

利用式13更新初始位置坐标下的图像偏转角end_θ：

end_θ＝θ′+end_θ  （式13）

end_θ的初始值为0。

利用式14计算初始位置坐标下的图像偏移量(end_a,end_b)：

end_a＝a′cos end_θ-b′sin end_θ  （式14）

end_b＝a′sin end_θ+b′cos end_θ

利用车辆物理位置与车辆在路面图像中位置的对应关系以及得到的图像偏移量(end_a,end_b)，获得车辆当前的偏移量（p，q）。

利用式15更新车辆位置：

end_p=p+end_p

end_q=q+end_q  （式15）

end_p的初始值为p₀，end_q的初始值为q₀。

Images