CN106960591B

CN106960591B - 一种基于路面指纹的车辆高精度定位装置及方法

Info

Publication number: CN106960591B
Application number: CN201710207232.8A
Authority: CN
Inventors: 胡钊政; 王相龙; 胡月志; 穆孟超; 陶倩文
Original assignee: Wuhan University of Technology
Current assignee: Wuhan University of Technology
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2019-08-27
Anticipated expiration: 2037-03-31
Also published as: CN106960591A

Abstract

本发明公开了一种基于路面指纹的车辆高精度定位装置及方法，该装置包括地图采集车和待定位车；地图采集车上的第一数据采集单元实时获取路面图像，定位模块和惯性导航模块同步采集定位信息和惯导信息，第一控制显示单元对数据进行预处理得到地图集；待定位车上的第二数据采集单元实时获取车辆的当前定位信息和当前路面图像，第二控制显示单元对当前定位信息与地图集进行比较，得到粗匹配的多张相似图像，进而根据路面指纹信息从中选取一张最接近路面图像，并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系，计算得到当前路面图像的精确定位结果。本发明定位精度高、成本低、误差小，且定位过程不受信号遮蔽的影响。

Description

一种基于路面指纹的车辆高精度定位装置及方法

技术领域

本发明涉及地图测绘技术领域，尤其涉及一种基于路面指纹的车辆高精度定位装置及方法。

背景技术

目前，在车辆定位方面已有一些成果，例如已申请的专利CN106405601A，申请日2016年10月21日，专利名为“车辆定位方法、装置和车辆”公开了一种利用路灯位置信息实现车辆定位的系统和方法。已申请的专利CN106441321A，申请日2015年8月7日，专利名为“车辆定位装置、车辆定位方法及导航装置”公开了一种利用地图匹配的车辆定位系统和方法。

近年来，随着智能车的发展不断加快，车辆定位尤其是对度量级定位的需求也日益紧迫，目前利用RTK-GPS结合惯导进行车辆定位为主流手段，该方法不仅成本巨大，而且在隧道，桥梁下等存在信号遮蔽的情况下会导致较大的误差。

发明内容

本发明要解决的技术问题在于针对现有技术中车辆定位容易受到信号遮蔽等情况影响的缺陷，提供一种基于路面指纹的车辆高精度定位装置及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于路面指纹的车辆高精度定位装置，包括地图采集车和待定位车，其中：

地图采集车上设置有第一数据采集单元和第一控制显示单元；

第一数据采集单元，包括图像传感模块、定位模块和惯性导航模块；图像传感模块用于实时获取路面图像，定位模块和惯性导航模块同步采集定位信息和惯导信息；

第一控制显示单元，用于对数据采集单元采集到的数据进行预处理，得到各个路面图像与对应定位信息和惯导信息组成的地图集；

待定位车上设置有第二数据采集单元和第二控制显示单元；

第二数据采集单元，包括图像传感模块和定位模块，用于实时获取车辆的当前定位信息和当前路面图像；

第二控制显示单元，用于对当前定位信息与地图集中的定位信息进行分析比较，得到粗匹配的多张相似图像；对当前路面图像和相似图像进行图像特征提取，得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息，根据路面指纹信息得到一张最接近路面图像；并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系，计算得到当前路面图像的精确定位结果。

进一步地，本发明的图像传感模块为CMOS图像传感器；地图采集车上的定位模块为RTK-GPS传感器，其定位精度为0.2-0.8m；待定位车上的定位模块为DGPS传感器，其定位精度为10-20m。

进一步地，本发明的地图采集车和待定位车上均设置有数据传输单元，数据传输单元包括数据传输模块和信号转换模块；在地图采集车上，第一数据采集单元通过数据传输模块和信号转换模块与第一控制显示显示单元相连；在待定位车上，第二数据采集单元通过数据传输模块和信号转换模块与第二控制显示显示单元相连；数据传输模块包括lighting接口和USB接口；信号转换模块用于实现lighting接口和USB接口之间的信号转换。

进一步地，本发明的地图采集车和待定位车上均设置有数据采集辅助单元，数据采集辅助单元包括供电模块、刚性固定模块和移动平台，供电模块包括蓄电池、逆变器和导线，蓄电池提供12V直流电，通过逆变器将12V直流电转换为120V交流电，并通过导线传输电力，为车辆高精度定位装置提供电力支持；刚性固定模块用于固定图像传感模块，使图像传感模块保持一定高度且与路面平行。

进一步地，本发明的控制显示单元包括PC机和显示屏。

本发明提供一种基于路面指纹的车辆高精度定位方法，包括以下步骤：

地图采集阶段：

S1、通过设置在地图采集车上的图像传感模块实时采集路面图像，定位模块和惯性导航模块同步采集定位信息和惯导信息；

S2、对采集到的路面图像进行预处理，得到对应的灰度图像；对定位信息和惯导信息进行预处理，得到灰度图像对应的位置信息；

S3、将各个灰度图像和位置信息一一对应，结合实际车速和图像传感模块的采集频率，使每张灰度图像固定间隔，得到地图集；

定位阶段：

S4、通过设置在待定位车上的图像传感模块实时采集当前路面图像，定位模块同步采集当前定位信息，通过比较当前定位信息与地图集中的位置信息，在地图集中提取多张与当前路面图像接近的相似图像；

S5、对当前路面图像进行预处理，得到当前灰度图像；对当前灰度图像和相似图像进行图像特征提取，得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息，根据路面指纹信息得到一张最接近路面图像；

S6、根据最接近路面图像和当前路面图像中指纹信息的相对位置关系，计算得到当前路面图像的精确定位结果。

进一步地，本发明的步骤S5中进行图像特征提取的方法为：

S51、检测图像特征点：通过Harris算法检测角点，即比较图像中的一个像素点P和周围16个点组成的圆上的像素点的差值，其公式为：

其中，I(x)为当前像素点的灰度值，I(p)为像素点P的灰度值，ε为设定的阈值，16个点的响应函数值的和为N，当N大于12时，该点为图像特征点；

根据特征点到形心的方向确定特征点的主方向：

θ＝arctan(m₁₀,m₀₁)

其中，m_pq,(p,q∈(0,1))表示图像块的力矩，I(x,y)表示在坐标(x,y)处的灰度值，θ为质心与特征点的夹角；

S52、描述特征点：

在特征点上选定n对特征，形成矩阵s：

矩阵s的大小为2×2n，其中x_i,y_i(i∈(1,n))表示第i个特征对在X，Y轴的坐标，再利用特征点到形心的方向得到仿射变换矩阵R，利用矩阵R计算得到新的描述矩阵s_θ，其公式为：

结合BRIEF描述子，得到ORB特征描述子：

g_n(P,θ)＝f_n(P)|(x_i,y_i)∈M_θ

其中，n取值为256；

S53、特征点匹配：根据得到的256维ORB特征描述子，计算待定位的当前灰度图像和相似图像的全部特征描述子的汉明距离，比较汉明距离实现特征点粗匹配，并利用RANSAC算法去除错误的匹配，从而找到待定位的当前灰度图像与相似图像的相同特征点，这些匹配的特征点作为路面指纹信息；通过比较相同特征点的数量，在粗匹配的相似图像中找到一幅最接近路面图像，其与待定位图像的匹配的特征点数量最多，从而利用指纹信息实现待定位图像精匹配。

进一步地，本发明的步骤S6中计算得到当前路面图像的精确定位结果的方法为：

利用待定位的当前路面图像和相似图像的指纹信息求得两张图像的相对位置关系，利用相似图像的位置和相对位置关系，计算待定位的当前路面图像的位置信息，从而实现车辆的度量级定位。

进一步地，本发明的步骤S2中对定位信息和惯导信息进行预处理，得到灰度图像对应的位置信息的方法为：将GPS数据和惯导数据转换为经纬度表示的位置信息。

进一步地，本发明的步骤S3中地图集中每张图像的固定间隔为0.5m。

本发明产生的有益效果是：本发明的基于路面指纹的车辆高精度定位装置及方法，通过建立包含路面图像和对应的位置信息组成的地图集，利用待定位图像的位置信息在地图集中找到与待定位图像相似的若干张图像从而实现粗匹配，再通过利用图像特征点提取算法提取的路面指纹信息，在地图中找到与待定位图中最接近的一张图像，利用这两张图像的指纹信息计算待定位图像和地图图像的相对位置关系，结合地图图像的位置计算得到待定位图像的位置，从而实现车辆定位；该方法定位精度高，且定位过程不受信号遮蔽的影响，相比于传统方法，基于路面指纹的车辆定位成本低、精确度高、鲁棒性强。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2是本发明实施例的扫描方式示意图；

图3是本发明实施例的特征点提取效果图；

图4是本发明实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于路面指纹的车辆高精度定位装置，包括地图采集车和待定位车，其中：

待定位车上设置有第二数据采集单元和第二控制显示单元；

图像传感模块为CMOS图像传感器；地图采集车上的定位模块为RTK-GPS传感器，其定位精度为0.2-0.8m；待定位车上的定位模块为DGPS传感器，其定位精度为10-20m。

地图采集车和待定位车上均设置有数据传输单元，数据传输单元包括数据传输模块和信号转换模块；在地图采集车上，第一数据采集单元通过数据传输模块和信号转换模块与第一控制显示显示单元相连；在待定位车上，第二数据采集单元通过数据传输模块和信号转换模块与第二控制显示显示单元相连；数据传输模块包括lighting接口和USB接口；信号转换模块用于实现lighting接口和USB接口之间的信号转换。

地图采集车和待定位车上均设置有数据采集辅助单元，数据采集辅助单元包括供电模块、刚性固定模块和移动平台，供电模块包括蓄电池、逆变器和导线，蓄电池提供12V直流电，通过逆变器将12V直流电转换为120V交流电，并通过导线传输电力，为车辆高精度定位装置提供电力支持；刚性固定模块用于固定图像传感模块，使图像传感模块保持一定高度且与路面平行。

控制显示单元包括PC机和显示屏。

本发明实施例的基于路面指纹的车辆高精度定位方法，包括以下步骤：

地图采集阶段：

S3、将各个灰度图像和位置信息一一对应，结合实际车速和图像传感模块的采集频率，使每张灰度图像固定间隔，地图集中每张图像的固定间隔优选为0.5m，得到地图集；

定位阶段：

步骤S5中进行图像特征提取的方法为：

根据特征点到形心的方向确定特征点的主方向：

θ＝arctan(m₁₀,m₀₁)

S52、描述特征点：

在特征点上选定n对特征，形成矩阵s：

结合BRIEF描述子，得到ORB特征描述子：

g_n(P,θ)＝f_n(P)|(x_i,y_i)∈M_θ

其中，n取值为256；

步骤S6中计算得到当前路面图像的精确定位结果的方法为：

在本发明的另一个具体实施例中：

该方法利用COMS图像传感器结合GPS、惯导、采集路面信息，首先建立包含RTK-GPS信息、惯导信息组成的位置信息和道路图像信息的地图集，对比待定位图像的位置信息与地图中的位置信息，找到若干张与待定位图像相似的地图图像，再通过特征点提取算法提取待定位图像和提取的地图图像的特征点作为路面指纹信息，通过比较提取的路面指纹信息，找到一张与待定位图像中指纹信息最相似的地图图像，从而实现图像级定位，再结合摄像机标定参数与特征点的图像位置关系，计算出待定位图像和地图图像的对应特征点的相对位置，进而实现度量级定位。

本发明实施例的装置特征在于其由数据采集单元、数据传输单元、数据采集辅助单元及显示控制单元组成。其中：

数据采集单元，该单元在制图车中为一台RTK-GPS，一台惯导和一台COMS图像传感模块。在测试车中为一台DGPS和一台COMS图像传感模块。COMS图像模块为一台COMS图像传感器，为3264×2448，焦距为29mm，光圈为f2.0。RTK-GPS的定位精度为0.2-0.8m。DGPS的定位精度为10-20m。

数据传输单元，该单元由数据传输模块和信号转换模块组成，其传输速度为47.8M/s,通过lighting接口和USB接口连接数据采集单元和显示控制单元。数据传输模块实现信号在数据采集单元与显示控制单元传输。信号转换单元模块实现lighting接口信号与USB接口信号转换。

数据采集辅助单元，该单元由供电模块、刚性固定模块、移动平台构构成。移动平台搭载整套设备以固定的速度前进以采集路面处理数据。刚性固定模块通过支架固定各个模块，使它们不与移动平台发生相对位移。供电模块由蓄电池、逆变器和导线组成，蓄电池提供12V直流电，通过逆变器将12V直流电转换为120V交流电，并通过导线传输电力，为整套设备提供电力支持。

控制显示单元，该单元为一台PC机。在采集车中通过数据线与COMS图像模块，RTK-GPS，惯导相连接，通过PC机发送指令控制采集设备并显示采集结果。在测试车中通过数据线与通过数据线与COMS图像模块和DGPS接收模块相连接，通过PC机发送指令控制设备采集，对两个模块接收的数据进行处理，并显示处理结果。

本发明实施例的基于路面指纹的车辆高精度定位方法，该方法包括：数据采集、数据预处理、地图建立，待定位图像粗匹配，待定位图像精匹配，待定位图像精确定位。所述的数据采集部分，是指COMS图像传感器图像采集和GPS、惯导数据采集方式。所述的数据预处理部分是指图像灰度化和GPS坐标转换。所述的地图建立是指融合地图中位置信息和图像信息的方法。所述的待定位图像粗匹配是指在地图集中找到与待定位图像相似的图片的大致范围。所述的图像特征点检测是指利用图像特征点提取方法提取图像的特征点，然后在地图集中找到与待定位图像精确匹配的图像。所述的待定位图像精确定位是指利用待定位图像和其对应地图图像的特征点提取两张图片的相对位置关系，再通过相对位置关系和地图的位置信息计算得到待定位图像的地理位置信息，从而实现待定位车辆定位。

数据采集方法是指采集路面信息的方法。在制图阶段利用刚性固定模块将COMS图像传感器，RTK-GPS和惯导固定在地图采集车上，并使COMS图像传感器保持一定高度并且保持COMS图像传感器路面平行从而采集路面图像，RTK-GPS，惯导和COMS图像传感器同步采集数据，即一张图像对应一个GPS信息和一个惯导信息。测试阶段采集方法与制图阶段相同，采集得到待定位图像和对应的GPS信息，并且将两个信息一一对应。

数据预处理是指对采集数据进行预处理；在制图阶段将路面的RGB图像转换为灰度图像，并将GPS数据和惯导数据转换为经纬度表示的位置信息，测试阶段处理方法与之相同，获得路面的灰度图和由GPS数据转换的经纬度表示的位置信息。

地图建立是指建立地图集从而根据地图集的位置实现车辆高精度定位。地图集由若干张图像组成和位置信息组成，每张图像相隔距离为0.5m，每一张图像对应一个GPS信息和一个惯导信息。

待定位图像粗匹配是指利用位置信息对待定位图像和地图中的图像进行粗匹配。根据待定位图像中的位置信息在地图集中找到与待定位图像相近的若干张图像，从而实现待定位图像粗匹配。

待定位图像精匹配是指利用路面指纹实现待定位图像与地图图像的精确匹配。利用图像特征提取算法提取特征点作为路面指纹，并根据待定位图像与地图图像的路面指纹找到与待定位图像最接近的一张地图图像，从而实现图像级定位。

待定位图像精确定位是指利用待定位图像和地图图像的指纹信息求得两张图像的相对位置关系，利用地图图像的位置和相对位置关系，计算待定位图像的位置信息，从而实现车辆的度量级定位。

在本发明的另一个具体实施例中：

该装置通过数据采集单元采集数据，通过数据传输单元传输给控制显示单元，处理数据后并显示定位结果。该装置如图1所示，该装置包括数据采集单元、数据传输单元、数据采集辅助单元及显示单元组成。

数据采集单元在地图采集车中由惯导和RTK-GPS模块和一台COMS图像传感器组成，数据采集单元在测试车中由DGPS模块和一台COMS图像传感器组成，数据采集单元用于获取路面RGB图像和位置信息。数据传输单元由数据传输模块和信号转换模块组成，通过信号转换模块实现信号在数据采集单元与显示控制单元转换，通过数据传输模块实现信号的传输。数据采集辅助单元由刚性固定模块，供电模块，移动平台组成，刚性固定模块用于固定各个模块，使其不与移动平台发生相对位移。供电模块为整套设备正常运行提供电力。移动平台待在整套设备以一定速度前进。导线将电力传输至各个模块。显示控制单元由控制显示模块组成，其为一台PC机，用于控制各个模块运行和显示最终处理结果。

在本发明的另一个具体实施例中：

该方法包括数据采集、数据预处理、地图建立，待定位图像粗匹配，待定位图像精匹配，待定位图像精确定位，具体包括：

1.数据采集

数据采集分为地图数据采集和测试数据采集。地图数据通过RTK-GPS，惯导和COMS图像传感器采集，测试数据通过DGPS和COMS图像传感器采集。其中COMS图像传感器，惯导和RTK-GPS模块或DGPS模块9通过刚性固定模块2固定于移动平台6上。其中COMS与地面平行并保持一定高度，数据采集单元不与移动平台发生相对位移。其中，COMS图像传感器每采集一张图片都对应一个位置信息，即RTK-GPS模块和惯导或DGPS模块采集的位置信息。由控制显示单元根据前进速度控制数据采集单元采集数据频率，从而使路面信息被充分采集。其中COMS图像传感器的分辨率为3264×2448，焦距为29mm，光圈为f2.0。RTK-GPS的定位精度为0.2-0.8m。DGPS的定位精度为10-20m。

2.数据预处理

将地图集中的COMS图像传感器采集的3264×2448RGB图像转换为3264×2448灰度图像，通过解析RTK-GPS信息和惯导信息，得到当前图像的位置信息。利用相同的方法处理待定位图像，通过解析DGPS信息得到待定位图像的位置信息。实现地图集和待定位图片的数据预处理

3.地图建立

将地图集中的灰度图像与位置信息一一对应，结合实际车速和图像采集单元的采集频率，使每张路面图像相隔固定的距离，本发明中，该距离为0.5m，并且将路面灰度图像与位置信息一一对应，同时也将待定位灰度图像与其位置信息一一对应，并将数据保存至控制显示单元。

4.待定位图像粗匹配

通过对比待定位图像的位置信息和地图集中的位置信息，在地图集中提取若干张与待定位图像位置接近的图像，从而初步确定待定位图像在地图集中的大致位置。

5.待定位图像精匹配

通过SURF,ORB,SIFT等特征提取算法提取待定位图像和通过粗匹配地图图像的特征点作为路面指纹，根据对比路面指纹，在地图集中找到与待定位图像最相似的一张路面图像。以ORB算法为例，其具体步骤如下：

(1)检测图像特征点

通过Harris算法检测角点，即比较图像中的一个像素点P和周围16个点组成的圆上的像素点的差值：

根据特征点到形心的方向确定特征点的主方向：

θ＝arctan(m₁₀,m₀₁)

其中，θ为质心与特征点的夹角；

(2)描述特征点：

在步骤(1)选定的特征点上选定n对特征，形成矩阵s：

矩阵s的大小为2×2n，再利用特征点到形心的方向得到仿射变换矩阵R，利用矩阵R计算得到新的描述矩阵s_θ，其公式为：

结合BRIEF描述子，得到ORB特征描述子：

g_n(P,θ)＝f_n(P)|(x_i,y_i)∈M_θ

其中，n可选128、256或512，本实施例中取值为256；

(3)特征点匹配

通过步骤(2)得到256维ORB特征描述子，计算待定位图像和粗匹配的地图集图像的全部特征点描述向量的汉明距离，比较汉明距离实现特征点粗匹配，并利用RANSAC去除错误的匹配，从而找到待定位图像与地图集图像的相同特征点，这些匹配的特征点作为路面指纹信息。通过比较相同特征点的数量，在粗匹配的地图集中找到一幅图像，其与待定位图像的匹配的特征点数量最多，从而利用指纹信息实现待定位图像精匹配。

6.待定位图像精确定位

利用这些指纹信息作为定位信息计算得到待定位图像的精确位置。首先利用平放在地面上的标定板标定架设在移动平台上的摄像机，通过利用世界坐标系、图像坐标系、摄像机坐标系之间的转换关系和标定的参数，求得地图图像与待定位图像之间的相对位置关系，最后利用地图图像的位置和与待定位图像的相对位置关系，计算得到待定位图像的位置信息，从而实现待定位图像的精确定位。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于路面指纹的车辆高精度定位方法，其特征在于，通过基于路面指纹的车辆高精度定位装置实现，该装置包括地图采集车和待定位车，其中：

待定位车上设置有第二数据采集单元和第二控制显示单元；

第二控制显示单元，用于对当前定位信息与地图集中的定位信息进行分析比较，得到粗匹配的多张相似图像；对当前路面图像和相似图像进行图像特征提取，得到符合特征唯一性、时间不变性和特征平移、旋转不变性的特征点作为路面指纹信息，根据路面指纹信息得到一张最接近路面图像；并根据最接近路面图像和当前路面图像中指纹信息的相对位置关系，计算得到当前路面图像的精确定位结果；

图像传感模块为CMOS图像传感器；地图采集车上的定位模块为RTK-GPS传感器，其定位精度为0.2-0.8m；待定位车上的定位模块为DGPS传感器，其定位精度为10-20m；

地图采集车和待定位车上均设置有数据传输单元，数据传输单元包括数据传输模块和信号转换模块；在地图采集车上，第一数据采集单元通过数据传输模块和信号转换模块与第一控制显示显示单元相连；在待定位车上，第二数据采集单元通过数据传输模块和信号转换模块与第二控制显示显示单元相连；数据传输模块包括lighting接口和USB接口；信号转换模块用于实现lighting接口和USB接口之间的信号转换；

地图采集车和待定位车上均设置有数据采集辅助单元，数据采集辅助单元包括供电模块、刚性固定模块和移动平台，供电模块包括蓄电池、逆变器和导线，蓄电池提供12V直流电，通过逆变器将12V直流电转换为120V交流电，并通过导线传输电力，为车辆高精度定位装置提供电力支持；刚性固定模块用于固定图像传感模块，使图像传感模块保持一定高度且与路面平行；

控制显示单元包括PC机和显示屏；

该方法包括以下步骤：

地图采集阶段：

定位阶段：

S6、根据最接近路面图像和当前路面图像中指纹信息的相对位置关系，计算得到当前路面图像的精确定位结果；

步骤S5中进行图像特征提取的方法为：

根据特征点到形心的方向确定特征点的主方向：

θ＝arctan(m₁₀,m₀₁)

S52、描述特征点：

在特征点上选定n对特征，形成矩阵s：

结合BRIEF描述子，得到ORB特征描述子：

g_n(P,θ)＝f_n(P)|(x_i,y_i)∈M_θ

其中，n取值为256；

2.根据权利要求1所述的基于路面指纹的车辆高精度定位方法，其特征在于，步骤S6中计算得到当前路面图像的精确定位结果的方法为：

3.根据权利要求1所述的基于路面指纹的车辆高精度定位方法，其特征在于，步骤S2中对定位信息和惯导信息进行预处理，得到灰度图像对应的位置信息的方法为：将GPS数据和惯导数据转换为经纬度表示的位置信息。

4.根据权利要求1所述的基于路面指纹的车辆高精度定位方法，其特征在于，步骤S3中地图集中每张图像的固定间隔为0.5m。