CN109583409A - 一种面向认知地图的智能车定位方法及系统 - Google Patents

Abstract

本发明公开了一种面向认知地图的智能车定位方法及系统，包括以下几个处理过程：采集和预处理认知图像数据、SSD路标检测，利用SSD检测算法连续对预处理后的图形数据进行交通标志图像地标检测、ORB特征提取、特征跟踪和特征筛选、路标定位和智能车自定位等过程，本发明基于认知地图的智能车定位方式，主要以视觉为主构建智能车的认知地图，并实现智能车只使用摄像头即可完成车辆定位的系统；避免了激光雷达的使用，减小了智能车的硬件成本，系统实时处理数据减少，降低了计算使用成本，实现地图数据量小、计算量小就能智能车定位，解决了无人驾驶领域高精度地图数据量大，使用成本高等问题。

Description

一种面向认知地图的智能车定位方法及系统

技术领域

本发明涉及无人驾驶地图定位领域，特别涉及一种面向认知地图的智能车定位方法及系统。

背景技术

传统智能驾驶车辆的定位实现依赖于卫星定位、激光雷达、图像匹配，其中普通的GPS设备定位精度差2-5m，高精度的GPS设备硬件投入成本高，基于卫星定位的导航系统都存在信号依赖的问题，首先在信号被遮挡的路段，无法完成系统定位，其次激光雷达定位能够通过点云配准完成高精度的定位，但是其造价高、数据量大、计算量大等缺点使得激光雷达不适用于下一代的智能车发展，图像匹配定位依赖于图像数据库，图像数据库的存储需要巨大的存储空间，图像在数据库中的搜索匹配过程计算量巨大，不适用于大规模建图与定位。目前，无人驾驶系统中的关键技术包括环境感知、规划决策和车辆控制，规划决策建立在环境感知之上，所以环境感知技术的研究尤为重要，环境感知包括车用地图和车辆定位，地图是车体定位的基础，地图的定位精度至少分米级才能满足智能车的驾驶需求，地图对于无人驾驶的意义在于智能车之间通过交还位置信息，来实现车辆的路线分配，避免车辆碰撞事故，所以，基于当前无人驾驶提出的一个基于认知地图的智能车定位方式，能实现地图数据量小，计算量小的智能车定位系统，对于无人驾驶领域的意义非常重大，主要表现在以下几个方面：地图给智能车提供的就是预知能力，它可以使智能车提前知道，将要到哪里，使得智能车提前做出下一步的计划；恶劣环境中对环境位置的感知，比如在冬季路面积雪的时候，视觉以及雷达传感器都无法准确的识别到路面信息，通过已建立的地图，智能车就可以知道，当前的环境是什么，自己有身在何处；在交通路口尤其易发生车辆碰撞事故的地方，由于彼此不知道对方的车辆何时何方向驶入交叉路口，如果有地图，那智能车之间通过交还位置信息，来实现车辆的路线分配，避免车辆碰撞事故。

发明内容

本发明的目的在于克服现有技术的不足，提供一种面向认知地图的智能车定位方法，该发明以视觉为主构建智能车的认知地图，实现智能车只使用摄像头即可完成车辆定位，避免了激光雷达的使用，实时处理数据少同时减少计算使用成本。

本发明的目的是通过以下技术方案来实现的：

一种面向认知地图的智能车定位方法，包括以下步骤：

S1、采集和预处理认知图像数据，使用搭载传感器的车辆在预采集的道路上行驶一圈，采集认知地图数据，对所述地图数据进行数据同步和预处理，所述预处理包括图像矫正和传感器数据坐标转换；

S2、SSD路标检测，利用SSD检测算法连续对步骤1预处理后的图形数据进行交通标志图像地标检测；

S3、ORB特征提取，对步骤2中检测出的交通标志图像地标进行特征提取。

S4、特征跟踪和特征筛选，利用光流法对连续检测提取出的交通标志图像地标上的特征点进行跟踪，根据阀值判断跟踪是否成功，跟踪成功后利用相机成像原理及三角变换计算筛选出交通标志地标全局坐标；

S5、路标定位，对同一个交通标志地标提取多个特征点进行跟踪，取平均值来确定所述地标的位置，把交通标志地标的计算结果、类型及特征描述存入数据库中保存；

S6、智能车自定位，在智能车辆上安装摄像头，启动时检测到三个或三个以上的地标完成定位工作，当地标完成定位时通过地标反向定位得到智能车辆定位信息并矫正SLAM跟踪结果完成定位。

进一步地，所述SSD检测图像中的地标，检测得到地标类型和地表在图像中的位置，所述地标在图像的位置用两个像素点表达为(u，v)。

进一步地，所述采用光流法进行特征跟踪时，判断某一局部区域是同一目标的公式是：

其中，在窗口W上，t时刻的点用(x，y)表示，往一个方向移动后t+τ时刻的位移量(dx，dy)表示，即t时刻的(x，y)点在t+τ时刻为(x+dx，y+dy)，w_x和w_y分别表示W窗口的u_x和u_y分别表示带匹配点的图像坐标，当ε最小时，取所述公式的导数为0，求取极小值，解得的d即为跟踪的偏移量。

进一步地，所述智能车自定位，当有三个以上的地标和地图中的地标匹配时就能获得车辆的位姿信息，计算车辆位姿的公式为：

其中，(u，v)表示地标的图像像素坐标，(X，Y，Z)表示地标的三维坐标，利用g2o库提供的非线性优化方法即可求解得到车辆位姿P_i(x_i，y_i，z_i，α_i，β_i，γ_i)，其中(x_i，y_i，z_i)表示车辆位置，(α_i，β_i，γ_i)表示车辆姿态。

一种面向认知地图的智能车定位系统，包括以下模块：

采集和预处理认知图像数据模块，包括图像采集子模块和高精度定位GNSS子模块，用于采集认知地图数据，对所述地图数据进行数据同步和预处理，包括对地图数据进行图像矫正和传感器数据坐标转换；

SSD路标检测模块，用于经所述采集和预处理认知图像数据模块预处理后的图形数据进行交通标志图像地标检测；

ORB特征提取模块，用于对SSD路标检测模块测出的交通标志图像地标进行特征提取；

特征跟踪和特征筛选模块，包括特征跟踪子模块和特征筛选子模块，用于对连续检测提取出的交通标志图像地标上的特征点进行跟踪，利用相机成像原理及三角变换计算筛选出交通标志地标全局坐标；

路标定位模块，同一个交通标志地标提取多个特征点进行跟踪，取平均值来确定所述地标的位置后，用于将交通标志地标的计算结果、类型及特征描述存入数据库中保存；

智能车自定位模块，在智能车辆上安装摄像头，启动时检测到三个或三个以上的地标完成定位工作时，用于地标反向定位得到智能车辆定位信息并矫正SLAM跟踪结果完成定位。

本发明的有益效果是：

1)本发明主要以视觉为主构建智能车的认知地图，并实现智能车只使用摄像头即可完成车辆定位的系统，避免了激光雷达的使用，减小了智能车的硬件成本，并且该方法下的地图数据量少，系统实时定位时计算数据少，减小了计算使用成本。

2)本发明提供的认知地图的方法和系统，可以实现只提供车辆所在位置的局部地图就可以完成智能车的精准定位，大大提高了智能车的预知能力，使得智能车提前做出下一步计划提供预知决策。

附图说明

图1为本发明的方法流程图；

图2为本发明认知地图的智能车定位系统框图；

图3为本发明认知地图的智能车定位系统模型框图；

图4为本发明自动定位方法示意图；

图5为本发明定位原理图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-5，本发明提供一种技术方案：

一种面向认知地图的智能车定位方法，如图1-2所示，包括以下步骤：

第一步，采集和预处理认知图像数据，使用搭载传感器的车辆在预采集的道路上行驶一圈，采集认知地图数据，对所述地图数据进行数据同步和预处理，所述预处理包括图像矫正和传感器数据坐标转换；

通过装有摄像头，高精度GPS，IMU等传感器的地图采集车，采集道路上相关数据，对数据进行矫正、同步和坐标转换等处理后得到的每一组数据表示为：

e_i＝(P_i，V_i)

其中，P_i表示每帧图像对应的车辆位置和姿态，即(x_i，y_i，z_i，α_i，β_i，γ_i)，其中(x_i，y_i，z_i)为车辆上相机在大地坐标系下的坐标，(α_i，β_i，γ_i)是车辆上相机姿态的三个角度信息；V_i表示当前姿态下拍摄并保存的照，可以利用张正友相机标定方法对图像进行校正，并得到相机内参；把高精度GPS接收机位置的GPS坐标转换为局部坐标系下直角坐标，并根据传感器间相对位置关系，统一所有坐标至相机坐标系。

第二步，SSD路标检测，利用SSD检测算法连续对步骤1预处理后的图形数据进行交通标志图像地标检测；使深度学习SSD(single shot multibox detector)算法检测图像中的地标(如交通灯，交通标志，电线杆等)，检测结果为地标类型(ID)及在图像中的位置，所述SSD检测图像中的地标，检测得到地标类型和地表在图像中的位置，所述地标在图像的位置用两个像素点表达为(u，v)。

第三步，ORB特征提取，对步骤2中检测出的交通标志图像地标进行特征提取。

第四步，特征跟踪和特征筛选，利用光流法对连续检测提取出的交通标志图像地标上的特征点进行跟踪，根据阀值判断跟踪是否成功，跟踪成功后利用相机成像原理及三角变换计算筛选出交通标志地标全局坐标；

所述利用光流法进行特征点跟踪，如有特征在某一帧中出现在地标检测框外，则删除该特征点。光流法的实现基于目标在视频流中，只产生一致性的小位移，亮度恒定且临近点有相似运动的假设。定义同一目标出现在连续两帧图像I、J中，所述采用光流法进行特征跟踪时，判断某一局部区域是同一目标的公式是：

其中，在窗口W上，t时刻的点用(x，y)表示，往一个方向移动后t+τ时刻的位移量(dx，dy)表示，即t时刻的(x，y)点在t+τ时刻为(x+dx，y+dy)，w_x和w_y分别表示W窗口的u_x和u_y分别表示带匹配点的图像坐标，当ε最小时，取所述公式的导数为0，求取极小值，解得的d即为跟踪的偏移量。

如图4所示，展现的是在地标定位中从t时刻到t+N时刻连续N+1张图像中同一三维路标点的成像点，O为每时刻相机中心，Z表示三维路标点与每时刻相机的距离，如图5所示，为地标定位原理图，根据相机小孔成像原理从图像可知路标点到相机中心向量的两个角度根据坐标系变换关系：

z₀＝Z*cosθ₁

其中，(x₀，y₀，z₀)表示地标位置，利用多个位置已知的图像帧观测到的同一个地标点即可计算出此路标点的位置，对同一个地标提取多个特征点进行跟踪，最终取平均值来表达此地标的位置。

第五步，路标定位，利用DBoW库提供的算法提取地标的图像特征用于检索匹配，对同一个交通标志地标提取多个特征点进行跟踪，取平均值来确定所述地标的位置，把交通标志地标的计算结果、类型及特征描述存入数据库中保存，智能车运行时，通过摄像头实时检测道路上地标，当有三个以上的地标和地图中的地标匹配时就能获得车辆的位姿信息，即需要至少三对3D-2D的匹配点才能求解车辆位姿，计算车辆位姿的公式为：

其中，(u，v)表示地标的图像像素坐标，(X，Y，Z)表示地标的三维坐标，利用g2o库提供的非线性优化方法即可求解得到车辆位姿P_i(x_i，y_i，z_i，α_i，β_i，γ_i)，其中(x_i，y_i，z_i)表示车辆位置，(α_i，β_i，γ_i)表示车辆姿态。所述SSD检测图像中的地标，检测得到地标类型和地表在图像中的位置，所述地标在图像的位置用两个像素点表达为(u，v)。

第六步，智能车自定位，在智能车辆上安装摄像头，启动时检测到三个或三个以上的地标完成定位工作，当地标完成定位时通过地标反向定位得到智能车辆定位信息并矫正SLAM跟踪结果完成定位。

回顾整个方法，我们做法大致精简如下：在认知地图采集车上安装摄像头，高精度定位GNSS模块，IMU等传感器，进行传感器间标定及传感器间坐标转换模型的建立，首先让搭载传感器的车辆在要采集的道路上行驶一圈，采集认知地图数据。通过各传感器时间戳的方式进行数据同步及进行数据预处理工作(图像矫正、传感器数据坐标转换)。然后把图像传入检测模块，利用深度学习SSD检测算法对交通标志识别，返回交通标志的类型及在图像中的位置；利用霍夫变换，k-means聚类等方式检测车道线。对检测出的交通标志图像区域提取ORB特征，利用光流法对连续检测出的交通标志上的特征点进行跟踪，当跟踪结束后根据一定阀值判断跟踪是否成功，若跟踪成功则利用相机成像原理及三角变换计算交通标志全局坐标；若跟踪失败则退出计算。如有计算结果对最后检测到的交通标志提取特征对此标志进行唯一性描述便于车辆定位时检索。把交通标志的计算结果、类型及特征描述放入数据库中保存。

当车辆定位时，只在车辆上安装摄像头。车辆启动时必须检测到三个地标及以上才能完成定位；当地标不满足此情况时通过双目SLAM跟踪得到每帧图像对应的车辆位姿信息；当地标满足定位时通过地标反向定位得到车辆定位信息并矫正SLAM跟踪结果完成定位。

一种面向认知地图的智能车定位系统，如图3所示，包括以下模块：

采集和预处理认知图像数据模块，包括图像采集子模块和高精度定位GNSS子模块，用于采集认知地图数据，对所述地图数据进行数据同步和预处理，包括对地图数据进行图像矫正和传感器数据坐标转换。

SSD路标检测模块，用于经所述采集和预处理认知图像数据模块预处理后的图形数据进行交通标志图像地标检测。

ORB特征提取模块，用于对SSD路标检测模块测出的交通标志图像地标进行特征提取。

特征跟踪和特征筛选模块，包括特征跟踪子模块和特征筛选子模块，用于对连续检测提取出的交通标志图像地标上的特征点进行跟踪，利用相机成像原理及三角变换计算筛选出交通标志地标全局坐标。

路标定位模块，同一个交通标志地标提取多个特征点进行跟踪，取平均值来确定所述地标的位置后，用于将交通标志地标的计算结果、类型及特征描述存入数据库中保存。

智能车自定位模块，在智能车辆上安装摄像头，启动时检测到三个或三个以上的地标完成定位工作时，用于地标反向定位得到智能车辆定位信息并矫正SLAM跟踪结果完成定位。

本发明提供了一种面向认知地图的智能车定位方案，可以实现基于视觉的认知地图的构建及基于认知地图的智能车定位功能，解决无人驾驶领域高精度地图数据量大，使用成本高等问题。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种面向认知地图的智能车定位方法，其特征在于，包括以下步骤：

S1、采集和预处理认知图像数据，使用搭载传感器的车辆在预采集的道路上行驶一圈，采集认知地图数据，对所述地图数据进行数据同步和预处理，所述预处理包括图像矫正和传感器数据坐标转换；

S2、SSD路标检测，利用SSD检测算法连续对步骤1预处理后的图形数据进行交通标志图像地标检测；

S3、ORB特征提取，对步骤2中检测出的交通标志图像地标进行特征提取；

S4、特征跟踪和特征筛选，利用光流法对连续检测提取出的交通标志图像地标上的特征点进行跟踪，根据阀值判断跟踪是否成功，跟踪成功后利用相机成像原理及三角变换计算筛选出交通标志地标全局坐标；

S5、路标定位，对同一个交通标志地标提取多个特征点进行跟踪，取平均值来确定所述地标的位置，把交通标志地标的计算结果、类型及特征描述存入数据库中保存；

S6、智能车自定位，在智能车辆上安装摄像头，启动时检测到三个或三个以上的地标完成定位工作，当地标完成定位时通过地标反向定位得到智能车辆定位信息并矫正SLAM跟踪结果完成定位。

2.根据权利要求1所述的面向认知地图的智能车定位方法，其特征在于：所述SSD检测图像中的地标，检测得到地标类型和地表在图像中的位置，所述地标在图像的位置用两个像素点表达为(u，v)。

3.根据权利要求1所述的面向认知地图的智能车定位方法，其特征在于：所述采用光流法进行特征跟踪时，判断某一局部区域是同一目标的公式是：

其中，在窗口W上，t时刻的点用(x,y)表示，往一个方向移动后t+τ时刻的位移量(dx,dy)表示，即t时刻的(x,y)点在t+τ时刻为(x+dx,y+dy)，w_x和w_y分别表示W窗口的u_x和u_y分别表示带匹配点的图像坐标，当ε最小时，取所述公式的导数为0，求取极小值，解得的d即为跟踪的偏移量。

4.根据权利要求1所述的面向认知地图的智能车定位方法，其特征在于：所述智能车自定位，当有三个以上的地标和地图中的地标匹配时就能获得车辆的位姿信息，计算车辆位姿的公式为：

其中，(u，v)表示地标的图像像素坐标，(X，Y，Z)表示地标的三维坐标，利用g2o库提供的非线性优化方法即可求解得到车辆位姿P_i(x_i，y_i，z_i，α_i，β_i，γ_i)，其中(x_i，y_i，z_i)表示车辆位置，(α_i，β_i，γ_i)表示车辆姿态。

5.一种面向认知地图的智能车定位系统，其特征在于，包括以下模块：

采集和预处理认知图像数据模块，包括图像采集子模块和高精度定位GNSS子模块，用于采集认知地图数据，对所述地图数据进行数据同步和预处理，包括对地图数据进行图像矫正和传感器数据坐标转换；

SSD路标检测模块，用于经所述采集和预处理认知图像数据模块预处理后的图形数据进行交通标志图像地标检测；

ORB特征提取模块，用于对SSD路标检测模块测出的交通标志图像地标进行特征提取；

特征跟踪和特征筛选模块，包括特征跟踪子模块和特征筛选子模块，用于对连续检测提取出的交通标志图像地标上的特征点进行跟踪，利用相机成像原理及三角变换计算筛选出交通标志地标全局坐标；

路标定位模块，同一个交通标志地标提取多个特征点进行跟踪，取平均值来确定所述地标的位置后，用于将交通标志地标的计算结果、类型及特征描述存入数据库中保存；

智能车自定位模块，在智能车辆上安装摄像头，启动时检测到三个或三个以上的地标完成定位工作时，用于地标反向定位得到智能车辆定位信息并矫正SLAM跟踪结果完成定位。