CN109883433A - 基于360度全景视图的结构化环境中车辆定位方法 - Google Patents

Abstract

本发明公开了一种基于360度全景视图的结构化环境中车辆定位方法，包括：通过GPS传感器、或者结合上一时刻的定位结果与车辆运行速度获取当前时刻车辆第一定位信息；对当前时刻车辆的360度全景视图进行特征提取，并计算特征与车辆的相对距离向量；以第一定位信息区域内的地图作为匹配搜索范围，在匹配搜索范围内搜索与提取到的特征最匹配的一系列位置点，得到全局位置向量；利用全局位置向量与相对距离向量，计算当前时刻的车辆位置。该方法具有可移植性强、成本低，精度高的优点。

Description

基于360度全景视图的结构化环境中车辆定位方法

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种基于360度全景视图的结构化环境中车辆定位方法。

背景技术

随着科技的发展，车辆与人们生活的关系越来越密切。近10年以来，车辆网络化、智能化趋势越来越明显，实现车辆的智能化中的一项重要技术就是车辆的定位与导航。实际应用中，车辆通过高精度地图实现导航功能，而定位作为导航的基础，成为智能车辆研究领域的重要研究方向。目前，车辆定位领域使用较多的是GPS(Global PositioningSystem，全球定位系统)技术，需要GPS设备能够提供全天候车辆定位位置功能，然而在一些环境下，会出现GPS信号丢失导致定位失败或错误的情况发生，因此单纯的利用GPS设备进行定位无法满足车辆的定位需求。

中国专利《一种基于多个GPS设备的车辆定位系统》(公开号：CN206133015U)利用至少两个GPS设备向定位平台发送定位信号实现车辆的定位，但由于高精度GPS成本高，不利于智能车的推广。

中国专利《一种车辆定位方法》(公开号：CN108303721A)通过GPS设备、IMU(Inertial Measurement Unit，惯性测量单元)、摄像头和激光来进行车辆定位，以避免车辆行驶在遮挡交通环境时GPS设备定位不准确或者失败的情况，但其使用三维地图与局部地图进行匹配来完成定位，过多的三维信息导致计算代价大，且传感器过多，GPS设备和激光传感器的成本高。

中国专利《一种基于改造车道线的高精度车辆定位系统及方法》(公开号：CN107886752A)通过WIFI数据和与普通车道线有区别的改造车道线实现定位，利用WIFI数据初定位后，使用改造车道线进行精确定位，该方法避免了无法接受GPS信号时的问题，但是其改造代价随着环境规模的增大也在不断增加，且需要在定位路段间隔设置AP基站来发射WIFI信号，可移植性差。

因此，目前车辆定位方法中依然存在的问题如下：

1)使用高精度的GPS设备进行车辆定位，成本高，且GPS信号会出现丢失情况导致定位失败；

2)多模态信号融合方式进行车辆定位，存在移植性低，计算负担大的问题。

发明内容

本发明的目的是提供一种基于360度全景视图的结构化环境中车辆定位方法，具有可移植性强、成本低，精度高的优点。

本发明的目的是通过以下技术方案实现的：

一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，包括：

通过GPS传感器、或者结合上一时刻的定位结果与车辆运行速度获取当前时刻车辆第一定位信息；

对当前时刻车辆的360度全景视图进行特征提取，并计算特征与车辆的相对距离向量；

以第一定位信息区域内的地图作为匹配搜索范围，在匹配搜索范围内搜索与提取到的特征最匹配的一系列位置点，得到全局位置向量；

利用全局位置向量与相对距离向量，计算当前时刻的车辆位置。

由上述本发明提供的技术方案可以看出，可利用低精度GPS进行粗定位，减小了特征匹配时的搜索范围，提高了计算效率和定位的实时性；也可根据历史平均速度来预测当前车辆位置，避免了GPS信号丢失时的定位失败情况；方案整体成本低，不需要对环境及车辆自身进行改造，可移植性强。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于360度全景视图的结构化环境中车辆定位方法的流程图；

图2为本发明实施例提供的一种车辆标定示意图；

图3为本发明实施例提供的一种合成的车辆360度全景视图的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于360度全景视图的结构化环境中车辆定位方法，如图1所示，其主要包括：

一、通过GPS传感器、或者结合上一时刻的定位结果与车辆运行速度获取当前时刻车辆第一定位信息。

获取第一定位信息也即粗定位，其目的是确定车辆大概的位置范围，以减小后续步骤在进行特征匹配搜索的范围。

在车辆运行过程中，如果当GPS传感器能够正常捕获GPS信号，则以GPS定位结果作为当前时刻车辆第一定位信息。如果由于外部环境导致GPS信号丢失或者出现较大跳变，则利用车辆的历史速度预测当前时刻车辆的位置作为车辆第一定位信息，即结合上一时刻的定位结果与车辆运行速度来预测当前时刻车辆的位置。

本发明实施例中，车辆运行速度是指车辆在两个相邻时刻的平均速度，其公式为：

其中，loc_t、loc_t-1分别表示当前时刻的车辆位置、上一时刻的车辆位置；Δt表示两个时刻的时间间隔。

二、对当前时刻车辆的360度全景视图进行特征提取，并计算特征与车辆的相对距离向量。

本步骤主要如下几个阶段：

1、合成360度全景视图。

本发明实施例中，通过设置在车辆上的多路视觉传感器捕获车辆周边环境信息，对得到的车身周边的多视角场景图像进行拼接合成及后处理操作获得车辆的360度全景视图，具体操作过程包括：

1)摄像头内外参数标定，优选实时方式如下：

按照图2布置标定板，且以图2中的左上角点为世界坐标系的原点，向右和向下为X、Y轴的正方向，图中数字表示点的序号。由于所有标定点的世界坐标值Z＝0，故将其忽略。根据实际测量，确定图中黑色正方形块的顶点(如图2每一黑色正方形块所标记的顶点1～8)在世界坐标系下的坐标，并按顺序存储。

内参数标定：选取4个185度鱼眼摄像头，分别被安装在车身前后的正中间以及左右后视镜下方，使得任意两个相邻摄像头捕获的图像有公共区域。按照图2的标定板设置，对鱼眼摄像头进行标定，利用棋盘格标定法对鱼眼摄像头进行内部参数标定，获取每个摄像头的本质矩阵K和畸变系数向量d，并存储摄像头的标定参数。示例性的，K可以为3×3矩阵，d可以为4×1向量。

外参数标定：放置在车辆四个角的黑色正方形块被用于标定摄像头的外部参数，以获取每个摄像头的透视变换矩阵H，其中H为3×3矩阵。利用四个鱼眼摄像头捕获车身四周的图像，并根据摄像的内部参数，分别对每个摄像头的图像进行去畸变，然后对经过畸变校正后的图像利用多边形拟合法提取出黑色方块标定板在图像中的位置，利用四边形包含的区域面积阈值和四边形形心位于畸变后图像的左右两侧这一先验条件作为四边形的约束，提取出黑色正方形块所在的四边形框，保存四边形框的顶点，并按图2中所示的点顺序存储每个点的图像像素坐标。利用每幅去畸变图像中提取出的8个四边形顶点，得到其图像像素坐标，且其在世界坐标系中的位置通过提前测量得到，按以下公式计算出每个摄像头的透视变换矩阵H_i,i＝{1,2,3,4}，其中点在世界坐标系和图像坐标系中的坐标分别为(x,y)、(x′,y′)，随机从8点中选择4对对应点(任意3点不共线)计算变换矩阵，使得重投影误差最小。

2)360度全景视图拼接，优选实时方式如下：

利用摄像头内部参数对图像去畸变，将去畸变后的图像进行逆透视变换到世界坐标Z＝0的平面，得到的拼接图像，并调整为事先指定尺度为M×N的图像。此时的拼接图像存在拼接缝，如图3中黑色实线所示，需要进行后处理。

3)360度全景视图后处理，优选实时方式如下：

根据拼接缝所在的像素位置，确定重叠区域R。以该拼接缝上每一个像素为中心，其k×k领域为R，k值可调整。

拼接缝融合：利用加权平均法进行融合，融合公式为：

其中分别表示两相邻的图像在R区域的RGB值，α为融合系数。

亮度均一化：由于不同摄像头在CMOS传感器噪音、快门时间、曝光时间等方面存在一定的差异，不同的摄像头捕获的图像亮度不均衡，因此进行亮度均一化处理。通过以相邻图像间的重叠的颜色差异之和最小为目标函数，求解颜色校正系数，目标函数如下式：

其中c＝{R,G,B}，a＝{l,f,r,b}，表示左、前、右、后图像的R、G、B通道的颜色校正系数；表示左、前、右、后图像在重叠区域R_i处的通道c上的像素点均值。

对系数求偏导，得到：

通过奇异值分解得到校正系数然后将其与对应图像RGB通道像素值相乘就可完成拼接图像的亮度均一化操作，得到尺度大小为M×N的360度全景视图。

2、360度全景视图的预处理。

对车辆的360度全景视图进行定位前的预处理，包括：图像增强处理，增加合成图像中车道线与地面的对比度；以及对图像进行颜色空间变换，将其转为灰度图。

3、特征提取。

本阶段主要是提取全景视图中存在的特征，进行特征描述，并根据提取的特征计算车辆与特征点间的相对距离。优选实施方式如下：

利用霍夫变换提取360度全景视图中的直线，并利用线的长度和斜率来增加约束，得到360度全景视图中车道线的线特征l，并分别计算线特征l上包含的所有像素点与车辆的相对距离，得到相对位置向量：

D＝[D₁ … D_i … D_n]^T

上式中，D_i表示线特征l上的像素点pⁱ∈l与车辆中心的欧式距离，n表示线特征上像素点的个数；M、N对应为360度全景视图的宽、高；为像素点pⁱ∈l的坐标。

三、以第一定位信息区域内的地图作为匹配搜索范围，在匹配搜索范围内搜索与提取到的特征最匹配的一系列位置点，得到全局位置向量。

本发明实施例中，对于线特征l上每一像素点，在匹配搜索范围内中所搜匹配误差最小的全局位置，构成全局位置向量L：

L＝[L₁ … L_i … L_n]^T

其中，L_i表示线特征l上像素点pⁱ∈l的全局位置的坐标。

本领域技术人员可以理解，本步骤所使用的地图为粗定位时所使用的地图，通常为高精度地图，即精度满足要求。

四、利用全局位置向量与相对距离向量，计算当前时刻的车辆位置。

本发明实施例中，计算当前时刻的车辆位置的公式为：

此外，在得到当前时刻的车辆位置(即精定位结果)后，还结合上一时刻车辆的位置计算这段时间车辆的平均速度，供下一时刻粗定位的选择使用。

本发明实施例上述方案相对于传统方案而言主要具有如下优点：利用低精度GPS进行粗定位，减小了特征匹配时的搜索范围，提高了计算效率和定位的实时性；根据历史平均速度来预测当前车辆位置，避免了GPS信号丢失时的定位失败情况；方案整体成本低，不需要对环境及车辆自身进行改造，可移植性强。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，包括：

通过GPS传感器、或者结合上一时刻的定位结果与车辆运行速度获取当前时刻车辆第一定位信息；

对当前时刻车辆的360度全景视图进行特征提取，并计算特征与车辆的相对距离向量；

以第一定位信息区域内的地图作为匹配搜索范围，在匹配搜索范围内搜索与提取到的特征最匹配的一系列位置点，得到全局位置向量；

利用全局位置向量与相对距离向量，计算当前时刻的车辆位置。

2.根据权利要求1所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，该方法还包括：在车辆上设置数据传感器，用于捕获车辆周边环境信息；所述数据传感器包括4个鱼眼摄像头，分别安装在车辆前后的正中间以及左右后视镜下方，使得任意两个相邻摄像头捕获的图像有公共区域；

并且，进行鱼眼摄像头内外参数标定：利用棋盘格标定法对鱼眼摄像头进行内部参数标定，获取每个鱼眼摄像头的本质矩阵K和畸变系数向量d，并存储摄像头的标定参数；对摄像头进行外部参数标定，获取每个摄像头的透视变换矩阵H。

3.根据权利要求2所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，该方法还包括：获取车辆的360度全景视图，其步骤包括：

利用标定的内外参数，对鱼眼摄像头采集的图像去畸变，并进行逆透视变换；然后将逆透视变换后的多视角图像拼接成事先指定尺度为M×N的图像；最后对改图像进行后处理，去除拼接缝和进行高度均一化处理，得到车辆的360度全景视图。

4.根据权利要求3所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，该方法还包括：对车辆的360度全景视图进行定位前的预处理，包括：图像增强处理，增加合成图像中车道线与地面的对比度；以及对图像进行颜色空间变换，将其转为灰度图。

5.根据权利要求1所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，所述对当前时刻车辆的360度全景视图进行特征提取，并计算特征与车辆的相对距离向量包括：

利用霍夫变换提取360度全景视图中的直线，并利用线的长度和斜率来增加约束，得到360度全景视图中车道线的线特征l，并分别计算线特征l上包含的所有像素点与车辆的相对距离，得到相对位置向量：

D＝[D₁ … D_i … D_n]^T

上式中，D_i表示线特征l上的像素点pⁱ∈l与车辆中心的欧式距离，n表示线特征上像素点的个数；M、N对应为360度全景视图的宽、高；为像素点pⁱ∈l的坐标。

6.根据权利要求5所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，所述在匹配搜索范围内搜索与提取到的特征最匹配的一系列位置点，得到全局位置向量包括：

对于线特征l上每一像素点，在匹配搜索范围内中所搜匹配误差最小的全局位置，构成全局位置向量L：

L＝[L₁ … L_i … L_n]^T

其中，L_i表示线特征l上像素点pⁱ∈l的全局位置的坐标。

7.根据权利要求6所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，所述利用全局位置向量与相对距离向量，计算当前时刻的车辆位置的公式为：

8.根据权利要求1所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，所述通过GPS传感器、或者结合上一时刻的定位结果与车辆运行速度获取当前时刻车辆第一定位信息包括：

当GPS传感器能够正常捕获GPS信号时，以GPS定位结果作为当前时刻车辆第一定位信息；

当GPS信号丢失时，结合上一时刻的定位结果与车辆运行速度来预测当前时刻车辆的位置，作为第一定位信息。

9.根据权利要求8所述的一种基于360度全景视图的结构化环境中车辆定位方法，其特征在于，车辆运行速度是指车辆在两个相邻时刻的平均速度，其公式为：

其中，loc_t、loc_t-1分别表示当前时刻的车辆位置、上一时刻的车辆位置；Δt表示两个时刻的时间间隔。