CN109029442A - 基于多视角匹配的定位装置及方法 - Google Patents

Abstract

本发明公开了一种基于多视角匹配的定位装置及方法，该装置包括：数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元；所述数据采集单元由GPS定位系统和两个不同视角的单目摄像机组成，用于采集图像信息和相关地理位置信息。所述定位方法分为三步：第一步粗定位，在视觉地图中得到若干个候选节点；第二步图像级定位，利用从前视图像提取的整体特征进行整体特征匹配，从待定位点中找到最接近的节点；第三步度量级定位，利用从俯视图像中提取的局部特征进行局部特征匹配，找到预测节点，并利用相关算法计算出车的姿态和相对位置。与其他定位方法相比，该方法不仅成本低，数据采集简单，而且在不同路线和不同季节具有很强的鲁棒性和较高的精度。

Description

基于多视角匹配的定位装置及方法

技术领域

本发明涉及定位技术，尤其涉及一种基于多视角匹配的定位装置及方法。

背景技术

随着智能汽车成为热门话题，人们对高精度定位技术这一智能汽车的关键技术的越来越重视。目前高精度定位系统有差分全球定位系统(DGPS)和惯性导航系统，但是由于它们使用的传感器成本高昂，不利于智能汽车的快速推广和普及，因此迫切需要一种新的低成本高精度的定位方法。近年来随着计算机科学的快速发展，计算机视觉定位技术被广泛应用于智能车上。计算机视觉定位技术利用摄像机成像模型建立视觉传感器和现实环境之间的关系，然后利用这个模型关系，将视觉地图与实际环境的特征进行识别和匹配，计算出实际特征点在视觉地图中的位置姿态。目前最先进的视觉定位技术包括视觉同步定位和映射等，但由于映射技术计算过程和优化过程复杂，会积累大量误差。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多视角匹配的定位装置及方法。

本发明解决其技术问题所采用的技术方案是：一种基于多视角匹配的定位装置，

包括数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元；

所述数据采集单元包括GPS定位系统和两个单目摄像机，其中，第一单目摄像机水平安装在实验车前端，用于采集前视图像，第二单目摄像机的镜头以不低于45度角斜向下安装在实验车尾部，用于采集俯视图像；

所述数据传输单元，用于数据采集单元和数据处理单元之间的数据传输；

所述数据采集辅助单元包括用于单目摄像机固定的固定支架和实验车。

按上述方案，所述数据传输单元包括天线和数据线。

按上述方案，所述数据处理单元为工控机。

一种基于多视角匹配的定位方法，包括以下步骤：

1)采集GPS信息和单目摄像机采集的信息；

2)根据步骤1)采集的信息融合生成视觉地图；所述视觉地图中每隔固定距离设置一个节点，每个节点存储该节点所在位置对应的GPS位置信息、前视图像和俯视图像；

3)粗定位待测点

当待定位车开至已经绘制好视觉地图的路段，任意选择某一点设置为起点，记录起点的位置信息(在拓扑模型里面是从起始点开始定位计算的)，在待定位车行进过程中，数据处理单元利用预设的定位拓扑模型，通过前一时刻的位置估算下一时刻的位置，以此获得待定位车的粗定位结果；并获得粗定位结果对应的视觉地图中的节点集合；

4)图像级定位

将待定位车在定位指令前后一段时间内第一单目摄像机采集到的15帧图像图像信息截取出来，利用描述符提取前视图像的全局特征，将前视图像的全局特征与步骤3)中节点集合对应的前视图像进行全局特征匹配，特征匹配通过计算汉明距离实现，公式如下：

其中，X₁和X₂表示两个不同的整体特征。是X_j(j＝1,2)的第i位，选择与前端视图的整体特征有最小汉明距离的节点作为的预测节点；

5)计算待测点的位置信息

将待定位车在接收定位指令前后第二单目摄像机采集到的15帧图像信息截取出来，提取俯视图像的局部特征，再次计算汉明距离用于局部特征匹配，把具有良好匹配特征的节点作为定位的最终图像，根据节点的局部特征和节点的 2D数据，其中，所述局部特征是指预测节点在摄像机中对应的像素坐标；所述节点的2D数据指预测节点在世界坐标系下的坐标；在视觉图中利用张氏方法建立单应性模型计算实验车的位置信息，模型公式如下：

其中，H＝K·[r₁ r₂ r₃]，K是向下摄像机的固有参数，r₁,r₂是旋转矩阵R的前两列，t代表平移向量，(u，v,1)为像素坐标，(X，Y,1)为预测节点在世界坐标系下的坐标；

其中，

H＝[h⁽¹⁾ h⁽²⁾ h⁽³⁾]。

本发明产生的有益效果是：

1、提出了一种新的多视角匹配定位方法。在这种方法中，不仅收集了前视图像，而且还收集了俯视图像，以描述道路环境中每个位置的信息。这两个视角的融合充分体现了道路环境中每个位置的唯一性，可以保证定位精度。

2、提出了一种新的度量级定位方法。我们利用单应性模型计算车辆的位姿。在这种方法中，提出了运用路面的2D(2dimensional二维)数据替代场景中的3D数据的方法，而且该方法仅需要使用单目摄像机，避免了双目视觉3D 重建的不稳定性问题。

3、提出了一种新的结果提炼方法。在度量级定位中，我们采用局部特征将查询图像与候选点进行匹配。如果候选点是离群值，则称没有匹配的特征。这种方法可以进一步提高定位精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2是本发明实施例的实验装置示意图；

图3是本发明实施例的方法流程图；

图2中：1-实验车平台；2-单目摄像机；3-GPS和INS系统；4-固定支架； 5-单目摄像机；6-数据线；7-天线；8-工控机。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，一种基于多视角匹配的定位装置，

包括数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元；

所述数据采集单元包括GPS定位系统3和两个单目摄像机2和5，其中，第一单目摄像机2水平安装在实验车前端，用于采集前视图像，第二单目摄像机5 的镜头以不低于45度角斜向下安装在实验车尾部，用于采集俯视图像；

所述数据传输单元，用于数据采集单元和数据处理单元之间的数据传输；

所述数据采集辅助单元包括用于单目摄像机固定的固定支架4和实验车1。

数据传输单元包括天线7和数据线6，数据处理单元为工控机8。

如图3，一种基于多视角匹配的定位方法，包括以下步骤：

1)采集GPS信息和单目摄像机采集的信息；

2)根据步骤1)采集的信息融合生成视觉地图；所述视觉地图中每隔固定距离设置一个节点，每个节点存储该节点所在位置对应的GPS位置信息、前视图像和俯视图像；

3)粗定位待测点

当待定位车开至已经绘制好视觉地图的路段，任意选择某一点设置为起点，记录起点的位置信息(在拓扑模型里面是从起始点开始定位计算的)，在待定位车行进过程中，数据处理单元利用预设的定位拓扑模型，通过前一时刻的位置估算下一时刻的位置，以此获得待定位车的粗定位结果；并获得粗定位结果对应的视觉地图中的节点集合；

4)图像级定位

将待定位车在定位指令前后一段时间内单目摄像机2采集到的15帧图像图像信息截取出来，利用描述符提取前视图像的全局特征，将前视图像的全局特征与步骤3)中节点集合对应的前视图像进行全局特征匹配，特征匹配通过计算汉明距离实现，公式如下：

其中，X₁和X₂表示两个不同的整体特征。是X_j(j＝1,2)的第i位，选择与前端视图的整体特征有最小汉明距离的节点作为的预测节点；

5)计算待测点的位置信息

将待定位车在接收定位指令前后第二单目摄像机采集到的15帧图像信息截取出来，提取俯视图像的局部特征，再次计算汉明距离用于局部特征匹配，把具有良好匹配特征的节点作为定位的最终图像，根据节点的局部特征和节点的 2D数据，其中，所述局部特征是指预测节点在摄像机中对应的像素坐标；所述节点的2D数据指预测节点在世界坐标系下的坐标；在视觉图中利用张氏方法建立单应性模型计算实验车的位置信息，模型公式如下：

其中，H＝K·[r₁ r₂ r₃]，K是向下摄像机的固有参数，r₁,r₂是旋转矩阵R的前两列，t代表平移向量，(u，v,1)列为像素坐标，(X，Y,1)为预测节点在世界坐标系下的坐标；

其中，

H＝[h⁽¹⁾ h⁽²⁾ h⁽³⁾]。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于多视角匹配的定位装置，其特征在于，该定位装置包括数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元；

所述数据采集单元包括GPS定位系统和两个单目摄像机，其中，第一单目摄像机水平安装在实验车前端，用于采集前视图像，第二单目摄像机的镜头以不低于45度角斜向下安装在实验车尾部，用于采集俯视图像；

所述数据传输单元，用于数据采集单元和数据处理单元之间的数据传输；

所述数据采集辅助单元包括用于单目摄像机固定的固定支架和实验车。

2.根据权利要求1所述的基于多视角匹配的定位装置，其特征在于，所述数据传输单元包括天线和数据线。

3.根据权利要求1所述的基于多视角匹配的定位装置，其特征在于，所述数据处理单元为工控机。

4.根据权利要求1至3任一所述的基于多视角匹配的定位装置的基于多视角匹配的定位方法，其特征在于，包括以下步骤：

1)采集GPS信息和单目摄像机获取的信息；

2)根据步骤1)采集的信息融合生成视觉地图；所述视觉地图中每隔固定距离设置一个节点，每个节点存储该节点所在位置对应的GPS位置信息、前视图像和俯视图像；

3)粗定位待测点；

当待定位车开至已经绘制好视觉地图的路段，任意选择某一点设置为起点，记录起点的位置信息，在待定位车行进过程中，数据处理单元利用预设的定位拓扑模型，通过前一时刻的位置估算下一时刻的位置，以此获得待定位车的粗定位结果；并获得粗定位结果对应的视觉地图中的节点集合；

4)图像级定位；

将待定位车在定位指令前后一段时间内第一单目摄像机采集到的15帧图像图像信息截取出来，利用描述符提取前视图像的全局特征，将前视图像的全局特征与步骤3)中节点集合对应的前视图像进行全局特征匹配，特征匹配通过计算汉明距离实现，公式如下：

其中，X₁和X₂表示两个不同的整体特征。是X_j的第i位，选择与前端视图的整体特征有最小汉明距离的节点作为的预测节点；

5)计算待测点的位置信息

将待定位车在接收定位指令前后第二单目摄像机采集到的15帧图像信息截取出来，提取俯视图像的局部特征，再次计算汉明距离用于局部特征匹配，把具有良好匹配特征的节点作为定位的最终图像，根据节点的局部特征和节点的2D数据，其中，所述局部特征是指预测节点在摄像机中对应的像素坐标；所述节点的2D数据指预测节点在世界坐标系下的坐标；在视觉图中利用张氏方法建立单应性模型计算实验车的位置信息，模型公式如下：

其中，H＝K·[r₁ r₂ r₃]，K是向下摄像机的固有参数，r₁,r₂是旋转矩阵R的前两列，t代表平移向量，(u，v,1)为像素坐标，(X，Y,1)为预测节点在世界坐标系下的坐标；

其中，对于H＝K·[r₁ r₂ r₃]，

H＝[h⁽¹⁾ h⁽²⁾ h⁽³⁾]。