CN107084727A - 一种基于高精度三维地图的视觉定位系统及方法 - Google Patents

一种基于高精度三维地图的视觉定位系统及方法 Download PDF

Info

Publication number
CN107084727A
CN107084727A CN201710236477.3A CN201710236477A CN107084727A CN 107084727 A CN107084727 A CN 107084727A CN 201710236477 A CN201710236477 A CN 201710236477A CN 107084727 A CN107084727 A CN 107084727A
Authority
CN
China
Prior art keywords
data
precision
dimensional
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710236477.3A
Other languages
English (en)
Other versions
CN107084727B (zh
Inventor
胡钊政
陶倩文
李祎承
胡月志
穆孟超
王相龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201710236477.3A priority Critical patent/CN107084727B/zh
Publication of CN107084727A publication Critical patent/CN107084727A/zh
Application granted granted Critical
Publication of CN107084727B publication Critical patent/CN107084727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于高精度三维地图的视觉定位系统及方法，该系统包括：数据采集模块，用于采集当前位置的图像数据和GNSS数据；采集辅助模块，用于数据传输；电源模块，用于为系统模块供电；数据处理模块，用于存储视觉地图信息，处理所采集的GNSS数据和图像数据，包括GNSS数据匹配，特征点提取与匹配，最终实现定位功能。该方法以高精度三维地图为基础，首先进行GNSS信息匹配的初步定位，其次进行全局特征匹配的图像级定位，最后通过三维局部特征匹配的测量级定位计算得到地图中距离最近的点以及车辆在地图中的位姿，从而实现车辆定位。本发明在不需要大幅增加硬件成本的基础上，提高了车辆定位的精度，降低了定位成本。

Description

一种基于高精度三维地图的视觉定位系统及方法
技术领域
本发明涉及智能交通系统领域，尤其涉及一种基于高精度三维地图的视觉定位系统及方法。
背景技术
高精度车辆定位是实现自动驾驶的基础。传统定位是全球卫星导航系统(GNSS)，但该系统定位精度在10m左右，难以达到无人车高精度定位的要求，使得高速行驶的无人车存在着安全隐患。若要提高定位精度，目前能够达到高精度定位的系统大多成本高昂，比如使用惯性导航系统(INS)与GNSS组合导航系统定位能达到20cm左右的定位精度，但惯性导航系统成本大概在20万元以上，远高于现在受众最普遍的汽车成本。
为了使定位导航精度达到亚米级，国内外学者各有研究。目前美国谷歌公司主要通过GPS与激光雷达、声纳等传感器数据融合的定位方法来实现无人车的导航定位，德国已经实现了利用周围分布的WIFI信号匹配实现高精度定位，国内邓中亮提出的“羲和”系统可以解决GNSS定位信号定位精度问题从而实现亚米级定位。然而，以上的高精度定位方法要么或单个成本高昂，要么或需要政府投入大量财政进行基础公共设备。
发明内容
本发明要解决的技术问题在于针对现有技术中高精度的惯导定位系统成本高，而普通的GNSS定位系统定位精度较低的缺陷，提供一种基于高精度三维地图的视觉定位系统及方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种基于高精度三维地图的视觉定位系统，包括数据采集模块、采集辅助模块、数据处理模块和电源模块；其中：
数据采集模块，包括车载摄像机和GNSS接收机，用于在车辆行驶到待定位位置时，通过车载摄像机采集当前位置的图像数据，并通过GNSS接收机获取相应的GNSS数据；
采集辅助模块，包括网络传输线和GNSS数据传输线，网络传输线用于将采集到的图像数据传输给数据处理模块，GNSS数据传输线用于将GNSS数据传输给数据处理模块；
电源模块，用于为数据采集模块、采集辅助模块和数据处理模块供电；
数据处理模块中存储有包含惯导数据、图像特征数据和三维信息的高精度三维视觉地图；数据处理模块用于将GNSS数据与高精度三维视觉地图中的惯导数据进行匹配，得到初步定位结果；提取当前位置的图像数据中的全局特征，将其与高精度三维视觉地图中初步定位结果范围内的图像特征数据进行匹配，得到图像级定位结果；提取当前位置的图像数据中的局部特征，结合高精度三维视觉地图中图像级定位结果对应的三维信息进行计算，得到当前车辆的位姿，进而对图像级定位结果进行修正得到最终定位结果。
进一步地，本发明的数据处理模块中的高精度三维视觉地图的获取方法为：
在待定位路段上，以等距的方式在每一个采集点，用车载摄像机与惯导导航系统组合载波差分系统采集惯导数据、图像特征数据和三维信息数据制作高精度三维视觉地图，图像特征数据包括全局特征数据和局部特征数据。
本发明提供一种基于高精度三维地图的视觉定位方法，该方法包括以下步骤：
S1、车辆行驶至待定位位置时，采集当前位置的图像数据，并获取相应的GNSS数据，将GNSS数据与高精度三维视觉地图中的惯导数据进行匹配，得到初步定位结果，初步定位结果包括高精度三维视觉地图中的多个数据采集点；
S2、提取当前位置的图像数据中的全局特征，将其与初步定位结果中多个数据采集点的全局图像特征数据进行匹配，得到距离最近的数据采集点作为图像级定位结果；
S3、提取当前位置的图像数据中的局部特征，与图像级定位结果对应存储在高精度三维视觉地图中的局部特征相匹配，结合匹配到的局部特征点对应的三维信息进行计算，得到当前车辆的位姿，进而对图像级定位结果进行修正得到最终定位结果。
进一步地，本发明的步骤S1中计算初步定位结果的方法具体为：
将当前位置的GNSS数据转换为欧式坐标，计算当前位置与高精度三维视觉地图中的各个数据采集点之间的欧式距离，其公式为：
Di＝[||An1-Bqi||2，||An2-Bqi||2，||An3-Bqi||2…]
其中，Anj＝(xnj，ynj)表示高精度三维视觉地图中的各个数据采集点的惯导数据，Bqi＝(xqi，yqi)表示当前位置的GNSS数据对应的欧式坐标，x、y为经纬度信息；
结合GNSS信号精度和高精度三维视觉地图的采集频率，选取高精度三维视觉地图中相邻的若干个数据采集点作为初步定位结果。
进一步地，本发明的步骤S2中计算图像级定位结果的方法具体为：
对当前位置的图像数据进行灰度化，将灰度化后的图像重置为标准图像尺寸，其分辨率为N×N像素，并计算当前位置的全局特征；将得到的全局特征与初步定位结果中多个数据采集点对应的图像特征数据进行匹配，计算它们之间的海明距离，其公式为：
其中，E表示当前位置的图像数据的全局特征，F表示初步定位结果中数据采集点对应的图像特征数据；
选取海明距离最短的数据采集点为图像级定位结果。
进一步地，本发明的步骤S3中计算最终定位结果的方法具体为：
将当前位置的图像数据重置为标准图像尺寸，其分辨率为m×n像素，提取图像数据中的局部特征，将当前位置图像与图像级定位结果存储在高精度三维视觉地图中的局部特征相匹配，得到多个匹配的局部特征点，并提取匹配到的局部特征点所对应的三维信息；
结合当前位置图像中的局部特征与高精度三维视觉地图中的三维信息计算车辆在高精度三维视觉地图中的位姿。
进一步地，本发明的根据计算得到的位姿对图像级定位结果进行验证和修正的方法具体为：
根据计算得到的位姿计算车辆当前位置与图像级定位结果对应的采集点之间的距离，结合高精度三维视觉地图数据采集频率，如果该距离大于采集频率的一半，表明得到的图像级定位结果不是距离汽车当前位置最近的采集点，根据计算得到的位姿决定是选择图像级定位结果前一个采集点还是后一个采集点作为新的待定位结果，然后验证新的待定位结果是否符合精度要求，如果符合，则确定该采集点为测量级定位结果即最终定位结果。
本发明产生的有益效果是：本发明的基于高精度三维地图的视觉定位系统及方法，以高精度三维视觉地图为基础，首先进行GNSS信息匹配的初步定位，其次进行全局特征匹配的图像级定位，最后根据当前位置图像中的局部特征点与图像级定位结果中的三维信息计算两者的位姿关系，并对图像级定位结果进行验证和修正得到最终定位结果。与现有技术相比较，本发明在GNSS初步定位后，增加了图像级定位和测量级定位从而实现精确定位，在不需要大幅增加硬件成本的基础上，提高了车辆定位的精度，降低了定位成本。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的结构示意图；
图2是本发明实施例的方法流程图；
图中:1.车载计算机；2.车载摄像机；3.GNSS接收机；4.稳压直流电源；5.网络传输线；6.GNSS数据传输线；7.电源线。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例的基于高精度三维地图的视觉定位系统，包括数据采集模块、采集辅助模块、数据处理模块和电源模块；其中：
数据采集模块，包括车载摄像机和GNSS接收机，用于在车辆行驶到待定位位置时，通过车载摄像机采集当前位置的图像数据，并通过GNSS接收机获取相应的GNSS数据；
采集辅助模块，包括网络传输线和GNSS数据传输线，网络传输线用于将采集到的图像数据传输给数据处理模块，GNSS数据传输线用于将GNSS数据传输给数据处理模块；
电源模块，用于为数据采集模块、采集辅助模块和数据处理模块供电；
数据处理模块中存储有包含惯导数据、图像特征数据和三维信息的高精度三维视觉地图；数据处理模块用于将GNSS数据与高精度三维视觉地图中的惯导数据进行匹配，得到初步定位结果；提取当前位置的图像数据中的全局特征，将其与高精度三维视觉地图中初步定位结果范围内的图像特征数据进行匹配，得到图像级定位结果；提取当前位置的图像数据中的局部特征，结合高精度三维视觉地图中图像级定位结果对应的三维信息进行计算，得到当前车辆的位姿，进而对图像级定位结果进行修正得到最终定位结果。
数据处理模块中的高精度三维视觉地图的获取方法为：
在待定位路段上，以等距的方式在每一个采集点，用车载摄像机与惯导导航系统组合载波差分系统采集惯导数据、图像特征数据和三维信息数据制作高精度三维视觉地图，图像特征数据包括全局特征数据和局部特征数据。
如图2所示，本发明实施例的基于高精度三维地图的视觉定位方法，包括以下步骤：
S1、车辆行驶至待定位位置时，采集当前位置的图像数据，并获取相应的GNSS数据，将GNSS数据与高精度三维视觉地图中的惯导数据进行匹配，得到初步定位结果，初步定位结果包括高精度三维视觉地图中的多个数据采集点；
S2、提取当前位置的图像数据中的全局特征，将其与初步定位结果中多个数据采集点的全局图像特征数据进行匹配，得到距离最近的数据采集点作为图像级定位结果；
S3、提取当前位置的图像数据中的局部特征，与图像级定位结果对应存储在高精度三维视觉地图中的局部特征相匹配，结合匹配到的局部特征点对应的三维信息进行计算，得到当前车辆的位姿，进而对图像级定位结果进行修正得到最终定位结果。
步骤S1中计算初步定位结果的方法具体为：
将当前位置的GNSS数据转换为欧式坐标，计算当前位置与高精度三维视觉地图中的各个数据采集点之间的欧式距离，其公式为：
Di＝[||An1-Bqi||2，||An2-Bqi||2，||An3-Bqi||2…]
其中，Anj＝(xnj，ynj)表示高精度三维视觉地图中的各个数据采集点的惯导数据，Bqi＝(xqi，yqi)表示当前位置的GNSS数据对应的欧式坐标，x、y为经纬度信息；
结合GNSS信号精度和高精度三维视觉地图的采集频率，选取高精度三维视觉地图中相邻的若干个数据采集点作为初步定位结果。
步骤S2中计算图像级定位结果的方法具体为：
对当前位置的图像数据进行灰度化，将灰度化后的图像重置为标准图像尺寸，其分辨率为N×N像素，并计算当前位置的全局特征；将得到的全局特征与初步定位结果中多个数据采集点对应的图像特征数据进行匹配，计算它们之间的海明距离，其公式为：
其中，E表示当前位置的图像数据的全局特征，F表示初步定位结果中数据采集点对应的图像特征数据；
选取海明距离最短的数据采集点为图像级定位结果。
步骤S3中计算最终定位结果的方法具体为：
将当前位置的图像数据重置为标准图像尺寸，其分辨率为m×n像素，提取图像数据中的局部特征，将当前位置图像与图像级定位结果存储在高精度三维视觉地图中的局部特征相匹配，得到多个匹配的局部特征点，并提取匹配到的局部特征点所对应的三维信息；
结合当前位置图像中的局部特征与高精度三维视觉地图中的三维信息计算车辆在高精度三维视觉地图中的位姿；
根据计算得到的位姿计算车辆当前位置与图像级定位结果对应的采集点之间的距离，结合高精度三维视觉地图数据采集频率，如果该距离大于采集频率的一半，表明得到的图像级定位结果不是距离汽车当前位置最近的采集点，根据计算得到的位姿决定是选择图像级定位结果前一个采集点还是后一个采集点作为新的待定位结果，然后验证新的待定位结果是否符合精度要求，如果符合，则确定该采集点为测量级定位结果即最终定位结果。
在本发明的另一个具体实施例中：
基于高精度三维地图的视觉定位系统，包括数据采集模块、采集辅助模块、数据处理模块和电源模块；其中
本实施例中，数据采集模块包括车载摄像机2和GNSS接收机3；
在定位系统中，车辆每行驶到一个任意待定位位置，由车载摄像机2接收图像信息，由GNSS接收机3接收GNSS信息(经纬度信息)，并将其传输至计算机1；
本实施例中，采集辅助模块包括网络传输线5、GNSS数据传输线6以及电源线7；
在定位系统中，图像信息通过网络传输网线5传输至计算机1，GNSS信息通过GNSS数据传输线6传输至计算机1，稳压直流电源通过各类电源线7向车载计算机1、车载单目摄像机2、GNSS接收机3供电；
本实施例中，数据处理模块主要由车载计算机1组成；
在定位系统中，计算机1存储高精度三维视觉地图信息，接收并处理由车载摄像机2和GNSS接收机3传输的图像信息和GNSS信息，包括初步定位中的GNSS数据匹配，图像级定位中的全局特征点提取与匹配，测量级定位中的三维局部特征点匹配并计算车辆当前位姿，最终实现定位功能；
本实施例中，电源模块主要包括稳压直流电源4；
在定位系统中，稳压直流电源4可以为车载电瓶，可以通过各类电源线7向车载计算机1、车载单目摄像机2、GNSS接收机3供电。
在实际应用中，GNSS定位精度在10m左右，尚未达到高精度定位的要求，使得在高速行驶的道路上智能车辆存在着重大安全隐患。本发明所述的基于高精度三维地图的视觉定位方法以高精度三维视觉地图为基础，根据定位系统数据采集模块所采集的信息，可以将定位过程分为三部分：(1)通过GNSS数据与视觉地图中高精度惯导数据匹配实现初步定位，(2)通过当前位置图像全局特征与初步定位结果中的每帧图像特征相匹配实现图像级定位，(3)通过待定位结果图像与当前位置图像的三维局部特征匹配实现测量级定位。
利用上述基于高精度三维地图的视觉定位方法，包括以下步骤：
S1、通过GNSS数据与视觉地图中高精度惯导数据匹配实现初步定位。
GNSS数据和高精度惯导数据都是在地理坐标系下采集的，计算两者之间的距离需要转换为欧式坐标系，其中视觉地图中存储的是已经转换为了欧式坐标的高精度惯导数据，可以通过公式trans()将GNSS数据转换为欧式坐标。如下式所示：
Bqi＝(xqi，yqi)＝trans(Xqi，Yqi)
其中，Sqi＝(Xqi，Yqi)为GNSS数据的地理坐标，Bqi＝(xqi，yqi)表示GNSS数据经公式trans()转换后的欧式坐标。
然后用距离公式计算视觉地图中各采集点存储在视觉地图中惯导数据与当前位置图像的GNSS数据的欧式距离，如下式所示：
Di＝[||An1-Bqi||2，||An2-Bqi||2，||An3-Bqi||2…]
其中，Anj＝(xnj，ynj)是高精度惯导数据的欧式坐标。由式(1)选取距离车辆当前位置最近的采集点。
本实施例中，由于GNSS定位精度在10m左右，结合制作视觉地图时的数据采集频率，本实施例中取为2m/帧，故选取距离当前GNSS数据最近采集点图像及其前后2帧图像采集点共5帧图像作为初步定位结果。
S2、通过当前位置图像全局特征与初步定位结果中的每帧图像特征相匹配实现图像级定位。
本实施例中，所用车载单目摄像机所拍摄的图片尺寸为M×N(pixel)。首先，由于图片色彩对结果影响不大，可以对当前位置图像进行灰度化处理，其次为了排除图像尺寸对结果的影响，将当前位置图像尺寸重置为标准图像尺寸即视觉地图中的标准图像尺寸，本实施例中取为63×63(pixel)，然后利用计算机视觉技术提取当前位置图像的全局特征描述符fq。
最后提取初步定位结果每帧图像存储在视觉地图中的全局特征，并与当前位置图像的全局特征相匹配，即分别计算每帧图像的全局特征与当前位置图像的全局特征间的海明距离，海明距离计算公式如下式所示：
式(2)中，E,F分别表示当前位置图像与初步定位结果中图像的全局特征描述符；选取初步定位结果中与当前位置图像海明距离最近的那一帧图像作为图像级定位结果，如下式所示：
其中，fi(i＝1，2，...，n)为初定位结果中每帧图像的全局特征，fq为当前位置图像的全局特征。
S3、通过图像级定位结果与当前位置图像的三维局部特征匹配实现测量级定位。
本实施例中，首先，为了排除图像尺寸对结果的影响，将当前位置图像尺寸重置为标准图像尺寸m×n(pixel)，采用计算机视觉技术提取当前位置图像局部特征，并将图像级定位结果存储在视觉地图中的局部特征与当前位置图像进行局部特征匹配，如果两个图像的各个局部特征点相匹配，则提取图像级定位结果存储在视觉地图中的相对应的三维信息。
然后，通过相对应的局部特征与三维特征点，可以计算两者之间的位姿关系，如下式所示：
其中，[wj kj 1]T为当前位置图像所对应的第j个局部特征点坐标；[Aj Bj Cj 1]T为图像级定位结果图像中对应的第j个三维特征点，P为车载摄像机的内参数，为3×3矩阵；Q和s分别表示当前位置图像与图像级定位结果间的旋转与平移关系，其中，Q为旋转矩阵，尺寸为3×3，s为平移向量，尺寸为3×1，这两个值表示了车辆当前位置与图像级定位结果图像的位姿关系；表示线性关系，即等式左边与右边相差一个尺度因子，尺度因子可由对应特征点求解。
根据(3)式求得Q和s后即得到位姿关系后，可通过平移向量s来计算车辆当前位置与图像级定位结果对应的采集点之间的距离：
本实施例中，最后根据(4)式得到的L验证待定位结果是否符合精度要求，结合高精度三维视觉地图数据采集频率，本实施例中取为2m/帧，所以如果L大于1m，表明得到的图像级定位结果不是距离汽车当前位置最近的采集点，然后由Q与s决定是选择图像级定位结果前一个采集点还是后一个采集点作为新的待定位结果，然后验证新的待定位结果是否符合精度要求，如果符合，则确定该采集点为测量级定位结果即最终定位结果。
因此，本发明能够在GNSS初步定位后利用计算机视觉技术进一步定位，将车辆定位精度提高至亚米级。
本发明提出的基于高精度三维地图的视觉定位系统与方法，该方法将计算机视觉技术与GNSS相结合，运用价格低廉的车载单目相机，采用多尺度匹配的方法实现亚米级车辆定位精度。具体而言，首先运用普通GNSS信息与视觉地图中的位置信息匹配实现初步定位，其次，提取道路场景的图像特征并与视觉地图中的图像特征信息进行匹配，实现图像级定位，最后，运用三维特征匹配实现测量级定位，得到车辆在地图中的位置。由于定位数据和图像数据的采集工具只需普通GNSS接收机和车载摄像头，本发明所需的成本远低于目前其他高精度定位系统的成本，这有利于自动驾驶系统在车辆上的大面积推广。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于高精度三维地图的视觉定位系统，其特征在于，包括数据采集模块、采集辅助模块、数据处理模块和电源模块；其中：
数据采集模块，包括车载摄像机和GNSS接收机，用于在车辆行驶到待定位位置时，通过车载摄像机采集当前位置的图像数据，并通过GNSS接收机获取相应的GNSS数据；
采集辅助模块，包括网络传输线和GNSS数据传输线，网络传输线用于将采集到的图像数据传输给数据处理模块，GNSS数据传输线用于将GNSS数据传输给数据处理模块；
电源模块，用于为数据采集模块、采集辅助模块和数据处理模块供电；
数据处理模块中存储有包含惯导数据、图像特征数据和三维信息的高精度三维视觉地图；数据处理模块用于将GNSS数据与高精度三维视觉地图中的惯导数据进行匹配，得到初步定位结果；提取当前位置的图像数据中的全局特征，将其与高精度三维视觉地图中初步定位结果范围内的图像特征数据进行匹配，得到图像级定位结果；提取当前位置的图像数据中的局部特征，结合高精度三维视觉地图中图像级定位结果对应的三维信息进行计算，得到当前车辆的位姿，进而对图像级定位结果进行修正得到最终定位结果。
2.根据权利要求1所述的基于高精度三维地图的视觉定位系统，其特征在于，数据处理模块中的高精度三维视觉地图的获取方法为：
在待定位路段上，以等距的方式在每一个采集点，用车载摄像机与惯导导航系统组合载波差分系统采集惯导数据、图像特征数据和三维信息数据制作高精度三维视觉地图，图像特征数据包括全局特征数据和局部特征数据。
3.一种基于高精度三维地图的视觉定位方法，其特征在于，该方法包括以下步骤：
S1、车辆行驶至待定位位置时，采集当前位置的图像数据，并获取相应的GNSS数据，将GNSS数据与高精度三维视觉地图中的惯导数据进行匹配，得到初步定位结果，初步定位结果包括高精度三维视觉地图中的多个数据采集点；
S2、提取当前位置的图像数据中的全局特征，将其与初步定位结果中多个数据采集点的全局图像特征数据进行匹配，得到距离最近的数据采集点作为图像级定位结果；
S3、提取当前位置的图像数据中的局部特征，与图像级定位结果对应存储在高精度三维视觉地图中的局部特征相匹配，结合匹配到的局部特征点对应的三维信息进行计算，得到当前车辆的位姿，进而对图像级定位结果进行修正得到最终定位结果。
4.根据权利要求3所述的基于高精度三维地图的视觉定位方法，其特征在于，步骤S1中计算初步定位结果的方法具体为：
将当前位置的GNSS数据转换为欧式坐标，计算当前位置与高精度三维视觉地图中的各个数据采集点之间的欧式距离，其公式为：
Di＝[||An1-Bqi||2，||An2-Bqi||2，||An3-Bqi||2…]
其中，Anj＝(xnj，ynj)表示高精度三维视觉地图中的各个数据采集点的惯导数据，Bqi＝(xqi，yqi)表示当前位置的GNSS数据对应的欧式坐标，x、y为经纬度信息；
结合GNSS信号精度和高精度三维视觉地图的采集频率，选取高精度三维视觉地图中相邻的若干个数据采集点作为初步定位结果。
5.根据权利要求3所述的基于高精度三维地图的视觉定位方法，其特征在于，步骤S2中计算图像级定位结果的方法具体为：
对当前位置的图像数据进行灰度化，将灰度化后的图像重置为标准图像尺寸，其分辨率为N×N像素，并计算当前位置的全局特征；将得到的全局特征与初步定位结果中多个数据采集点对应的图像特征数据进行匹配，计算它们之间的海明距离，其公式为：
<mrow> <mi>H</mi> <mi>a</mi> <mi>m</mi> <mi>m</mi> <mrow> <mo>(</mo> <mi>E</mi> <mo>,</mo> <mi>F</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>X</mi> <mi>O</mi> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mi>x</mi> <mo>&amp;Element;</mo> <mi>E</mi> <mo>,</mo> <mi>y</mi> <mo>&amp;Element;</mo> <mi>F</mi> </mrow>
其中，E表示当前位置的图像数据的全局特征，F表示初步定位结果中数据采集点对应的图像特征数据；
选取海明距离最短的数据采集点为图像级定位结果。
6.根据权利要求3所述的基于高精度三维地图的视觉定位方法，其特征在于，步骤S3中计算最终定位结果的方法具体为：
将当前位置的图像数据重置为标准图像尺寸，其分辨率为m×n像素，提取图像数据中的局部特征，将当前位置图像与图像级定位结果存储在高精度三维视觉地图中的局部特征相匹配，得到多个匹配的局部特征点，并提取匹配到的局部特征点所对应的三维信息；
结合当前位置图像中的局部特征与最匹配的局部特征点对应的三维信息计算车辆在高精度三维视觉地图中的位姿；
根据计算得到的位姿对图像级定位结果进行验证和修正，得到最终定位结果。
7.根据权利要求6所述的基于高精度三维地图的视觉定位方法，其特征在于，根据计算得到的位姿对图像级定位结果进行验证和修正的方法具体为：
根据计算得到的位姿计算车辆当前位置与图像级定位结果对应的采集点之间的距离，结合高精度三维视觉地图数据采集频率，如果该距离大于采集频率的一半，表明得到的图像级定位结果不是距离汽车当前位置最近的采集点，根据计算得到的位姿决定是选择图像级定位结果前一个采集点或后一个采集点作为新的待定位结果，然后验证新的待定位结果是否符合精度要求，如果符合，则确定该采集点为测量级定位结果即最终定位结果。
CN201710236477.3A 2017-04-12 2017-04-12 一种基于高精度三维地图的视觉定位系统及方法 Active CN107084727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710236477.3A CN107084727B (zh) 2017-04-12 2017-04-12 一种基于高精度三维地图的视觉定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710236477.3A CN107084727B (zh) 2017-04-12 2017-04-12 一种基于高精度三维地图的视觉定位系统及方法

Publications (2)

Publication Number Publication Date
CN107084727A true CN107084727A (zh) 2017-08-22
CN107084727B CN107084727B (zh) 2021-01-19

Family

ID=59612665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710236477.3A Active CN107084727B (zh) 2017-04-12 2017-04-12 一种基于高精度三维地图的视觉定位系统及方法

Country Status (1)

Country Link
CN (1) CN107084727B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741233A (zh) * 2017-11-10 2018-02-27 邦鼓思电子科技（上海）有限公司 一种三维室外地图的构建方法
CN107885800A (zh) * 2017-10-31 2018-04-06 平安科技（深圳）有限公司 地图中目标位置修正方法、装置、计算机设备和存储介质
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN108921772A (zh) * 2018-06-29 2018-11-30 广东星舆科技有限公司 高精度地图采集系统和方法
CN108955673A (zh) * 2018-06-27 2018-12-07 四川斐讯信息技术有限公司 一种头戴式智能穿戴设备、定位系统及定位方法
CN109029442A (zh) * 2018-06-07 2018-12-18 武汉理工大学 基于多视角匹配的定位装置及方法
CN109520500A (zh) * 2018-10-19 2019-03-26 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109872360A (zh) * 2019-01-31 2019-06-11 斑马网络技术有限公司 定位方法及装置、存储介质、电子终端
CN109901207A (zh) * 2019-03-15 2019-06-18 武汉大学 一种北斗卫星系统与图像特征结合的高精度室外定位方法
CN110118987A (zh) * 2019-04-28 2019-08-13 桂林电子科技大学 一种定位导航方法、装置及存储介质
CN110148170A (zh) * 2018-08-31 2019-08-20 北京初速度科技有限公司 一种应用于车辆定位的定位初始化方法及车载终端
CN110647609A (zh) * 2019-09-17 2020-01-03 上海图趣信息科技有限公司 视觉地图定位方法及系统
CN110927743A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种基于多线激光点云极化表征的智能车定位方法
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、系统及计算机可读存储介质
CN111077557A (zh) * 2020-01-02 2020-04-28 东南大学 一种用于机场地勤车辆的定位系统及方法
CN111142145A (zh) * 2019-12-31 2020-05-12 武汉中海庭数据技术有限公司 一种车辆定位方法及装置
CN111191596A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种封闭区域制图方法、装置及存储介质
CN111521186A (zh) * 2020-05-27 2020-08-11 广州小鹏车联网科技有限公司 一种车辆定位方法及装置、车辆、存储介质
CN111830953A (zh) * 2019-04-12 2020-10-27 北京四维图新科技股份有限公司 车辆自定位方法、装置及系统
CN111912416A (zh) * 2019-05-07 2020-11-10 北京市商汤科技开发有限公司 用于设备定位的方法、装置及设备
CN111982133A (zh) * 2019-05-23 2020-11-24 北京地平线机器人技术研发有限公司 基于高精地图对车辆进行定位的方法、装置及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020062193A1 (en) * 2000-09-26 2002-05-23 Ching-Fang Lin Enhanced inertial measurement unit/global positioning system mapping and navigation process
CN101566471A (zh) * 2007-01-18 2009-10-28 上海交通大学 基于地面纹理的智能车视觉全局定位方法
CN101696886A (zh) * 2009-10-29 2010-04-21 哈尔滨工业大学 一种在gps盲区内的电子地图辅助惯性导航方法
US20100121518A1 (en) * 2008-11-11 2010-05-13 Timothy Arthur Tiernan Map enhanced positioning sensor system
CN103149576A (zh) * 2013-01-29 2013-06-12 武汉大学 一种浮动车数据的地图匹配方法
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103744096A (zh) * 2013-12-23 2014-04-23 北京邮电大学 一种多信息融合的定位方法和装置
CN103900580A (zh) * 2014-03-28 2014-07-02 东莞市领航通通信科技有限公司 基于gis技术的北斗/gps与ins组合车载导航定位系统
KR101441461B1 (ko) * 2014-07-30 2014-11-04 주식회사 지오스토리 Ins 정보와 좌표정보의 속성을 이용한 수치지도 통합 갱신 시스템
CN104700402A (zh) * 2015-02-06 2015-06-10 北京大学 基于场景三维点云的视觉定位方法及装置
CN104729485A (zh) * 2015-03-03 2015-06-24 北京空间机电研究所 一种基于车载全景影像与街景地图匹配的视觉定位方法
CN105372690A (zh) * 2015-11-21 2016-03-02 广西南宁至简至凡科技咨询有限公司 一种基于gps与惯性测量单元的列车组合定位系统
US20160146616A1 (en) * 2014-11-21 2016-05-26 Alpine Electronics, Inc. Vehicle positioning by map matching as feedback for ins/gps navigation system during gps signal loss
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020062193A1 (en) * 2000-09-26 2002-05-23 Ching-Fang Lin Enhanced inertial measurement unit/global positioning system mapping and navigation process
CN101566471A (zh) * 2007-01-18 2009-10-28 上海交通大学 基于地面纹理的智能车视觉全局定位方法
US20100121518A1 (en) * 2008-11-11 2010-05-13 Timothy Arthur Tiernan Map enhanced positioning sensor system
CN101696886A (zh) * 2009-10-29 2010-04-21 哈尔滨工业大学 一种在gps盲区内的电子地图辅助惯性导航方法
CN103149576A (zh) * 2013-01-29 2013-06-12 武汉大学 一种浮动车数据的地图匹配方法
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN103744096A (zh) * 2013-12-23 2014-04-23 北京邮电大学 一种多信息融合的定位方法和装置
CN103900580A (zh) * 2014-03-28 2014-07-02 东莞市领航通通信科技有限公司 基于gis技术的北斗/gps与ins组合车载导航定位系统
KR101441461B1 (ko) * 2014-07-30 2014-11-04 주식회사 지오스토리 Ins 정보와 좌표정보의 속성을 이용한 수치지도 통합 갱신 시스템
US20160146616A1 (en) * 2014-11-21 2016-05-26 Alpine Electronics, Inc. Vehicle positioning by map matching as feedback for ins/gps navigation system during gps signal loss
CN104700402A (zh) * 2015-02-06 2015-06-10 北京大学 基于场景三维点云的视觉定位方法及装置
CN104729485A (zh) * 2015-03-03 2015-06-24 北京空间机电研究所 一种基于车载全景影像与街景地图匹配的视觉定位方法
CN105372690A (zh) * 2015-11-21 2016-03-02 广西南宁至简至凡科技咨询有限公司 一种基于gps与惯性测量单元的列车组合定位系统
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GIZAW, MS等: ""Possible impact of climate change on future extreme precipitation of the Oldman, Bow and Red Deer River Basins of Alberta"", 《INTERNATIONAL JOURNAL OF CLIMATOLOGY》 *
刘振宇等: ""基于人工路标和立体视觉的移动机器人自定位"", 《计算机工程与应用》 *
张奕然等: ""智能车双目视觉辅助GNSS定位方法研究"", 《计算机工程与应用》 *
胡月志等: ""基于ＯＲＢ全局特征与最近邻的交通标志快速识别算法"", 《交通信息与安全》 *
陈艳等: ""基于 GPS 和机器视觉的组合导航定位方法"", 《农业工程学报》 *
陈雅芳等: ""基于图像全局和局部颜色特征的图像检索"", 《长春教育学院学报》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885800A (zh) * 2017-10-31 2018-04-06 平安科技（深圳）有限公司 地图中目标位置修正方法、装置、计算机设备和存储介质
CN107885800B (zh) * 2017-10-31 2020-02-14 平安科技（深圳）有限公司 地图中目标位置修正方法、装置、计算机设备和存储介质
WO2019085081A1 (zh) * 2017-10-31 2019-05-09 平安科技（深圳）有限公司 地图中目标位置修正方法、装置、计算机设备和存储介质
CN107741233A (zh) * 2017-11-10 2018-02-27 邦鼓思电子科技（上海）有限公司 一种三维室外地图的构建方法
CN109029442A (zh) * 2018-06-07 2018-12-18 武汉理工大学 基于多视角匹配的定位装置及方法
CN108955673A (zh) * 2018-06-27 2018-12-07 四川斐讯信息技术有限公司 一种头戴式智能穿戴设备、定位系统及定位方法
CN108921772A (zh) * 2018-06-29 2018-11-30 广东星舆科技有限公司 高精度地图采集系统和方法
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN110148170A (zh) * 2018-08-31 2019-08-20 北京初速度科技有限公司 一种应用于车辆定位的定位初始化方法及车载终端
CN109520500A (zh) * 2018-10-19 2019-03-26 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109520500B (zh) * 2018-10-19 2020-10-20 南京航空航天大学 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109872360A (zh) * 2019-01-31 2019-06-11 斑马网络技术有限公司 定位方法及装置、存储介质、电子终端
CN109901207A (zh) * 2019-03-15 2019-06-18 武汉大学 一种北斗卫星系统与图像特征结合的高精度室外定位方法
CN111830953A (zh) * 2019-04-12 2020-10-27 北京四维图新科技股份有限公司 车辆自定位方法、装置及系统
CN111830953B (zh) * 2019-04-12 2024-03-12 北京四维图新科技股份有限公司 车辆自定位方法、装置及系统
CN110118987A (zh) * 2019-04-28 2019-08-13 桂林电子科技大学 一种定位导航方法、装置及存储介质
CN111912416B (zh) * 2019-05-07 2022-07-29 北京市商汤科技开发有限公司 用于设备定位的方法、装置及设备
CN111912416A (zh) * 2019-05-07 2020-11-10 北京市商汤科技开发有限公司 用于设备定位的方法、装置及设备
CN111982133A (zh) * 2019-05-23 2020-11-24 北京地平线机器人技术研发有限公司 基于高精地图对车辆进行定位的方法、装置及电子设备
CN110647609A (zh) * 2019-09-17 2020-01-03 上海图趣信息科技有限公司 视觉地图定位方法及系统
CN110647609B (zh) * 2019-09-17 2023-07-18 上海图趣信息科技有限公司 视觉地图定位方法及系统
CN110927743A (zh) * 2019-12-05 2020-03-27 武汉理工大学 一种基于多线激光点云极化表征的智能车定位方法
CN111046125A (zh) * 2019-12-16 2020-04-21 视辰信息科技(上海)有限公司 一种视觉定位方法、系统及计算机可读存储介质
CN111191596A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种封闭区域制图方法、装置及存储介质
CN111142145A (zh) * 2019-12-31 2020-05-12 武汉中海庭数据技术有限公司 一种车辆定位方法及装置
CN111191596B (zh) * 2019-12-31 2023-06-02 武汉中海庭数据技术有限公司 一种封闭区域制图方法、装置及存储介质
CN111077557A (zh) * 2020-01-02 2020-04-28 东南大学 一种用于机场地勤车辆的定位系统及方法
CN111521186A (zh) * 2020-05-27 2020-08-11 广州小鹏车联网科技有限公司 一种车辆定位方法及装置、车辆、存储介质

Also Published As

Publication number Publication date
CN107084727B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN107084727A (zh) 一种基于高精度三维地图的视觉定位系统及方法
CN107505644B (zh) 基于车载多传感器融合的三维高精度地图生成系统及方法
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN109341706B (zh) 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN107389064B (zh) 一种基于惯性导航的无人车变道控制方法
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
WO2021248636A1 (zh) 一种自动驾驶对象探测和定位系统及方法
CN107229063A (zh) 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
CN103411609B (zh) 一种基于在线构图的飞行器返航路线规划方法
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN108801274B (zh) 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN102353377B (zh) 一种高空长航时无人机组合导航系统及其导航定位方法
CN105300403B (zh) 一种基于双目视觉的车辆里程计算法
US10685571B2 (en) Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method
CN107728175A (zh) 基于gnss和vo融合的无人驾驶车辆导航定位精度矫正方法
CN106407315A (zh) 一种基于街景图像数据库的车辆自主定位方法
CN106461402A (zh) 用于确定相对于数字地图的位置的方法及系统
CN112162297B (zh) 一种剔除激光点云地图中动态障碍伪迹的方法
CN111830953A (zh) 车辆自定位方法、装置及系统
Hu et al. Real-time data fusion on tracking camera pose for direct visual guidance
WO2019012719A1 (en) BINARY DESCRIPTOR USING VERTICAL LINES IN THE IMAGE
CN110378210A (zh) 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN109725339A (zh) 一种紧耦合的自动驾驶感知方法及系统
CN205845332U (zh) 一种车辆定位装置
CN110210384A (zh) 一种道路全局信息实时提取与表示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant