CN111964665B - 基于车载环视图像的智能车定位方法、系统及存储介质 - Google Patents

基于车载环视图像的智能车定位方法、系统及存储介质 Download PDF

Info

Publication number
CN111964665B
CN111964665B CN202010727895.4A CN202010727895A CN111964665B CN 111964665 B CN111964665 B CN 111964665B CN 202010727895 A CN202010727895 A CN 202010727895A CN 111964665 B CN111964665 B CN 111964665B
Authority
CN
China
Prior art keywords
vehicle
positioning
image
control node
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010727895.4A
Other languages
English (en)
Other versions
CN111964665A (zh
Inventor
胡钊政
李飞
彭超
陈佳良
朱云涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010727895.4A priority Critical patent/CN111964665B/zh
Publication of CN111964665A publication Critical patent/CN111964665A/zh
Application granted granted Critical
Publication of CN111964665B publication Critical patent/CN111964665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Abstract

本发明公开一种基于车载环视图像的智能车定位方法、系统及存储介质，属于智能车定位技术领域，解决了现有技术中智能车定位精度低、鲁棒性差的技术问题。一种基于车载环视图像的智能车定位方法，通过车载环视相机获取鱼眼图像，得到环视图像，提取控制节点车位内角点在所述环视图像上的图像坐标；获取惯导系统在GPS坐标系上的坐标，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图和非控制节点地图，根据控制节点地图和非控制节点地图获得最终的完整地图；获取当前车辆的GPS数据，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果。本发明所述方法，提高了智能车辆定位精度和鲁棒性。

Description

基于车载环视图像的智能车定位方法、系统及存储介质
技术领域
本发明涉及智能车定位技术领域，尤其是涉及一种基于车载环视图像的智能车定位方法、系统及计算机可读存储介质。
背景技术
近年来，随着社会智能化和信息化的迅速推进，智能车得到了极大的发展，智能车系统分为四个部分：感知层、决策层、路径规划层以及控制层。智能车要实现自动驾驶，首先需要解决定位问题，目前用于智能车定位的硬件主要有LiDAR(激光雷达)和相机，LiDAR由于价格昂贵，推广普及较为困难；而相机作为一种廉价的图像传感器，一直受到研究者的关注，基于相机的传统智能车定位方法，仅通过一路环境视觉图像(如前视、右视等)实现定位，定位精度低且鲁棒性差，无法满足智能车定位需求。
发明内容
有鉴于此，本发明提供了一种基于车载环视图像的智能车定位方法、系统及计算机可读存储介质，解决智能车辆定位精度低、鲁棒性差的技术问题。
一方面，本发明提供了一种基于车载环视图像的智能车定位方法，包括以下步骤：
通过车载环视相机获取鱼眼图像，根据车载环视相机内参数和外参数对所述鱼眼图像进行矫正变换，得到矫正变换图，将矫正变换图转变为俯视图；
将所述俯视图进行剪切和拼接，得到环视图像，提取控制节点车位内角点在所述环视图像上的图像坐标；
根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图和非控制节点地图，根据控制节点地图和非控制节点地图获得最终的完整地图；
获取当前车辆的GPS数据，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果。
进一步地，所述基于车载环视图像的智能车定位方法还包括，对车载环视相机进行标定，获取相机内参数及外参数。
进一步地，根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，具体包括，将控制节点车位内角点在所述环视图像上的图像坐标与控制节点车位内角点的GPS信息关联，获取环视图像坐标系与GPS坐标系的转换关系，根据惯导系统在环视图像上的图像坐标及环视图像坐标系与GPS坐标系的转换关系，获取惯导系统在GPS坐标系上的坐标。
进一步地，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图，具体包括，提取控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符以及惯导系统采集的航向角信息，根据所述惯导系统在GPS坐标系上的坐标、惯导系统采集航向角信息、控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符制作出控制节点地图。
进一步地，根据所述惯导系统在GPS坐标系上的坐标制作出非控制节点地图，具体包括，提取非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符以及惯导系统采集的航向角信息，根据所述惯导系统在GPS坐标系上的坐标、惯导系统采集航向角信息、非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符制作出非控制节点地图。
进一步地，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果，具体包括，获取当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，取最小的欧式距离对应的地图节点为初步定位节点，选取初步定位节点的前后若个米作为初步定位结果，根据所述最小的欧式距离及初步定位结果，获取当前车辆定位结果。
进一步地，根据所述最小的欧式距离及初步定位结果，确定当前车辆定位结果，具体包括，若所述最小的欧式距离大于初定位阈值，则将初步定位结果进行VO和卡尔曼滤波计算，获取当前车辆定位结果，若所述最小的欧式距离不大于初定位阈值，将初步定位结果及所述当前车辆的GPS数据进行全局特征匹配，获取当前车辆的GPS数据与初步定位结果中的GPS数据的汉明距离，取最小的汉明距离对应的地图节点为节点级定位节点，根据节点级定位节点及汉明距离，获取当前车辆定位结果。
进一步地，根据节点级定位节点及汉明距离，获取当前车辆定位结果，具体包括，若汉明距离大于节点级定位阈值，则将节点级定位节点进行VO和卡尔曼滤波计算，获取当前车辆定位结果，若汉明距离不大于节点级定位阈值，通过当前图像的局部ORB特征与对应地图中的局部ORB特征进行匹配，获取相匹配特征点，若相匹配特征点不小于全局定位阈值，则根据所述相匹配特征点、定位车辆与全局坐标系的坐标变换关系，得到相匹配特征点在全局坐标系下的坐标，以该坐标作为当前车辆定位结果；若局部ORB特征小于全局定位阈值，则对相匹配特征点利用VO和卡尔曼滤波计算，得到当前车辆定位结果。
另一方面，本发明还提供了一种基于车载环视图像的智能车定位系统包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述任一技术方案所述的基于车载环视图像的智能车定位方法。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机该程序被处理器执行时，实现如上述任一技术方案所述的基于车载环视图像的智能车定位方法。
与现有技术相比，本发明的有益效果包括：通过车载环视相机获取鱼眼图像，根据车载环视相机内参数和外参数对所述鱼眼图像进行矫正变换，得到矫正变换图，将矫正变换图转变为俯视图；将所述俯视图进行剪切和拼接，得到环视图像，提取控制节点车位内角点在所述环视图像上的图像坐标；根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图和非控制节点地图，根据控制节点地图和非控制节点地图获得最终的完整地图；获取当前车辆的GPS数据，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果；提高了智能车辆定位精度和鲁棒性。
附图说明
图1为本发明实施例1所述的基于车载环视图像的智能车定位方法的流程示意图；
图2为本发明实施例1所述的鱼眼图像；
图3为本发明实施例1所述的矫正变换图；
图4为本发明实施例1所述的俯视图；
图5为本发明实施例1所述的环视拼接图；
图6为本发明实施例1所述控制节点地图；
图7为本发明实施例1所述非控制节点地图；
图8为本发明实施例1所述定位误差示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本发明实施例提供了一种基于车载环视图像的智能车定位方法，其流程示意图，如图1所示，所述方法包括以下步骤：
S1、通过车载环视相机获取鱼眼图像，根据车载环视相机内参数和外参数对所述鱼眼图像进行矫正变换，得到矫正变换图，将矫正变换图转变为俯视图；
S2、将所述俯视图进行剪切和拼接，得到环视图像，提取控制节点车位内角点在所述环视图像上的图像坐标；
S3、根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图和非控制节点地图，根据控制节点地图和非控制节点地图获得最终的完整地图；
S4、获取当前车辆的GPS数据，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果。
优选的，基于车载环视图像的智能车定位方法还包括，对车载环视相机进行标定，获取相机内参数及外参数；
一个具体实施例中，通过相机标定、畸变矫正、俯视变换、图像拼接等过程将待定位车辆前后左右四个方向通过鱼眼相机采集到的鱼眼图像拼接成完整的环视拼接图(环视图像)；鱼眼图像，如图2(1)-2(4)所示，图2(1)-2(4)分别是鱼眼图像的前视图、后视图、左视图、右视图；通过张正友标定法对四个车载鱼眼相机进行标定，获得四个车载鱼眼相机的标定参数，即内参数与外参数，标定原理如下
Figure BDA0002598870790000041
上式中外参数包含旋转矩阵R＝[R1,R2,R3]和一个平移向量T，内参数为矩阵K，(u，v)为图像坐标，(x，y，z)为世界坐标，对于畸变矫正，利用标定所求得的鱼眼相机内、外参数，对鱼眼图像进行畸变矫正，再通过相应程序调整视场大小，即可得到符合要求的矫正变换图；对鱼眼图像进行矫正变换，得到矫正变换图，如图3(1)-(4)所示，图3(1)-(4)分别对应鱼眼图像的前视图、后视图、左视图、右视图的矫正变换图；
俯视变换主要是将鱼眼图像的矫正变换图变为俯视图；首先，以现实中巨大棋盘格的任一角点为原点，构建物理坐标系，在棋盘格中选取不少于4个且不在一条直线上的控制点，记录这些控制点的真实物理坐标；然后，在鱼眼图像的矫正变换图中找到这些控制点的位置，并记录这些控制点的图像坐标；最后，将这些控制点的物理坐标和图像坐标相关联，即可求得单应矩阵H，求解单应矩阵的公式如下式所示
Figure BDA0002598870790000051
其中，(x1,y1)为图像坐标，(x2,y2)为物理坐标，H为单应矩阵；根据所求得的单应矩阵H，就能将鱼眼图像的矫正变换图变为俯视图，俯视图，如图4(1)-(4)所示，图4(1)-(4)为前、后、左、右四个方向的俯视图(俯视变换图)，图像拼接的主即是对俯视变换图进行合理的剪切和拼接，在前、后、左、右四个方向的俯视变换图上选定需要的部分，并进行剪切，获得剪切图，然后按照一定顺序，对这些剪切图进行拼接，即可获得环视拼接图，所述环视拼接图，如图5所示；
优选的，根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，具体包括，将控制节点车位内角点在所述环视图像上的图像坐标与控制节点车位内角点的GPS信息关联，获取环视图像坐标系与GPS坐标系的转换关系，根据惯导系统在环视图像上的图像坐标及环视图像坐标系与GPS坐标系的转换关系，获取惯导系统在GPS坐标系上的坐标；
优选的，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图，具体包括，提取控制节点图像的ORB(Oriented Fast and Rotated Brief)全局描述符、ORB局部特征点、ORB局部特征点描述符以及惯导系统采集的航向角信息，根据所述惯导系统在GPS坐标系上的坐标、惯导系统采集航向角信息、控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符制作出控制节点地图；
一个具体实施例中，结合控制节点环视图像、控制节点车位内角点高精度GPS坐标等信息来制作控制节点地图；控制节点图像是指环视图中包含高精度GPS信息的图像，提取图像ORB全局描述符、图像ORB局部特征点、图像ORB局部特征点描述符、控制节点车位内角点图像坐标、控制节点车位内角点高精度GPS坐标及INS装置采集航向角等信息，再结合这些信息进行控制节点图像制图；
首先，提取控制节点车位内角点在环视图像上的图像坐标，并将其与控制节点车位内角点的高精度GPS信息相关联，可求得环视图像坐标系与高精度GPS坐标系的转换关系；结合INS(惯导系统)装置在环视图像上的图像坐标及环视图像坐标系与高精度GPS坐标系的转换关系，就可以求出INS装置在高精度GPS坐标系上的具体坐标，然后，提取控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符，并进行储存，最后，根据INS装置的高精度GPS坐标及环视图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符及INS装置采集航向角信息，即可制作出控制节点地图，如图6(1)-(2)所示；
优选的，根据所述惯导系统在GPS坐标系上的坐标制作出非控制节点地图，具体包括，提取非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符以及惯导系统采集的航向角信息，根据所述惯导系统在GPS坐标系上的坐标、惯导系统采集航向角信息、非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符制作出非控制节点地图；
一个具体实施中，结合非控制节点环视图像、INS装置采集的GPS坐标及航向角等信息来制作非控制节点地图，非控制节点图像是指环视图中不包含任何高精度GPS信息的图像，提取图像ORB全局描述符、图像ORB局部特征点、图像ORB局部特征点描述符、INS装置采集的GPS坐标及航向角等信息，再结合这些信息进行非控制节点图像制图；
首先，提取非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符，并进行储存；然后，提取INS装置采集的GPS坐标及航向角等信息，并进行储存；最后，将非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符、INS装置采集的GPS坐标及航向角等信息相结合，就可以制作出非控制节点地图，如图7(1)-(2)所示；控制节点地图和非控制节点地图进行合并，从而获得最终的完整地图；
优选的，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果，具体包括，获取当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，取最小的欧式距离对应的地图节点为初步定位节点，选取初步定位节点的前后若个米作为初步定位结果，根据所述最小的欧式距离及初步定位结果，获取当前车辆定位结果；
一个具体实施例中，定位分为初定位、节点级定位、全局定位三个部分；初定位即利用INS接收的GPS信息进行地图节点筛选，缩小定位范围；节点级定位利用全局ORB特征匹配得到节点级定位范围，挑选出与当前图像最近的一帧地图数据；全局定位在节点级定位的基础上，通过当前图像局部ORB特征与对应地图中的局部ORB特征进行匹配，实现与制图车辆之间的相对定位；
初定位在视觉匹配中具有重要的作用；初定位可以显著减少视觉匹配的搜索区间，从而大大提高计算效率；同时，初定位可以提高视觉匹配的精度与稳定性；INS一般情况下都是在GPS坐标系下使用，在地下停车场内使用时，需要在室外进行初始化，进入停车场内后，在完全失锁的情况下，进行DR(Dead Reckoning,航位推算)，输出车辆在停车场局部坐标系下的坐标；
基于GPS数据的初定位，需要计算当前INS装置采集的GPS数据与地图节点中存储的GPS数据的欧氏距离，取得到最小欧氏距离的地图节点为定位节点，但由于地下停车场中INS数据(GPS、航向角)误差较大，不能作为准确定位结果，故选取定位节点的前后(周围)设定距离(例如10米，可以根据INS数据误差调整)为初定位结果；
另一个具体实施例中，设定初定位阈值，若当前INS数据(当前车辆的GPS数据)与地图中所有GPS点的距离均大于设定初定位阈值，则不进行节点级定位和全局定位，利用VO(视觉里程计)和卡尔曼滤波计算得到当前车辆定位结果；
优选的，根据所述最小的欧式距离及初步定位结果，确定当前车辆定位结果，具体包括，若所述最小的欧式距离大于初定位阈值，则将初步定位结果进行VO和卡尔曼滤波计算，获取当前车辆定位结果，若所述最小的欧式距离不大于初定位阈值，将初步定位结果及所述当前车辆的GPS数据进行全局特征匹配，获取当前车辆的GPS数据与初步定位结果中的GPS数据的汉明距离，取最小的汉明距离对应的地图节点为节点级定位节点，根据节点级定位节点及汉明距离，获取当前车辆定位结果；
一个具有实施例中，若所述最小的欧式距离不大于初定位阈值，则需要进行节点级定位，在初定位的范围内，利用全局ORB特征匹配得到节点级定位范围。节点级定位可以定位到与当前图像最近的一帧地图数据，大大减少了数据的处理量，提高运算效率。全局特征匹配通过计算汉明距离实现，公式如下所示；
Figure BDA0002598870790000071
其中，X1、X2表示表示两个不同的全局特征，i表示Xj(j＝1,2)中的第i个，选择与待定位图像汉明距离最小的地图节点作为节点级定位结果；
与初定位类似，如全局ORB匹配的距离大于节点级定位阈值(这里的阈值指描述符间的汉明距离)，则不进行全局定位，利用VO和卡尔曼滤波计算得到当前车辆定位结果；
优选的，根据节点级定位节点及汉明距离，获取当前车辆定位结果，具体包括，汉明距离大于节点级定位阈值，则将节点级定位节点进行VO和卡尔曼滤波计算，获取当前车辆定位结果，若汉明距离不大于节点级定位阈值，通过当前图像的局部ORB特征与对应地图中的局部ORB特征进行匹配，获取相匹配特征点，若相匹配特征点不小于全局定位阈值，则根据所述相匹配特征点、定位车辆与全局坐标系的坐标变换关系，得到相匹配特征点在全局坐标系下的坐标，以该坐标作为当前车辆定位结果；若局部ORB特征小于全局定位阈值，则对相匹配特征点利用VO和卡尔曼滤波计算，得到当前车辆定位结果；
一个具体实施例中，在汉明距离不大于节点级定位阈值的情况下，在节点级定位的基础上，通过当前图像局部ORB特征与对应地图中的局部ORB特征进行匹配，根据相匹配特征点获取待定位车辆与制图车辆的位姿转换关系(旋转向量R1、平移向量t1)，从而实现定位车辆与制图车辆之间的相对定位；制图车辆在制图过程中，已经通过前后帧环视图像ORB局部特征匹配以及控制节点实现了车辆与全局坐标系的坐标变换关系(旋转向量R2、平移向量t2)；从而，通过两次坐标变换，即从定位车辆至制图车辆位姿转换关系(旋转向量R1、平移向量t1)、制图车辆至全局坐标系的坐标变换关系(旋转向量R2、平移向量t2)；获取定位车辆至全局坐标系的坐标变换关系(旋转向量R2、平移向量t2)，从而得到相匹配特征点在全局坐标系下的坐标，完成定位。全局定位示意图，如图6所示；与初定位和节点级定位类似，当局部ORB匹配小于全局定位阈值(这里的阈值并非距离，而是良好匹配的点对个数)，则利用VO和卡尔曼滤波计算得到当前车辆定位结果；为测试系统性能，选取某地下停车场为实验地点，实验路线总长度约为3km；定位误差示意图，如图8所示，定位误差均值为25cm，满足车辆定位精度要求。
实施例2
本发明实施例提供了一种基于车载环视图像的智能车定位系统包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述实施例1所述的基于车载环视图像的智能车定位方法。
实施例3
本发明实施例提供了一种计算机可读存储介质，所述计算机该程序被处理器执行时，实现如实施例1所述的基于车载环视图像的智能车定位方法。
本发明公开了一种基于车载环视图像的智能车定位方法、系统及计算机可读存储介质，通过车载环视相机获取鱼眼图像，根据车载环视相机内参数和外参数对所述鱼眼图像进行矫正变换，得到矫正变换图，将矫正变换图转变为俯视图；将所述俯视图进行剪切和拼接，得到环视图像，提取控制节点车位内角点在所述环视图像上的图像坐标；根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图和非控制节点地图，根据控制节点地图和非控制节点地图获得最终的完整地图；获取当前车辆的GPS数据，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果；提高了智能车辆定位精度和鲁棒性。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种基于车载环视图像的智能车定位方法，其特征在于，包括以下步骤：
通过车载环视相机获取鱼眼图像，根据车载环视相机内参数和外参数对所述鱼眼图像进行矫正变换，得到矫正变换图，将矫正变换图转变为俯视图；
将所述俯视图进行剪切和拼接，得到环视图像，提取控制节点车位内角点在所述环视图像上的图像坐标；
根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图和非控制节点地图，根据控制节点地图和非控制节点地图获得最终的完整地图；
获取当前车辆的GPS数据，根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果；
根据所述当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，获取当前车辆定位结果，具体包括，获取当前车辆的GPS数据与所述完整地图中的GPS数据的欧式距离，取最小的欧式距离对应的地图节点为初步定位节点，选取初步定位节点的前后若干米作为初步定位结果，根据所述最小的欧式距离及初步定位结果，获取当前车辆定位结果；
根据所述最小的欧式距离及初步定位结果，确定当前车辆定位结果，具体包括，若所述最小的欧式距离大于初定位阈值，则将初步定位结果进行VO和卡尔曼滤波计算，获取当前车辆定位结果，若所述最小的欧式距离不大于初定位阈值，将初步定位结果及所述当前车辆的GPS数据进行全局特征匹配，获取当前车辆的GPS数据与初步定位结果中的GPS数据的汉明距离，取最小的汉明距离对应的地图节点为节点级定位节点，根据节点级定位节点及汉明距离，获取当前车辆定位结果；
根据节点级定位节点及汉明距离，获取当前车辆定位结果，具体包括，若汉明距离大于节点级定位阈值，则将节点级定位节点进行VO和卡尔曼滤波计算，获取当前车辆定位结果，若汉明距离不大于节点级定位阈值，通过当前图像的局部ORB特征与对应地图中的局部ORB特征进行匹配，获取相匹配特征点，若相匹配特征点不小于全局定位阈值，则根据所述相匹配特征点、定位车辆与全局坐标系的坐标变换关系，得到相匹配特征点在全局坐标系下的坐标，以该坐标作为当前车辆定位结果；若局部ORB特征小于全局定位阈值，则对相匹配特征点利用VO和卡尔曼滤波计算，得到当前车辆定位结果。
2.根据权利要求1所述的基于车载环视图像的智能车定位方法，其特征在于，还包括，对车载环视相机进行标定，获取相机内参数及外参数。
3.根据权利要求1所述的基于车载环视图像的智能车定位方法，其特征在于，根据控制节点车位内角点在所述环视图像上的图像坐标，获取惯导系统在GPS坐标系上的坐标，具体包括，将控制节点车位内角点在所述环视图像上的图像坐标与控制节点车位内角点的GPS信息关联，获取环视图像坐标系与GPS坐标系的转换关系，根据惯导系统在环视图像上的图像坐标及环视图像坐标系与GPS坐标系的转换关系，获取惯导系统在GPS坐标系上的坐标。
4.根据权利要求1所述的基于车载环视图像的智能车定位方法，其特征在于，根据所述惯导系统在GPS坐标系上的坐标制作出控制节点地图，具体包括，提取控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符以及惯导系统采集的航向角信息，根据所述惯导系统在GPS坐标系上的坐标、惯导系统采集航向角信息、控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符制作出控制节点地图。
5.根据权利要求1所述的基于车载环视图像的智能车定位方法，其特征在于，根据所述惯导系统在GPS坐标系上的坐标制作出非控制节点地图，具体包括，提取非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符以及惯导系统采集的航向角信息，根据所述惯导系统在GPS坐标系上的坐标、惯导系统采集航向角信息、非控制节点图像的ORB全局描述符、ORB局部特征点、ORB局部特征点描述符制作出非控制节点地图。
6.一种基于车载环视图像的智能车定位系统，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-5任一所述的基于车载环视图像的智能车定位方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-5任一所述的基于车载环视图像的智能车定位方法。
CN202010727895.4A 2020-07-23 2020-07-23 基于车载环视图像的智能车定位方法、系统及存储介质 Active CN111964665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010727895.4A CN111964665B (zh) 2020-07-23 2020-07-23 基于车载环视图像的智能车定位方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010727895.4A CN111964665B (zh) 2020-07-23 2020-07-23 基于车载环视图像的智能车定位方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111964665A CN111964665A (zh) 2020-11-20
CN111964665B true CN111964665B (zh) 2022-07-12

Family

ID=73362618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010727895.4A Active CN111964665B (zh) 2020-07-23 2020-07-23 基于车载环视图像的智能车定位方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111964665B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112660121A (zh) * 2020-12-19 2021-04-16 广州亚美智造科技有限公司 隐患车辆的识别预警方法、装置、车载终端和存储介质
CN113701718B (zh) * 2021-07-06 2024-03-19 海策信息科技(浙江)有限公司 一种测绘地图数据采集方法、系统、存储介质及智能终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091316A (zh) * 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种车辆鸟瞰辅助系统图像数据处理方法
WO2019219077A1 (zh) * 2018-05-18 2019-11-21 京东方科技集团股份有限公司 定位方法、定位装置、定位系统、存储介质及离线地图数据库的构建方法
CN110609311A (zh) * 2019-10-10 2019-12-24 武汉理工大学 基于车载环视图像与毫米波雷达融合的智能车定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727009B (zh) * 2019-10-10 2023-04-11 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091316A (zh) * 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种车辆鸟瞰辅助系统图像数据处理方法
WO2019219077A1 (zh) * 2018-05-18 2019-11-21 京东方科技集团股份有限公司 定位方法、定位装置、定位系统、存储介质及离线地图数据库的构建方法
CN110609311A (zh) * 2019-10-10 2019-12-24 武汉理工大学 基于车载环视图像与毫米波雷达融合的智能车定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multiscale Site Matching for Vision-Only Self-Localization of Intelligent Vehicles;Yicheng Li，et al.;《IEEE：IEEE Intelligent Transportation Systems Magazine》;20181231;第10卷(第3期);全文 *
基于地面特征点匹配的无人驾驶车全局定位;方辉等;《机器人》;20100115(第01期);全文 *

Also Published As

Publication number Publication date
CN111964665A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
WO2021073656A1 (zh) 图像数据自动标注方法及装置
WO2020062434A1 (zh) 一种相机外部参数的静态标定方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN111986261B (zh) 一种车辆定位方法、装置、电子设备及存储介质
CN111964665B (zh) 基于车载环视图像的智能车定位方法、系统及存储介质
CN107808395A (zh) 一种基于slam的室内定位方法
CN111968177A (zh) 一种基于固定摄像头视觉的移动机器人定位方法
WO2023065342A1 (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN113012197A (zh) 一种适用于动态交通场景的双目视觉里程计定位方法
CN112762945A (zh) 高精度地图全要素采集设备的信息同步方法、系统及装置
CN110286384B (zh) 一种基于多线激光点云极化表征的高精度地图生成系统及方法
CN113450389B (zh) 一种目标跟踪方法、装置及电子设备
CN112652062A (zh) 一种点云地图构建方法、装置、设备和存储介质
WO2024093635A1 (zh) 相机位姿估计方法、装置及计算机可读存储介质
Gokhool et al. A dense map building approach from spherical RGBD images
CN117253029A (zh) 基于深度学习的图像匹配定位方法及计算机设备
CN111191596A (zh) 一种封闭区域制图方法、装置及存储介质
CN114111817A (zh) 基于slam地图与高精度地图匹配的车辆定位方法及系统
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN113850293A (zh) 基于多源数据和方向先验联合优化的定位方法
CN117170501B (zh) 基于点线融合特征的视觉跟踪方法
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant