CN114037762A - 基于图像与高精度地图配准的实时高精度定位方法 - Google Patents

基于图像与高精度地图配准的实时高精度定位方法 Download PDF

Info

Publication number
CN114037762A
CN114037762A CN202111385632.0A CN202111385632A CN114037762A CN 114037762 A CN114037762 A CN 114037762A CN 202111385632 A CN202111385632 A CN 202111385632A CN 114037762 A CN114037762 A CN 114037762A
Authority
CN
China
Prior art keywords
camera
point
image
point set
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111385632.0A
Other languages
English (en)
Inventor
惠念
刘圆
刘春成
何云
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202111385632.0A priority Critical patent/CN114037762A/zh
Publication of CN114037762A publication Critical patent/CN114037762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于图像与高精度地图配准的实时高精度定位方法，方法包括：标定相机内外参；提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线，将其从世界坐标系转换到图像坐标系，得到第二点集合L；将第一点集合l和第二点集合L进行双向匹配，形成点对集合S；基于匹配结果，解算相机的位姿信息；对相机的位姿信息进行异常识别与优化。本发明相较于现有的单纯依赖GNSS信号的定位方法，在信号较差的地方，有更强的鲁棒性，能够辅助提高定位精度；因为匹配了先验的高精度地图数据，有较高的可靠性；算法复杂度低，可靠性高，计算效率也更高。

Description

基于图像与高精度地图配准的实时高精度定位方法
技术领域
本发明涉及室内室外定位领域，更具体地，涉及一种基于图像与高精度地图配准的实时高精度定位方法。
背景技术
装配GNSS是目前室外定位场景中最为广泛使用的定位手段，因为GNSS设备价格相对较低，连接基站信息，就很容易获取定位信息。但是在高楼林立的城市区域，GNSS信号容易被遮挡，导致定位精度出现偏差。在自动驾驶等领域，会配置IMU进行组合导航a，确保较高的定位精度。室内定位等局部定位场景通常使用Slam实时定位与构图技术。其中结合激光雷达的Slam也被称为激光slam(Lslam)技术，结合相机的slam也被称为视觉slam(vslam)技术。激光slam技术由于激光雷达是3d扫描仪，容易获取到被扫描物体表面的三维信息，在扫地机器人等部分室内定位场景中被广泛应用。但是激光雷达价格相对较高，对雨雪雾等恶劣天气比较敏感。视觉slam技术由于单个相机只能获取物体的二维信息，在定位精度上相对略差。为弥补相机的缺陷，现在也有一些方法使用双目、三目相机，或者深度相机，来间接计算出物体的三维信息。虽然精度略有提升，但是也带来了新的问题，例如算法的计算复杂度提升等等。
发明内容
本发明针对现有技术中存在的技术问题，根据本发明的第一方面，提供一种基于图像与高精度地图配准的实时高精度定位方法，包括：
标定相机内外参；
提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；
将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；
基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；
将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；
基于匹配点对集合S，解算相机的位姿信息；
对所述相机的位姿信息进行异常识别与优化。
根据本发明的第二方面，提供一种基于图像与高精度地图配准的实时高精度定位系统，包括：
标定模块，用于标定相机内外参；
提取模块，用于提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；
转换模块，用于将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；以及基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；
匹配模块，用于将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；
解算模块，用于基于匹配点对集合S，解算相机的位姿信息；
优化模块，用于对所述相机的位姿信息进行异常识别与优化。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于图像与高精度地图配准的实时高精度定位方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于图像与高精度地图配准的实时高精度定位方法的步骤。
本发明提供的一种基于图像与高精度地图配准的实时高精度定位方法及系统，标定相机内外参；提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线，将其从世界坐标系转换到图像坐标系，得到第二点集合L；将第一点集合l和第二点集合L进行双向匹配，形成点对集合S；基于匹配结果，解算相机的位姿信息；对相机的位姿信息进行异常识别与优化。本发明相较于现有的单纯依赖GNSS信号的定位方法，在信号较差的地方，有更强的鲁棒性，能够辅助提高定位精度；因为匹配了先验的高精度地图数据，有较高的可靠性；算法复杂度低，可靠性高，计算效率也更高。
附图说明
图1为本发明提供的一种基于图像与高精度地图配准的实时高精度定位方法流程图；
图2为本发明提供的一种基于图像与高精度地图配准的实时高精度定位系统的结构示意图；
图3为本发明提供的一种可能的电子设备的硬件结构示意图；
图4为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
一种基于图像与高精度地图配准的实时高精度定位方法，参见图1，主要包括：标定相机内外参；提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；基于匹配点对集合S，解算相机的位姿信息；对所述相机的位姿信息进行异常识别与优化。
可以理解的是，本发明旨在提出一种室内室外都可以使用的，基于图像与高精度地图配准的实时高精度定位方法。用于室外场景时，需要配置GNSS，无需IMU。GNSS设备的主要作用是确定当前位置的全局坐标，和高精度地图进行初步的位置匹配，并实现从全局坐标系到局部坐标系的初步变换。相机图像信息能反映当前位置的周围环境，高精度地图可以提供周围环境的先验信息，再通过图像信息与高精度地图的匹配进行精确定位。本发明使用高精度地图，相较于slam技术中的实时构图而言，高精度地图精度更高、更完整、更准确、更可靠、错误率更低，匹配的算法复杂度更低，对算力的要求更低，运行效率更高。室外场景的高精度地图，一般来源于高精度地图供应商。室内场景的高精度地图，可以由室内设计图转换而来。
实施例二
一种基于图像与高精度地图配准的实时高精度定位方法，通过标定获得相机内外参的初始值，再实时进行图像语义分割，对图像语义和高精度地图语义进行配准，求解位姿，实现高精度实时定位。主要包括以下步骤：
S1，标定相机内外参。
作为实施例，所述标定相机内外参，包括：使用张正友棋盘格标定法，标定相机内参，包括像主点坐标(cx，cy)和相机焦距(fx，fy)；使用皮尺粗略量测相机在车身坐标系中的横纵坐标和高程坐标。
可以理解的是，在对相机内外参进行标定时，使用现有的张正友棋盘格标定法对相机的内外参进行标定，在此，对张正友棋盘格标定法不作详细的说明。
S2，提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m。
作为实施例，所述提取相机图像中的车道线的第一点集合l，包括：基于包含车道线的图像对预设UNet网络进行训练；利用训练后的预设UNet网络提取相机图像中的车道线，得到车道线的第一点集合l。
具体的，从相机图像中提取车道线时，利用UNet网络对图像中的车道线语义进行分割，具体实施如下：
使用包含车道线的图像作为数据集，对预设UNet网络进行训练，得到训练后UNet网络，后续进行图像中的车道线语义分割；实时访问相机传输图像，使用训练好的UNet网络分割图像中的车道线，车道线上的像素点的图像坐标记为(I x,I y)。
S3，将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中。
可以理解的是，要将相机图像中的车道线数据与高精度地图中的车道线数据进行配准时，需要将两个图像中的数据转换到同一个坐标系中。本发明将从高精度地图中提取的车道线数据从世界坐标系转换到图像坐标系，需要在车身上安装GNSS设备。
具体的，访问GNSS设备传输数据，基于时间戳匹配到与相机触发时间最接近的GNSS信号，获取当前位置P0(x0,y0,z0)和上一个位置P1(x1,y1,z1)。
基于P0和P1使用公式(1)计算当前的航向yaw：
Figure BDA0003366872690000061
基于航向yaw，按照公式(2)计算3*3的旋转矩阵R：
Figure BDA0003366872690000062
按照公式(3)、(4)将高精度地图数据的每个点坐标(x,y,z)按照P0(x0,y0,z0)偏移以及按照R旋转，将点坐标每个点坐标(x,y,z)转换到车身坐标系中的点坐标(xc,yc,zc)：
Figure BDA0003366872690000063
Figure BDA0003366872690000064
对于转换后的点坐标(xc,yc,zc)，会存在一些异常数据，对这些数据进行异常筛选剔除，可按照如下条件进行剔除：
Figure BDA0003366872690000071
其中，Threshold_H为横向距离阈值，可取固定值15；Threshold_V为纵向距离阈值，可取固定值60；Threshold_E为高程距离阈值，可取固定值5；HEIGHT为当前定位设置高度，例如自动驾驶汽车的车身高度。
将满足上述条件的点坐标剔除，保留比较正常的坐标数据。
S4，基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L。
可以理解的是，将车身布局坐标系中的每一个点坐标投影到图像坐标系上，每个点对应的图像坐标记为(Lx,Ly)：
Figure BDA0003366872690000072
S5，将第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S。
作为实施例，将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S，包括：基于第一点集合l中的任一个点，在第二点集合L中进行检索，形成第一匹配对点集S1；基于第二点集合L中的任一个点，在第一点集合l检索，形成第二匹配对点集S2；其中，第一匹配对点集S1和所述第二匹配对点集S2共同构成所述点对集合S。
S6，基于匹配点对集合S，解算相机的位姿信息。
具体的，将重投影误差函数f作为代价函数：
Figure BDA0003366872690000081
其中，(lx,ly)为第一点集合l中的点坐标，(Lx,Ly)为第二点集合L中的点坐标。
通过调整相机的位姿信息，不断计算对应的代价函数，以代价函数最小为目标，解算得到相机的位姿信息(x,y,z,r1,r2,r3)，其中，x、y、z为相机的空间x轴坐标、y轴坐标和z轴坐标，r1,r2,r3为相机的姿态角，分别为滚动角、俯仰角和航向角。
通过调整相机的位姿信息，不断进行两幅图像车道线数据的配准，不断计算对应的代价函数，以代价函数最小为目标，解算得到相机的位姿信息(x,y,z,r1,r2,r3)，其中，x、y、z为相机的空间x轴坐标、y轴坐标和z轴坐标，r1,r2,r3为相机的姿态角，分别为滚动角、俯仰角和航向角。
S7，对相机的位姿信息进行异常识别与优化。
基于卡尔曼滤波的异常位姿识别与优化，具体实施如下：
S71：根据上一帧图像拍摄时刻相机的位姿，估计当前帧图像拍摄时刻的相机位姿(x,y,z,r1,r2,r3)a；
S72：根据当前相机图像中立杆与地图投影成像中立杆的配准，求解当前帧图像拍摄时刻的相机位姿(x,y,z,r1,r2,r3)b；
S73：假设连续帧的相机位姿呈正态分布a，每一帧图像与地图配准的相机位姿呈正态分布b，根据卡尔曼滤波，求解当前帧图像拍摄时刻的相机位姿(x,y,z,r1,r2,r3)c；
S74：比对(x,y,z,r1,r2,r3)c与(x,y,z,r1,r2,r3)a，如果出现较为明显的波动，则结合上一帧与当前帧GNSS和I MU的值，对(x,y,z,r1,r2,r3)a进行线性变换，平滑消除跳变。
通过上述步骤S1～S7，可以实现基于图像与高精度地图配准的实时定位方法。
实施例三
一种基于图像与高精度地图配准的实时高精度定位系统，参见图2，该定位系统包括标定201、提取模块202、转换模块203、匹配模块204、解算模块205和优化模块，其中：
标定模块201，用于标定相机内外参；
提取模块202，用于提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；
转换模块203，用于将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；以及基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；
匹配模块204，用于将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；
解算模块205，用于基于匹配点对集合S，解算相机的位姿信息；
优化模块206，用于对所述相机的位姿信息进行异常识别与优化。
可以理解的是，本发明提供的一种基于图像与高精度地图配准的实时高精度定位系统与前述各实施例提供的基于图像与高精度地图配准的实时高精度定位方法相对应，基于图像与高精度地图配准的实时高精度定位系统的相关技术特征可参考基于图像与高精度地图配准的实时高精度定位方法的相关技术特征，在此不再赘述。
实施例四
请参阅图3，图3为本发明实施例提供的电子设备的实施例示意图。如图3所示，本发明实施例提了一种电子设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现以下步骤：标定相机内外参；提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；基于匹配点对集合S，解算相机的位姿信息；对所述相机的位姿信息进行异常识别与优化。
实施例五
请参阅图4，图4为本发明提供的一种计算机可读存储介质的实施例示意图。如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现如下步骤：标定相机内外参；提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；基于匹配点对集合S，解算相机的位姿信息；对所述相机的位姿信息进行异常识别与优化。
本发明实施例提供的一种基于图像与高精度地图配准的实时高精度定位方法，通过标定获得相机内外参的初始值，再实时进行图像语义分割，对图像语义和高精度地图语义进行配准，求解位姿，实现高精度实时定位，相较于现有的单纯依赖GNSS信号的定位方法，在信号较差的地方，有更强的鲁棒性，能够辅助提高定位精度。并且因为匹配了先验的高精度地图数据，有较高的可靠性。相较于激光slam和视觉slam等常用室内定位的slam技术，算法复杂度低，可靠性高，计算效率也更高。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于图像与高精度地图配准的实时高精度定位方法，其特征在于，包括：
标定相机内外参；
提取相机图像中的车道线的第一点集合l，以及提取高精度地图中的车道线的第二点集合m；
将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中；
基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L；
将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S；
基于匹配点对集合S，解算相机的位姿信息；
对所述相机的位姿信息进行异常识别与优化。
2.根据权利要求1所述的实时高精度定位方法，其特征在于，所述标定相机内外参，包括：
使用张正友棋盘格标定法，标定相机内参，包括像主点坐标(cx，cy)和相机焦距(fx，fy)；
使用皮尺粗略量测相机在车身坐标系中的横纵坐标和高程坐标。
3.根据权利要求1所述的实时高精度定位方法，其特征在于，所述提取相机图像中的车道线的第一点集合l，包括：
基于包含车道线的图像对预设UNet网络进行训练；
利用训练后的预设UNet网络提取相机图像中的车道线，得到车道线的第一点集合l。
4.根据权利要求2所述的实时高精度定位方法，其特征在于，所述将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身布局坐标系中，之前还包括：
访问GNSS设备传输数据，基于时间戳匹配到与相机触发时间最接近的GNSS信号，获取当前位置P0(x0,y0,z0)和上一个位置P1(x1,y1,z1)；
基于当前位置P0和上一个位置P1，计算当前的航向yaw：
Figure FDA0003366872680000021
基于航向yaw，计算旋转矩阵R：
Figure FDA0003366872680000022
5.根据权利要求4所述的实时高精度定位方法，其特征在于，所述将所述第二点集合m中的每一个点坐标从世界坐标系转换到车身局部坐标系中，包括：
将所述第二点集合m中的每一个点坐标(x，y，z)按照P0(x0,y0,z0)偏移和按照R旋转，将其转换到车身局部坐标系中的坐标(xc,yc,zc)：
Figure FDA0003366872680000023
Figure FDA0003366872680000031
6.根据权利要求5所述的实时高精度定位方法，其特征在于，还包括：
对车身局部坐标系中的坐标(xc,yc,zc)进行如下条件筛选剔除：
Figure FDA0003366872680000032
其中，Threshold_H为横向距离阈值，可取固定值15；Threshold_V为纵向距离阈值，可取固定值60；Threshold_E为高程距离阈值，可取固定值5；HEIGHT为当前定位设置高度，例如自动驾驶汽车的车身高度。
7.根据权利要求6所述的实时高精度定位方法，其特征在于，所述基于标定的相机内外参，按照相机成像模型，将车身布局坐标系中的每一个点坐标投影到图像坐标系中，得到第二点集合L，包括：
将车身布局坐标系中的每一个点坐标投影到图像坐标系上，每个点对应的图像坐标记为(Lx,Ly)参照公式(6)：
Figure FDA0003366872680000033
8.根据权利要求1所述的实时高精度定位方法，其特征在于，将所述第一点集合l和所述第二点集合L双向使用kdtree，检索最邻近点，形成匹配的点对集合S，包括：
基于第一点集合l中的任一个点，在第二点集合L中进行检索，形成第一匹配对点集S1；
基于第二点集合L中的任一个点，在第一点集合l检索，形成第二匹配对点集S2；
其中，所述第一匹配对点集S1和所述第二匹配对点集S2共同构成所述点对集合S。
9.根据权利要求1所述的实时高精度定位方法，其特征在于，所述基于匹配点对集合S，解算相机的位姿信息，包括：
将重投影误差函数f作为代价函数：
Figure FDA0003366872680000041
其中，(lx,ly)为第一点集合l中的点坐标，(Lx,Ly)为第二点集合L中的点坐标；
通过调整相机的位姿信息，不断计算对应的代价函数，以代价函数最小为目标，解算得到相机的位姿信息(x,y,z,r1,r2,r3)，其中，x、y、z为相机的空间x轴坐标、y轴坐标和z轴坐标，r1,r2,r3为相机的姿态角，分别为滚动角、俯仰角和航向角。
10.根据权利要求1-9任一项所述的实时高精度定位方法，其特征在于，所述对所述相机的位姿信息进行异常识别与优化，包括：
根据上一帧图像拍摄时刻相机的位姿，估计当前帧图像拍摄时刻的相机位姿(x,y,z,r1,r2,r3)a；
根据当前相机图像中立杆与地图投影成像中立杆的配准，求解当前帧图像拍摄时刻的相机位姿(x,y,z,r1,r2,r3)b；
假设连续帧的相机位姿呈正态分布a，每一帧图像与地图配准的相机位姿呈正态分布b，根据卡尔曼滤波，求解当前帧图像拍摄时刻的相机位姿(x,y,z,r1,r2,r3)c；
比对(x,y,z,r1,r2,r3)c与(x,y,z,r1,r2,r3)a，如果出现较为明显的波动，则结合上一帧与当前帧GNSS和IMU的值，对(x,y,z,r1,r2,r3)a进行线性变换，平滑消除跳变。
CN202111385632.0A 2021-11-22 2021-11-22 基于图像与高精度地图配准的实时高精度定位方法 Pending CN114037762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111385632.0A CN114037762A (zh) 2021-11-22 2021-11-22 基于图像与高精度地图配准的实时高精度定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111385632.0A CN114037762A (zh) 2021-11-22 2021-11-22 基于图像与高精度地图配准的实时高精度定位方法

Publications (1)

Publication Number Publication Date
CN114037762A true CN114037762A (zh) 2022-02-11

Family

ID=80138339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111385632.0A Pending CN114037762A (zh) 2021-11-22 2021-11-22 基于图像与高精度地图配准的实时高精度定位方法

Country Status (1)

Country Link
CN (1) CN114037762A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114719873A (zh) * 2022-06-02 2022-07-08 四川省公路规划勘察设计研究院有限公司 一种低成本精细地图自动生成方法、装置及可读介质
CN115235493A (zh) * 2022-07-19 2022-10-25 合众新能源汽车有限公司 一种基于矢量地图进行自动驾驶定位的方法及装置
CN116958271A (zh) * 2023-06-06 2023-10-27 阿里巴巴（中国）有限公司 标定参数确定方法以及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114719873A (zh) * 2022-06-02 2022-07-08 四川省公路规划勘察设计研究院有限公司 一种低成本精细地图自动生成方法、装置及可读介质
CN115235493A (zh) * 2022-07-19 2022-10-25 合众新能源汽车有限公司 一种基于矢量地图进行自动驾驶定位的方法及装置
CN116958271A (zh) * 2023-06-06 2023-10-27 阿里巴巴（中国）有限公司 标定参数确定方法以及装置

Similar Documents

Publication Publication Date Title
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN112444242B (zh) 一种位姿优化方法及装置
CN114037762A (zh) 基于图像与高精度地图配准的实时高精度定位方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN111830953B (zh) 车辆自定位方法、装置及系统
CN111192331B (zh) 一种激光雷达和相机的外参标定方法及装置
US10909395B2 (en) Object detection apparatus
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN112232275A (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN115376109A (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN113240813A (zh) 三维点云信息确定方法及装置
CN112132900A (zh) 一种视觉重定位方法及系统
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN113190564A (zh) 地图更新系统、方法及设备
CN117197775A (zh) 对象标注方法、对象标注装置及计算机可读存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
CN114608522A (zh) 一种基于视觉的障碍物识别与测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination