CN110657801B - 定位方法、装置以及电子设备 - Google Patents

定位方法、装置以及电子设备 Download PDF

Info

Publication number
CN110657801B
CN110657801B CN201810714372.9A CN201810714372A CN110657801B CN 110657801 B CN110657801 B CN 110657801B CN 201810714372 A CN201810714372 A CN 201810714372A CN 110657801 B CN110657801 B CN 110657801B
Authority
CN
China
Prior art keywords
image
shooting
inertial navigation
positioning
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810714372.9A
Other languages
English (en)
Other versions
CN110657801A (zh
Inventor
陈岳
朱宝伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autonavi Software Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN201810714372.9A priority Critical patent/CN110657801B/zh
Publication of CN110657801A publication Critical patent/CN110657801A/zh
Application granted granted Critical
Publication of CN110657801B publication Critical patent/CN110657801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明实施例提供一种定位方法、装置以及电子设备，其中，方法包括：获取摄像设备拍摄的图像和所述图像对应的激光点云；基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。本发明实施例的方案，能够基于激光点云，快速地获取准确的定位位置。

Description

定位方法、装置以及电子设备
技术领域
本申请涉及定位技术领域，尤其涉及一种定位方法、装置以及电子设备。
背景技术
传统的车辆定位方法，一般基于车辆上搭载的全球定位系统(GlobalPositioning System，GPS)接收机，获取车辆的定位位置，定位精度一般在米级。在高精地图产生之后，出现了基于高精地图的定位方法，该定位方法的定位精度一般在厘米级。发明人在对基于高精地图的高精定位方法进行研究的过程中发现，该方法一般被应用在实时定位场景下，比如车辆行驶过程中的定位，但该方法并不适用于非实时的、需要基于激光点云数据获取定位位置的场景。
发明内容
本发明提供了一种定位方法、装置以及电子设备，能够基于激光点云，快速地获取准确的定位位置。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供了一种定位方法，包括：
获取摄像设备拍摄的图像和所述图像对应的激光点云；
基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；
基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。
第二方面，提供了一种定位装置，包括：
点云数据获取模块，用于获取摄像设备拍摄的图像和所述图像对应的激光点云；
定位数据获取模块，用于基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；
位置定位模块，用于基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。
第三方面，提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取摄像设备拍摄的图像和所述图像对应的激光点云；
基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；
基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。
本发明提供了一种定位方法、装置以及电子设备，本发明提供的技术方案通过摄像设备拍摄的图像和图像对应的激光点云获取摄像设备在拍摄图像的时刻所处的位置，然后基于预测量的摄像设备与惯导设备的位置关系，得到惯导设备的定位位置。
与现有基于高精地图的定位方法相比，本技术方案的发明点在于利用激光点云，获取了摄像设备的位置，同时，通过摄像设备的位置及摄像设备与惯导设备的位置关系，得到了惯导设备的定位位置，即，得到了搭载惯导设备的车辆的定位位置，因此，本方案能够在非实时的高精定位场景下(实时定位场景下一般不会采用激光点云)，快速地获取到惯导设备准确的定位位置。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的定位系统结构图；
图2为本发明实施例的定位系统对应的硬件结构图；
图3a为本发明实施例的定位方法流程图一；
图3b为本发明实施例的摄像设备拍摄的图像样例图；
图3c为本发明实施例的激光点云的样例图；
图4为本发明实施例的定位方法流程图二；
图5a为本发明实施例的定位方法流程图三；
图5b为本发明实施例的定位计算原理图一；
图5c为本发明实施例的定位计算原理图二；
图6a为本发明实施例的定位误差估计方法流程图；
图6b为本发明实施例的定位误差统计结果数据图。
图7为本发明实施例的定位装置结构图一；
图8为本发明实施例的定位装置结构图二；
图9为本发明实施例的定位装置结构图三；
图10为本发明实施例的定位装置结构图四；
图11为本发明实施例的误差估计模块的结构图；
图12为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
发明人在对现有基于高精地图的定位方法进行研究的过程中发现，高精地图与普通地图的差别在于，高精地图是基于激光点云制作的车道级的地图数据，但在一些非实时的高精定位场景下，输入数据可能是激光点云数据，所以，现有基于高精地图的定位方法并不适用于这类非实时的高精定位场景，为了解决基于激光点云的高精定位需求，本发明利用摄像设备的位置作为传递参量，通过摄像设备拍摄的图像和图像对应的激光点云确定摄像设备的位置后，基于预先测量的摄像设备与惯导设备的位置关系，计算得到惯导设备所处的定位位置，解决了现有技术无法基于激光点云数据，快速准确地确定惯导设备位置的问题。同时，需要说明的是，惯导设备一般搭载在车辆上，故，惯导设备的位置可视为车辆的位置。
图1为本发明实施例提供的定位系统结构图。如图1所示，该系统包括：摄像设备110，激光雷达120、惯导设备130以及定位装置140；其中：
摄像设备110，与惯导设备120始终保持固定的相对位置关系和姿态关系，用于拍摄道路周边的图像。
激光雷达120，用于扫描道路及道路周边环境，获取激光点云图像。
惯导设备130，用于固定在车辆上，通过惯性定位算法推算车辆的位置。
定位装置140，与摄像设备110、激光雷达120以及惯导设备130通信连接，用于基于摄像设备110拍摄的图像以及激光雷达120扫描得到的激光点云得到摄像设备110在拍照时刻的位置，基于摄像设备110的位置以及摄像设备110与惯导设备130的相对位置以及姿态关系计算得到惯导设备130所处的定位位置。
以上是本发明实施例提供的定位系统，该定位系统能够基于激光点云数据实现对惯导设备也就是车辆的位置的快速准确定位。
如图2所示，为上述定位系统在实际应用场景中对应的硬件结构示意图，在该示意图中除上述摄像设备、激光雷达、惯导设备外还包括同步器、工控机和电源。其中：
摄像设备，本系统中可使用工业相机，配置成触发拍照模式，即等待外部触发信号才会拍照。拍照后把照片发送给工控机。
同步器，主要用于给摄像设备拍摄的图像打时间戳。惯导设备给同步器发送授时信息，同步器的时间与GPS时间保持同步。授时成功后，同步器按照固定的频率(例如1Hz)给摄像设备发送拍照命令，同时把拍照的时间发送给工控机。
惯导设备，用于给同步器提供授时功能，同时给工控机发送位置和姿态数据。
工控机，定位程序运行在工控机里，各个传感器(如摄像设备、惯导设备、激光雷达)的数据也都在工控机里处理，是实现定位装置的主要组成部分。除此之外，同步器也包含在定位装置中。
激光雷达，用于对道路及周围环境进行激光扫描，并将激光的数据发送到工控机，生成激光点云数据。
电源，用于为各硬件组成部分提供电能。
在实际应用场景中，可将摄像设备(如相机)和惯导设备一同设置在移动物体如运行的车辆上，且摄像设备和惯导设备始终保持固定的位置关系(包括平移和旋转的位置关系)。摄像设备在车辆运行过程中，拍摄周围环境的图像并传给工控机。同时，激光雷达对道路及周围环境进行激光扫描，并将激光的数据(激光点云)发送到工控机。工控机利用图像和激光点云识别摄像设备的位置；然后根据摄像设备的位置以及摄像设备和惯导设备的位置关系，即相对位置参数与相对姿态参数，可以计算得到惯导设备的定位位置。
进一步地，上述定位装置还可包括：
历史定位获取模块，用于从拍摄图像时采集的惯导设备的历史定位位置中，获取拍摄图像的时刻惯导设备所处的历史定位位置；
误差估计模块，用于获取拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的定位误差。
具体地，在摄像设备拍摄图像的过程中，惯导设备也可以基于自身定位功能获取历史定位位置发送到工控机；然后以惯导设备所处的定位位置作为真值，与基于该惯导设备进行定位所得到的历史定位位置进行比较，得到拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的定位误差定。
下面通过多个实施例来进一步说明本申请的技术方案。
实施例一
基于上述定位的方案思想，如图3a所示，其为本发明实施例示出的定位方法流程图一，该方法的执行主体为图1中所示的定位装置。如图3a所示，该定位方法包括如下步骤：
S310，获取摄像设备拍摄的图像和图像对应的激光点云。
在实际应用场景中，可将摄像设备(如相机)和惯导设备一同设置在移动物体如运行的车辆上，且摄像设备和惯导设备始终保持固定的位置关系和姿态关系。摄像设备在车辆运行过程中，拍摄周围环境的图像。与此同时，利用激光雷达扫描车辆运行过程中道路及周边环境的激光点数据，并形成激光点云。
其中，本实施例中的定位位置包括位置(平移分量)和姿态(旋转分量)。
具体地，在利用摄像设备拍摄图像时，摄像设备输出的图像的格式如下：
{时间，存储名称}。例如：
CTime1，照片名称1；
CTime2，照片名称2；
…
CTimen，照片名称n。
其中，“CTimen”对应为第n个拍摄时刻，“照片名称n”对应为第n个拍摄时刻拍摄的图像。
例如图3b所示，为摄像设备在某拍摄时刻拍摄到的道路的图像。
在获取图像对应的激光点云时，可利用激光雷达对上述图像对应的道路及周边环境进行扫描后得到。
例如图3c所示，为图3b中图像对应的同一位置的激光点云的数据。
S320，基于图像和图像对应的激光点云，获取摄像设备在拍摄图像的时刻所处的位置。
利用拍摄到的图像以及图像对应的激光点云采用但不限定于如平面标定方法(如张正友平面标定方法、激光平面标定方法等)确定摄像设备的定位信息。
例如，基于图像中的特征像素点及特征像素点在激光点云中对应的点，利用平面标定方法，获取摄像设备在拍摄图像的时刻所处的位置。
本实施例中，使用激光点云的数据来标定摄像设备拍摄的图像位置。例如选择图3b中拍摄的图像，图3c为此图像对应的激光点云。
在图像3b中选择若干像素点，选取规则是使用道路要素的顶点，例如车道线、道路标记(箭头、文字、符号等)、路牌的顶点等，并且这些像素点在图像中的分布范围较大，数量不少于6个。然后记录这些二维像素点的位置集合为P＝{p1，p2，…，pn}。
然后，在如图3c的激光点云中选择像素内容对应相同的像素点的集合C＝{c1，c2，…，cn}。
最后，使用平面标定方法(如张正友平面标定方法、激光平面标定方法等)计算出当前摄像设备的位置，包括摄像设备的位置和姿态。该位置可用4×4矩阵表示为：
Figure BDA0001717286370000071
其中，
Figure BDA0001717286370000072
表示拍摄时刻摄像设备的平移分量；RCam表示拍摄时刻摄像设备的旋转分量。
S330，基于摄像设备在拍摄图像的时刻所处的位置以及预测量的摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄图像的时刻惯导设备所处的定位位置。
在移动物体运行过程中，通过摄像设备拍摄的图像以及图像对应的激光点云可以实时定位摄像设备的位置，又利用摄像设备与惯导设备之间存在固定的位置关系和姿态关系，从而可间接获悉惯导设备的所处定位位置。
其中，摄像设备与惯导设备之间存在固定的位置关系和姿态关系，即对应为平移分量的位置关系(相对位置参数)和旋转分量的位置关系(相对姿态参数)。
具体地，计算拍摄时刻惯导设备所处的定位位置，包括位置和姿态可为：
Figure BDA0001717286370000081
其中，MImu表示惯导设备所处的定位位置；MImu-to-Cam表示从惯导设备的定位位置到摄像设备的位置进行转换的变化矩阵；
Figure BDA0001717286370000082
表示拍摄时刻惯导设备所处的定位位置的平移分量；RImu表示拍摄时刻惯导设备所处的定位位置的旋转分量。
本发明提供的定位方法，利用激光点云，获取了摄像设备的位置，同时，通过摄像设备的位置及摄像设备与惯导设备的位置关系，得到了惯导设备的定位位置，即，得到了搭载惯导设备的车辆的定位位置，因此，本方案能够在非实时的高精定位场景下(实时定位场景下一般不会采用激光点云)，快速地获取到惯导设备准确的定位位置。
实施例二
如前文所述，本发明实现了非实时场景基于点云数据的定位，而该定位结果可以用于对基于高精地图的定位结果进行验证。如图4所示，为本发明实施例的定位方法流程图二。本实施例在图3a所示方法的基础上，利用惯导设备所处的定位位置进行误差估计的处理过程。如图4所示，该定位方法中还包括如下步骤：
S410，从拍摄图像时采集的惯导设备的历史定位位置中，获取拍摄图像的时刻惯导设备所处的历史定位位置。
其中，惯导设备的历史定位位置是指，基于惯导设备自身的位置检测的技术原理，通过将惯导设备检测得到的数据结合后期的定位算法得到最终的定位位置，该历史定位位置的理想值即对应为惯导设备所处的真实位置。因此，通过借助获取的摄像设备的位置，以及摄像设备与惯导设备的位置关系可方便快速的得到惯导设备所处的定位位置，并以该定位位置作为评价定位误差的真值，对上述历史定位位置进行准确的误差估计。
具体地，在摄像设备拍摄图像的过程中，惯导设备也可以基于自身定位功能得到定位位置，该定位位置即为上述历史定位位置，该历史定位位置可用于对惯导设备的定位功能进行评价，通过惯导设备所处的定位位置与惯导设备的历史定位位置的差距进行定位误差的量化评估。
进一步地，可采用但不限定于如图5a所示的方法获取拍摄图像的时刻惯导设备所处的历史定位位置。
S510，从拍摄图像时采集的惯导设备的历史定位位置中，获取与拍摄图像的时刻相邻的两个时刻采集到的历史定位位置。
在实际应用场景中，基于惯导设备测量并计算得到的历史定位位置对应的测量时间与摄像设备的拍照时刻很可能不一致，进而与得到惯导设备所处的定位位置对应的时刻也不一致。因此，需要在历史定位位置构成的时间序列中，先找到与拍摄图像的时刻相邻的两个时刻采集到的历史定位位置。
具体地，基于惯导设备所得到的历史定位位置的格式为：
{时间，位置[x,y,z]，姿态[roll,pitch,yaw]}。例如：
LTime1，LX1，LY1,LZ1,LRoll1,LPitch1,LYaw1；
LTime2，LX2,LY2,LZ2,LRoll2,LPitch2,LYaw2；
…
LTimen，LXn,LYn,LZn,LRolln,LPitchn,LYawn；
如图5b所示，其中，基于惯导设备所得到的历史定位位置(用“○”表示)在车道上形成按时间顺序排列的时间序列。序列中的每个历史定位位置的平移分量对应车道上的一个具体位置；摄像设备在某一拍摄时刻对应的位置为图中的PCam(用“□”表示)，该位置也为拍摄时刻摄像设备的平移分量TCam；惯导设备在同一拍摄时刻对应的所处位置为图中的PImu(用“△”表示)，该位置也为拍摄时刻惯导设备的平移分量TImu。
本步骤是从历史定位位置构成的时间序列中提取时间与拍摄时刻相邻的前、后两个时刻对应的历史定位位置。
S520，基于相邻的两个时刻采集到的历史定位位置，获取拍摄图像的时刻惯导设备所处的历史定位位置。
例如，可以在历史定位位置构成的时间序列中，找到与拍摄时刻相邻的两个时刻的历史定位位置，在两位置之间插入一个插值定位结果值，使得该插值定位结果值所对应的空间位置代替拍照时刻基于惯导设备所得到的历史定位位置。
例如图5c所示，提取当前拍摄时间CTimej时刻，遍历时间序列中的历史定位位置，找到满足条件LTimei≤CTimej＜LTimei+1的位置i和历史定位位置Pi、Pi+1。
然后，在历史定位位置Pi和Pi+1之间插入一个插值定位结果值(如PL)，使得该插值定位结果值对应为拍摄时刻对应的惯导设备的历史定位位置。
计算插值定位结果值PL的X轴坐标PLX和Y轴坐标PLY时可采用但不限于如下方法：
方法一，基于拍摄图像的时刻、相邻的两个时刻及相邻的两个时刻采集到的历史定位位置，获取拍摄图像的时刻惯导设备所处的历史定位位置。
例如，在历史定位位置构成的时间序列中，找到与拍摄时刻相邻的两个时刻的历史定位位置后，基于这两个时刻与拍摄图像的时刻的时间间隔比例，在两位置之间按同样比例插入一个插值定位结果值，以该插值定位结果值所对应的空间位置代替拍照时刻基于惯导设备所得到的历史定位位置。例如，拍照时刻位于这两个相邻时刻所对应的时间段的中间位置，则相应的将插值定位结果值插入到两个历史定位位置的中间位置。
方法二，获取相邻两个时刻采集到的惯导设备的历史速度；基于拍摄图像的时刻、相邻的两个时刻及相邻的两个时刻采集到的历史定位位置和历史速度，获取拍摄图像的时刻惯导设备所处的历史定位位置。
例如，在历史定位位置构成的时间序列中，找到与拍摄时刻相邻的两个时刻的历史定位位置后，基于这两个相邻时刻对应的惯导设备移动的历史速度得到拍摄时刻对应的历史速度(可认为两个时刻之间惯导设备做匀加速运动)。然后，在这两个相邻时刻对应的历史定位位置之间按速度值的比例插入一个插值定位结果值，以该插值定位结果值所对应的空间位置代替拍照时刻基于惯导设备所得到的历史定位位置，且该历史定位位置所对应的历史速度即为计算得到的拍摄时刻的历史速度。例如，拍照时刻位于这相邻的两个时刻所对应的时间的中间位置，则相应的拍摄时刻所对应的历史速度应该是这两个相邻时刻所对应的历史速度的中间速度，相应的，待插入的差值定位结果值所对应的历史速度即为该中间速度值。
例如，以方法一，计算拍摄时刻的惯导设备的历史定位位置，即插值定位结果值PL的X轴坐标PLX和Y轴坐标PLY分别为：
PLX＝LXi+(CTimej–LTimei)÷(LTimei+1–LTimei)×(LXi+1–LXi)
PLY＝LYi+(CTimej–LTimei)÷(LTimei+1–LTimei)×(LYi+1–LYi)
在确定插值定位结果值PL的位置(平移分量)时，可采用上述按时间、按速度等比例插入的方法；由于移动物体在移动过程中定位位置的姿态在很短的时间内发生较大变化的可能性比较小，所以，可采用上述与插值定位结果值相邻的两个历史定位位置对应的任一姿态作为插值定位结果值的旋转分量，或取其二者的平均值作为旋转分量均可。
S420，获取拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的定位误差。
具体地，以惯导设备所处的定位位置作为真值，与基于该惯导设备进行定位所得到的历史定位位置进行比较，得到拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的定位误差。
例如，可采用如图6a所示的方法步骤，得到针对历史定位位置中平移分量的定位误差。
S610，获取拍摄图像的时刻惯导设备所处的定位位置在相邻的两个时刻采集到的历史定位位置所在直线的投影点。
例如，针对历史定位位置的时间序列中，以惯导设备的位置到与拍摄时刻相邻的两个时刻对应的历史定位位置构成的直线作投影，得到投影点。如图5c中所示，计算出PImu到直线PiPi+1的垂足PO，该PO点即为投影点。
S620，将拍摄图像的时刻惯导设备所处的定位位置到投影点的距离确定为拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的横向定位误差。
S630，将拍摄图像的时刻惯导设备所处的历史定位位置到投影点的距离确定为拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的纵向定位误差。
如图5c所示，惯导设备所处的定位位置PImu到投影点PO的距离，即线段PImu的长度即为拍摄图像的时刻惯导设备所处的历史定位位置PL相对于拍摄图像的时刻惯导设备所处的定位位置PO的横向定位误差dx，线段POPL的长度即为拍摄图像的时刻惯导设备所处的历史定位位置PL相对于拍摄图像的时刻惯导设备所处的定位位置PO的纵向定位误差dy。
另外，在具体计算定位误差时，还可以用拍摄图像的时刻惯导设备所处的历史定位位置PImu的横坐标和拍摄图像的时刻惯导设备所处的历史定位位置PL的x坐标的差值作为横向定位误差dx，这两个位置点的y坐标的差值作为纵向定位误差dy。
在针对每个拍摄时刻计算的历史定位位置的误差之后，如图6b所示，还可以进一步统计这些误差值的均值和均方差，以作为定位误差的统计分析结果。
相比较而言，现有的验证高精定位精度的方法主要有如下两种：
1.通过架设基站，或者精密星历，用后解算方法得到车辆轨迹，以此为真值判断定位结果的精度。但是，后解算需要提前架设基站，如果用精密星历需要等待两周之后才能解算。而后解算数据与高精地图本身存在着误差，这个误差会影响当前定位结果的评估。
2.将车辆固定在某一位置，人工选择特征点，比如车道线、电线杆、护栏等。通过全站仪测量出特征点的位置，再根据特征点和车辆的位置关系计算出车辆的位置。用这个位置作为真值与算法输出结果作对比，测量定位结果的误差。但是，本方法操作起来非常麻烦，不适合高频次的测试，在实际路网上也不具备这种测试条件。
因此，目前的上述方法不能很好的解决基于高精地图的定位误差估计，而其根本原因是没有找到合适的方法对惯导设备的位置进行快速准确定位，并以定位结果作为定位误差估计的真值。
本发明提供的定位方法，在图3a所示方法的基础上，通过在由历史定位位置构成的时间序列中插入插值定位结果值，以作为惯导设备在拍摄时刻进行定位所得到的历史定位位置；然后，以拍摄时刻惯导设备的定位位置作为真值，对插值定位结果值进行误差估计，从而对惯导设备的历史定位位置进行准确的误差分析。
实施例三
如图7所示，为本发明实施例的定位装置结构图一，该定位装置可设置在图1所示的定位系统中，用于执行如图3a所示的方法步骤，其包括：
点云数据获取模块710，用于获取摄像设备拍摄的图像和图像对应的激光点云；
定位数据获取模块720，用于基于图像和所述图像对应的激光点云，获取摄像设备在拍摄图像的时刻所处的位置；
位置定位模块730，用于基于摄像设备在拍摄图像的时刻所处的位置以及预测量的摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄图像的时刻惯导设备所处的定位位置。
进一步地，如图8所示，在图7所示装置的基础上，上述定位装置还可包括：
历史数据获取模块810，用于从拍摄图像时采集的惯导设备的历史定位位置中，获取拍摄图像的时刻惯导设备所处的历史定位位置；
误差估计模块820，用于获取拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的定位误差。
图8所示的装置结构可用于执行如图4所示的方法步骤。
进一步地，如图9所示，在图8所示装置的基础上，上述历史数据获取模块810可包括：
历史位置获取单元910，用于从拍摄图像时采集的惯导设备的历史定位位置中，获取与拍摄图像的时刻相邻的两个时刻采集到的历史定位位置；
历史定位单元920，用于基于相邻的两个时刻采集到的历史定位位置，获取拍摄图像的时刻惯导设备所处的历史定位位置。
图9所示的装置结构可用于执行如图5a所示的方法步骤。
进一步地，上述历史定位单元920可具体用于，
基于拍摄图像的时刻、相邻的两个时刻及相邻的两个时刻采集到的历史定位位置，获取拍摄图像的时刻惯导设备所处的历史定位位置。
进一步地，如图10所示，在图9所示定位装置中还可包括：
历史速度获取模块101，用于获取相邻两个时刻采集到的惯导设备的历史速度；
相应的，上述历史定位单元920可具体用于，
基于拍摄图像的时刻、相邻的两个时刻及相邻的两个时刻采集到的历史定位位置和历史速度，获取拍摄图像的时刻惯导设备所处的历史定位位置。
进一步地，如图11所示，上述误差估计模块820可包括：
投影点获取单元111，用于获取拍摄图像的时刻惯导设备所处的定位位置在相邻的两个时刻采集到的历史定位位置所在直线的投影点；
横向误差获取单元112，用于将拍摄图像的时刻惯导设备所处的定位位置到投影点的距离确定为拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的横向定位误差；
纵向误差获取单元113，用于将拍摄图像的时刻惯导设备所处的历史定位位置到投影点的距离确定为拍摄图像的时刻惯导设备所处的历史定位位置相对于拍摄图像的时刻惯导设备所处的定位位置的纵向定位误差。
图11所示的装置结构可用于执行如图6a所示的方法步骤。
进一步地，上述数据获取模块710可具体用于，
基于图像中的特征像素点及特征像素点在激光点云中对应的点，利用平面标定方法，获取摄像设备在拍摄图像的时刻所处的位置。
本发明提供的定位装置，利用激光点云，获取了摄像设备的位置，同时，通过摄像设备的位置及摄像设备与惯导设备的位置关系，得到了惯导设备的定位位置，即，得到了搭载惯导设备的车辆的定位位置，因此，本方案能够在非实时的高精定位场景下(实时定位场景下一般不会采用激光点云)，快速地获取到惯导设备准确的定位位置。
进一步地，通过在由历史定位位置构成的时间序列中插入插值定位结果值，以作为惯导设备在拍摄时刻进行定位所得到的历史定位位置；然后，以拍摄时刻惯导设备的定位位置作为真值，对插值定位结果值进行误差估计，从而对惯导设备的历史定位位置进行准确的误差分析。
实施例四
前面描述了定位装置的整体架构，该装置的功能可借助一种电子设备实现完成，如图12所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器121和处理器122。
存储器121，用于存储程序。
除上述程序之外，存储器121还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器121可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器122，耦合至存储器121，用于执行存储器121中的程序，以用于：
获取摄像设备拍摄的图像和图像对应的激光点云；
基于图像和图像对应的激光点云，获取摄像设备在拍摄图像的时刻所处的位置；
基于摄像设备在拍摄图像的时刻所处的位置以及预测量的摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄图像的时刻惯导设备所处的定位位置。
上述的具体处理操作已经在前面实施例中进行了详细说明，在此不再赘述。
进一步，如图12所示，电子设备还可以包括：通信组件123、电源组件124、音频组件125、显示器126等其它组件。图12中仅示意性给出部分组件，并不意味着电子设备只包括图12所示组件。
通信组件123被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件123经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件123还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件124，为电子设备的各种组件提供电力。电源组件124可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件125被配置为输出和/或输入音频信号。例如，音频组件125包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器121或经由通信组件123发送。在一些实施例中，音频组件125还包括一个扬声器，用于输出音频信号。
显示器126包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (15)

1.一种定位方法，其特征在于，包括：
获取摄像设备拍摄的图像和所述图像对应的激光点云；
基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；
基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
从拍摄图像时采集的惯导设备的历史定位位置中，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置；
获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的定位误差。
3.根据权利要求2所述的方法，其特征在于，从拍摄图像时采集的惯导设备的历史定位位置中，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置包括：
从拍摄图像时采集的惯导设备的历史定位位置中，获取与拍摄所述图像的时刻相邻的两个时刻采集到的历史定位位置；
基于所述相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置。
4.根据权利要求3所述的方法，其特征在于，所述基于所述相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置包括：
基于拍摄所述图像的时刻、所述相邻的两个时刻及相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置。
5.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：
获取所述相邻两个时刻采集到的惯导设备的历史速度；
基于所述相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置具体包括：
基于拍摄所述图像的时刻、所述相邻的两个时刻及相邻的两个时刻采集到的历史定位位置和历史速度，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置。
6.根据权利要求3-5中任意一项权利要求所述的方法，其特征在于，所述获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的定位误差包括：
获取拍摄所述图像的时刻所述惯导设备所处的定位位置在所述相邻的两个时刻采集到的历史定位位置所在直线的投影点；
将拍摄所述图像的时刻所述惯导设备所处的定位位置到所述投影点的距离确定为拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的横向定位误差；
将拍摄所述图像的时刻所述惯导设备所处的历史定位位置到所述投影点的距离确定为拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的纵向定位误差。
7.根据权利要求1-5中任意一项权利要求所述的方法，其特征在于，基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置具体包括：
基于所述图像中的特征像素点及所述特征像素点在激光点云中对应的点，利用平面标定方法，获取所述摄像设备在拍摄所述图像的时刻所处的位置。
8.一种定位装置，其特征在于，包括：
点云数据获取模块，用于获取摄像设备拍摄的图像和所述图像对应的激光点云；
定位数据获取模块，用于基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；
位置定位模块，用于基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
历史数据获取模块，用于从拍摄图像时采集的惯导设备的历史定位位置中，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置；
误差估计模块，用于获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的定位误差。
10.根据权利要求9所述的装置，其特征在于，所述历史数据获取模块包括：
历史位置获取单元，用于从拍摄图像时采集的惯导设备的历史定位位置中，获取与拍摄所述图像的时刻相邻的两个时刻采集到的历史定位位置；
历史定位单元，用于基于所述相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置。
11.根据权利要求10所述的装置，其特征在于，所述历史定位单元，用于基于所述相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置的过程具体包括：
基于拍摄所述图像的时刻、所述相邻的两个时刻及相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括：
历史速度获取模块，用于获取所述相邻两个时刻采集到的惯导设备的历史速度；
所述历史定位单元，用于基于所述相邻的两个时刻采集到的历史定位位置，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置的过程具体包括：
基于拍摄所述图像的时刻、所述相邻的两个时刻及相邻的两个时刻采集到的历史定位位置和历史速度，获取拍摄所述图像的时刻所述惯导设备所处的历史定位位置。
13.根据权利要求10-12中任意一项权利要求所述的装置，其特征在于，所述误差估计模块包括：
投影点获取单元，用于获取拍摄所述图像的时刻所述惯导设备所处的定位位置在所述相邻的两个时刻采集到的历史定位位置所在直线的投影点；
横向误差获取单元，用于将拍摄所述图像的时刻所述惯导设备所处的定位位置到所述投影点的距离确定为拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的横向定位误差；
纵向误差获取单元，用于将拍摄所述图像的时刻所述惯导设备所处的历史定位位置到所述投影点的距离确定为拍摄所述图像的时刻所述惯导设备所处的历史定位位置相对于拍摄所述图像的时刻所述惯导设备所处的定位位置的纵向定位误差。
14.根据权利要求8-12中任意一项权利要求所述的装置，其特征在于，所述定位数据获取模块，用于基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置的过程具体包括：
基于所述图像中的特征像素点及所述特征像素点在激光点云中对应的点，利用平面标定方法，获取所述摄像设备在拍摄所述图像的时刻所处的位置。
15.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取摄像设备拍摄的图像和所述图像对应的激光点云；
基于所述图像和所述图像对应的激光点云，获取所述摄像设备在拍摄所述图像的时刻所处的位置；
基于所述摄像设备在拍摄所述图像的时刻所处的位置以及预测量的所述摄像设备与惯导设备的相对位置参数与相对姿态参数，获取拍摄所述图像的时刻所述惯导设备所处的定位位置。
CN201810714372.9A 2018-06-29 2018-06-29 定位方法、装置以及电子设备 Active CN110657801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810714372.9A CN110657801B (zh) 2018-06-29 2018-06-29 定位方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810714372.9A CN110657801B (zh) 2018-06-29 2018-06-29 定位方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN110657801A CN110657801A (zh) 2020-01-07
CN110657801B true CN110657801B (zh) 2022-02-08

Family

ID=69027780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810714372.9A Active CN110657801B (zh) 2018-06-29 2018-06-29 定位方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN110657801B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709990B (zh) * 2020-05-22 2023-06-20 贵州民族大学 一种相机重定位方法和系统
CN112036359B (zh) * 2020-09-10 2021-07-09 湖北亿咖通科技有限公司 一种车道线的拓扑信息获得方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105180935A (zh) * 2015-10-30 2015-12-23 东南大学 一种适用于gnss微弱信号的组合导航数据融合方法
CN105606127A (zh) * 2016-01-11 2016-05-25 北京邮电大学 一种双目立体相机与惯性测量单元相对姿态标定方法
WO2016142045A1 (en) * 2015-03-06 2016-09-15 Airbus Ds Gmbh Tracking in an indoor environment
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN107796397A (zh) * 2017-09-14 2018-03-13 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103776425A (zh) * 2012-10-24 2014-05-07 北京德可达科技有限公司 一种实景空间信息获取系统
CN105675013B (zh) * 2014-11-21 2019-03-01 中国飞行试验研究院 民用飞机惯导动态校准方法
CN106225790B (zh) * 2016-07-13 2018-11-02 百度在线网络技术（北京）有限公司 一种无人车定位精度的确定方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016142045A1 (en) * 2015-03-06 2016-09-15 Airbus Ds Gmbh Tracking in an indoor environment
CN105180935A (zh) * 2015-10-30 2015-12-23 东南大学 一种适用于gnss微弱信号的组合导航数据融合方法
CN105606127A (zh) * 2016-01-11 2016-05-25 北京邮电大学 一种双目立体相机与惯性测量单元相对姿态标定方法
CN107246876A (zh) * 2017-07-31 2017-10-13 中北智杰科技（北京）有限公司 一种无人驾驶汽车自主定位与地图构建的方法及系统
CN107796397A (zh) * 2017-09-14 2018-03-13 杭州迦智科技有限公司 一种机器人双目视觉定位方法、装置和存储介质

Also Published As

Publication number Publication date
CN110657801A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN107645701B (zh) 一种生成运动轨迹的方法及装置
CN112116654B (zh) 一种车辆位姿确定方法、装置及电子设备
CN107734449B (zh) 一种基于光标签的室外辅助定位方法、系统及设备
CN110617821B (zh) 定位方法、装置及存储介质
JP5607759B2 (ja) 軌道ベースのロケーション判断を使用した画像識別
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN114814872A (zh) 位姿确定方法及装置、电子设备和存储介质
EP3771198A1 (en) Target tracking method and device, movable platform and storage medium
CN113345028B (zh) 一种确定目标坐标变换信息的方法与设备
KR101223741B1 (ko) 도화이미지의 왜곡 보정을 위한 현장 지형의 측지 및 측량시스템
CN113959457B (zh) 一种自动驾驶车辆的定位方法、装置、车辆和介质
CN110657801B (zh) 定位方法、装置以及电子设备
CN110906830A (zh) 智能测距轮系统及其测距方法
KR20100060472A (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
US12022197B2 (en) Image capturing system, method, and analysis of objects of interest
CN109903308B (zh) 用于获取信息的方法及装置
US20210262807A1 (en) Map construction system and map construction method
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
CN115861741A (zh) 目标标定方法、装置、电子设备、存储介质及车辆
CN115731304A (zh) 一种道路数据生成方法、装置及设备
CN113593026B (zh) 车道线标注辅助地图生成方法、装置和计算机设备
CN112556596B (zh) 三维变形测量系统、方法、装置和存储介质
JP5297366B2 (ja) 撮影対象情報生成装置及び撮影対象情報生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200430

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 1-5 / F, building B1, 18 Changsheng Road, Science Park, Changping District, Beijing 102299

Applicant before: AUTONAVI SOFTWARE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230505

Address after: 102200 floors 1-5, block B1, No. 18, Changsheng Road, science and Technology Park, Changping District, Beijing

Patentee after: AUTONAVI SOFTWARE Co.,Ltd.

Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Alibaba (China) Co.,Ltd.

TR01 Transfer of patent right