CN112651991A - 视觉定位方法、装置及计算机系统 - Google Patents

视觉定位方法、装置及计算机系统 Download PDF

Info

Publication number
CN112651991A
CN112651991A CN201910958077.2A CN201910958077A CN112651991A CN 112651991 A CN112651991 A CN 112651991A CN 201910958077 A CN201910958077 A CN 201910958077A CN 112651991 A CN112651991 A CN 112651991A
Authority
CN
China
Prior art keywords
information
map data
camera equipment
positioning
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910958077.2A
Other languages
English (en)
Other versions
CN112651991B (zh
Inventor
颜扬治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuzhou Online E Commerce Beijing Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910958077.2A priority Critical patent/CN112651991B/zh
Publication of CN112651991A publication Critical patent/CN112651991A/zh
Application granted granted Critical
Publication of CN112651991B publication Critical patent/CN112651991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了视觉定位方法、装置及计算机系统，所述方法包括：获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；获得相机设备采集到的带有深度信息的图像信息；对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。通过本申请实施例，能够在实现高精度定位的同时，降低算法复杂度，提高效率、定位精度以及适用性。

Description

视觉定位方法、装置及计算机系统
技术领域
本申请涉及视觉定位技术领域，特别是涉及视觉定位方法及、装置及计算机系统。
背景技术
高精度定位技术对于L3(自动系统既能完成某些驾驶任务，也能在某些情况下监控驾驶环境，但驾驶员必须准备好重新取得驾驶控制权)以上自动驾驶的实现至关重要。
自动驾驶高精度定位从定位方式上可分为三类：
第一类，基于信号的定位，代表性技术有GNSS(Global Navigation SatelliteSystem，全球导航卫星系统定位)、UWB(Ultra Wideband，无载波通信技术)、5G(第五代移动通信技术)等。
第二类，DR(dead reckoning，航迹推算)，依靠IMU(Inertial measurement unit，惯性测量单元)、轮速计等，根据上一时刻的位置和方位推断现在的位置和方位。
第三类，基于环境特征匹配的相对定位，使用Lidar(Light Detection AndRanging，激光雷达)、Camera(相机)、millimeter-wave radar(毫米波雷达)等传感器的定位，用观测到的特征和数据库里存储的特征进行匹配，得到现在车辆的位置和姿态。
但是，基于信号的定位中GNSS的定位精度在米级，离自动驾驶的要求甚远。如果要做到厘米级，就需要做GNSS校正，纠正电离层导致的定位错误，通常采用RTK(Real TimeKinematic载波相位差分)的方式。但在楼宇、高架、隧道等场景仍会出现信号不稳或无信号的情况。
DR提供的是一种从上一时刻到当前时刻的相对位置推算，但是随着时间的增长，其定位精度逐渐下降。
相比之下，相对定位方法中通过传感器探测周围环境特征，与高精地图匹配得到车辆的相对定位信息，在自动驾驶场景下的适用性会更强。相对定位技术目前主要分为两种：以Lidar为主和以Camera为主。其中，Lidar通过激光扫描获得周围环境的精确3D信息，但成本高、易受雨雾天气影响；Camera可提供丰富视觉信息、成本低。但在匹配算法上，要么算法复杂度高，效率低，要么定位精度不够，仅适用于非强烈非凸场景的观测等问题。
因此，如何在实现高精度定位的同时，降低算法复杂度，提高效率、定位精度以及适用性，成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了视觉定位方法、装置及计算机系统，能够在实现高精度定位的同时，降低算法复杂度，提高效率、定位精度以及适用性。
本申请提供了如下方案：
一种视觉定位方法，包括：
获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
获得相机设备采集到的带有深度信息的图像信息；
对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
一种视觉定位方法，包括：
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
一种视觉定位中的初步定位方法，包括：
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
获得相机设备采集到的带有深度信息的图像信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
一种地图数据，
所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，以用于基于所述类别信息，通过图像对齐的方式，将相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，匹配结果用于对所述相机设备关联车辆进行定位。
一种自动驾驶控制方法，包括：
获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
根据所述定位信息进行自动驾驶控制。
一种提供导航信息的方法，包括：
获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
根据所述定位信息提供导航信息。
一种信息展示方法，包括：
获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
获得相机设备采集到的带有深度信息的图像信息；
对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
一种视觉定位装置，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息；
特征点识别单元，用于对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
特征匹配单元，用于基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
一种视觉定位装置，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
初步定位单元，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
局部地图数据确定单元，用于根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
特征匹配单元，用于将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
一种视觉定位中的初步定位装置，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息；
运动轨迹确定单元，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
初步定位单元，用于通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
一种自动驾驶控制装置，包括：
定位信息获得单元，用于获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
自动驾驶控制单元，用于根据所述定位信息进行自动驾驶控制。
一种提供导航信息的装置，包括：
定位信息获得单元，用于获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
导航信息提供单元，用于根据所述定位信息提供导航信息。
一种信息展示装置，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息；
特征点识别单元，用于对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
展示单元，用于将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
通过本申请实施例，可以基于视觉信息进行车辆定位，其中，定位所需的地图数据中，不仅可以包括特征点的位置信息，还可以包括特征点对应的物体的类别信息；进而在具体定位的过程中，可以从相机设备观测到的图像数据中识别出特征点，以及特征点所对应的类别信息。这样，便可以基于观测数据以及地图数据中的特征点的类别信息，通过图像对齐的方式，将观测数据与地图数据进行匹配，并进一步根据匹配结果对车辆进行定位。通过这种方式，可以在“直接法”的基础上，增加特征点的类别这一信息，通过该信息，使得即使是在强烈非凸的场景中，也能够获得唯一匹配的精确定位结果。因此，可以在提高效率的同时，使得具体的匹配算法即使在强烈非凸的场景下，也能够获得精确的定位结果，从而提升算法的适用范围。
另外，在具体实现时，还可以在通过观测数据与地图数据匹配的方式进行精确定位之前，进行初步定位，以缩小需要匹配的地图数据范围，以此进一步提高匹配效率。而在进行初步定位时，在本申请的可选实施例中，还可以通过视觉里程计的方式，获得相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与地图数据中道路几何线形的拓扑结构信息进行匹配，来实现初步定位。这样，可以使得初步定位以及后续的精确定位过程都可以完全基于视觉信息来进行，降低定位过程对其他类型传感器的依赖。
当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-1是不带特征点类别信息时的相机设备观测数据与地图数据的示意图；
图1-2是本申请实施例提供的带特征点类别信息时的相机设备观测数据与地图数据的示意图；
图2是本申请实施例提供的应用场景的示意图；
图3是本申请实施例提供的第一方法的流程图；
图4是本申请实施例提供的地图数据的示意图；
图5是本申请实施例提供的车道线的示意图；
图6是本申请实施例提供的第二方法的流程图；
图7是本申请实施例提供的第三方法的流程图；
图8是本申请实施例提供的第四方法的流程图；
图9是本申请实施例提供的第五方法的流程图；
图10是本申请实施例提供的第六方法的流程图；
图11是本申请实施例提供的第一装置的示意图；
图12是本申请实施例提供的第二装置的示意图；
图13是本申请实施例提供的第三装置的示意图；
图14是本申请实施例提供的第四装置的示意图；
图15是本申请实施例提供的第五装置的示意图；
图16是本申请实施例提供的第六装置的示意图；
图17是本申请实施例提供的计算机系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，采用相对定位的方式来实现定位，具体的，可以使用相机作为主要的信息采集设备。为了便于理解，首先需要说明的是，在现有技术中也存在一些基于视觉定位的实现方案，主要的做法就是预先建立高精度地图，其中可以包括一些特征点的位置信息(相对于世界坐标系的坐标信息)。其中，特征点具体可以是用于对道路交通场景中可能出现的一些物体进行表达，例如，灯杆，车道线，信号灯，树木，建筑物，等等。在需要进行定位时，通过相机设备采集到图像数据，然后从中识别出一些特征点，并标注出这些特征点的位置信息(相对于车辆坐标系的坐标信息)。然后，可以将这些特征点与地图中的特征点进行匹配，利用相匹配的特征点各自对应的位置信息，便可以计算出车辆的位置信息。其原理在于，如果某两个特征点是用于对同一物体进行描述的点，则两者的物理位置信息应该是相同的。但是，由于地图数据中的位置信息，与相机识别出的位置信息，是使用了不同的参考坐标系，因此，两者对相匹配的一对特征点的坐标表达结果会有所不同。而关于车辆的位置信息，主要是指车辆在世界坐标系中的坐标信息，因此，已知一个点在世界坐标系下的坐标信息，以及该点在车辆坐标系下的坐标，便可以通过坐标的转换关系，计算出车辆在世界坐标系下的坐标。
在实现上述基于视觉的相对定位的过程中，如何确定相机观测到的特征点与地图数据中的特征点之间的匹配关系，是比较关键的一步。在现有技术中，存在特征点法以及直接法两种方式。其中，特征点法需在建图和定位过程中需要提取特征点，计算描述子，建立观测点和地图点之间的一一对应关系，然后再求观测点和地图点距离最小的变换矩阵，即可计算出车辆在世界坐标系下的位置信息。特征点法的优点是，由于建立了地图和当前观测的特征点之间的一一对应关系，因此，其计算精度会比较高，对各种场景的适用性比较高。但缺点是，由于需要建立特征点之间的对应关系，计算描述子等等，因此，使得计算复杂度高。
直接法无需求一一对应的特征点，而是直接求当前观测特征点和地图数据之间的最小灰度距离，并构造一个关于位姿变化的误差函数，当这个误差函数最小时，认为此时估计的位姿最优。也即，通过图像对齐的方式，进行观测数据与地图数据之间的匹配。直接法的优点是效率高，但是，缺点在于，直接法通常仅在非强烈非凸的观测场景中，才能够得到较为精确的结果。其中，非凸是指，观测到的点云的分布是非凸的，比如地面的点云是一个近似平面，就是非凸的，即平的。强烈非凸就是很平的意思。非强烈非凸就是要求点云分布呈现一定的起伏，这样在做配准的时候有参考。比如一个平面和另一个平面匹配，是会滑动的，也即，可能会得到多个不同的匹配结果，且匹配度都很高。但一个曲面和一个曲面匹配，比较容易得到唯一的匹配结果。也就是说，直接法只有针对曲面与曲面的匹配才会比较适用，但是，实际的道路交通场景中，尤其是城市道路，由于路面都相对比较平缓，因此，更多的是非强烈非凸的观测场景，这就使得直接法的应用范围受到了限制。
针对上述情况，本申请实施例提供了相应的解决方案。在该方案中，可以预先建立高精度地图，地图数据中除了可以记录路面场景中多个特征点的位置信息(通常是相对于世界坐标系的坐标信息)之外，更重要的是，还可以在地图数据中记录特征点对应的物体的类别信息。例如，某特征点用于对路边的一个灯杆进行描述，则该特征点对应的物体的类别信息就可以是灯杆，等等，并且这种类别信息会体现在具体的地图数据中。也即，地图数据中对一个特征点的表达方式是：坐标+类别，从这两个维度上对一个特征点进行描述。具体在定位时，可以通过相机设备采集具有深度信息的图像数据，并从中进行特征识别，其中，在本申请实施例中，不仅可以识别出具体相机设备所观测到的特征点的位置信息(通常是相对于车辆坐标系的坐标信息)，还可以识别出具体特征点所对应物体的类别信息。也即，通过对相机设备采集到的图像进行识别，也可以从中识别出一些物体，这些物体可以用特征点来表达，每个特征点可以对应有各自的位置信息，以及所属物体的类别信息。例如，相机设备可能会观测到一个灯杆，该灯杆可能会由两个或者多个特征点来表达，通过深度学习等算法，可以确定出这些特征点的位置信息，以及对应物体的类别信息。之后，在将观测到的数据与地图数据匹配时，便可以基于所述类别信息，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，然后根据具体的匹配结果便可以确定出关联的车辆的定位信息。
其中，具体在进行匹配时，可以是在直接法的基础上引入特征点的类别信息这一参考信息。这样，一方面，相对于特征点法而言，可以提高效率；另一方面，由于类别信息的存在，使得即使是在强烈非凸的场景中，也能够获得唯一匹配的精确定位结果。例如，如图1-1所示，假设相机观测到3个特征点，根据特征点的位置信息可知，这3个特征点在一个平面上，并且呈等边三角形排列，此时，如果采用直接法做配准，这3个特征点是没有区别的，因此可能有三种配准结果，并且匹配度相同，这就使得其中哪个配准结果更准确，将无从知晓。进一步的，最终只能给出三种可能的定位结果，显然，这种信息的有效性将大大降低。但是，在本申请实施例中，如图1-2所示，能够识别出观测数据中具体特征点的类别信息，地图数据中也存在特征点的类别信息，因此，会使得两份数据的3个特征点分别对应了各自的类别，例如，分别为类别a、b、c，那么配准的结果就只有一种，进而可以给出唯一的精确定位结果。
具体的，从系统架构角度而言，本申请实施例可以提供具体的定位系统，该定位系统可以安装于自动驾驶车辆的操作系统中，或者也可以位于云端服务器中，向车辆的自动驾驶系统实时提供定位信息。具体的场景图可以如图2所示，可以在自动驾驶的车辆上方等位置安装相机设备，该相机设备可以是双目相机等能够采集深度信息的相机设备。这样，在车辆在道路交通场景中行驶的过程中，可以通过相机设备对道路交通场景中的一些物体进行图像数据的采集，并根据预先建立的高精地图以及所述采集到的图像数据，实现基于视觉的定位。具体的定位结果可以用于为自动驾驶系统等提供参考信息。
下面对本申请实施例提供的具体技术方案进行详细介绍。
实施例一
首先，该实施例一从定位系统的角度，提供了一种视觉定位方法，参见图3，该方法具体可以包括：
S301：获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
在本申请实施例中，可以针对道路交通场景，预先创建高精度的地图数据。在这种地图数据中，可以通过特征点的方式，对道路交通场景中的车道线、车道标识、路沿、交通灯、路灯、树木等标志物进行描述。具体描述时的信息，在本申请实施例中，可以采用坐标+类别的方式。其中，在地图数据中，具体的坐标可以是基于世界坐标系表达的三维坐标。对于某个具体的物体，可以采用一个或多个特征点的方式进行描述，例如，如图4所示，对于交通标志这种物体，其在路面上的投影面积比较大，可以用四个甚至更多特征点来表达；对于路灯、树木等，可以用一个特征点来表；对于车道线这种物体，可以通过多条线段的端点来表达，等等。
总之，在本申请实施例中，具体的地图数据中，对于每个特征点，都可以保存其在世界坐标系中的坐标信息，以及对应的物体的类别信息。另外，在具体实现时，地图数据中还可以包括地图的整体拓扑结构，用于表示出具体路线的几何线形特征，如图5中的黑色点及其连线所示，实际存储中仅需存储拓扑结构的节点即可。
另外，关于地图上的各种特征信息，在存储时，仅需以参数化的方式，记录特征点位置(图4中以黑色点示意)、特征点对应的类别等信息。以此实现最大化的数据压缩，以保证高精地图数据的紧凑，便于数据的存储和传输。例如，可以如表1所示：
表1
特征点编号 坐标 类别
1 (x1,y1,z1) 交通灯
2 (x2,y2,z2) 路灯
…… …… ……
需要说明的是，在具体实现时，可以通过性能更高的设备采集，采用复杂度更高的算法生成上述高精地图，还可以通过人工复检的方式确保地图数据的准确性。
另外，这种高精地图可以在云端服务器中进行保存，如果具体的定位系统位于车辆中，则可以预先下载该高精地图，并存储在车辆内部的存储系统中，以便在车辆系统本地实现基于视觉的定位。
需要说明的是，在实际应用中，有些道路交通场景中的特征可能会呈现出随时间变化的特点。例如，某些路段可能为“潮汐车道”，也即可变车道，具体是指城市内部根据早晚交通流量不同情况，对有条件的道路设置一个或多个车辆行驶方向规定随不同时段变化的车道。对于这种车道，在早间与晚间车道线的位置等可能会发生变化。因此，在本申请实施例中，也可以在地图数据中体现出这种变化。进而，在将相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配时，可以根据具体匹配时刻对应的地图数据进行匹配，以进一步提高匹配的精度。
另外，不同类型的车辆对地图数据的精度要求可能不同。例如，由于车辆高度的不同，使得相机设备可采集到的信息的范围有所不同，一些小型的车辆，可能主要采集路面以及高度比较低的图像，而比较大型的车辆则主要可以采集到高度比较高的图像。因此，在具体实现时，具体的地图数据中还可以包括适用于多种不同车辆类型的多份地图数据，其中，不同地图数据中包含的特征点数量不同。这样，在获得具体的地图数据时，可以获得与关联车辆相匹配的地图数据，避免造成传输、存储以及计算资源的浪费。
S302：获得相机设备采集到的带有深度信息的图像信息；
具体的相机设备可以安装在车辆的上方等位置处，随着车辆移动而移动。相机的位置可以代表车辆的位置。在车辆行驶过程中，相机设备则可以进行图像采集，具体采集到的图像信息中就可以包括车辆当前所在的道路交通场景中的一些物体，包括交通灯、路灯、交通标志、树木，等等。采集到的图像数据可以提供给车辆本地的定位系统，或者上传到服务端的定位系统，等等。
S303：对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
在车辆行驶的过程中，相机设备可以按照预置的帧率进行图像采集，例如，30帧/秒，等等。具体在对采集到的图像进行分析时，可以以帧为单位，进行特征的识别，以及定位信息的获取。
其中，在获取到当前帧图像后，可以图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息。需要说明的是，在进行特征识别时，可以是基于二维的图像信息进行识别。具体基于二维图像的特征识别方法可以有多种，例如，可以包括基于深度学习的识别，具体的，可以预先针对各种类别的物体对应的训练图像集进行训练，建立深度学习模型，然后，基于这种模型，实现对图像中的物体类别的识别，等等。可以在识别出具体的物体以及所属的类别后，确定用于代表各物体所在位置的特征点，并基于图像关联的三维信息，确定出这些特征点各自所在的位置信息。这种位置信息通常是基于车辆(相机)坐标系的三维坐标。
S304：基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
由于在地图数据中，以及相机设备观测到的数据中，都存在特征点对应的类别信息，因此，可以基于这种类别进行，进行观测数据与地图数据的匹配。其中，具体在进行匹配时，可以以直接法为基础，进行基于图像对齐的匹配，而不需要在观测数据与地图数据之间进行特征点的一一匹配，因此，可以提高效率。另外，由于结合了特征点的类别信息，因此，即使在一些强烈非凸场景下，也能够提高定位的精度。
具体实现时，由于地图数据的内容通常会非常多，而相机设备所观测到的数据只是其中的一小部分，因此，为了提高匹配的效率，避免在匹配过程中，对地图数据进行全量的遍历，在具体在进行观测数据与地图数据的匹配之前还可以进行初步定位。也即，可以首先大致判断车辆当前可能所在的区域范围，然后，可以提取出该区域范围对应的局部地图数据，将相机设备当前观测到的数据与该局部地图数据进行匹配即可，以此降低数据匹配的计算量，进一步提高效率。
其中，具体进行初步定位的方式可以有多种。例如，一种方式下，车辆通常还会配备有GNSS等基于信号的定位系统，虽然这种定位系统的精度可能不够高，但是，在信号良好的状态下，也能够大致确定车辆当前所在的区域范围。因此，可以根据这种基于信号的定位系统，对车辆进行初步定位。
当然，在具体实现时，基于信号的定位系统会严重依赖信号的质量，如果在隧道、高楼群等场景中，经常会出现信号质量变差的情况，以至于GNSS定位不准。为此，在本申请实施例中，还可以提供基于视觉信息的初步定位。也即，不仅仅是后续的精确定位可以是基于视觉信息来实现，前期的初步定位也可以基于视觉信息来实现，这样，可以在不必借助于其他类型的定位系统的情况下，实现完全依据视觉信息的初步定位以及精确定位。
具体的，为了实现基于视觉信息的初步定位，所述地图数据中还可以包括如图5所示的代表道路几何线形特征的拓扑结构信息。也即，关于具体道路的线形形状，可以在地图数据中进行保存。这样，在初步定位时，可以通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征。这样，可以通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，进行所述初步定位。例如，某车辆在最近一段时间内走过了一个S形的弯路，通过视觉里程计的方式，便可以获知该运动轨迹的信息，然后，从地图数据中的道路拓扑结构信息中，可以搜索出与该运动轨迹相匹配的一段道路，这段道路附近的区域，便为车辆当前所在的区域范围。其中，所谓视觉里程计就是一个通过分析处理相关图像序列来确定车辆行驶过的轨迹，具体的实现细节这里不进行详述。
或者，另一种方式下，还可以根据所述相机设备采集到的上一帧图像信息所获得的定位结果，所关联车辆的运动参数信息，图像采集的帧率信息，对关联车辆在当前帧采集时刻所在的位置进行预测，并根据预测结果进行所述初步定位。也就是说，在每完成一帧图像中的定位后，该定位结果还可以用于对下一帧采集时刻的车辆位置进行初步的定位。具体实现时，可以预先建立运动模型，根据具体上一帧中的定位结果，车辆的运动参数，帧率等信息，代入到该运动模型中，计算出当前帧采集时刻的初步定位结果。其中，车辆的运动参数主要可以包括车辆的方向、速度、加速度，等等。帧率主要用于计算两帧图像之间的时间间隔，通过这些信息可以大致确定出当前帧采集时刻的初步定位结果。
具体在进行观测数据与地图数据之间的匹配时，在本申请实施例中，可以基于具体特征点所对应的类别信息来进行匹配。具体的，可以基于图像对齐的方式来进行匹配，并在图像对齐的过程中，考虑特征点的类别信息。所谓的图像对齐，也就是说，通过从整体上移动所述相机设备观测到的特征点集合的位置，使其与所述地图数据中特征点集合的某子集中的特征点的重合度满足预置条件，且对应特征点所属的类别相同，则可以根据该时刻所述相机设备观测到的特征点集合所移动的位移信息，确定所关联车辆的定位信息。
具体的，可以建立关于位姿变化的误差函数(代价函数)，当这个误差函数值最小时，为此时估计的最优位姿。其中，在误差函数中，还可以考虑类别匹配信息的影响。例如，一种具体的实现方式下，具体的误差函数可以如下所示：
J(T)＝∑iλi|(pi-Tp′i)|+∑jD(tj,t′j) (1)
其中，T代表车辆的位姿，通常可以由六维列向量来表示，六个维度的信息分别表示位置以及姿态，其中，位置即车辆中心点在地图中的坐标(x，y，z)，姿态即车辆在空间中的朝向(翻滚角roll，俯仰角pitch，航向角yaw)。在具体进行匹配的过程中，车辆的位姿是未知状态，因此，在初始状态下，可以为车辆赋予初始的位姿信息，之后，随着逐渐优化T的取值，使得误差函数的值最小时，对应的T中的位置信息，即可确定为车辆在空间中的位置信息(世界坐标系下的坐标)。
∑iλi|(pi-Tp′i)|为位姿T匹配过程中产生的代价项，该项的计算结果越低，代表位姿匹配的越准确。其中，i表示类别标识；λi代表类别i的权重(关于该信息，后文中会有介绍)；p′i表示当前观测的类别i中的特征点的位置信息(用车辆坐标系中的坐标表示)，Tp′i则表示在使用位姿向量T将p′i转换到世界坐标系后的坐标信息；pi表示地图数据中与Tp′i距离最近的特征点的位置信息(用世界坐标系中的坐标表示)。如前文所述，在位姿T取值恰当的情况下，pi与Tp′i之间的距离应该是趋近于0。
∑jD(tj,t′j)是类别不匹配时产生的代价项。t′j表示当前观测的第j个特征对应的类别信息，tj表示地图数据中与第j个观测点在位置上相匹配的特征点对应的类别信息，并且，可以只对位置匹配(例如，重叠)的地图以及观测到的特征点才会计算此项。其中：
Figure BDA0002228025860000171
也就是说，在具体使用误差函数进行匹配是，可以首先通过初始化的车辆位姿参数信息(是假设的值，可以是任意取值，或者根据车辆的初步定位信息进行取值，等等)，将所述相机设备观测到的特征点的位置信息转换到地球坐标系下；所述车辆位姿参数信息为车辆在世界坐标系下的位置以及姿态信息。之后，可以从所述地图数据中，确定与所述相机观测到的特征点距离最近的特征点，并计算两者之间的距离；然后，根据所述距离以及相机观测到的特征点与所述距离最近的特征点是否为同一类别，计算误差函数的函数值。之后，可以遍历更多的位姿参数，通过优化所述车辆位姿参数信息，重新计算所述误差函数的函数值；并根据所述误差函数的函数值最小时对应的车辆位姿参数信息，确定所述车辆的定位信息。
其中，如公式(1)中所示，在具体根据误差函数进行观测数据与地图数据的匹配时，还可以考虑一个权重λi，该权重是与具体的类别相关的。之所以考虑该信息是因为，对于各种不同类别的物体而言，在从相机采集到的图像数据中进行类别识别时，识别的准确度可能会有所不同，例如，对于路灯一类的物体，由于可能与信号灯、树木等物体混淆，因此，识别的准确度可能并不高；而对于建筑物等，识别的准确度可能会比较高，等等。而这种物体类别的识别准确度也会对后续的匹配结果造成影响，因此，为了能够提高匹配结果的准确度，还可以引入权重的概念，根据从所述相机设备采集到的图像数据中进行不同类别物体的识别时的准确度信息，为不同类别的特征点分别赋予对应的权重信息。这样，在计算所述误差值时，可以在计算出所述相机观测到的特征点与距离最近的特征点之间的距离后，将该距离乘以所述观测到的特征点对应物体的类别信息对应的权重信息后，再计算所述误差值，也即公式(1)中的前半部分。
具体实现时，具体通过图像识别的方式，确定出的相机设备所观测到的数据时，由于路面情况的多变，以及一些其他车辆的遮挡等等，可能会使得识别出的观测数据存在一些误差。例如，通过对某帧图像的分析，发现其中包括70个特征点，但是，其中可能存在10个特征点是错误的。此时，如果直接使用该70个观测数据与地图数据进行匹配，则可能会匹配成功率下降等情况。因此，在本申请的优选实施例中，还可以根据所述确定出的车辆定位信息，对下一帧图像中识别出的相机设备观测到的特征点进行误检滤除。例如，具体实现时，由于已经根据当前帧图像对车辆进行了定位，因此，从地图数据中可以获知该车辆前方或者周围有哪些物体存在，进而可以对下一帧图像采集时刻进入到相机观测范围的物体进行预测。在实际采集到下一帧图像，并从中识别出具体观测到的特征点信息后，可以与上述预测结果进行比对，从中将一些明显存在错误的特征点删除，然后再与地图数据进行匹配，以此提高匹配的成功率以及准确度。
总之，通过本申请实施例，可以基于视觉信息进行车辆定位，其中，定位所需的地图数据中，不仅可以包括特征点的位置信息，还可以包括特征点对应的物体的类别信息；进而在具体定位的过程中，可以从相机设备观测到的图像数据中识别出特征点，以及特征点所对应的类别信息。这样，便可以基于观测数据以及地图数据中的特征点的类别信息，通过图像对齐的方式，将观测数据与地图数据进行匹配，并进一步根据匹配结果对车辆进行定位。通过这种方式，可以在“直接法”的基础上，增加特征点的类别这一信息，通过该信息，使得即使是在强烈非凸的场景中，也能够获得唯一匹配的精确定位结果。因此，可以在提高效率的同时，使得具体的匹配算法即使在强烈非凸的场景下，也能够获得精确的定位结果，从而提升算法的适用范围。
另外，在具体实现时，还可以在通过观测数据与地图数据匹配的方式进行精确定位之前，进行初步定位，以缩小需要匹配的地图数据范围，以此进一步提高匹配效率。而在进行初步定位时，在本申请的可选实施例中，还可以通过视觉里程计的方式，获得相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与地图数据中道路几何线形的拓扑结构信息进行匹配，来实现初步定位。这样，可以使得初步定位以及后续的精确定位过程都可以完全基于视觉信息来进行，降低定位过程对其他类型传感器的依赖。
实施例二
在前述实施例一中，主要对带有特征点类别信息的匹配定位方案进行了介绍，其中，也提到了初步定位的概念，并且，在初步定位时，也可以使用视觉信息来进行，以此降低对其他类型传感器的依赖。而这种初步定位方式，即使在不使用基于特征点类别信息的匹配方案时，也是可以的。例如，在通过视觉信息进行初步定位的基础上，后续通过现有技术中的特征点法或者直接法进行观测数据与地图数据的匹配，等等。为此，在本申请实施例二中，还提供了一种视觉定位方法，参见图6，该方法据特可以包括：
S601：获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
S602：获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
S603：通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
S604：根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
S605：将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
其中，具体在进行观测数据与地图数据的匹配时，可以采用特征点法，或者直接法，或者，如果所述地图数据中还包括所述多个特征点所对应物体的类别信息，则对所述图像信息进行特征识别所得到的信息还可以包括：所述相机设备观测到的特征点对应物体的类别信息；此时，可以基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配。
实施例三
该实施例三对前文所述的初步定位方法进行了单独的保护，在实际应用中，该方法也可以与其他更多种类型的精确定位方法相结合来使用。具体的，该实施例三提供了一种视觉定位中的初步定位方法，参见图7，该方法具体可以包括：
S701：获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
S702：获得相机设备采集到的带有深度信息的图像信息；
S703：通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
S704：通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
实施例四
该实施例四还提供了一种地图数据，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，以用于基于所述类别信息，通过图像对齐的方式，将相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，匹配结果用于对所述相机设备关联车辆进行定位。
具体实现时，所述地图数据中还可以包括代表道路几何线形的拓扑结构信息，这样，在需要进行初步定位的情况下，还可以通过视觉里程计的方式，利用相机设备在最近一段时间内走过的运动轨迹信息，以及所述道路的拓扑结构信息，对所述关联车辆进行初步定位。
具体实现时，所述地图数据可以通过参数化的方式进行表达。这样，可以实现最大化的数据压缩，以保证高精地图数据的紧凑，便于数据的存储和传输。
实施例五
前文所述对具体基于视觉信息的定位方法进行了介绍，在实际应用中，具体获得定位结果后，可以提供给上层的应用来使用。例如，具体的上层应用可以是车辆的自动驾驶系统，自动驾驶系统可以根据这种定位信息来进行自动驾驶控制。具体的，参见图8，该实施例五提供了一种自动驾驶控制方法，该方法具体可以包括：
S801：获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
S802：根据所述定位信息进行自动驾驶控制。
其中，具体在进行自动驾驶控制时，根据定位信息可以确定车辆当前所处的位置信息，进而，可以根据该位置信息、车辆当前的运动参数信息、周围其他交通参与者的位置信息等，做出具体的驾驶决策方案，包括是否需要转向，是否改变车道，等等。更细节的方法在这本申请实施例中不再详述。
实施例六
该实施例六针对定位信息在导航场景中的应用，也即，在人工驾驶的情况下，也可以利用这种定位信息，为驾驶员用户提供导航信息。具体的，该实施例六提供了一种提供导航信息的方法，参见图9，该方法具体可以包括：
S901：获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
S902：根据所述定位信息提供导航信息。
具体在获得车辆的定位信息后，可以结合电子地图数据与预先规划的路线等，提供相应的导航信息，包括对前方路口处行驶方向的提示，在接近路口时进行的转向提示，对道路上的交通事故多发路段的提示，等等。其中，用于提供导航信息的电子地图与前述用于进行定位的高精地图可以是不同的，导航时所用到的电子地图同时用于显示给驾驶员用户，而用于对车辆进行基于视觉定位的高精地图则通常不会展示给用户，仅在后台的数据匹配过程中会用到。
关于前述实施例二至实施例六中的未详述部分，可以参见前述实施例一中的记载，这里不再赘述。
实施例七
在该实施例七中，还可以将相机设备观测到的特征点的位置以及对应物体的类别信息与地图数据进行匹配的结果，通过前端界面的形式进行展示，这样可以直观地展示出具体的匹配情况，该信息可以用于评估定位的精度等。具体的，该实施例七还提供了一种信息展示方法，参见图10，该方法具体可以包括：
S1001：获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
S1002：获得相机设备采集到的带有深度信息的图像信息；
S1003：对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
S1004：将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
与实施例一相对应，本申请实施例还提供了一种视觉定位装置，参见图11，该装置具体可以包括：
地图获得单元1101，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
图像采集信息获得单元1102，用于获得相机设备采集到的带有深度信息的图像信息；
特征点识别单元1103，用于对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
特征匹配单元1104，用于基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
具体实现时，该装置还可以包括：
初步定位单元，用于在进行所述匹配之前进行初步定位；
局部地图选取单元，用于根据所述初步定位得到的位置信息，在所述地图数据中选取一区域范围内的局部地图数据，以用于将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配。
其中，所述地图数据中还包括代表道路几何线形的拓扑结构信息；
所述初步定位单元具体可以包括：
运动轨迹确定子单元，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
轨迹匹配子单元，用于通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，进行所述初步定位。
或者，所述初步定位单元具体可以用于：
根据所述相机设备采集到的上一帧图像信息所获得的定位结果，所关联车辆的运动参数信息，图像采集的帧率信息，对关联车辆在当前帧采集时刻所在的位置进行预测，并根据预测结果进行所述初步定位。
具体的，所述特征匹配单元具体可以用于：
通过从整体上移动所述相机设备观测到的特征点集合的位置，使其与所述地图数据中特征点集合的某子集中的特征点的重合度满足预置条件，且对应特征点所属的类别相同，则根据该时刻所述相机设备观测到的特征点集合所移动的位移信息，确定所关联车辆的定位信息。
其中，所述相机设备观测到的特征点的位置信息是相对于车辆坐标系的位置信息，所述地图数据中特征点的位置信息是相对于地球坐标系的位置信息；
所述特征匹配单元具体可以包括：
坐标系转换子单元，用于通过初始化的车辆位姿参数信息，将所述相机设备观测到的特征点的位置信息转换到地球坐标系下；所述车辆位姿参数信息为车辆在世界坐标系下的位置以及姿态信息；
匹配特征点确定子单元，用于从所述地图数据中，确定与所述相机观测到的特征点距离最近的特征点，并计算两者之间的距离；
误差计算子单元，用于根据所述距离以及相机观测到的特征点与所述距离最近的特征点是否为同一类别，计算误差值；
优化子单元，用于通过优化所述车辆位姿参数信息，重新计算所述误差值；
定位子单元，用于根据所述误差值最小时对应的车辆位姿参数信息，确定所述车辆的定位信息。
具体实现时，所述特征匹配单元还可以包括：
权重确定子单元，用于根据从所述相机设备采集到的图像数据中进行不同类别物体的识别时的准确度信息，为不同类别的特征点分别赋予对应的权重信息；
所述误差计算子单元具体可以用于，在计算所述误差值时，在计算出所述相机观测到的特征点与距离最近的特征点之间的距离后，将该距离乘以所述观测到的特征点对应物体的类别信息对应的权重信息后，再计算所述误差值。
另外，该装置还可以包括：
误检滤除单元，用于根据所述确定出的车辆定位信息，对下一帧图像中识别出的相机设备观测到的特征点进行误检滤除。
其中，所述地图数据中还包括道路交通场景中随时间变化的特征点的位置以及所述类别信息；
在将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配时，根据匹配时刻对应的地图数据进行匹配。
另外，所述地图数据中可以包括适用于多种不同车辆类型的多份地图数据，其中，不同地图数据中包含的特征点数量不同；
所述地图获得单元具体可以用于：
获得与关联车辆相匹配的地图数据。
与实施例二相对应，本申请实施例还提供了一种视觉定位装置，参见图12，该装置具体可以包括：
地图获得单元1201，用于获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
图像采集信息获得单元1202，用于获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
初步定位单元1203，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
局部地图数据确定单元1204，用于根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
特征匹配单元1205，用于将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
其中，所述地图数据中还包括所述多个特征点所对应物体的类别信息；
所述对所述图像信息进行特征识别所得到的信息还包括：所述相机设备观测到的特征点对应物体的类别信息；
所述特征匹配单元具体可以用于：
基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配。
与实施例三相对应，本申请实施例还提供了一种视觉定位中的初步定位装置，参见图13，该装置具体可以包括：
地图获得单元1301，用于获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
图像采集信息获得单元1302，用于获得相机设备采集到的带有深度信息的图像信息；
运动轨迹确定单元1303，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
初步定位单元1304，用于通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
与实施例五相对应，本申请实施例还提供了一种自动驾驶控制装置，参见图14，该装置具体可以包括：
定位信息获得单元1401，用于获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
自动驾驶控制单元1402，用于根据所述定位信息进行自动驾驶控制。
与实施例六相对应，本申请实施例还提供了一种提供导航信息的装置，参见图15，该装置具体可以包括：
定位信息获得单元1501，用于获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
导航信息提供单元1502，用于根据所述定位信息提供导航信息。
与实施例七相对应，本申请实施例还提供了一种信息展示装置，参见图16，该装置具体可以包括：
地图获得单元1601，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
图像采集信息获得单元1602，用于获得相机设备采集到的带有深度信息的图像信息；
特征点识别单元1603，用于对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
展示单元1604，用于将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
另外，本申请实施例还提供了一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
获得相机设备采集到的带有深度信息的图像信息；
对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
以及另一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
获得相机设备采集到的带有深度信息的图像信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
其中，图17示例性的展示出了电子设备的架构，具体可以包括处理器1710，视频显示适配器1711，磁盘驱动器1712，输入/输出接口1713，网络接口1714，以及存储器1720。上述处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714，与存储器1720之间可以通过通信总线1730进行通信连接。
其中，处理器1710可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器1720可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1720可以存储用于控制电子设备1700运行的操作系统1721，用于控制电子设备1700的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1723，数据存储管理系统1724，以及视觉定位处理系统1725等等。上述视觉定位处理系统1725就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1720中，并由处理器1710来调用执行。
输入/输出接口1713用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1714用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1730包括一通路，在设备的各个组件(例如处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714，与存储器1720)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714，存储器1720，总线1730等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的视觉定位方法、装置及计算机系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (28)

1.一种视觉定位方法，其特征在于，包括：
获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
获得相机设备采集到的带有深度信息的图像信息；
对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
2.根据权利要求1所述的方法，其特征在于，还包括：
在进行所述匹配之前进行初步定位；
根据所述初步定位得到的位置信息，在所述地图数据中选取一区域范围内的局部地图数据，以用于将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配。
3.根据权利要求2所述的方法，其特征在于，
所述地图数据中还包括代表道路几何线形的拓扑结构信息；
所述初步定位，包括：
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，进行所述初步定位。
4.根据权利要求2所述的方法，其特征在于，
所述初步定位，包括：
根据所述相机设备采集到的上一帧图像信息所获得的定位结果，所关联车辆的运动参数信息，图像采集的帧率信息，对关联车辆在当前帧采集时刻所在的位置进行预测，并根据预测结果进行所述初步定位。
5.根据权利要求1所述的方法，其特征在于，
所述基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，包括：
通过从整体上移动所述相机设备观测到的特征点集合的位置，使其与所述地图数据中特征点集合的某子集中的特征点的重合度满足预置条件，且对应特征点所属的类别相同，则根据该时刻所述相机设备观测到的特征点集合所移动的位移信息，确定所关联车辆的定位信息。
6.根据权利要求5所述的方法，其特征在于，
所述相机设备观测到的特征点的位置信息是相对于车辆坐标系的位置信息，所述地图数据中特征点的位置信息是相对于地球坐标系的位置信息；
所述基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，包括：
通过初始化的车辆位姿参数信息，将所述相机设备观测到的特征点的位置信息转换到地球坐标系下；所述车辆位姿参数信息为车辆在世界坐标系下的位置以及姿态信息；
从所述地图数据中，确定与所述相机观测到的特征点距离最近的特征点，并计算两者之间的距离；
根据所述距离以及相机观测到的特征点与所述距离最近的特征点是否为同一类别，计算误差值；
通过优化所述车辆位姿参数信息，重新计算所述误差值；
根据所述误差值最小时对应的车辆位姿参数信息，确定所述车辆的定位信息。
7.根据权利要求6所述的方法，其特征在于，还包括：
根据从所述相机设备采集到的图像数据中进行不同类别物体的识别时的准确度信息，为不同类别的特征点分别赋予对应的权重信息；
在计算所述误差值时，在计算出所述相机观测到的特征点与距离最近的特征点之间的距离后，将该距离乘以所述观测到的特征点对应物体的类别信息对应的权重信息后，再计算所述误差值。
8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：
根据所述确定出的车辆定位信息，对下一帧图像中识别出的相机设备观测到的特征点进行误检滤除。
9.根据权利要求1至7任一项所述的方法，其特征在于，
所述地图数据中还包括道路交通场景中随时间变化的特征点的位置以及所述类别信息；
在将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配时，根据匹配时刻对应的地图数据进行匹配。
10.根据权利要求1至7任一项所述的方法，其特征在于，
所述地图数据中包括适用于多种不同车辆类型的多份地图数据，其中，不同地图数据中包含的特征点数量不同；
所述获得地图数据包括：
获得与关联车辆相匹配的地图数据。
11.一种视觉定位方法，其特征在于，包括：
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
12.根据权利要求11所述的方法，其特征在于，
所述地图数据中还包括所述多个特征点所对应物体的类别信息；
所述对所述图像信息进行特征识别所得到的信息还包括：所述相机设备观测到的特征点对应物体的类别信息；
所述将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，包括：
基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配。
13.一种视觉定位中的初步定位方法，其特征在于，包括：
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
获得相机设备采集到的带有深度信息的图像信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
14.一种地图数据，其特征在于，
所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，以用于基于所述类别信息，通过图像对齐的方式，将相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，匹配结果用于对所述相机设备关联车辆进行定位。
15.根据权利要求14所述的地图数据，其特征在于，
所述地图数据中还包括代表道路几何线形的拓扑结构信息，以用于通过视觉里程计的方式，对所述关联车辆进行初步定位。
16.根据权利要求14所述的地图数据，其特征在于，
所述地图数据通过参数化的方式进行表达。
17.一种自动驾驶控制方法，其特征在于，包括：
获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
根据所述定位信息进行自动驾驶控制。
18.一种提供导航信息的方法，其特征在于，包括：
获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
根据所述定位信息提供导航信息。
19.一种信息展示方法，其特征在于，包括：
获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
获得相机设备采集到的带有深度信息的图像信息；
对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
20.一种视觉定位装置，其特征在于，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息；
特征点识别单元，用于对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
特征匹配单元，用于基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
21.一种视觉定位装置，其特征在于，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
初步定位单元，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
局部地图数据确定单元，用于根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
特征匹配单元，用于将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
22.一种视觉定位中的初步定位装置，其特征在于，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息；
运动轨迹确定单元，用于通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
初步定位单元，用于通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
23.一种自动驾驶控制装置，其特征在于，包括：
定位信息获得单元，用于获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
自动驾驶控制单元，用于根据所述定位信息进行自动驾驶控制。
24.一种提供导航信息的装置，其特征在于，包括：
定位信息获得单元，用于获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
导航信息提供单元，用于根据所述定位信息提供导航信息。
25.一种信息展示装置，其特征在于，包括：
地图获得单元，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
图像采集信息获得单元，用于获得相机设备采集到的带有深度信息的图像信息；
特征点识别单元，用于对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
展示单元，用于将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
26.一种计算机系统，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
获得相机设备采集到的带有深度信息的图像信息；
对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
27.一种计算机系统，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
28.一种计算机系统，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
获得相机设备采集到的带有深度信息的图像信息；
通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
CN201910958077.2A 2019-10-10 2019-10-10 视觉定位方法、装置及计算机系统 Active CN112651991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910958077.2A CN112651991B (zh) 2019-10-10 2019-10-10 视觉定位方法、装置及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910958077.2A CN112651991B (zh) 2019-10-10 2019-10-10 视觉定位方法、装置及计算机系统

Publications (2)

Publication Number Publication Date
CN112651991A true CN112651991A (zh) 2021-04-13
CN112651991B CN112651991B (zh) 2024-06-28

Family

ID=75342533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910958077.2A Active CN112651991B (zh) 2019-10-10 2019-10-10 视觉定位方法、装置及计算机系统

Country Status (1)

Country Link
CN (1) CN112651991B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119759A (zh) * 2022-01-28 2022-03-01 杭州宏景智驾科技有限公司 多位置机动车定位方法和装置、电子设备和存储介质
CN115144547A (zh) * 2022-08-29 2022-10-04 四川九通智路科技有限公司 基于物联网的隧道气体浓度检测方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
JP2015207280A (ja) * 2014-04-18 2015-11-19 株式会社リコー 目標識別方法及び目標識別装置
CN108596976A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109459047A (zh) * 2018-12-24 2019-03-12 武汉大学 车辆高精度定位数据与导航地图精确匹配及变道行为探测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
JP2015207280A (ja) * 2014-04-18 2015-11-19 株式会社リコー 目標識別方法及び目標識別装置
CN108596976A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109459047A (zh) * 2018-12-24 2019-03-12 武汉大学 车辆高精度定位数据与导航地图精确匹配及变道行为探测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋强卫;甘兴利;李雅宁;: "基于CNN双目特征点匹配目标识别与定位研究", 无线电工程, no. 08 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119759A (zh) * 2022-01-28 2022-03-01 杭州宏景智驾科技有限公司 多位置机动车定位方法和装置、电子设备和存储介质
CN114119759B (zh) * 2022-01-28 2022-06-14 杭州宏景智驾科技有限公司 多位置机动车定位方法和装置、电子设备和存储介质
CN115144547A (zh) * 2022-08-29 2022-10-04 四川九通智路科技有限公司 基于物联网的隧道气体浓度检测方法、装置及电子设备
CN115144547B (zh) * 2022-08-29 2022-12-09 四川九通智路科技有限公司 基于物联网的隧道气体浓度检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN112651991B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
CN112880693B (zh) 地图生成方法、定位方法、装置、设备及存储介质
EP3759562B1 (en) Camera based localization for autonomous vehicles
CN109341706B (zh) 一种面向无人驾驶汽车的多特征融合地图的制作方法
US11093759B2 (en) Automatic identification of roadside objects for localization
KR102682524B1 (ko) 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN113916242B (zh) 车道定位方法和装置、存储介质及电子设备
US11231283B2 (en) Localization with neural network based image registration of sensor data and map data
WO2020224305A1 (zh) 用于设备定位的方法、装置及设备
CN110361027A (zh) 基于单线激光雷达与双目相机数据融合的机器人路径规划方法
CN111174799A (zh) 地图构建方法及装置、计算机可读介质、终端设备
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
CN110160542A (zh) 车道线的定位方法和装置、存储介质、电子装置
CN102208013A (zh) 风景匹配参考数据生成系统和位置测量系统
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
CN110715671A (zh) 三维地图生成方法、装置、车辆导航设备和无人驾驶车辆
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
CN111982133A (zh) 基于高精地图对车辆进行定位的方法、装置及电子设备
CN112700486A (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN112651991B (zh) 视觉定位方法、装置及计算机系统
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN113838129A (zh) 一种获得位姿信息的方法、装置以及系统
CN117635674A (zh) 地图数据处理方法、装置、存储介质及电子设备
CN114511590A (zh) 基于单目视觉3d车辆检测与跟踪的路口多引导线构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230703

Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Applicant before: ALIBABA GROUP HOLDING Ltd.

GR01 Patent grant
GR01 Patent grant