CN107796374B - 一种图像定位方法、系统和装置 - Google Patents

一种图像定位方法、系统和装置 Download PDF

Info

Publication number
CN107796374B
CN107796374B CN201710953717.1A CN201710953717A CN107796374B CN 107796374 B CN107796374 B CN 107796374B CN 201710953717 A CN201710953717 A CN 201710953717A CN 107796374 B CN107796374 B CN 107796374B
Authority
CN
China
Prior art keywords
image data
frame
data
vehicle
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710953717.1A
Other languages
English (en)
Other versions
CN107796374A (zh
Inventor
黄泽铧
陈鹏飞
王泮渠
许可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN202010798194.XA priority Critical patent/CN112050792B/zh
Publication of CN107796374A publication Critical patent/CN107796374A/zh
Application granted granted Critical
Publication of CN107796374B publication Critical patent/CN107796374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像定位方法、装置和系统，用以解决现有技术中图像定位处理存在定位结果不准确、精度低的问题。该方法包括：车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；对所述至少一帧实时图像数据进行语义分割，得到至少一帧语义标签图像数据；查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签数据进行对比；根据对比结果和所述地图数据，确定所述车辆的位置。

Description

一种图像定位方法、系统和装置
技术领域
本发明涉及计算机图像处理领域，特别涉及一种图像定位方法、系统和装置。
背景技术
定位是一种来确定车辆在环境中的准确位置的操作，定位结果的准确度会影响很多与位置有关的操作，例如自动驾驶领域中的路线规划、障碍物规避等决策操作。定位对于自动驾驶车辆的导航非常重要。通过自动驾驶车辆上的图像采集设备采集到的图像数据和距离和位置测量设备采集到的距离数据来确定车辆的位置，定位结果的准确度可能会不太理想，GPS定位设备的误差为10米，而自动驾驶技术要求的误差为1厘米至10厘米，这样的差距显然不满足路线规划以及障碍物规避等控制操作。从而，在相关技术中存在图像定位处理存在定位结果不准确、精度低的问题。
发明内容
鉴于上述问题，提供了一种图像定位方法、装置和系统，用以解决现有技术中图像定位处理存在定位结果不准确、精度低的问题。
根据本申请的一个方面，一些实施例中提供了一种图像定位方法，包括：
车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
对所述至少一帧实时图像数据进行语义分割，得到至少一帧语义标签图像数据；
查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；
将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；
根据对比结果和所述地图数据，确定所述车辆的位置。
在本申请的多个实施例中，所述方法还包括：接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；识别出所述至少一帧语义标签图像数据中的物体；根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；则，将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。
在本申请的多个实施例中，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据，包括：根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。
在本申请的多个实施例中，所述方法还包括：接收并保存测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据。
在本申请的多个实施例中，所述测试车辆中的地图构建装置预先生成所述至少一帧基线语义标签图像数据和所述地图数据，包括：所述地图构建装置接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；接收来自所述测试车辆的位置和距离测量装置的获取的所述驾驶环境中的物体的测试位置数据；对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。在本申请的多个实施例中，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应数据，包括：根据所述测试位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据。
在本申请的多个实施例中，所述方法还包括：确定预定数据内所述车辆的多个位置；根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
在本申请的多个实施例中，所述方法还包括：根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
根据本申请的另一个方面，一些实施例中提供了一种图像定位装置，包括：
接收模块，用于接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
图像处理模块，用于对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
定位模块，用于查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；根据对比结果和所述地图数据，确定所述车辆的位置。
在多个实施例中，所述接收模块还用于：接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；所述图像处理模块还用于：根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；则，所述定位模块将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。
在多个实施例中，所述图像处理模块，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据，包括：根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。
在多个实施例中，所述接收模块还用于：接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；所述装置还包括存储模块，用于保存所述至少一帧基线语义标签图像数据和所述地图数据。
在多个实施例中，所述定位模块还用于：确定预定时间内所述车辆的多个位置；根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
在多个实施例中，所述定位模块还用于：根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
根据本申请的另一个方面，一些实施例中提供了一种图像定位装置，包括：一个处理器和至少一个存储器，所述至少一个存储器中存储有至少一条机器可执行指令，所述处理器执行所述至少一条指令，以实现：
接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；
将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；
根据对比结果和所述地图数据，确定所述车辆的位置。
在多个实施例中，所述处理器执行所述至少一条指令还实现：接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；则，所述处理器执行所述至少一条指令实现将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。
在多个实施例中，所述处理器执行所述至少一条指令实现删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据，包括：根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。
在多个实施例中，所述处理器执行所述至少一条指令还实现：接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；所述至少一个存储器还用于保存所述至少一帧基线语义标签图像数据和所述地图数据。
在多个实施例中，所述处理器执行所述至少一条指令还实现：确定预定时间内所述车辆的多个位置；根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
在多个实施例中，所述处理器执行所述至少一条指令还实现：根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
根据本申请的另一个方面，一些实施例中提供了一种图像定位系统，包括：测试车辆中的地图构建装置和自动驾驶车辆中的图像定位装置；
所述地图构建装置用于：接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据；对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系；
所述图像定位装置用于：接收并保存来自所述测试车辆的所述驾驶环境的所述至少一帧基线语义标签图像数据和所述地图数据；车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；根据对比结果和所述地图数据，确定所述车辆的位置。
根据本申请提供的技术方案，将驾驶环境的语义标签图像数据作为定位操作的输入，而不是将原始图像数据作为定位操作的输入，语义分割所识别出来的物体与其它因素之间不具有相关性，相比于相关技术中将实时获取的驾驶环境的原始图像与预先获取的驾驶环境的图像进行对比，本申请中将语义标签图像数据与基线语义标签图像数据进行对比能够得到准确性较高的相对位置，进而通过与基线语义标签图像数据对应的地图数据得到实际位置，能够得到准确度高、可靠性高的车辆位置。从而能够解决相关技术中图像定位处理存在的定位结果不准确、精度低的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1a为本申请多个实施例中提供的一种图像定位系统的示意图；
图1b为本申请多个实施例中提供的测试车辆的地图构建装置的工作流程图；
图2a为本申请多个实施例中提供的一种图像定位方法的流程图；
图2b为本申请多个实施例中提供的另一种图像定位方法的流程图；
图3为图2a或图2b所示方法的后续处理流程图；
图4为本申请多个实施例中提供的一种图像定位装置的应用环境示意图；
图5为本申请多个实施例中提供的一种图像定位装置的结构框图；
图6为本申请多个实施例中提供的一种图像定位装置的结构框图；
图7为本申请多个实施例中提供的一种地图构建装置的结构框图；
图8为本申请多个实施例中提供的一种地图构建装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在相关技术中，在进行图像定位处理时，通常先实时地采集某个环境的图像，使用物体识别的技术识别出图像中的物体，然后将采集到的图像与预先保存的该环境的图像进行对比，根据对比结果确定物体的相对位置，值得注意的是，这里确定得到的是相对位置。后续再进行其它处理得到物体的确定的位置。
但是由于图像数据本身位置属性的准确度较低，根据对比得到的定位结果也不具有高度的准确性。并且是否能从图像数据中准确识别出物体的位置与很多因素存在强相关关系，例如是否与位置强相关、是否与光线明暗强相关，对于与位置强相关的物体能够较为准确的确定其位置，与位置若相关的物体无法准确的确定其位置，在充足的光线条件下，能够较为准确的识别物体的位置，在不充足的关系条件下，无法准确的确定物体的位置。也即，在相关技术中，存在图像定位处理存在定位结果不准确、精度低的问题。
针对相关技术中图像定位处理的定位结果不准确、精度低的问题，本申请的实施例中提出了一种图像定位的方法、装置和系统，用于解决该问题。本申请的实施例中对采集到的实时图像进行语义分割处理，得到语义标签图像数据。图像语义分割的目的在于，通过给图像中的每个像素标定一种语义类别，从而在图像中标识出与物体直接对应的图像区域，能够建立图像区域与物体的对应关系。不同于仅仅识别出图像中物体的物体识别技术，通过语义分割所识别出来的物体与其它因素之间不具有相关性，也即语义分割技术排除了图像物体识别的多种不确定性因素。并且，在本申请的实施例中，测试车辆预先获取并处理得到驾驶环境的基线语义标签图像数据，基线语义标签图像数据具有对应的地图数据，并在实时处理过程中，自动驾驶车辆将实时获取和处理得到驾驶环境的语义标签图像数据与该驾驶环境的基线语义标签图像数据进行对比，根据对比结果和基线语义标签图像数据所对应的地图数据，能够确定得到图像中物体的准确的位置。
下面对本申请的提供的图像定位的方法、装置和系统进行详细说明。
如图1a所示，本申请提供的图像定位系统包括测试车辆和自动驾驶车辆，本申请的多个实施例提供的图像定位方法可以分为两个阶段，第一个阶段为地图构建阶段，第二阶段为实时定位阶段。第一阶段由一个测试车辆获取多种环境的图像数据和距离数据，根据获取到的图像数据处理得到基线语义标签图像数据，根据获取到的图像数据和距离数据建立多种环境的地图，并建立多种环境中的每个环境的基线语义标签图像数据与该环境的地图之间的对应关系；自动驾驶车辆的图像定位装置预先获取并保存各个环境的基线语义标签图像数据、地图数据以及基线语义标签图像数据与地图数据的对应关系，以便于在第二阶段也即实时定位阶段中，自动驾驶车辆在行进的过程中根据预存的内容和自动驾驶车辆实时获取的数据来确定车辆的位置。
在测试车辆处理的多个环境中，以自动驾驶车辆将要经历的驾驶环境的处理为例，对测试车辆中的地图构建装置的工作原理、即地图构建阶段的原理进行说明，图1b中示出了测试车辆的地图构建装置的处理过程，包括：
步骤11、测试车辆中的地图构建装置接收来自测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；
图像采集装置可以包括搭载在测试车辆上的至少一个摄像头，摄像头用于获取车辆的驾驶环境的视频数据，视频数据可以包括连续的或者不连续的至少一帧图像数据，为了保证地图构建的准确度，可以获取驾驶环境的连续的至少一帧图像数据，并且可以预定获取视频数据的时间长度，以获取足够的图像数据；
步骤12、地图构建装置接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据；
位置和距离测量装置可以是受激辐射光放大(激光)测距装置、光检测和测距(LiDAR)装置、声音导航和测距(声纳)装置、全球定位系统 (GPS)装置、无线电检测和测距(雷达)装置、或者其它类似的装置，测试位置数据可以是上述装置中的至少一个装置获取到的位置数据；
步骤13、对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；
使用语义分割方法进行图像物体识别，给图像中的每个像素标定一种语义类别，在图像中标识出与物体直接对应的图像区域，能够建立图像区域与物体的对应关系，所识别出来的物体与其它因素之间不具有相关性，也即语义分割技术排除了图像物体识别的多种不确定性因素；
在一个实施例中，为了得到准确度更高的地图构建结果，可以对至少一帧测试图像数据中的每一帧图像数据进行语义分割，在另一个实施例中，还可以对预定数量的图像数据进行语义分割；语义分割的方法可以是现有的方法，也可以是在本申请之后改进的方法，本申请不对语义分割的方法做具体限定；
步骤14、根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；
由于基线语义标签图像数据要作为后续自动驾驶车辆实时定位处理的数据参考，相对“干净”的数据更适合作为参考依据，并且减少在各阶段中处理的数据量，减少处理负担；具体可以在基线语义标签图像数据中删除与位置无关的物体所对应的数据，保留与位置有关的物体所对应的数据，与位置无关的物体可以是动态物体、暂态的物体、或者转瞬即逝的物体，例如：在空中飘落的树叶、道路上的杂物、行人、等等物体，与位置有关的物体可以是交通标识牌、道路两旁建筑物、等等物体；
其中，删除与位置无关的物体对应数据的操作包括如下处理过程(图中未示出)：
步骤S141、根据所述测试位置数据，确定预定时间内所识别出来的物体的多个位置；
步骤S142、根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；
步骤S143、确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；
步骤S144、删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据；
根据上述处理过程所得到的基线语义标签图像数据不包括与位置无关的物体；
步骤15、根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；
其中所建立的驾驶环境的地图可以是三维模型或者三维地图；
建立地图的方法可以是是现有的方法，也可以是在本申请之后改进的方法，本申请不对地图构建的方法做具体限定；
步骤16、建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。
通过测试车辆中地图构建装置的上述处理，对图像数据进行语义分割处理，给图像中的每个像素标定一种语义类别，在图像中标识出与物体直接对应的图像区域，能够建立图像区域与物体的对应关系，排除图像数据的各种不确定性因素，从而为后续实时定位阶段的处理提供准确度更高的参考。并且建立驾驶环境的地图，建立驾驶环境的基线语义标签图像数据与驾驶环境的地图数据之间的对应关系，能够为后续实时定位阶段的定位处理提供准确的地图位置。
在实时定位阶段，自动驾驶车辆预先获取并存储驾驶环境的至少一帧基线语义标签图像数据、驾驶环境的地图、以及驾驶环境的地图与至少一帧基线语义标签图像数据的对应关系，并在车辆运行的过程中，根据实时获取到的驾驶环境的图像数据以及预先存储的上述数据，实时的确定得到车辆的位置，该位置来自于预先建立的地图数据，具有较高的准确性和可靠性。
下面对实时定位阶段中自动驾驶车辆的地图构建装置的工作原理进行说明。
图2a示出了本申请的多个实施例提供的一种图像定位方法的流程图，该方法包括如下处理过程：
步骤21、车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
其中，车辆可以是一辆自动驾驶车辆(或称为无人驾驶车辆)，图像生成设备可以是搭载在车辆上的至少一个摄像头，摄像头用于获取车辆的驾驶环境的视频数据，视频数据可以包括连续的或者不连续的至少一帧图像数据；
其中，在步骤21之前，图像定位装置还可以接收并保存测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；
步骤22、对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
使用语义分割方法进行图像物体识别，给图像中的每个像素标定一种语义类别，在图像中标识出与物体直接对应的图像区域，能够建立图像区域与物体的对应关系，所识别出来的物体与其它因素之间不具有相关性，也即语义分割技术排除了图像物体识别的多种不确定性因素；
图像定位装置可以对至少一帧实时图像数据中的每一帧图像数据进行语义分割，也可以对预定数量的图像数据进行语义分割；可以对连续的预定数量的图像数据进行语义分割，也可以对随机抽取的预定数量的图像数据进行语义分割，也可以对预定方位角度的预定数量的图像数据进行语义分割，本申请不对图像的选取不做具体限定；语义分割的方法可以是现有的方法，也可以是在本申请之后改进的方法，本申请不对语义分割的方法做具体限定；
步骤23、查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；
其中，至少基线语义标签图像数据是来自于地图构建装置的，图像定位装置预先接收并保存测试车辆中的地图构建装置预先生成的至少一帧基线语义标签图像数据和对应的地图数据，其中至少一帧基线语义标签图像数据包括有上述驾驶环境的基线语义标签图像数据，以及与该驾驶环境对应的地图数据；
查找操作的方法可以是现有技术中的查找方法，也可以是在本申请之后改进的查找方法；
步骤24、将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；
对比操作确定得到车辆在基线语义标签图像数据中的相对位置；
步骤25、根据对比结果和所述地图数据，确定所述车辆的位置；
由于已经确定得到车辆在基线语义标签图像数据中的相对位置，再根据基线语义标签图像数据与地图数据的对应关系，可以确定得到车辆在基线语义标签图像数据中的相对位置在地图数据中的实际位置。
从而在本申请的实施例中，将驾驶环境的语义标签图像数据作为定位操作的输入，而不是将原始图像数据作为定位操作的输入，语义分割所识别出来的物体与其它因素之间不具有相关性，并且在预先接收和保存的基线语义标签图像数据中，所识别出来的物体与其它因素之间不具有相关性；相比于相关技术中将实时获取的驾驶环境的原始图像与预先获取的驾驶环境的图像进行对比，本申请中将语义标签图像数据与基线语义标签图像数据进行对比能够得到准确性较高的相对位置，进而通过与基线语义标签图像数据对应的地图数据得到实际位置，能够得到准确度高、可靠性高的车辆位置。从而能够解决相关技术中图像定位处理存在的定位结果不准确、精度低的问题。
在上述图2a的处理基础上，本申请的实施例中还提出了一种图像定位方法，如图2b所示，该方法包括图像处理流程：
步骤201(即图2b所绘示的步骤21)、车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
步骤202(即图2b所绘示的步骤22)、对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
步骤203(即图2b所绘示的步骤23)、接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；
位置和距离测量装置可以是受激辐射光放大(激光)测距装置、光检测和测距(LiDAR)装置、声音导航和测距(声纳)装置、全球定位系统 (GPS)装置、无线电检测和测距(雷达)装置、或者其它类似的装置，位置数据可以是上述装置中的至少一个装置获取到的数据；
本申请不对上述步骤201和步骤203的执行顺序做具体限定，步骤201 可以在步骤203之前执行，也可以在步骤203之后执行，步骤201和步骤 203还可以同时执行；
步骤204(即图2b所绘示的步骤24)、根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；
步骤204包括如下处理过程(图中未示出)：
步骤2041、根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；
步骤2042、根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；
具体可以根据多个位置之间的差别、以及图像获取的时间，来确定物体的速度和速度矢量，确定的方法可以是现有方法、也可以是本申请之后改进的方法；
步骤2043、确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；
步骤2044、删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；
根据上述处理过程所得到的语义标签图像数据不包括与位置无关的物体；
步骤205(即图2b所绘示的步骤25)、查找并获取与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；
也可以查找并获取与所示至少一帧结果语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据；
步骤206(即图2b所绘示的步骤26)、将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；
步骤207(即图2b所绘示的步骤27)、根据对比结果和所述地图数据，确定所述车辆的位置。
在如图2b的处理过程中，将语义标签图像数据中与位置无关的物体的数据删除，保留与位置有关的物体的数据，也即结果语义标签图像数据中包括的物体都是有位置有关的物体，这样的数据对于图像定位而言处理包括的都是有用的信息，从而有助于提高定位处理的准确性和可靠性，并且减轻处理负担。
在图2a和图2b所示处理过程的基础上，还可以进一步包括如图3所示的处理流程：
步骤31、图像定位装置确定预定时间内所述车辆的多个位置；
步骤32a、根据所识别出来的多个位置之间的差别，确定所述车辆的速度；
步骤32b、图像定位装置根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
通过如图3所示的处理过程，可以进一步地确定得到车辆的速度，以及车辆的行驶路径。
基于相同的发明构思，本申请的多个实施例还提供了一种图像定位装置，该图像定位装置对应于上述的图像定位装置，应用在自动驾驶车辆中，如图4所示，该图像定位装置可以被用于车辆系统1001的控制系统150的环境中。在一个示例性实施例中，车辆105中包括一个控制系统150，该控制系统150具有一个图像定位装置400，该控制系统150能够如图1a所示的架构和系统1001得到配置。但是，对于本领域的普通技术人员显而易见的是，本申请所描述和主张的图像定位装置400还能够被实施、配置以及使用在其它的多个应用和系统中。
参考图4，通过如图4示出了示例性的系统1001的框图，在一个示例性的实施例中，系统1001所包括的控制系统150和图像定位装置400能够得以实施。以下将详细描述这些构成。系统1001包括多个系统和多个构件，这些系统和构件能够生成和/或传输一个或多个源信息/源数据，系统1001 还包括与车内控制系统150和图像定位装置400相关的多个服务。系统1001 能够被安装在车辆105中。例如，安装在车辆105中的摄像头作为车辆子系统140中的一个装置，能够生成图像数据和计时数据，该图像数据和计时数据能够被控制系统150接收到。控制系统150以及在其中运行的图像定位装置400能够接收所输入的上述图像数据和计时数据。如下详述，图像定位装置400接收来自于车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；对至少一帧实时图像数据进行语义分割，识别出驾驶环境中的物体，得到至少一帧语义标签图像数据；查找并获取预存的与至少一帧语义标签图像数据对应的、驾驶环境的至少一帧基线语义标签图像数据，基线语义标签图像数据具有对应的驾驶环境的地图数据；将至少一帧语义标签图像数据与至少一帧基线语义标签图像数据进行对比；根据对比结果和地图数据，确定车辆的位置。该位置信息可以被自动车辆控制子系统使用，该自动车辆控制子系统是车辆子系统140中的另一个子系统。例如，自动车辆控制子系统能够使用车辆位置信息，在真实世界的驾驶场景中安全有效地为车辆105导航，同时避免障碍且安全地控制车辆。
在本申请提供的一个示例性实施例中，控制系统150能够与多个车辆子系统140进行数据通信，所有这些车辆子系统140常驻在使用者的车辆 105中。一个车辆子系统接口141被用于促进控制系统150和多个车辆子系统140之间的数据通信。控制系统150包括一个数据处理器171以执行图像定位装置400，用以处理从一个或多个车辆子系统140接收到的图像数据。该数据处理器171能够与一个数据存储装置172合并设置，并作为控制系统 150中的计算系统170的一部分。数据存储装置172能够被用于存储数据、存储处理参数、以及存储数据处理指令。处理模块接口165被用于促进数据处理器171和图像定位装置400之间的数据通信。在多个示例性实施例中，多个处理模块被配置为与图像定位装置400相类似的配置，并被数据处理器171执行。如图4中的虚线所示，图像定位装置400能被集成到控制系统150中，或者可选地被下载到控制系统150中。
控制系统150能够用于与广域网120进行数据的接收/发送，以及与和广域网相连接的网络资源122进行数据的接收/发送。可联网装置130和/或用户移动装置132能够用于通过网络120进行通信。可联网装置接口131能够被控制系统150使用，以促进控制系统150、以及通过可联网的装置130 所连接的网络120之间的数据通信。相类似地，用户移动装置接口133能够被控制系统150使用，以促进控制系统150和通过用户移动装置132连接到的网络120之间的数据通信。以该种方式，控制系统150能够实时地通过网络120接入到网络资源122中。数据处理器171能够从网络资源122获取被数据处理器171所执行的多个处理模块、用于训练内部神经网络的数据内容、多个系统参数以及其它数据。
系统1001包括广域数据网络120。网络120为一个或多个传统广域数据网，例如因特网、一个蜂窝电话网络、卫星网络、寻呼网络、无线广播网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络等等。一个或多个这样的网络120能够将一个用户或者一个客户端系统连接到网络资源122，例如多个网站、多个服务器、多个中央控制网站，或者类似的网络资源。网络资源122能够生成和/或发布数据，该数据能够被车辆105通过车内可联网装置130或者用户移动装置132接收到。网络资源122也可以提供网络云服务，网络资源122能够支持在处理图像输入分析或者图像输出分析中进行计算或者辅助计算的函数。天线用于通过蜂窝、卫星、无线电或者其它传统的信号接收方案，将控制系统150和图像定位装置400连接到数据网络120。这样的蜂窝数据网络是当前可获得的(例如，VerizonTM， AT&TTM，T-MobileTM，等等)。这样的基于卫星的数据网络或内容网络也是当前可获得的(例如，SiriusTM，HughesNetTM，等等)。传统的广播网络也是为人熟知的，例如，多个AM/FM无线网络、寻呼网络、UHF网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络，以及类似的网络。从而，如下详述，控制系统150和图像定位装置400能够通过可联网装置接口131接收基于网络的数据或内容，该可联网装置接口131用于连接可联网装置接收器130和网络120。以该种方式，控制系统150以及图像定位装置400能够支持车辆105其中的多个可连接网络的车内装置和系统。
如图4所示，控制系统150和图像定位装置400也能够接收来自用户移动装置132的数据、图像处理控制参数、以及训练内容，该用户移动装置 132能够被设置在车辆105之中或靠近车辆105。用户移动装置132可以是标准移动装置，例如蜂窝电话、智能电话、个人数字助理(PAD’s)、MP3 播放器、平板计算装置(例如，iPaDTM)、手提计算机、CD播放器、以及其它移动装置，用户移动装置132能够为控制系统150和图像定位装置400 产生、接收和/或发送数据、图像处理控制参数以及内容。如图4所示，移动装置132也能够与网络云120进行数据通信。移动装置132能够从其自身内部的存储部件中获取数据和内容，也能通过网络120从网络资源122中获取数据和内容。此外，移动装置132自身可以包括一个GPS数据接收器、多个加速计、多个WiFi三角测量或者其它地理位置探测器或部件，这些部件能够被用于在任何时刻确定用户的实时地理位置。在任何情况下，如图4 所示，控制系统150和图像定位装置400能从移动装置132接收数据。
继续参考图4，示例性实施例中的系统1001包括车辆可操作子系统140。在车辆105已实施的实施例中，许多标准车辆包括多个可操作子系统，例如，多个电子控制单元(ECUs)，支持对引擎、刹车、变速器、电子系统、排气系统、内部环境等等进行监视/控制的子系统。例如，在车辆可操作子系统140(例如车辆105的ECUs)与控制系统150通过车辆子系统接口141 进行通信的数据信号中，包括车辆105的一个或多个部件或者子系统的状态的信息。特别地，该数据信号能够从车辆可操作子系统140发送到车辆 105的一个控制器局域网(CAN)总线，该数据信号能够通过车辆子系统接口141被控制系统150接收和处理。本申请描述的系统和方法能够实质性的被用于任何使用CAN总线、或者本申请所定义的使用类似的数据通信总线的机械化的系统，该系统包括但不限于工业装置、船只、卡车、机械装置或汽车；从而，这里使用的术语“车辆”包括任何上述机械化的系统。本申请描述的系统和方法的实施例也能够与任何配置有某种形式的网络数据通信的系统一起使用，但是，这样的网络通信不是必须的。
继续参考图4，示例性实施例中的系统1001以及其中的车辆可操作子系统140能够包括支持车辆105运行的多个车辆子系统。通常而言，车辆105可以是一个轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车。也可以是其它车辆。车辆105可以完全地或部分地以自动模式进行运行。例如，车辆105可以在自动模式下同时控制其自身，并且还可以被操作以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的其它至少一个车辆的一个预测行为，确定上述其它至少一个车辆执行所述预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆105。在处于自动驾驶模式下时，车辆105可以在无人交互的情况下运行。
车辆105可能包括各种车辆子系统，例如一个车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、以及乘员接口子系统148。如上所述，车辆105还可以包括控制系统150、计算子系统170、以及图像定位装置400。车辆105或多或少地包括一些子系统，每个子系统可以包括多个单元。进一步地，车辆105的每个子系统和单元之间可以是互联的。从而，车辆105的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中，附加的功能性部件或者实体部件可以增加到如图4所示的示例中。
车辆驱动子系统142可以包括为车辆105提供动能的多个可操作部件。在一个示例性实施例中，车辆驱动子系统142可以包括一个发动机或电动机、多个轮子/轮胎、一个变速器、一个电子子系统、以及一个动力源。发动机或者电动机可以是如下装置的任意组合：一个内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些示例性实施例中，发动机可以将一种动力源转换为机械能。在一些示例性实施例中，车辆驱动子系统142可以包括多种发动机或电动机。例如，一个油电混合轿车可以包括一个汽油发动机和一个电动机，也可以包括其它的情况。
车辆105的多个轮子可以是标准车轮。车辆105的多个轮子可以是多种形式的轮子，包括一个独轮、双轮、三轮、或者一个四轮形式，例如轿车或卡车上的四轮。其它数量的轮子也是可以的，例如六轮或者更多的轮子。车辆105的任何组合的轮子可被操作为与其他轮子的旋转方向不同。轮子可以是至少一个与变速器固定连接的轮子，以及至少一个轮胎与轮子的边缘相匹配使得轮子与驾驶表面相接触。这些轮子可以包括金属与橡胶的结合，或者是其他物质的结合。变速器可以包括可被操作以将发动机的机械动力传送到轮子的单元。出于这个目的，变速器可以包括一个齿轮箱、一个离合器、一个差动齿轮，和多个传动轴。变速器也可以包括其它单元。传动轴可以包括与轮子相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆105的电子信号的单元。这些电子信号可用于启动车辆105中的多个灯、多个伺服机构、多个电动机，以及其它电子驱动或者控制的装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即，发动机或电动机能够将动力源转换为机械能。示例性地，动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆105的其它子系统提供能量。
车辆传感器子系统144可以包括多个传感器，这些传感器用于感应车辆105的环境和条件的信息。例如，车辆感应器子系统144可以包括一个惯性测量单元(IMU)、一个全球定位系统(GPS)收发器、一个雷达单元、一个激光测距仪/LIDAR单元(或其它距离测量装置)、以及一个或多个摄像头或图像捕捉装置。车辆传感器子系统144可以包括用于监视车辆105内部系统的多个感应器(例如，一个氧气(O2)监视器、一个油量表传感器、一个发动机油压传感器，等等)。还可以配置其它传感器。被包括在车辆传感器子系统144中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。
IMU可以包括任何传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆105的位置变化和方向变化。GPS收发器可以是任何用于估计车辆105的地理位置的传感器。出于该目的，GPS收发器可以包括一个接收器/发送器以提供车辆105相对于地球的位置信息。雷达单元可以是使用无线电信号来感应车辆105所在环境中的对象的系统。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆105的物体的速度和前进方向。激光测距仪或LIDAR单元(或者其它距离测量装置)可以是任何使用激光来感应车辆105所在环境中的物体的传感器。在一个示例性实施例中，激光测距仪/LIDAR单元可以包括位于其它系统部件中的一个或多个激光源、一个激光扫描仪、以及一个或多个探测器。激光测距仪 /LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。摄像头可以包括一个或多个用于捕捉车辆105所在环境的多个图像的装置。摄像头可以是静态图像摄像头或者动态视频摄像头。
车辆控制系统146用于控制对车辆105及其构件的操作。相应地，车辆控制系统146可以包括各种单元，例如一个转向单元、一个油门、一个刹车单元、一个导航单元和一个自动控制系统。
转向单元可以是任何调整车辆105前进方向的机械的组合。油门，例如可以被用于控制发动机的运转速度，进而控制车辆105的速度。刹车单元可以包括用于对车辆105进行减速的机械的组合。刹车单元可以以标准方式利用摩擦力来使轮胎减速。在其他实施例中，刹车单元可以将轮子的动能转化为电流。刹车单元也可以采用其它形式。导航单元可以是任何为车辆105确定驾驶路径或路线的系统。导航单元还可以在车辆105行进的过程中动态的更新驾驶路径。在一些实施例中，导航单元用于将来自图像定位装置400的数据、来自GPS收发器的数据、以及一个或多个预定地图的数据结合起来，从而确定车辆105的驾驶路径。自动控制单元可以是一个用于识别、评估、以及避免或越过车辆105所在环境中的潜在障碍的系统。通常，自动控制单元可以用于在没有驾驶者的情况下控制车辆105，或者为驾驶者控制车辆提供辅助。在一些实施例中，自动控制单元用于将来自图像定位装置400的数据、GPS收发器的数据、雷达数据、LIDAR数据、摄像头数据、以及来自其它车辆子系统的数据结合起来，来确定车辆105的驾驶路径或路线。车辆控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件。
乘员接口子系统148可以用于允许车辆105与外部传感器、其它车辆、其它计算系统和/或车辆105的一个乘员或者使用者之间的互动。例如，乘员接口子系统148可以包括标准视觉显示装置(例如，等离子显示器、液晶显示器(LCDs)，触屏显示器、头戴显示器，或其它类似的显示器)，扬声器或其它音频输出装置，麦克风或者其它音频输入装置，导航接口、以及控制车辆105的内部环境(例如温度、风扇，等等)的接口。
在一个示例性实施例中，乘员接口子系统148可以提供为车辆105的使用者或乘员与其它车辆子系统进行互动的方式。视觉显示装置可以为车辆 105的使用者提供信息。用户接口装置也可以通过触屏从使用者或者驾驶者那里接收输入。触屏可以通过电容感应、电阻感应或者表面声波处理，或者通过其它方式，来至少感应使用者手指的位置和手指移动中的一种。触屏可以感应到平行于触屏表面的手指运动或面状的手指运动，垂直于触屏表面的手指运动，或者以上皆有，也可以用于感应施加到触屏表面的压力水平。触屏可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明的导电层构成。触屏也可以具有其它形式。
在其他一些例子中，乘员接口子系统148可以为车辆105提供与其所在环境中的其它车辆进行通信的方式。麦克风可以用于从车辆105的使用者那里接收音频(例如，一个声音命令或者其它音频输入)。类似地，扬声器可以用于输出音频给车辆的使用者。在一个示例性的实施例中，乘员接口子系统148可以直接或者通过通信网络与一个或多个设备进行无线通信。例如，一个无线通信系统可以使用3G蜂窝通信，例如CDMA、EVDO、 GSM/GPRS、或者4G蜂窝通信，例如WiMAX或LTE。可选地，无线通信系统可以与一个无线本地局域网(WLAN)进行通信，例如，使用
Figure GDA0002489821810000251
。在一些实施例中，无线通信系统146可以直接与一个设备进行通信，例如，使用红外线路，
Figure GDA0002489821810000252
，或者ZIGBEE。其它无线协议，例如各种车载通信系统，也在本申请公开的范围之内。例如，无线通信系统可以包括一个或多个专用短程通信(DSRC)装置，这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统170能控制车辆105的部分或者全部功能。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器)，数据处理器 171执行存储在非易失性计算机可读介质中存储的处理指令，例如数据存储装置172。计算系统170也可以是多个计算装置，这些计算装置分布式地控制车辆105的个别部件或者个别子系统。在一些实施例中，数据存储装置 172中可以包含被数据处理器171执行来实现车辆105的各种功能的处理指令(例如，程序逻辑)，这些功能包括本申请所描述的附图中的功能。数据存储装置172还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制一个或多个车辆驱动子系统 140、车辆感应器子系统144、车辆控制子系统146和乘员接口子系统148 的指令。
除存储处理指令之外，数据存储设备172可以存储多种信息，包括存储数据，例如图像处理参数、训练数据、道路地图、和路径信息。在车辆 105以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆105和计算系统170所使用。
车辆105可以包括一个用户界面，该用户界面用于为车辆105的使用者或乘员提供信息，或者接收来自车辆105的使用者或者乘员的输入。用户界面可以控制或者使能控制交互式图像的内容和图层，该交互式图像可以显示在一个显示设备上。进一步地，用户界面可以包括一组乘员接口子系统148中的一个或多个输入/输出设备，例如显示设备、扬声器、麦克风、或者一个无线通信系统。
计算系统170可以根据从各种车辆子系统(例如，车辆驱动子系统142，车辆传感器子系统144，以及车辆控制子系统146)接收到的输入，或者从乘员接口子系统148接收到的输入，来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制系统146的输入来控制转向单元，来避开由车辆传感器子系统144以及图像定位装置400检测到的障碍物。在一个示例性实施例中，计算系统170可以用来控制车辆105及其子系统的多个方面。
虽然图4中显示了集成到车辆105中的各种构件，例如车辆子系统140、计算系统170、数据存储设备172、控制系统150、以及图像定位装置400，这些部件中的一个或多个部件可以搭载到车辆105上或单独关联到车辆105 上。例如，数据存储装置172可以部分或者全部地独立于车辆105存在。从而，车辆105能够以分离的或者集成的设备单元的形式而存在。构成车辆 105的设备单元可以以有线通信或者无线通信的方式实现通信聚合。在多个示例性实施例中，进行数据通信的控制系统150和图像定位装置400可以被实施为一个集成的部件或者是分离的部件。在一个示例性实施例中，通过与移动装置132进行数据通信和/或通过网络120连接到网络资源122进行数据通信，控制系统150和/或图像定位装置400的软件部件能得到动态的更新、修改和/或扩展。控制系统150能够周期性地询问一个移动设备132 或者一个网络资源122以进行更新，或者该更新能够推送给控制系统150。
在上述示例性实施例中，图像定位装置400可以包括一个与控制系统 150进行通信的接口，如图4所示，如本申请所述的图像定位装置400通过该接口可以发送和接收数据。此外，图像定位装置400可以包括一个与控制系统150和/或系统1001的其它子系统进行通信的接口，通过该接口图像定位装置400可以从如上所述的各种数据源接收辅助数据。基于多个因素该辅助数据可以被用来扩展、修改或者训练图像定位装置400的操作，这多个因素包括使用者操作车辆的环境(例如，车辆的位置、具体目的地、行车方向、速度、时刻、车辆状态，等等)，以及如本文所述的可以从本地和远程的多个资源获取到的其它多种数据。如上所述，图像定位装置400 可以实施在系统和平台上，该系统和平台没有配置在车辆中、不是必须在车辆中使用的或者也不是必须与车辆一起使用的。
图5中示出了本申请多个实施例中提供的一种图像定位装置的结构框图，该图像定位装置可以是上述方法部分所述的图像定位装置，应用在自动驾驶车辆中，该图像定位装置包括：
接收模块501，用于接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
图像处理模块502，用于对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
定位模块503，用于查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；根据对比结果和所述地图数据，确定所述车辆的位置。
在多个实施例中，接收模块501还用于：接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；所述图像处理模块502，还用于：根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；则，所述定位模块503查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，包括：查找并获取与所述至少一帧结果语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据；所述定位模块503将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。
在多个实施例中，图像处理模块502删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据，包括：根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。
在多个实施例中，接收模块501还用于：接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；所述装置还包括存储模块(未在图中示出)，用于保存所述至少一帧基线语义标签图像数据和所述地图数据。
在多个实施例中，定位模块503还用于：确定预定时间内所述车辆的多个位置；根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
在多个实施例中，定位模块503还用于：根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
基于相同的发明构思，本申请的多个实施例中还提供了一种图像定位装置，该图像定位装置对应于上述的图像定位装置，应用在自动驾驶车辆中，如图6所示，该装置包括：一个处理器601和至少一个存储器602，所述至少一个存储器中存储有至少一条机器可执行指令，所述处理器601执行所述至少一条指令，以实现：
接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；根据对比结果和所述地图数据，确定所述车辆的位置。
在多个实施例中，所述处理器601执行所述至少一条指令还实现：接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据；则，所述处理器601执行所述至少一条指令实现查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，包括：查找并获取与所述至少一帧结果语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据；所述处理器601执行所述至少一条指令实现将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比。
在多个实施例中，所述处理器601执行所述至少一条指令实现删除所述至少一帧语义标签图像数据中的与位置无关的物体对应数据，包括：根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据。
在多个实施例中，所述处理器601执行所述至少一条指令还实现：接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；所述至少一个存储器还用于保存所述至少一帧基线语义标签图像数据和所述地图数据。
在多个实施例中，所述处理器601执行所述至少一条指令还实现：确定预定时间内所述车辆的多个位置；根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
在多个实施例中，所述处理器601执行所述至少一条指令还实现：根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
根据相同的发明构思，本申请多个实施例还提供了一种地图构建装置，该装置应用在测试车辆中，如图7所示，该装置包括：
接收单元，用于接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据；
图像处理单元702，用于对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；
其中，图像处理单元702删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应数据，包括：根据所述测试位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据；
地图构建单元703，用于根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。
根据相同的发明构思，本申请多个实施例还提供了一种地图构建装置，该装置应用在测试车辆中，如图8所示，该装置包括：一个处理器801和至少一个存储器802，所述至少一个存储器802中存储有至少一条机器可执行指令，所述处理器801执行所述至少一条指令，以实现：
接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据；对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。
在多个实施例中，处理器801执行至少一条指令实现删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据，包括：根据所述测试位置数据，确定预定时间内所识别出来的物体的多个位置；根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种图像定位方法，其特征在于，包括：
车辆中的图像定位装置接收来自于所述车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；
对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据，包括：
根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；
根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；
确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；
查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；
将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：
将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；
根据对比结果和所述地图数据，确定所述车辆的位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收并保存测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据。
3.根据权利要求2所述的方法，其特征在于，所述测试车辆中的地图构建装置预先生成所述至少一帧基线语义标签图像数据和所述地图数据，包括：
所述地图构建装置接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；
接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据；
对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；
根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；
根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；
建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系。
4.根据权利要求3所述的方法，其特征在于，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应数据，包括：
根据所述测试位置数据，确定预定时间内所识别出来的物体的多个位置；
根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；
确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；
删除所述至少一帧基线语义标签图像数据中的与位置无关的物体对应的数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定预定时间内所述车辆的多个位置；
根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
7.一种图像定位装置，其特征在于，包括：
接收模块，用于接收来自于车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据，以及接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；
图像处理模块，用于对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；其中，所述图像处理模块还用于：根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据，包括：
根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；
根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；
确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；
定位模块，用于查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；其中，所述定位模块还用于：根据对比结果和所述地图数据，确定所述车辆的位置。
8.根据权利要求7所述的装置，其特征在于，所述接收模块还用于：接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；
所述装置还包括存储模块，用于保存所述至少一帧基线语义标签图像数据和所述地图数据。
9.根据权利要求7所述的装置，其特征在于，所述定位模块还用于：
确定预定时间内所述车辆的多个位置；
根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
10.根据权利要求9所述的装置，其特征在于，所述定位模块还用于：根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
11.一种图像定位装置，其特征在于，包括：一个处理器和至少一个存储器，所述至少一个存储器中存储有至少一条机器可执行指令，所述处理器执行所述至少一条指令，以实现：
接收来自于车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；
接收来自于所述车辆的位置和距离测量装置获取的所述驾驶环境中物体的实时位置数据；
对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；
根据所述实时位置数据和所述至少一帧语义标签图像数据，删除所述至少一帧语义标签图像数据中的与位置无关的物体对应的数据，得到至少一帧结果语义标签图像数据，包括：
根据所述实时位置数据，确定预定时间内所识别出来的物体的多个位置；
根据所识别出来的物体的多个位置之间的差别，确定所述物体的速度和速度矢量；
确定所述物体的速度和速度矢量超过预定阈值的物体为与位置无关的物体；
查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；
将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比，包括：将所述至少一帧结果语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；
根据对比结果和所述地图数据，确定所述车辆的位置。
12.根据权利要求11所述的装置，其特征在于，所述处理器执行所述至少一条指令还实现：
接收测试车辆中的地图构建装置预先生成的所述至少一帧基线语义标签图像数据和所述地图数据；
所述至少一个存储器还用于保存所述至少一帧基线语义标签图像数据和所述地图数据。
13.根据权利要求11所述的装置，其特征在于，所述处理器执行所述至少一条指令还实现：
确定预定时间内所述车辆的多个位置；
根据所识别出来的多个位置之间的差别，确定所述车辆的速度。
14.根据权利要求13所述的装置，其特征在于，所述处理器执行所述至少一条指令还实现：
根据所识别出来的所述车辆的多个位置，确定所述车辆的行驶路径。
15.一种图像定位系统，其特征在于，包括：测试车辆中的地图构建装置和自动驾驶车辆中的图像定位装置；
所述地图构建装置用于：接收来自所述测试车辆的图像采集装置获取的所述驾驶环境的至少一帧测试图像数据；接收所述测试车辆的位置和距离测量装置获取的所述驾驶环境中的物体的测试位置数据；对所述至少一帧测试图像数据进行语义分割，识别出所述驾驶环境中的物体，得到所述至少一帧基线语义标签图像数据；根据所述测试位置数据，删除所述至少一帧基线语义标签图像数据中与位置无关的物体对应的数据；根据所述至少一帧基线语义标签图像数据和所述测试位置数据，建立所述驾驶环境的地图；建立所述至少一帧基线语义标签图像数据与所述地图的地图数据之间的对应关系；
所述图像定位装置用于：接收并保存来自所述测试车辆的所述驾驶环境的所述至少一帧基线语义标签图像数据和所述地图数据；所述图像定位装置接收来自于车辆的图像生成设备获取的驾驶环境的至少一帧实时图像数据；对所述至少一帧实时图像数据进行语义分割，识别出所述驾驶环境中的物体，得到至少一帧语义标签图像数据；查找并获取预存的与所述至少一帧语义标签图像数据对应的、所述驾驶环境的至少一帧基线语义标签图像数据，所述基线语义标签图像数据具有对应的所述驾驶环境的地图数据；将所述至少一帧语义标签图像数据与所述至少一帧基线语义标签图像数据进行对比；根据对比结果和所述地图数据，确定所述车辆的位置。
CN201710953717.1A 2017-05-18 2017-10-13 一种图像定位方法、系统和装置 Active CN107796374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010798194.XA CN112050792B (zh) 2017-05-18 2017-10-13 一种图像定位方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/598,727 2017-05-18
US15/598,727 US10558864B2 (en) 2017-05-18 2017-05-18 System and method for image localization based on semantic segmentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010798194.XA Division CN112050792B (zh) 2017-05-18 2017-10-13 一种图像定位方法和装置

Publications (2)

Publication Number Publication Date
CN107796374A CN107796374A (zh) 2018-03-13
CN107796374B true CN107796374B (zh) 2020-09-08

Family

ID=61533082

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202010798194.XA Active CN112050792B (zh) 2017-05-18 2017-10-13 一种图像定位方法和装置
CN201710953717.1A Active CN107796374B (zh) 2017-05-18 2017-10-13 一种图像定位方法、系统和装置
CN202310929060.0A Pending CN116880494A (zh) 2017-05-18 2018-05-18 用于基于语义分割的图像定位的系统和方法
CN201880032688.8A Active CN110914778B (zh) 2017-05-18 2018-05-18 用于基于语义分割的图像定位的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010798194.XA Active CN112050792B (zh) 2017-05-18 2017-10-13 一种图像定位方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310929060.0A Pending CN116880494A (zh) 2017-05-18 2018-05-18 用于基于语义分割的图像定位的系统和方法
CN201880032688.8A Active CN110914778B (zh) 2017-05-18 2018-05-18 用于基于语义分割的图像定位的系统和方法

Country Status (4)

Country Link
US (2) US10558864B2 (zh)
EP (1) EP3625634A4 (zh)
CN (4) CN112050792B (zh)
WO (1) WO2018213739A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10543828B2 (en) * 2017-06-13 2020-01-28 Nissan North America, Inc. Structured multivariate contextual vehicle operation with integrated semiotic control
WO2019090417A1 (en) * 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
EP3495992A1 (en) * 2017-12-07 2019-06-12 IMRA Europe SAS Danger ranking using end to end deep neural network
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
CN110780665B (zh) * 2018-07-26 2022-02-08 比亚迪股份有限公司 车辆无人驾驶控制方法及装置
CN109084749B (zh) * 2018-08-21 2021-05-11 北京云迹科技有限公司 通过环境中物体进行语义定位的方法及装置
CN111060114A (zh) * 2018-10-17 2020-04-24 宝马股份公司 用于生成高精度地图的特征图的方法和装置
US11263245B2 (en) * 2018-10-30 2022-03-01 Here Global B.V. Method and apparatus for context based map data retrieval
JP2021508814A (ja) 2018-11-09 2021-03-11 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド ＬｉＤＡＲを用いた車両測位システム
CN117234077A (zh) 2018-11-15 2023-12-15 灵动科技（北京）有限公司 自动导引车和训练自动导引车的方法
US11151391B2 (en) * 2018-12-10 2021-10-19 Here Global B.V. Method and apparatus for creating a visual map without dynamic content
CN109606384B (zh) * 2018-12-29 2021-04-20 百度在线网络技术（北京）有限公司 车辆控制方法、装置、设备和存储介质
CN111771206B (zh) * 2019-01-30 2024-05-14 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的地图分区系统
CN110012351B (zh) * 2019-04-11 2021-12-31 深圳市大富科技股份有限公司 标签数据获取方法、存储器、终端、车辆以及车联网系统
CN109947115A (zh) * 2019-04-17 2019-06-28 河北农业大学 一种割草机控制系统及其控制方法
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110304050B (zh) * 2019-06-26 2022-10-14 纵目科技（上海）股份有限公司 一种基于特征组合的记忆泊车系统、方法、终端和云端服务器
CN111439257A (zh) * 2019-06-26 2020-07-24 纵目科技（上海）股份有限公司 一种记忆泊车系统、方法、终端和云端服务器
CN110298320B (zh) * 2019-07-01 2021-06-22 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
CN110543173B (zh) * 2019-08-30 2022-02-11 上海商汤智能科技有限公司 车辆定位系统及方法、车辆控制方法及装置
WO2021048985A1 (ja) * 2019-09-12 2021-03-18 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及び、プログラム
CN111103612A (zh) * 2019-12-27 2020-05-05 北京车和家信息技术有限公司 视觉自定位方法、装置及车辆
WO2021164006A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 一种车辆行驶速度、加速度的测量方法、装置及存储介质
CN111369624B (zh) * 2020-02-28 2023-07-25 北京百度网讯科技有限公司 定位方法和装置
US11904914B2 (en) * 2020-03-23 2024-02-20 Bnsf Railway Company Systems and methods for identifying potential deficiencies in railway environment objects
US11373389B2 (en) 2020-06-23 2022-06-28 Tusimple, Inc. Partitioning images obtained from an autonomous vehicle camera
US11461922B2 (en) * 2020-06-23 2022-10-04 Tusimple, Inc. Depth estimation in images obtained from an autonomous vehicle camera
US11715277B2 (en) 2020-06-23 2023-08-01 Tusimple, Inc. Perception system for autonomous vehicles
CN111986261B (zh) * 2020-08-13 2023-08-18 清华大学苏州汽车研究院（吴江） 一种车辆定位方法、装置、电子设备及存储介质
US11694301B2 (en) 2020-09-30 2023-07-04 Alibaba Group Holding Limited Learning model architecture for image data semantic segmentation
CN112455465B (zh) * 2020-12-08 2022-02-01 广州小鹏自动驾驶科技有限公司 一种行驶环境感知方法、装置、电子设备和存储介质
US20210101619A1 (en) * 2020-12-16 2021-04-08 Mobileye Vision Technologies Ltd. Safe and scalable model for culturally sensitive driving by automated vehicles
CN112529107B (zh) * 2020-12-28 2022-05-31 华中科技大学 基于可见光图像识别的等离子体温度瞬态诊断方法和系统
CN112699940B (zh) * 2020-12-30 2023-04-07 腾讯科技（深圳）有限公司 一种车辆清洁关联资源推荐方法、装置及存储介质
CN113393515B (zh) * 2021-05-21 2023-09-19 杭州易现先进科技有限公司 一种结合场景标注信息的视觉定位方法和系统
DE102021209575B3 (de) * 2021-08-31 2023-01-12 Volkswagen Aktiengesellschaft Verfahren und Assistenzeinrichtung zum Unterstützen von Fahrzeugfunktionen in einem Parkraum und Kraftfahrzeug
CN113581256B (zh) * 2021-09-02 2023-05-30 浙江众合科技股份有限公司 一种基于bim和gis技术的列车自主定位方法和系统
CN114018215B (zh) * 2022-01-04 2022-04-12 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
WO2023222671A1 (en) * 2022-05-18 2023-11-23 Continental Automotive Technologies GmbH Position determination of a vehicle using image segmentations
US20240208530A1 (en) * 2022-12-21 2024-06-27 Mercedes-Benz Group AG Evaluating integrity of vehicle pose estimates via semantic labels

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565958B1 (en) * 2011-06-02 2013-10-22 Google Inc. Removing extraneous objects from maps

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
ATE519193T1 (de) 2006-12-06 2011-08-15 Mobileye Technologies Ltd Detektion und erkennung von verkehrszeichen
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US8111923B2 (en) 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
RU2011143140A (ru) 2009-03-26 2013-05-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для изменения изображения посредством использования карты внимания, основанной на частоте цвета
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
WO2012068154A1 (en) 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
WO2013015416A1 (ja) 2011-07-28 2013-01-31 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
US9620017B2 (en) * 2011-12-14 2017-04-11 Robert Bosch Gmbh Vehicle merge assistance system and method
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP6285958B2 (ja) 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9158995B2 (en) 2013-03-14 2015-10-13 Xerox Corporation Data driven localization using task-dependent representations
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
CN111024099B (zh) 2013-06-13 2023-10-27 移动眼视力科技有限公司 用于导航的移动装置、非暂时性机器可读介质和设备
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9563199B1 (en) * 2013-11-27 2017-02-07 Google Inc. Assisted perception for autonomous vehicles
US9090260B2 (en) 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
WO2015125022A2 (en) 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
US9443163B2 (en) 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US10346996B2 (en) * 2015-08-21 2019-07-09 Adobe Inc. Image depth inference from semantic labels
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
WO2017152067A1 (en) * 2016-03-04 2017-09-08 Animusoft Llc Drone and robot control systems and methods
US9857795B2 (en) * 2016-03-24 2018-01-02 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
GB201616097D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
DE102016222156A1 (de) * 2016-11-11 2018-05-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Steuerung eines autonomen Transportfahrzeugs
CN106650708B (zh) * 2017-01-19 2023-08-11 南京航空航天大学 一种自动驾驶障碍物视觉检测方法与系统
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565958B1 (en) * 2011-06-02 2013-10-22 Google Inc. Removing extraneous objects from maps

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semantic Mapping of Road Scenes;Sunando Sengupta;<<Oxford Brookes University>>;20140930;第5-6，22，26，36页，图1.2-1.3 *
Sunando Sengupta.Semantic Mapping of Road Scenes.<<Oxford Brookes University>>.2014, *

Also Published As

Publication number Publication date
CN112050792B (zh) 2022-10-14
CN116880494A (zh) 2023-10-13
US20180336421A1 (en) 2018-11-22
US10867188B2 (en) 2020-12-15
CN110914778A (zh) 2020-03-24
WO2018213739A1 (en) 2018-11-22
CN112050792A (zh) 2020-12-08
US20200160067A1 (en) 2020-05-21
CN110914778B (zh) 2023-07-14
US10558864B2 (en) 2020-02-11
EP3625634A1 (en) 2020-03-25
EP3625634A4 (en) 2021-03-10
CN107796374A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN107796374B (zh) 一种图像定位方法、系统和装置
CN107816976B (zh) 一种接近物体的位置确定方法和装置
CN112740134B (zh) 电子装置和电子装置的车辆控制方法、服务器和提供服务器的精确地图数据的方法
CN107776574B (zh) 一种自动驾驶车辆的驾驶模式切换方法和装置
EP4071661A1 (en) Automatic driving method, related device and computer-readable storage medium
US10671873B2 (en) System and method for vehicle wheel detection
CN110356401B (zh) 一种自动驾驶车辆及其变道控制方法和系统
CN110753934A (zh) 主动选择和标记图像以进行语义分割的系统和方法
US11933617B2 (en) Systems and methods for autonomous route navigation
AU2019241892B2 (en) System and method for vehicle wheel detection
CN115187952A (zh) 一种车道线检测方法、装置、电子设备及存储介质
US11518402B2 (en) System and method for controlling a vehicle using contextual navigation assistance
US20230236603A1 (en) Systems and methods for projecting a three-dimensional (3d) surface to a two-dimensional (2d) surface for use in autonomous driving
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN115203457B (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
US20210404839A1 (en) Systems and methods for navigational map version management
CN115035357A (zh) 目标检测模型构建方法、目标检测方法、装置和计算设备
CN114842454B (zh) 障碍物检测方法、装置、设备、存储介质、芯片及车辆
CN115179930B (zh) 车辆控制方法、装置、车辆及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing

Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee after: Tucson Ltd.

Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing

Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee before: TUSIMPLE

CP01 Change in the name or title of a patent holder