CN113348338A - 车道建图和导航 - Google Patents

车道建图和导航 Download PDF

Info

Publication number
CN113348338A
CN113348338A CN201980089986.5A CN201980089986A CN113348338A CN 113348338 A CN113348338 A CN 113348338A CN 201980089986 A CN201980089986 A CN 201980089986A CN 113348338 A CN113348338 A CN 113348338A
Authority
CN
China
Prior art keywords
vehicle
lane
road
trajectory
road segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980089986.5A
Other languages
English (en)
Inventor
D.沙皮拉
D.布劳恩斯坦
Y.格达尔雅胡
K.维恩特
M.施沃茨
E.佩克
D.休伯曼
M.莱文
J.巴列夫
O.扎凯
A.哈雅特
A.费伦茨
D.伊格尔伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of CN113348338A publication Critical patent/CN113348338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instructional Devices (AREA)

Abstract

公开了用于对在车辆导航中使用的车道进行建图的系统和方法。在一个实施方式中，至少一个处理装置可以被编程为从已经沿着包括车道分裂特征的道路路段导航的第一车辆和第二车辆接收导航信息；接收与道路路段相关联的至少一个图像；根据第一导航信息确定第一车辆的第一实际轨迹和第二车辆的第二实际轨迹；确定第一实际轨迹和第二实际轨迹之间的分岔；基于对至少一个图像的分析，确定第一实际轨迹和第二实际轨迹之间的分岔指示车道分裂特征；以及更新车辆道路导航模型以包括第一目标轨迹和在车道分裂特征之后从第一目标轨迹分支的第二目标轨迹。

Description

车道建图和导航
相关申请的交叉引用
本申请要求于2018年11月26日提交的美国临时申请No.62/771,335、于2019年1月23日提交的美国临时申请No.62/795,868、以及于2019年2月4日提交的美国临时申请No.62/800,845的优先权。所有前述申请通过引用整体结合于此。
技术领域
本公开总体上涉及自主车辆导航。具体而言，本公开涉及用于对车道分裂或车道合并进行建图(map)以及使用所建图的车道分裂或车道合并进行导航的系统和方法。
背景技术
随着技术的不断进步，能够在道路上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和准确地到达意图的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕获的信息)、来自雷达或激光雷达的信息，并且也可以使用从其他源(例如，从GPS装置、速度传感器、加速度计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆可能还需要识别其在特定道路(例如，多车道道路中的特定车道)内的定位，与其他车辆并排导航，避开障碍物和行人，观察交通信号和标志，并在适当的交叉路口或交汇处从一条道路行驶到另一条道路。当自主车辆行驶到其目的地时利用(harness)和解释由该车辆收集的大量信息造成了许多设计挑战。自主车辆可能需要分析、访问和/或储存的海量数据(例如，捕获的图像数据、地图数据、GPS数据、传感器数据等)造成了实际上可能限制甚至不利地影响自主导航的挑战。此外，如果自主车辆依靠传统的建图技术来导航，那么储存和更新地图所需的海量数据将造成巨大的挑战。
除了收集用于更新地图的数据之外，自主车辆必须能够使用地图进行导航。因此，必须优化地图的大小和细节，以及地图的构建和传输。
发明内容
与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包括监控车辆的环境的一个、两个或更多个的相机。所公开的系统可以基于例如对由一个或多个相机捕获的图像的分析来提供导航响应。
在一个实施例中，公开了一种用于导航主车辆的系统。该系统可以包括至少一个处理装置，该处理装置被编程为从已经沿着道路路段导航的第一车辆接收第一导航信息，其中该道路路段包括车道分裂特征，并且其中该道路路段包括在车道分裂特征之前的至少第一行驶车道，该至少第一行驶车道在车道分裂特征之后转变(transition)成至少第二行驶车道和第三行驶车道；从已经沿着道路路段导航的第二车辆接收第二导航信息；接收与道路路段相关联的至少一个图像；根据第一导航信息确定第一车辆沿着道路路段的第一行驶车道和第二行驶车道的第一实际轨迹；根据第二导航信息确定第二车辆沿着道路路段的第一行驶车道和第三行驶车道的第二实际轨迹；确定第一实际轨迹和第二实际轨迹之间的分岔(divergence)；基于对至少一个图像的分析，确定第一实际轨迹和第二实际轨迹之间的分岔指示车道分裂特征在道路路段中的存在；并且更新车辆道路导航模型以包括：第一目标轨迹，该第一目标轨迹在道路分裂特征之前对应于第一行驶车道并且在车道分裂特征之后沿着第二行驶车道延伸；以及第二目标轨迹，该第二目标轨迹在车道分裂特征之后从第一目标轨迹分支并沿着第三行驶车道延伸。
在一个实施例中，公开了一种用于对在车辆导航中使用的车道分裂进行建图的方法。该方法可以包括从已经沿着道路路段导航的第一车辆接收第一导航信息，其中该道路路段包括车道分裂特征，并且其中该道路路段包括在车道分裂特征之前的至少第一行驶车道，该至少第一行驶车道在车道分裂特征之后转变成至少第二行驶车道和第三行驶车道；从已经沿着道路路段导航的第二车辆接收第二导航信息；接收与道路路段相关联的至少一个图像；根据第一导航信息确定第一车辆沿着道路路段的第一行驶车道和第二行驶车道的第一实际轨迹；根据第二导航信息确定第二车辆沿着道路路段的第一行驶车道和第三行驶车道的第二实际轨迹；确定第一实际轨迹和第二实际轨迹之间的分岔；基于对至少一个图像的分析，确定第一实际轨迹和第二实际轨迹之间的分岔指示车道分裂特征在道路路段中的存在；以及更新车辆道路导航模型以包括：第一目标轨迹，该第一目标轨迹在道路分裂特征之前对应于第一行驶车道，并且在车道分裂特征之后沿着第二行驶车道延伸；以及第二目标轨迹，该第二目标轨迹在车道分裂特征之后从第一目标轨迹分支并沿着第三行驶车道延伸。
在一个实施例中，公开了一种用于沿着道路路段导航主车辆的系统。该系统可以包括至少一个处理装置，该至少一个处理装置被编程为从基于服务器的系统接收车辆道路导航模型，其中该车辆道路导航模型包括第一目标轨迹，该第一目标轨迹在与道路路段相关联的车道分裂特征之前对应于沿着道路路段的第一行驶车道，并且在车道分裂特征之后沿着道路路段的第二行驶车道延伸，并且其中该车辆道路导航模型还包括第二目标轨迹，该第二目标轨迹在车道分裂特征之后从所述第一目标轨迹分支并且沿着道路路段的第三行驶车道延伸；接收指示主车辆的环境的信息；基于指示主车辆的环境的信息，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆；以及确定导航动作以使主车辆沿着所确定的目标轨迹导航。
在一个实施例中，公开了一种用于沿着道路路段导航主车辆的方法。该方法可以包括从基于服务器的系统接收车辆道路导航模型，其中车辆道路导航模型包括第一目标轨迹，该第一目标轨迹在与道路路段相关联的车道分裂特征之前对应于沿着道路路段的第一行驶车道，并且在车道分裂特征之后沿着道路路段的第二行驶车道延伸，并且其中所述车辆道路导航模型还包括第二目标轨迹，该第二目标轨迹在车道分裂特征之后从第一目标轨迹分支并且沿着道路路段的第三行驶车道延伸；接收指示主车辆的环境的信息；基于指示主车辆的环境的信息，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆；以及确定导航动作以使主车辆沿着所确定的目标轨迹导航。
在一个实施例中，用于对在车辆导航中使用的车道合并进行建图的系统可以包括至少一个处理器，该至少一个处理器被编程为从已经沿着道路路段导航的第一车辆接收第一导航信息，其中道路路段包括车道合并特征，并且其中道路路段包括在车道合并特征之前的至少第一行驶车道和第二行驶车道，该至少第一行驶车道和第二行驶车道在合并特征之后转变为第三行驶车道；从已经沿着道路路段导航的第二车辆接收第二导航信息；接收与道路路段相关联的至少一个图像；根据第一导航信息确定第一车辆沿着道路路段的第一行驶车道和第三行驶车道的第一实际轨迹；根据第二导航信息确定第二车辆沿着道路路段的第二行驶车道和第三行驶车道的第二实际轨迹；确定第一实际轨迹和第二实际轨迹之间的会聚；基于对至少一个图像的分析，确定第一实际轨迹和第二实际轨迹之间的会聚指示车道合并特征在道路路段中的存在；并且更新车辆道路导航模型以包括：第一目标轨迹，该第一目标轨迹在车道合并特征之前对应于第一行驶车道并且在车道合并特征之后沿着第三行驶车道延伸；以及第二目标轨迹，该第二目标轨迹在车道合并特征之前沿着第二行驶车道延伸，并与第一目标轨迹结合。
在一个实施例中，用于沿路段导航主车辆的系统可以包括至少一个处理器，该至少一个处理器被编程为从基于服务器的系统接收车辆道路导航模型，其中车辆道路导航模型包括第一目标轨迹，该第一目标轨迹在车道合并特征之前对应于第一行驶车道并且在车道合并特征之后沿着第三行驶车道延伸，并且其中车辆道路导航模型还包括第二目标轨迹，该第二目标轨迹在车道合并特征之前沿着第二行驶车道延伸，并且与第一目标轨迹结合。至少一个处理器还可以被编程为接收指示主车辆的环境的信息，基于指示主车辆的环境的信息，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆，以及确定导航动作以使主车辆沿着所确定的目标轨迹导航。
与其他公开的实施例一致，非暂时性计算机可读存储介质可以储存程序指令，该程序指令由至少一个处理装置执行并执行这里描述的任何方法。
前面的一般描述和下面的详细描述仅仅是示例性和解释性的，而不是对权利要求的限制。
附图说明
并入本公开中并构成本公开的一部分的附图图示了各种所公开的实施例。在附图中：
图1是与所公开的实施例一致的示例性系统的图示性表示。
图2A是包括与所公开的实施例一致的系统的示例性车辆的图示性侧视图表示。
图2B是图2A中所示的与所公开的实施例一致的车辆和系统的图示性顶视图表示。
图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2E是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2F是与所公开的实施例一致的示例性车辆控制系统的图示性表示。
图3A是与所公开的实施例一致的包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
图3B是与所公开的实施例一致的被配置为定位在后视镜后面并抵靠车辆风挡的相机安装的示例的图示。
图3C是图3B中所示的与所公开的实施例一致的相机安装从不同的视角的图示。
图3D是与所公开的实施例一致的被配置为定位在后视镜后面并抵靠车辆风挡的相机安装的示例的图示。
图4是与所公开的实施例一致的被配置为储存用于进行一个或多个操作的指令的存储器的示例性框图。
图5A是示出与所公开的实施例一致的用于基于单目图像分析来引起一个或多个导航响应的示例性过程的流程图。
图5B是示出与所公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示例性过程的流程图。
图5C是示出与所公开的实施例一致的用于在一组图像中检测道路标志和/或车道几何结构信息的示例性过程的流程图。
图5D是示出与所公开的实施例一致的用于在一组图像中检测交通灯的示例性过程的流程图。
图5E是示出与所公开的实施例一致的用于基于车辆路径来引起一个或多个导航响应的示例性过程的流程图。
图5F是示出与所公开的实施例一致的用于确定前方车辆是否正在改变车道的示例性过程的流程图。
图6是示出与所公开的实施例一致的用于基于立体图像分析来引起一个或多个导航响应的示例性过程的流程图。
图7是示出与所公开的实施例一致的用于基于三组图像的分析来引起一个或多个导航响应的示例性过程的流程图。
图8示出了与所公开的实施例一致的用于提供自主车辆导航的稀疏地图。
图9A示出了与所公开的实施例一致的道路路段的部分的多项式表示。
图9B示出了与所公开的实施例一致的稀疏地图中包括的在三维空间中表示特定道路路段的车辆的目标轨迹的曲线。
图10示出了可以包括在与所公开的实施例一致的稀疏地图中的示例地标。
图11A示出了与所公开的实施例一致的轨迹的多项式表示。
图11B和图11C示出了与所公开的实施例一致的沿着多车道道路的目标轨迹。
图11D示出了与所公开的实施例一致的示例道路签名(signature)轮廓(profile)。
图12是与所公开的实施例一致的使用从多个车辆接收的众包(crowdsourcing)数据进行自主车辆导航的系统的示意图示。
图13示出了与所公开的实施例一致的由多个三维样条(spline)表示的示例自主车辆道路导航模型。
图14示出了与所公开的实施例一致的根据组合来自多个驾驶的定位信息而生成的地图骨架(skeleton)。
图15示出了与所公开的实施例一致的具有作为地标的示例标志的两个驾驶的纵向对齐的示例。
图16示出了与所公开的实施例一致的具有作为地标的示例标志的多个驾驶的纵向对齐的示例。
图17是与所公开的实施例一致的用于使用相机、车辆和服务器生成驾驶数据的系统的示意图示。
图18是与所公开的实施例一致的用于众包稀疏地图的系统的示意图示。
图19是示出与所公开的实施例一致的用于生成用于沿着道路路段的自主车辆导航的稀疏地图的示例性过程的流程图。
图20示出了与所公开的实施例一致的服务器的框图。
图21示出了与所公开的实施例一致的存储器的框图。
图22示出了与所公开的实施例一致的对与车辆相关联的车辆轨迹进行聚类的过程。
图23示出了与所公开的实施例一致的可以用于自主导航的车辆导航系统。
图24是示出与所公开的实施例一致的用于生成用于自主车辆导航的道路导航模型的示例过程的流程图。
图25示出了与所公开的实施例一致的存储器的框图。
图26是示出与所公开的实施例一致的用于沿着道路路段自主导航车辆的示例过程的流程图。
图27示出了与所公开的实施例一致的存储器的框图。
图28A示出了与所公开的实施例一致的来自四个单独的驾驶的驾驶数据的示例。
图28B示出了与所公开的实施例一致的来自五个单独的驾驶的驾驶数据的示例。
图28BC示出了与所公开的实施例一致的根据来自五个单独的驾驶的驾驶数据确定的车辆路径的示例。
图29是示出与所公开的实施例一致的用于确定沿着道路路段延伸的道路表面特征的线条表示的示例过程的流程图。
图30示出了与所公开的实施例一致的存储器的框图。
图31是示出与所公开的实施例一致的用于收集道路路段的道路表面信息的示例过程的流程图。
图32示出了与所公开的实施例一致的存储器的框图。
图33A示出了车辆在不使用车道标记的情况下穿越车道的示例。
图33B示出了图33A的在车辆位置和航向已经漂移(drift)后的示例。
图33C示出了图33B的在位置和航向已经进一步漂移并且地标的预期位置与其实际位置显著不同之后的示例。
图34A示出了与所公开的实施例一致的车辆在不使用车道标记的情况下穿越车道的示例。
图34B示出了与所公开的实施例一致的图34A的具有减小的位置和航向漂移的示例。
图34C示出了与所公开的实施例一致的图34B的具有与其实际位置显著对齐的地标的预期位置的示例。
图35是示出与所公开的实施例一致的用于校正导航道路路段的车辆的位置的示例过程的流程图。
图36示出了与所公开的实施例一致的具有车道分裂的示例道路路段。
图37A示出了与所公开的实施例一致的可用于识别车道分裂的示例车辆轨迹。
图37B示出了与所公开的实施例一致的用于确定车道分裂的车辆轨迹的示例性聚类。
图37C示出了与所公开的实施例一致的用于识别车道分裂的示例性目标轨迹。
图38A示出了与所公开的实施例一致的用于调整分支点位置的示例过程
图38B示出了与所公开的实施例一致的用于识别车道分裂的示例经调整目标轨迹。
图39A-39C示出了与所公开的实施例一致的可能出现在目标轨迹中的示例性异常。
图40A示出了与所公开的实施例一致的包括车道分裂特征的示例道路路段。
图40B示出了与所公开的实施例一致的示例图像，该示例图像可由主车辆用于确定与车道分裂特征相关联的目标轨迹。
图40C示出了与所公开的实施例一致的包括车道分裂特征的另一示例道路路段。
图40D示出了与所公开的实施例一致的另一示例图像，该示例图像可由主车辆用于确定与车道分裂特征相关联的目标轨迹。
图41是描绘与所公开的实施例一致的用于对在车辆导航中使用的车道分裂进行建图的示例性过程4100的流程图。
图42是描绘了与所公开的实施例一致的用于对车道分裂进行建图以用于沿着道路路段导航主车辆的示例性过程4200的流程图。
具体实施方式
以下的详细描述参考附图。只要可能，在附图和以下的描述中使用相同的参考标号来指代相同或相似的部分。虽然本文描述了数个说明性实施例，但是修改、改编和其他实施方式是可能的。例如，可以对附图中示出的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文所描述的说明性方法进行修改。相应地，以下的详细描述并不限于所公开的实施例和示例。代替地，适当的范围由所附权利要求限定。
自主车辆概述
如贯穿本公开所使用的，术语“自主车辆”指代在没有驾驶员输入的情况下能够实施至少一个导航改变的车辆。“导航改变”指代车辆的转向、制动、或加速中的一个或多个改变。为了实施自主，车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包括能够在某些时间段期间在驾驶员的控制下操作并且在其他时间段期间无需驾驶员控制而操作那些车辆。自主车辆还可以包括仅控制车辆导航的一些方面的车辆，诸如转向(例如，在车辆车道限制之间维持车辆路线)，但是可以将其他方面留给驾驶员(例如，制动)。在一些情况下，自主车辆可以处理车辆的制动、速度控制和/或转向中的一些或全部方面。
由于人类驾驶员通常依赖于可视线索和观察顺序以便控制车辆，因此相应地建造了交通基础设施，其中车道标记、交通标志和交通灯所有都被设计为向驾驶员提供可视信息。鉴于交通基础设施的这些设计特性，自主车辆可以包括相机以及分析从车辆的环境捕获的可视信息的处理单元。可视信息可以包括，例如，可由驾驶员观察到的交通基础设施(例如，车道标记、交通标志、交通灯等)的组件以及其他障碍物(例如，其他车辆、行人、碎屑等)。此外，自主车辆还可以使用储存的信息，诸如在导航时提供车辆环境的模型的信息。例如，车辆可以使用GPS数据、传感器数据(例如，来自加速度计、速度传感器、悬架传感器等)和/或其他地图数据，以在车辆正在行驶时提供与其环境相关的信息，并且该车辆(以及其他车辆)可以使用该信息在模型上对其自身定位。
在本公开的一些实施例中，自主车辆可以使用在导航时(从相机、GPS装置、加速度计、速度传感器、悬架传感器等)获得的信息。在其他实施例中，自主车辆可以在导航时使用从该车辆(或其他车辆)过去的导航中获得的信息。在其他实施例中，自主车辆可以使用在导航时获得的信息和从过去的导航中获得的信息的组合。以下章节提供了与所公开的实施例一致的系统的概述，随后是与该系统一致的前向成像系统和方法的概述。以下章节公开了用于构建、使用和更新用于自主车辆导航的稀疏地图的系统和方法。
系统概述
图1是与所公开的示例性实施例一致的表示系统100的框图。系统100可以取决于特定实施方式的要求而包括各种组件。在一些实施例中，系统100可以包括处理单元110，图像获取单元120，位置传感器130，一个或多个存储器单元140、150，地图数据库160，用户界面170和无线收发器172。处理单元110可以包括一个或多个处理装置。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其他合适的处理装置。类似地，图像获取单元120可以取决于特定应用的要求而包括任何数目的图像获取装置和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕获装置(例如，相机)，诸如图像捕获装置122、图像捕获装置124和图像捕获装置126。系统100还可以将处理装置110通信地连接到图像获取装置120的数据接口128。例如，数据接口128可以包括用于将由图像获取装置120获取的图像数据传输到处理单元110的任何有线和/或无线的一个或多个链路。
无线收发器172可以包括一个或多个装置，其被配置为通过使用射频、红外频率、磁场或电场通过空中接口将传输交换到一个或多个网络(例如，蜂窝、互联网等)。无线收发器172可以使用任何已知的标准来传输和/或接收数据(例如，Wi-Fi、
Figure BDA0003175263700000101
蓝牙智能、802.15.4、ZigBee等)。这样的传输可以包括从主车辆到一个或多个位于远处的服务器的通信。这样的传输还可以包括主车辆与主车辆的环境中的一个或多个目标车辆之间(单向或双向)的通信(例如，以便于鉴于或连同在主车辆的环境中的目标车辆来协调主车辆的导航)，或者甚至包括在传输车辆附近的向未指定的接收者的广播传输。
应用处理器180和图像处理器190两者都可以包括各种类型的基于硬件的处理装置。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或者适用于运行应用和适用于图像处理和分析的任何其他类型的装置。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动装置微控制器、中央处理单元等。可以使用各种处理装置，包括，例如，可以从诸如
Figure BDA0003175263700000111
等制造商获得的处理器或者可以从诸如
Figure BDA0003175263700000113
Figure BDA0003175263700000112
等制造商获得的GPU，并且可以包括各种架构(例如，x86处理器、
Figure BDA0003175263700000114
等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从
Figure BDA0003175263700000115
获得的任何EyeQ系列处理器芯片。这些处理器设计各自包括具有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，
Figure BDA0003175263700000116
使用在332Mhz下操作的90纳米-微米技术。
Figure BDA0003175263700000117
架构由两个浮点式超线程32位RISC CPU(
Figure BDA00031752637000001114
核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器
Figure BDA00031752637000001113
丹那利(Denali)64位移动DDR控制器、128位内部超音速互连(Sonics Interconnect)、双16位视频输入和18位视频输出控制器、16通道DMA和数个外围设备组成。MIPS34K CPU管理这五个VCE、三个VMPTM和DMA、第二MIPS34K CPU和多通道DMA以及其他外围设备。这五个VCE、三个
Figure BDA00031752637000001112
和MIPS34K CPU可以进行多功能捆绑应用所需要的密集视觉计算。在另一个实例中，可以在所公开的实施例中使用作为第三代处理器并且比
Figure BDA00031752637000001110
强六倍的
Figure BDA00031752637000001111
在其他示例中，可以在所公开的实施例中使用
Figure BDA0003175263700000119
和/或
Figure BDA0003175263700000118
当然，任何更新后的或未来的EyeQ处理装置也可以与所公开的实施例一起使用。
任何本文所公开的处理装置可以被配置为进行某些功能。配置处理装置(诸如任何所描述的EyeQ处理器或其他控制器或微处理器)以进行某些功能可以包括计算机可执行指令的编程并使这些指令可用于处理装置以在处理装置的操作期间执行。在一些实施例中，配置处理装置可以包括直接利用架构指令对处理装置进行编程。例如，可以使用例如一个或多个硬件描述语言(HDL)来配置诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)等的处理装置。
在其他实施例中，配置处理装置可以包括将可执行指令储存在操作期间处理装置可访问的存储器上。例如，处理装置在操作期间可以访问该存储器以获得并执行所储存的指令。在任一种情况下，被配置为进行本文公开的感测、图像分析和/或导航功能的处理装置表示基于硬件的专用系统，其控制主车辆的多个基于硬件的组件。
虽然图1描绘了包括在处理单元110中的两个分离的处理装置，但是可以使用更多或更少的处理装置。例如，在一些实施例中，可以使用单个处理装置完成应用处理器180和图像处理器190的任务。在其他实施例中，可以由两个以上的处理装置来进行这些任务。此外，在一些实施例中，系统100可以在不包括其他组件(诸如图像获取单元120)的情况下包括处理单元110中的一个或多个。
处理单元110可以包括各种类型的装置。例如，处理单元110可以包括各种装置，诸如控制器、图像预处理器、中央处理单元(CPU)、图形处理单元(GPU)、支持电路、数字信号处理器、集成电路、存储器或用于图像处理和分析的任何其他类型的装置。图像预处理器可以包括用于捕获、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数目的微控制器或微处理器。GPU还可以包括任何数目的微控制器或微处理器。支持电路可以是本领域公知的任何数目的电路，包括高速缓存、电源，时钟和输入输出电路。存储器可以储存软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数目的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光储存装置、磁带储存装置、可移动储存装置和其他类型的储存装置。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件，以及经训练的系统，诸如神经网络或例如深度神经网络。存储器单元可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、磁盘驱动器、光储存装置、磁带储存装置、可移动储存装置和/或任何其他类型的储存装置。在一些实施例中，存储器单元140、150可以是与应用处理器180和/或图像处理器190分离的。在其他实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
位置传感器130可以包括适用于确定与系统100的至少一个组件相关联的定位的任何类型的装置。在一些实施例中，位置传感器130可以包括GPS接收器。这样的接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以包括诸如用于测量车辆200的速度的速度传感器(例如，转速表、速度计)和/或用于测量车辆200的加速度的加速度计(单轴或多轴)的组件。
用户界面170可以包括适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何装置。在一些实施例中，用户界面170可以包括用户输入装置，包括例如触摸屏、麦克风、键盘、指针装置、跟踪转轮、相机、旋钮、按钮等。使用这样的输入装置，用户能够通过键入指令或信息，提供语音命令，使用按钮、指针或眼跟踪能力在屏幕上选择菜单选项，或通过任何其他适用于向系统100通信信息的技术来向系统100提供信息输入或命令。
用户界面170可以配备有一个或多个处理装置，其被配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这样的处理装置可以执行指令以用于辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉装置和/或用于向用户提供输出信息的任何其他装置。
地图数据库160可以包括用于储存对系统100有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置相关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以储存这样的项目的定位，还可以储存与这样的项目相关的描述符，包括例如与任何所储存的特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其他组件物理上位于一起。替代地或附加地，地图数据库160或其一部分可以相对于系统100的其他组件(例如，处理单元110)位于远处。在这样的实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或互联网等)而下载。在一些情况下，地图数据库160可以储存稀疏数据模型，该稀疏数据模型包括某些道路特征(例如，车道标记)或主车辆的目标轨迹的多项式表示。下面参考图8至图19讨论生成这种地图的系统和方法。
图像捕获装置122、124和126可以各自包括适用于从环境捕获至少一个图像的任何类型的装置。此外，可以使用任何数目的图像捕获装置来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕获装置，而其他实施例可以包括两个、三个、或者甚至四个或更多个图像捕获装置。以下将参考图2B至图2E进一步描述图像捕获装置122、124和126。
系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有如上关于图1所述的系统100的处理单元110和任何其他组件。虽然在一些实施例中，车辆200可以仅配备有单个图像捕获装置(例如，相机)，但是在其他实施例中，诸如结合图2B-图2E讨论的那些，可以使用多个图像捕获装置。例如，如图2A所示，车辆200的图像捕获装置122和124中的任一个可以是ADAS(Advanced Driver Assistance System，高级驾驶员辅助系统)成像集的一部分。
作为图像获取单元120的一部分的被包括在车辆200上的图像捕获装置，可以被定位在任何合适的定位。在一些实施例中，如图2A-图2E以及图3A-图3C所示，图像捕获装置122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员相似的视线，这可以帮助确定对驾驶员而言什么是可见和不可见的。图像捕获装置122可以被定位在靠近后视镜的任何定位，而将图像捕获装置122放置在镜子的驾驶员侧可以进一步帮助获得表示驾驶员的视场和/或视线的图像。
对于图像获取单元120的图像捕获装置还可以使用其他定位。例如，图像捕获装置124可以位于车辆200的保险杠上或保险杠中。这样的定位可以尤其适用于具有宽视场的图像捕获装置。位于保险杠的图像捕获装置的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕获装置和驾驶员可能不总是看到相同的对象。图像捕获装置(例如，图像捕获装置122、124和126)还可以位于其他定位。例如，图像捕获装置可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、车辆200的侧面上，安装在车辆200的任何车窗上、定位在车辆200的任何车窗的后面、或定位在车辆200的任何车窗的前面，以及安装在车辆200的前部和/或后部上的灯具中或附近等。
除了图像捕获装置之外，车辆200还可以包括系统100的各种其他组件。例如，处理单元110可以被包括在车辆200上，与车辆的引擎控制单元(engine contro lunit，ECU)集成或分离。车辆200还可以配备有诸如GPS接收器的位置传感器130，并且还可以包括地图数据库160以及存储器单元140和150。
如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、互联网等)和/或接收数据。例如，无线收发器172可以将由系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。例如，经由无线收发器172，系统100可以接收对储存在地图数据库160、存储器140和/或存储器150中的数据的周期性或按需的更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕获的图像、由位置传感器130或其他传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
系统100可以基于隐私等级设定将数据上传到服务器(例如，上传到云)。例如，系统100可以实施隐私等级设定，以规定或限制传送到服务器的、可以唯一地识别车辆和/或车辆的驾驶员/所有者的数据(包括元数据)的类型。这样的设定可以由用户经由例如无线收发器172来设置，可以由出厂默认设定、或由无线收发器172接收的数据来初始化。
在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设置设定的情况下，系统100可以传输数据(例如，与路线相关的定位信息、捕获的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设定来上传数据时，系统100可以不包括车辆标识编号(vehicle identification number，VIN)或者车辆的驾驶员或所有者的名字，并且可以代替地传输数据，诸如，捕获的图像和/或与路线相关的受限的定位信息。
可以预期其他隐私等级。例如，系统100可以根据“中间”隐私等级向服务器传输数据，并且可以包括在“高”隐私等级下不包括的附加信息，诸如车辆的品牌和/或型号和/或车辆类型(例如，乘用车、运动型多用途车、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设定的情况下，系统100可以上传数据，并且包括足以唯一地识别具体车辆、所有者/驾驶员和/或车辆行驶过的部分或整个路线的信息。这样的“低”隐私等级数据可以包括以下中的一个或多个：例如VIN、驾驶员/所有者名字、出发之前车辆的始发点、车辆的意图目的地、车辆的品牌和/或型号、车辆类型等。
图2A是与所公开的实施例一致的示例性车辆成像系统的图示性侧视图表示。图2B是图2A中所示的实施例的图示性顶视图图示。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其车身(body)中包括系统100，该系统100具有定位在车辆200的后视镜附近和/或靠近驾驶员的第一图像捕获装置122、定位在车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕获装置124、以及处理单元110。
如图2C所示，图像捕获装置122和124两者可以都定位在车辆200的后视镜附近和/或靠近驾驶员。此外，虽然图2B和图2C示出了两个图像捕获装置122和124，应理解的是，其他实施例可以包括两个以上的图像捕获装置。例如，在图2D和2E所示的实施例中，第一图像捕获装置122、第二图像捕获装置124和第三图像捕获装置126被包括在车辆200的系统100中。
如图2D所示，图像捕获装置122可以定位在车辆200的后视镜附近和/或靠近驾驶员，并且图像捕获装置124和126可以定位在车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2E所示，图像捕获装置122、124和126可以定位在车辆200的后视镜附近和/或靠近驾驶员座。所公开的实施例不限于任何特定数目和配置的图像捕获装置，并且图像捕获装置可以定位在车辆200内或车辆200上的任何适当的定位中。
应理解的是，所公开的实施例不限于车辆，并且可以被应用在其他情景中。还应理解，所公开的实施例不限于特定类型的车辆200，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其他类型的车辆。
第一图像捕获装置122可以包括任何合适类型的图像捕获装置。图像捕获装置122可以包括光轴。在一个实例中，图像捕获装置122可以包括具有全局快门的AptinaM9V024WVGA传感器。在其他实施例中，图像捕获装置122可以提供1280×960像素的分辨率，并且可以包括滚动快门(rolling shutter)。图像捕获装置122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如用于为图像捕获装置提供期望的焦距和视场。在一些实施例中，图像捕获装置122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2D所示，图像捕获装置122可以被配置为捕获具有期望的视场(FOV)202的图像。例如，图像捕获装置122可以被配置为具有常规FOV，诸如在40度至56度的范围内，包括46度FOV、50度FOV、52度FOV，或更大的FOV。替代地，图像捕获装置122可以被配置为具有在23度至40度的范围内的窄FOV，诸如28度FOV或36度FOV。另外，图像捕获装置122可以被配置为具有在100度至180度的范围内的宽FOV。在一些实施例中，图像捕获装置122可以包括广角保险杠相机或者具有高达180度FOV的相机。在一些实施例中，图像捕获装置122可以是7。2M像素图像捕获装置，其纵横比为约2：1(例如，HxV＝3800×1900像素)，具有约100度的水平FOV。这样的图像捕获装置可以被用来代替三个图像捕获装置配置。由于显著的镜头失真，在图像捕获装置使用径向对称镜头的实施方式中，这样的图像捕获装置的垂直FOV可显著地小于50度。例如，这样的镜头可以不是径向对称的，这将允许在100度水平FOV情况下垂直FOV大于50度。
第一图像捕获装置122可以获取关于与车辆200相关联的场景的多个第一图像。可以获取多个第一图像中的每个作为一系列图像扫描线，其可以使用滚动快门来捕获。每个扫描线可以包括多个像素。
第一图像捕获装置122可以具有与第一系列图像扫描线中的每个的获取相关联的扫描速率。扫描速率可以指图像传感器可以获取与包括在特定扫描线中的每个像素相关联的图像数据的速率。
图像捕获装置122、124和126可以包含任何合适的类型和数目的图像传感器，例如，包括CCD传感器或CMOS传感器等。在一个实施例中，CMOS图像传感器可以与滚动快门一起采用，使得一次一个地读取一行中的每个像素，并且行的扫描在逐行的基础上进行，直到已捕获整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕获行。
在一些实施例中，本文公开的图像捕获装置中的一个或多个(例如，图像捕获装置122、124和126)可以构成高分辨率成像器，并且可以具有大于5M像素、7M像素、10M像素或更大像素的分辨率。
滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕获，这可能引起捕获的图像帧中的歪斜和其他图像伪影。另一方面，当图像捕获装置122被配置为利用全局或同步快门操作时，所有像素可以以相同量的时间并且在共同曝光时段期间被曝光。结果，从采用全局快门的系统收集的帧中的图像数据表示在特定时间的整个FOV(诸如FOV202)的快照。相比之下，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕获。因此，在具有滚动快门的图像捕获装置中，移动对象可能出现失真。这种现象将在下面更详细地描述。
第二图像捕获装置124和第三图像捕获装置126可以是任何类型的图像捕获装置。类似于第一图像捕获装置122，图像捕获装置124和126中的每个可以包括光轴。在一个实施例中，图像捕获装置124和126中的每个可以包括具有全局快门的Aptina M9V024WVGA传感器。替代地，图像捕获装置124和126中的每个可以包括滚动快门。类似于图像捕获装置122，图像捕获装置124和126可以被配置为包括各种镜头和光学元件。在一些实施例中，与图像捕获装置124和126相关联的镜头可以提供FOV(诸如FOV 204和206)，其等于或窄于与图像捕获装置122相关联的FOV(诸如FOV 202)。例如，图像捕获装置124和126可以具有40度、30度、26度、23度、20度或更小的FOV。
图像捕获装置124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。可以获取多个第二和第三图像中的每个作为第二和第三系列图像扫描线，其可以使用滚动快门来捕获。每个扫描线或行可以具有多个像素。图像捕获装置124和126可以具有与包括在第二和第三系列中的每个图像扫描线的获取相关联的第二和第三扫描速率。
每个图像捕获装置122、124和126可以定位在相对于车辆200的任何合适的位置和朝向处。可以选择图像捕获装置122、124和126的相对位置以帮助将从图像捕获装置获取的信息融合在一起。例如，在一些实施例中，与图像捕获装置124相关联的FOV(诸如FOV 204)可能部分地或完全地和与图像捕获装置122相关联的FOV(例如FOV 202)以及与图像捕获装置126相关联的FOV(例如FOV 206)重叠。
图像捕获装置122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕获装置122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2A所示，两个图像捕获装置122和124在不同的高度处。例如，在图像捕获装置122、124和126之间还可以存在横向位移差，以为处理单元110的立体分析给出附加的视差信息。横向位移的差异可以用dx表示，如图2C和图2D所示。在一些实施例中，图像捕获装置122、124和126之间可以存在前向或后向位移(例如，范围位移)。例如，图像捕获装置122可以位于图像捕获装置124和/或图像捕获装置126后面0.5到2米或更远处。这样的类型的位移可以使得图像捕获装置中的一个能够覆盖其他(一个或多个)图像捕获装置的潜在盲点。
图像捕获装置122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数目)，并且与图像捕获装置122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕获装置124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕获装置122和/或图像捕获装置124和126相关联的(一个或多个)图像传感器可以具有640×480、1024×768、1280×960的分辨率，或任何其他合适的分辨率。
帧速率(例如，图像捕获装置在继续捕获与下一图像帧相关联的像素数据之前获取一个图像帧的一组像素数据的速率)可以是可控的。与图像捕获装置122相关联的帧速率可以比与图像捕获装置124和126相关联的帧速率更高、更低或与之相同。与图像捕获装置122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕获装置122、124和126中的一个或多个可以包括可选择的像素延迟时段，其在获取与图像捕获装置122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该装置的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟循环一个像素)。此外，在包括滚动快门的实施例中，图像捕获装置122、124和126中的一个或多个可以包括可选择的水平消隐时段，其在获取与图像捕获装置122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕获装置122、124和/或126中的一个或多个可以包括可选择的垂直消隐时段，其在获取与图像捕获装置122、124和126的图像帧相关联的图像数据之前或之后施加。
这些定时控制可以使能与图像捕获装置122、124和126相关联的帧速率的同步，即便每个的线扫描速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其他因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕获装置122的FOV与图像捕获装置124和126的一个或多个FOV重叠的区域的图像捕获的同步，即便图像捕获装置122的视场不同于图像捕获装置124和126的FOV。
图像捕获装置122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个装置，线扫描速率类似，如果一个装置包括具有640×480的分辨率的图像传感器，并且另一个装置包括具有1280×960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
可以影响图像捕获装置122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包括在图像捕获装置122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定装置的最大线扫描速率相关。提供较高的最大线扫描速率的装置比具有较低的最大线扫描速率的装置具有提供更高的帧速率的潜力。在一些实施例中，图像捕获装置124和126中的一个或多个可以具有高于与图像捕获装置122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕获装置124和/或126的最大线扫描速率可以是图像捕获装置122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
在另一个实施例中，图像捕获装置122、124和126可以具有相同的最大线扫描速率，但图像捕获装置122可以以小于或等于其最大扫描扫描速率的扫描速率而操作。系统可以被配置为使得图像捕获装置124和126中的一个或多个以等于图像捕获装置122的线扫描速率的线扫描速率进行操作。在其他实例中，系统可以被配置为使得图像捕获装置124和/或图像捕获装置126的线扫描速率可以是图像捕获装置122的线扫描速率的1.25、1.5、1.75、或2倍或更多倍。
在一些实施例中，图像捕获装置122、124和126可以是不对称的。换言之，它们可包括具有不同视场(FOV)和焦距的相机。例如，图像捕获装置122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕获装置122、124和126中的一个或多个可以被配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
此外，与每个图像捕获装置122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个装置在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕获装置122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕获装置122、124和126还可以被配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕获装置122、124和126的焦距可以被选择以使得一个图像捕获装置(例如，图像捕获装置122)可以获取相对靠近车辆(例如，在10米内或20米内的)对象的图像，而其他图像捕获装置(例如，图像捕获装置124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
根据一些实施例，一个或多个图像捕获装置122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，尤其是对于可以被用于捕获车辆200附近的区域的图像的图像捕获装置122、124和126。例如，图像捕获装置122可以被用于捕获车辆200的右侧或左侧的区域的图像，并且在这样的实施例中，可能期望图像捕获装置122具有宽FOV(例如，至少140度)。
与图像捕获装置122、124和126中的每个相关联的视场可以取决于相应的焦距。例如，随着焦距增加，对应的视场减小。
图像捕获装置122、124和126可以被配置为具有任何合适的视场。在一个特定示例中，图像捕获装置122可以具有46度的水平FOV，图像捕获装置124可以具有23度的水平FOV，并且图像捕获装置126可以具有在23度和46度之间的水平FOV。在一个特定示例中，图像捕获装置122可以具有52度的水平FOV，图像捕获装置124可以具有26度的水平FOV，并且图像捕获装置126可以具有在26度和52度之间的水平FOV。在一些实施例中，图像捕获装置122的FOV与图像捕获装置124和/或图像捕获装置126的FOV的比率可以从1.5到2.0变化。在其他实施例中，该比率可以在1.25与2.25之间变化。
系统100可以被配置为使得图像捕获装置122的视场至少部分地或完全地与图像捕获装置124和/或图像捕获装置126的视场重叠。在一些实施例中，系统100可以被配置为使得图像捕获装置124和126的视场例如落入(例如，窄于)图像捕获装置122的视场并且与图像捕获装置122的视场共享共同的中心。在其他实施例中，图像捕获装置122、124和126可以捕获相邻的FOV，或者可以在它们FOV中具有部分重叠。在一些实施例中，图像捕获装置122、124和126的视场可以对齐，以使得较窄FOV图像捕获装置124和/或126的中心可以位于较宽FOV装置122的视场的下半部分中。
图2F是与所公开的实施例一致的示例性车辆控制系统的图示性表示。如图2F所指示的，车辆200可以包括油门调节系统220、制动系统230和转向系统240。系统100可以经过一个或多个数据链路(例如，用于传输数据的任何有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕获装置122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、变道(lane shift)等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240中的一个或多个接收输入，该输入指示车辆200的运行条件(例如，速度、车辆200是否正在制动和/或转向等)。以下结合图4至图7提供进一步的细节。
如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以定位为与后视镜310相邻。类似地，在一些实施例中，图像捕获装置122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
图3B至图3D是与所公开的实施例一致的被配置为定位在后视镜(例如，后视镜310)后面并抵靠车辆风挡的示例性相机安装370的图示。如图3B所示，相机安装370可以包括图像捕获装置122、124和126。图像捕获装置124和126可以定位在遮光板380的后面，遮光板380可以与车辆风挡齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可以被定位为使得遮挡相对于具有匹配斜面的车辆风挡对齐。在一些实施例中，图像捕获装置122、124和126中的每个可以定位在遮光板380的后面，例如在图3D中所描绘的。所公开的实施例不限于图像捕获装置122、124和126、相机安装370和遮光板380的任何特定配置。图3C是图3B所示的相机安装370从前面视角的图示。
如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变化和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，在提供所公开的实施例的功能时，任何组件可以位于系统100的任何适当的部分中并且组件可以被重新布置成各种配置。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，GPS定位信息)、地图数据、速度数据和/或来自包括在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其他传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应当采取某个动作，并且然后在没有人工干预的情况下自动采取确定的动作。例如，当车辆200在没有人工干预的情况下导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240中的一个或多个传送控制信号)。此外，系统100可以分析所收集的数据，并且基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的附加的细节。
前向多成像系统
如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆前方的一个或多个相机。在其他实施例中，多相机系统可以包括面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕获装置122和124)可以被定位在车辆(例如，车辆200)的前面和/或侧面处。第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以进行对由第一相机提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器以进行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一个实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这样的系统可以基于从位于车辆前方和侧方的不同距离处的对象导出的信息来做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕获的图像进行图像分析的实例。立体图像分析可以参考基于使用图像捕获参数的一个或多个变化而捕获的两个或更多个图像而进行图像分析的实例。例如，适合于进行立体图像分析的捕获的图像可以包括从两个或更多个不同位置、从不同视野、使用不同焦距以及与视差信息一起等捕获的图像。
例如，在一个实施例中，系统100可以使用图像捕获装置122、124和126来实施三相机配置。在这样的配置中，图像捕获装置122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其他值等)，图像捕获装置124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其他值)，并且图像捕获装置126可以提供中间的视场(例如，46度或从大约35度至大约60度的范围选择的其他值)。在一些实施例中，图像捕获装置126可以作为主相机或基本相机。图像捕获装置122、124和126可以被定位在后视镜310的后面并且基本上并排定位(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕获装置122、124和126中的一个或多个可以被安装在与车辆200的风挡齐平的遮光板380的后面。这样的遮挡可以用于最小化来自汽车内部的任何反射对图像捕获装置122、124和126的影响。
在另一个实施例中，如以上结合图3B和图3C所讨论的，宽视场相机(例如，上述示例中的图像捕获装置124)可以被安装得低于窄视场相机和主视场相机(例如，上述示例中的图像捕获装置122和126)。这样的配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的风挡，并且在相机上可以包括偏振器以衰减(damp)反射光。
三相机系统可以提供某些性能特性。例如，一些实施例可以包括由一个相机基于来自另一个相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理装置(例如，三个如以上所讨论的EyeQ系列处理器芯片)，其中每个处理装置专用于处理由图像捕获装置122、124和126中的一个或多个捕获的图像。
在三相机系统中，第一处理装置可以从主相机和窄视场相机两者接收图像，并且进行对窄FOV相机的视觉处理，例如以检测其他车辆、行人、车道标记、交通标志、交通灯以及其他道路对象。此外，第一处理装置可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3D重建。然后第一处理装置可以组合3D重建与3D地图数据、或组合3D重建与基于来自另一个相机的信息计算出的3D信息。
第二处理装置可以从主相机接收图像并进行视觉处理以检测其他车辆、行人、车道标记、交通标志、交通灯和其他道路对象。此外，第二处理装置可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3D重建(例如，运动恢复结构(structure from motion))。第二处理装置可以将基于3D重建的运动恢复结构传送到第一处理装置以与立体3D图像进行组合。
第三处理装置可以从宽FOV相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其他道路对象。第三处理装置可以进一步执行附加的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
在一些实施例中，使得基于图像的信息的流被独立地捕获和处理可以提供用于在系统中提供冗余的机会。这样的冗余可以包括例如使用第一图像捕获装置和从该装置处理的图像来验证和/或补充通过从至少第二图像捕获装置捕获和处理图像信息而获得的信息。
在一些实施例中，系统100可以使用两个图像捕获装置(例如，图像捕获装置122和124)来为车辆200提供导航辅助，并使用第三图像捕获装置(例如，图像捕获装置126)来提供冗余和验证从其他两个图像捕获装置接收的数据的分析。例如，在这样的配置中，图像捕获装置122和124可以提供用于由系统100进行立体分析的图像以用于导航车辆200，而图像捕获装置126可以提供用于由系统100进行单目分析的图像，以提供冗余和基于从图像捕获装置122和/或图像捕获装置124捕获的图像而获得的信息的验证。换言之，可以认为图像捕获装置126(和对应的处理装置)提供冗余子系统，以用于提供对从图像捕获装置122和124导出的分析的检查(例如，以提供自动紧急制动(AEB)系统)。此外，在一些实施例中，可基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器、从车辆外部的一个或多个收发器接收的信息等)来补充冗余和接收到的数据的验证。
本领域的技术人员将认识到，上述相机配置、相机放置、相机数目、相机定位等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其他组件可以在各种不同的配置中被组装和使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
图4是存储器140和/或存储器150的示例性功能性框图，该存储器140和/或存储器150可以被储存/被编程指令以用于进行与本公开实施例一致的一个或多个操作。尽管以下涉及存储器140，但是本领域技术人员将认识到，指令可以储存在存储器140和/或150中。
如图4所示，存储器140可以储存单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行包括在存储器140中的任何模块402、404、406和408所储存的指令。本领域技术人员将理解，在以下讨论中对处理单元110的引用可以单独地或共同地指代应用处理器180和图像处理器190。相应地，可以由一个或多个处理装置来进行任何以下过程的步骤。
在一个实施例中，单目图像分析模块402可以储存指令(诸如计算机视觉软件)，当由处理单元110执行该指令时，对由图像捕获装置122、124和126中的一个获取的一组图像进行单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与附加的感觉信息(例如，来自雷达、激光雷达等的信息)组合以进行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在一组图像内检测该组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、危险对象以及与车辆的环境相关联的任何其他特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、变道、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，立体图像分析模块404可以储存指令(诸如，计算机视觉软件)，当由处理单元110执行该指令时，对由从任何图像捕获装置122、124和126中选择的图像捕获装置的组合而获取的第一组和第二组图像进行立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与附加的感觉信息(例如，来自雷达的信息)组合以进行立体图像分析。例如，立体图像分析模块404可以包括指令，该指令用于基于由图像捕获装置124获取的第一组图像和由图像捕获装置126获取的第二组图像而进行立体图像分析。如下面结合图6所描述的，立体图像分析模块404可以包括指令，该指令用于检测第一组和第二组图像内的一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、变道、加速度的改变等，如以下结合导航响应模块408所讨论的。此外，在一些实施例中，立体图像分析模块404可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术，诸如系统可以被配置为使用计算机视觉算法来检测和/或标记在从中捕获和处理感觉信息的环境中的对象。在一个实施例中，立体图像分析模块404和/或其他图像处理模块可以被配置为使用经训练和未经训练的系统的组合。
在一个实施例中，速度和加速度模块406可以储存软件，该软件被配置为分析从车辆200中的一个或多个计算和机电装置接收的数据，该一个或多个计算和机电装置被配置为引起车辆200的速度和/或加速度的改变。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从执行单目图像分析模块402和/或立体图像分析模块404导出的数据来计算车辆200的目标速度。这样的数据可以包括，例如目标位置，速度和/或加速度，车辆200相对于附近车辆、行人或道路对象的位置和/或速度，车辆200相对于道路的车道标记的位置信息等。另外，处理单元110可以基于感觉输入(例如，来自雷达的信息)和来自车辆200的其他系统(诸如油门调节系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速度。基于计算出的目标速度，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240传输电信号，以通过例如物理地压下制动器或松开车辆200的加速器来触发速度和/或加速度的改变。
在一个实施例中，导航响应模块408可以储存软件，该软件可由处理单元110执行以基于从执行单目图像分析模块402和/或立体图像分析模块404导出的数据来确定期望的导航响应。这样的数据可以包括与附近的车辆、行人和道路对象相关联的位置和速度信息，车辆200的目标位置信息等。此外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于感觉输入(例如，来自雷达的信息)和来自车辆200的其他系统(诸如车辆200的油门调节系统220、制动系统230和转向系统240)的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240传输电信号，以通过例如转动车辆200的方向盘来实施预定角度的旋转，从而触发期望的导航响应。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为执行速度和加速度模块406的输入，以用于计算车辆200的速度的改变。
此外，本文公开的任何模块(例如，模块402、404和406)可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图5A是示出与所公开的实施例一致的用于基于单目图像分析来引起一个或多个导航响应的示例性过程500A的流程图。在步骤510处，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包括在图像获取单元120中的相机(诸如具有视场202的图像捕获装置122)可以捕获车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并通过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们传输到处理单元110。在步骤520处，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5B至图5D所进一步详细描述的。通过进行该分析，处理单元110可以检测在该组图像内的一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯等。
在步骤520处，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这样的危险的检测更加困难。在一些实施例中，处理单元110可以执行单目图像分析模块402来对多个图像进行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3D地图。然后，处理单元110可以使用该3D地图来检测道路表面、以及存在于道路表面上的危险。
在步骤530处，处理单元110可以执行导航响应模块408以基于在步骤520处执行的分析和如以上结合图4所描述的技术来引起一个或多个导航响应。导航响应可以包括例如转向、变道、制动、加速度的改变等。在一些实施例中，处理单元110可以使用从执行速度和加速度模块406导出的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任何组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220传输控制信号，使得车辆200转变一个车道然后加速。替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240传输控制信号，使得车辆200在变道的同时制动。
图5B是示出与所公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示例性过程500B的流程图。处理单元110可以执行单目图像分析模块402来实施过程500B。在步骤540处，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定图案比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的定位。预定图案可以以实施高“伪命中”率和低“漏掉”率的这样的方式来设计。例如，处理单元110可以将低的相似性阈值用在预定图案以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
在步骤542处，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。可以从与储存在数据库(例如，储存在存储器140中的数据库)中的对象类型相关联的各种属性导出这样的标准。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
在步骤544处，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，大小、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
在步骤546处，处理单元110可以为检测到的对象构建一组测量。这样的测量可以包括例如与检测到的对象相关联的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的诸如卡尔曼滤波器或线性二次估计(LQE)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过进行步骤540至546，处理单元110可以识别在该组捕获的图像内出现的车辆和行人，并导出与该车辆和行人相关联的信息(例如，位置、速度、大小)。基于该识别和所导出的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤548处，处理单元110可以进行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指代，例如在一个或多个图像中分析相对于车辆200的、与其他车辆和行人相关联的并且区别于道路表面运动的运动图案。处理单元110可以通过跨越在不同时间捕获到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546进行光流分析，以提供用于检测车辆和行人的冗余，并提高系统100的可靠性。
图5C是示出与所公开的实施例一致的用于在一组图像中检测道路标志和/或车道几何结构信息的示例性过程500C的流程图。处理单元110可以执行单目图像分析模块402来实施过程500C。在步骤550处，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何结构信息以及其他相关的道路标志的路段，处理单元110可以过滤该组对象以排除被确定为不相关的对象(例如，小坑洼、小石块等)。在步骤552处，处理单元110可以将在步骤550中检测到的属于相同的道路标志或车道标记的路段分组在一起。基于该分组，处理单元110可以产生表示检测到的路段的模型，诸如数学模型。
在步骤554处，处理单元110可以构建与检测到的路段相关联的一组测量。在一些实施例中，处理单元110可以创建检测到的路段从图像平面到现实世界平面上的投影。可以使用具有与诸如检测到的道路的位置、斜率、曲率和曲率导数的物理属性对应的系数的三次多项式来表征该投影。在生成投影时，处理单元110可以考虑道路表面的改变，以及与车辆200相关的俯仰(pitch)和滚转速率(roll rate)。此外，处理单元110可以通过分析道路表面上存在的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰和滚转速率。
在步骤556处，处理单元110可以通过例如跨连续图像帧跟踪检测到的路段并累积与检测到的路段相关联的逐帧数据来进行多帧分析。由于处理单元110进行多帧分析，在步骤554构建的该组测量可以变得更可靠并且与越来越高的置信度水平相关联。因此，通过进行步骤550、552、554和556，处理单元110可以识别在该组捕获的图像中出现的道路标志并导出车道几何结构信息。基于该识别和所导出的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤558处，处理单元110可以考虑附加的信息源，以进一步产生车辆200的在其周围的环境中的安全模型。处理单元110可以使用安全模型来限定系统100可以以安全方式执行车辆200的自主控制的上下文。为产生该安全模型，在一些实施例中，处理单元110可以考虑其他车辆的位置和运动、检测到的道路边缘和护栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑附加的信息源，处理单元110可以提供用于检测道路标志和车道几何结构的冗余，并增加系统100的可靠性。
图5D是示出与所公开的实施例一致的用于在一组图像中检测交通灯的示例性过程500D的流程图。处理单元110可以执行单目图像分析模块402来实施过程500D。在步骤560处，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的定位处的对象。例如，处理单元110可以过滤所识别的对象以构建一组候选对象，而排除不可能对应于交通灯的那些对象。可以基于与交通灯相关联的各种属性来完成过滤，诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等。这样的属性可以基于交通灯和交通控制信号的多个示例，并储存在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象进行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象进行颜色分析，并识别出现在可能的交通灯内的检测到的颜色的相对位置。
在步骤562处，处理单元110可以分析交叉口的几何结构。分析可以基于以下各项的任意组合：(i)在车辆200的任一侧检测到的车道数，(ii)在道路上检测到的标志(例如箭头标志)，以及(iii)从地图数据(例如来自地图数据库160的数据)中提取的交叉口的描述。处理单元110可以使用从执行单目分析模块402导出的信息来进行分析。此外，处理单元110可以确定在步骤560检测到的交通灯和在车辆200附近出现的车道之间的对应性。
在步骤564处，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何结构和检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数目与实际出现在交叉口处的交通灯的数目比较可以影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改善安全条件。通过进行步骤560、562和564，处理单元110可以识别出现在该组捕获的图像内的交通灯，并分析交叉口几何结构信息。基于该识别和分析，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
图5E是示出与所公开的实施例一致的用于基于车辆路径来引起车辆200中的一个或多个导航响应的示例性过程500E的流程图。在步骤570处，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x，z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包括在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的路段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
在步骤572处，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的dk小于如上所述的距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离矢量S(即，基于表示车辆路径的该组点)。
在步骤574处，处理单元110可以基于在步骤572处构建的更新后的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xl，zl))。处理单元110可以从累积距离矢量S提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速度和前视时间的乘积。例如，随着车辆200的速度下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于偏航率(yaw rate)环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
在步骤576处，处理单元110可以基于在步骤574确定的前视点来确定航向误差和偏航率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xl/zl)来确定航向误差。处理单元110可以将横摆角速率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2×车辆200的速度/前视距离)。
图5F是示出与所公开的实施例一致的用于确定前方车辆是否正在改变车道的示例性过程500F的流程图。在步骤580处，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5A和图5B所描述的技术来确定前方车辆的位置、速度(例如，方向和速度)和/或加速度。处理单元110还可以使用以上结合图5E所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(例如，描述由前方车辆所采取的路径的一组点)。
在步骤582处，处理单元110可以分析在步骤580确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的变化超过预定阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其他车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以附加地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的道路路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其他车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路路段的期望曲率的差异超过预定阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
在另一个实施例中，处理单元110可以在具体时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与前视点(与车辆200相关联)相比较。如果前方车辆的瞬时位置与前视点之间的距离在该具体时间段期间变化，并且变化的累积总和超过预定阈值(例如，在直路上0.3至0.4米，在适度弯曲道路上0.7至0.8米，以及在急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪路径的期望曲率相比较，来分析该追踪轨迹的几何结构。可以根据计算确定预期的曲率半径：(δz 2+δx 2)/2/(δx)，其中δx表示行驶的横向距离和δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
在步骤584，处理单元110可以基于在步骤582进行的分析来确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582进行的各个分析的加权平均来做出该确定。在这样的方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变车道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582处进行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。
图6是示出与所公开的实施例一致的用于基于立体图像分析来引起一个或多个导航响应的示例性过程600的流程图。在步骤610处，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包括在图像获取单元120的相机(诸如具有视场202和204的图像捕获装置122和124)可以捕获在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或更多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤620处，处理单元110可以执行立体图像分析模块404来进行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3D地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、道路危险等。可以以与上面结合图5A至5D描述的步骤类似的方式进行立体图像分析。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标志、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并进行多帧分析、构建测量，以及为剩余的候选对象确定置信度水平。在进行上述步骤时，处理单元110可以考虑来自第一和第二多个图像两者的信息，而不是仅考虑来自一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像两者中的候选对象的像素级数据(或来自捕获的图像的两个流中的其他数据子集)的差异。作为另一个示例，处理单元110可以通过观察对象在多个图像中的一个出现而未在另一个图像中出现，或相对于出现在两个图像流中的对象可能存在的其他差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
在步骤630处，处理单元110可以执行导航响应模块408，以基于在步骤620进行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、变道、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从执行速度和加速度模块406导出的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任何组合而发生。
图7是示出与所公开的实施例一致的用于基于三组图像的分析来引起一个或多个导航响应的示例性过程700的流程图。在步骤710处，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包括在图像获取单元120的相机(诸如具有视场202、204和206的图像捕获装置122、124和126)可以捕获在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕获装置122、124、126中的每个可以具有用于向处理单元110通信数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤720处，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、道路危险等。该分析可以以类似于以上结合图5A-图5D和图6所描述的步骤的方式来进行。例如，处理单元110可以对第一、第二和第三多个图像中的每个进行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5A至图5D所描述的步骤)。替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像进行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。可以组合对应于第一、第二和/或第三多个图像的分析的处理后的信息。在一些实施例中，处理单元110可以进行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像进行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像进行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕获装置122、124和126——包括它们各自的定位和视场202、204和206——的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕获装置122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100进行测试。这样的测试可以提供对于图像获取装置122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
在步骤730处，处理单元110可以基于从第一、第二和第三多个图像中的两个导出的信息来引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数目、类型和大小。处理单元110还可以基于图像质量和分辨率、在图像中反映的有效视场、捕获的帧的数目、一个或多个感兴趣的对象实际出现在帧中的程度(例如，对象出现的帧的百分比、每个这样的帧中出现的对象的比例)等来进行选择。
在一些实施例中，处理单元110可以通过确定从一个图像源导出的信息与从其他图像源导出的信息的相一致的程度，选择从第一、第二和第三多个图像中的两个导出的信息。例如，处理单元110可以将从图像捕获装置122、124和126中的每个导出的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任何组合)，并确定在从图像捕获装置122、124和126的每个捕获到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其定位和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕获到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于确定相一致和不一致的信息，来选择从第一、第二和第三多个图像中的两个导出的信息。
导航响应可以包括例如转向、变道、制动、加速度的改变等。处理单元110可以基于在步骤720所进行的分析和如以上结合图4所描述的技术来引起一个或多个导航响应。处理单元110还可以使用从执行速度和加速度模块406导出的数据来引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任何组合而发生。
对捕获的图像的分析可以允许生成和使用用于自主车辆导航的稀疏地图模型。此外，对捕获的图像的分析可以允许使用识别的车道标记定位自主车辆。下面将参考图8-28讨论用于基于对捕获的图像的一个或多个特定分析来检测特定特性以及用于使用稀疏地图模型来导航自主车辆的实施例。
用于自主车辆导航的稀疏道路模型
在一些实施例中，所公开的系统和方法可以使用用于自主车辆导航的稀疏地图。特别地，稀疏地图可以用于沿着道路路段的自主车辆导航。例如，稀疏地图可以在不储存和/或更新大量数据的情况下为导航自主车辆提供足够的信息。如下文更详细讨论的，自主车辆可以基于一个或多个储存的轨迹使用稀疏地图来导航一条或多条道路。
用于自主车辆导航的稀疏地图
在一些实施例中，所公开的系统和方法可以生成用于自主车辆导航的稀疏地图。例如，稀疏地图可以在不需要过多的数据存储或数据传输速率的情况下为导航提供足够的信息。如下文更详细讨论的，车辆(其可以是自主车辆)可以使用稀疏地图来导航一条或多条道路。例如，在一些实施例中，稀疏地图可以包括与道路和沿着道路的潜在地标相关的数据，这些数据对于车辆导航来说可能是足够的，但是也表现出小的数据足迹(footprint)。例如，下面详细描述的稀疏数据地图与包括详细地图信息(诸如沿着道路收集的图像数据)的数字地图相比，可能需要显著更少的存储空间和数据传输带宽。
例如，稀疏数据地图可以储存沿着道路的优选车辆路径的三维多项式表示，而不是储存道路路段的详细表示。这些路径可能需要非常少的数据存储空间。此外，在所描述的稀疏数据地图中，地标可以被识别并被包括在稀疏地图道路模型中以帮助导航。这些地标可以以适合于使能车辆导航的任何间距被定位，但是在一些情况下，这些地标不需要以高密度和短间距被识别并被包括在模型中。相反，在一些情况下，基于间隔开至少50米、至少100米、至少500米、至少1千米或至少2千米的地标的导航是可能的。如将在其他章节中更详细讨论的，稀疏地图可以基于由配备有各种传感器和装置(诸如图像捕获装置、全球定位系统传感器、运动传感器等)的车辆在该车辆沿着道路行驶时收集或测量的数据来生成。在一些情况下，稀疏地图可以基于在一个或多个车辆沿着特定道路多次驾驶期间收集的数据来生成。使用一个或多个车辆的多次驾驶生成稀疏地图可以被称为“众包”稀疏地图。
与所公开的实施例一致，自主车辆系统可以使用用于导航的稀疏地图。例如，所公开的系统和方法可以分发稀疏地图用于为自主车辆生成道路导航模型，并且可以使用稀疏地图和/或生成的道路导航模型沿着道路路段导航自主车辆。与本公开一致的稀疏地图可以包括一个或多个三维轮廓，这些三维轮廓可以表示自主车辆在它们沿着相关联的道路路段移动时可以穿越(traverse)的预定轨迹。
与本公开一致的稀疏地图还可以包括表示一个或多个道路特征的数据。这样的道路特征可以包括辨识的地标、道路签名轮廓以及在车辆导航中有用的任何其他道路相关特征。与本公开一致的稀疏地图可以基于包括在稀疏地图中的相对少量的数据来使能车辆的自主导航。例如，稀疏地图的所公开的实施例可以需要相对小的存储空间(并且当稀疏地图的部分被传输到车辆时需要相对小的带宽)，但是仍然可以充分地提供自主车辆导航，而不是包括道路的详细表示，诸如道路边缘、道路曲率、与道路路段相关联的图像、或详细描述与道路路段相关联的其他物理特征的数据。在一些实施例中，可以通过储存需要少量数据但仍然使能够自主导航的道路相关元素的表示来实施所公开的稀疏地图的小数据足迹，这将在下面进一步详细讨论。
例如，所公开的稀疏地图可以储存车辆可以沿着道路遵循的一个或多个轨迹的多项式表示，而不是储存道路的各个方面的详细表示。因此，使用所公开的稀疏地图，可以沿着特定道路路段导航车辆，而不是储存(或必须传输)关于道路的物理性质的细节以使能沿着道路的导航，在某些情况下，不必解释道路的物理方面，而是通过将其行驶的路径与沿着特定道路路段的轨迹(例如，多项式样条)对齐。以这种方式，可以主要基于储存的轨迹(例如，多项式样条)来导航车辆，与涉及道路图像、道路参数、道路布局等的存储的方法相比，该储存的轨迹可以需要少得多的存储空间。
除了储存的沿着道路路段的轨迹的多项式表示之外，所公开的稀疏地图还可以包括可以表示道路特征的小数据对象。在一些实施例中，小数据对象可以包括数字签名，该数字签名从沿着道路路段行驶的车辆上的传感器(例如，相机或其他传感器，诸如悬架传感器)获得的数字图像(或数字信号)中导出。相对于由传感器获取的信号，数字签名可以具有减小的大小。在一些实施例中，数字签名可以被创建为与分类器功能兼容，该分类器功能被配置为例如在后续驾驶期间从由传感器获取的信号中检测和识别道路特征。在一些实施例中，可以创建数字签名，使得数字签名具有尽可能小的足迹，同时保留基于道路特征的图像(或者如果所储存的签名不是基于图像和/或包括其他数据，则是由传感器生成的数字信号)将道路特征与所储存的签名相关联或匹配的能力，该道路特征的图像由后续沿相同道路路段行驶的车辆上的相机捕获。
在一些实施例中，数据对象的大小可以进一步与道路特征的唯一性相关联。例如，对于可由车辆上的相机检测的道路特征，并且其中车辆上的相机系统耦合到分类器，该分类器能够将对应于该道路特征的图像数据区分为与特定类型的道路特征(例如，道路标志)相关联，并且其中这种道路标志在该区域中是本地唯一的(例如，附近没有相同的道路标志或相同类型的道路标志)，储存指示道路特征的类型及其定位的数据可以是足够的。
如下面将进一步详细讨论的，道路特征(例如，沿着道路路段的地标)可以被储存为小数据对象，该小数据对象可以以相对较少的字节来表示道路特征，同时提供足够的信息用于辨识和使用这样的特征进行导航。在一个示例中，道路标志可以被识别为车辆的导航可以基于的辨识的地标。道路标志的表示可以被储存在稀疏地图中，以包括例如指示地标的类型(例如，停车标志)的几个字节的数据和指示地标的定位(例如，坐标)的几个字节的数据。基于地标的这种轻数据(data-light)表示的导航(例如，使用足以基于地标定位、辨识和导航的表示)可以提供与稀疏地图相关联的期望等级的导航功能，而不会显著增加与稀疏地图相关联的数据开销。地标(和其他道路特征)的这种精简表示可以利用包括在这种车辆上的被配置为检测、识别和/或分类特定道路特征的传感器和处理器。
例如，当给定区域中的标志或者甚至特定类型的标志是本地唯一的(例如，当没有其他标志或者没有相同类型的其他标志时)，稀疏地图可以使用指示地标的类型(标志或者特定类型的标志)的数据，并且在导航(例如，自主导航)期间当自主车辆上的相机捕获包括标志(或特定类型的标志)的区域的图像时，处理器可以处理图像，检测标志(如果确实存在于图像中)，将图像分类为标志(或特定类型的标志)，并将图像的定位与储存在稀疏地图中的标志的定位相关联。
生成稀疏地图
在一些实施例中，稀疏地图可以包括沿着道路路段延伸的道路表面特征的至少一个线条表示以及与该道路路段相关联的多个地标。在某些方面，稀疏地图可以经由“众包”来生成，例如，通过对当一个或多个车辆穿越道路路段时获取的多个图像进行图像分析。
图8示出了一个或多个车辆(例如车辆200(其可以是自主车辆))可以访问以用于提供自主车辆导航的稀疏地图800。稀疏地图800可以被储存在存储器中，诸如存储器140或150中。这种存储器装置可以包括任何类型的非暂时性存储装置或计算机可读介质。例如，在一些实施例中，存储器140或150可以包括硬盘驱动器、光盘、闪速存储器、基于磁的存储器装置、基于光的存储器装置等。在一些实施例中，稀疏地图800可以储存在数据库(例如，地图数据库160)中，该数据库可以储存在存储器140或150或其他类型的存储装置中。
在一些实施例中，稀疏地图800可以储存在车辆200上提供的存储装置或非暂时性计算机可读介质上(例如，包括在车辆200上的导航系统中的存储装置)。车辆200上提供的处理器(例如，处理单元110)可以访问储存在车辆200上提供的存储装置或计算机可读介质中的稀疏地图800，以便在车辆穿越道路路段时生成用于引导自主车辆200的导航指令。
然而，稀疏地图800不需要相对于车辆被本地储存。在一些实施例中，稀疏地图800可以储存在存储装置或计算机可读介质上，在与车辆200或与车辆200相关联的装置通信的远程服务器上提供该存储装置或计算机可读介质。车辆200上提供的处理器(例如，处理单元110)可以从远程服务器接收稀疏地图800中包括的数据，并且可以执行用于引导车辆200的自主驾驶的数据。在这样的实施例中，远程服务器可以储存稀疏地图800的全部或仅其一部分。相应地，在车辆200上和/或在一个或多个附加车辆上提供的存储装置或计算机可读介质可以储存稀疏地图800的(多个)剩余部分。
此外，在这样的实施例中，稀疏地图800可以被穿越不同道路路段的多个车辆(例如，数十、数百、数千或数百万车辆等)访问。还应当注意，稀疏地图800可以包括多个子地图。例如，在一些实施例中，稀疏地图800可以包括可用于导航车辆的数百、数千、数百万或更多的子地图。这种子地图可以被称为局部地图，并且沿着道路行驶的车辆可以访问与车辆正在行驶的定位相关的任意数量的局部地图。稀疏地图800的局部地图部分可以与全球导航卫星系统(GNSS)密钥一起储存作为到稀疏地图800的数据库的索引。因此，虽然在本系统中用于导航主车辆的转向角的计算可以在不依赖于主车辆的GNSS位置、道路特征或地标的情况下执行，但是这种GNSS信息可以用于检索相关的局部地图。
在下面更详细地描述数据的收集和稀疏地图800的生成，例如，参考图19。然而，一般来说，稀疏地图800可以基于从一个或多个车辆在它们沿着道路行驶时收集的数据来生成。例如，使用一个或多个车辆上的传感器(例如，相机、速度计、GPS、加速度计等)，可以记录一个或多个车辆沿着道路行驶的轨迹，并且可以基于由一个或多个车辆行驶的收集到的轨迹来确定沿着道路进行后续行程的车辆的优选轨迹的多项式表示。类似地，由一个或多个车辆收集的数据可以帮助识别沿着特定道路的潜在地标。从穿越车辆收集的数据也可以用于识别道路轮廓信息，诸如道路宽度轮廓、道路粗糙度轮廓、交通线间距轮廓、道路状况等。使用收集的信息，稀疏地图800可以被生成和分发(例如，用于本地储存或经由飞行中的数据传输)，以用于导航一个或多个自主车辆。然而，在一些实施例中，地图生成可能不会在地图的初始生成时结束。如下面将更详细讨论的，当车辆继续穿越稀疏地图800中包括的道路时，稀疏地图800可以基于从车辆收集的数据被连续地或周期性地更新。
稀疏地图800中记录的数据可以包括基于全球定位系统(GPS)数据的位置信息。例如，定位信息可以包括在稀疏地图800中，以用于各种地图元素，包括例如地标定位、道路轮廓定位等。稀疏地图800中包括的地图元素的定位可以使用从穿越道路的车辆收集的GPS数据来获得。例如，经过所识别的地标的车辆可以使用与车辆相关联的GPS位置信息和所识别的地标相对于车辆的定位的确定(例如，基于从车辆上的一个或多个相机收集的数据的图像分析)来确定所识别的地标的定位。当附加的车辆经过所识别的地标的定位时，可以重复对所识别的地标(或稀疏地图800中包括的任何其他特征)的这种定位确定。一些或所有附加定位确定可用于相对于所识别的地标细化储存在稀疏地图800中的定位信息。例如，在一些实施例中，相对于储存在稀疏地图800中的特定特征的多个位置测量可以一起被平均。然而，任何其他数学运算也可用于基于地图元素的多个确定定位来细化地图元素的所储存的定位。
所公开的实施例的稀疏地图可以使用相对少量的储存数据来使能车辆的自主导航。在一些实施例中，稀疏地图800可以具有小于每千米道路2MB、小于每千米道路1MB、小于每千米道路500kB或小于每千米道路100kB的数据密度(例如，包括表示目标轨迹、地标和任何其他储存的道路特征的数据)。在一些实施例中，稀疏地图800的数据密度可以小于每千米道路10kB，或者甚至小于每千米道路2kB(例如，每千米1.6kB)，或者不超过每千米道路10kB，或者不超过每千米道路20kB。在一些实施例中，也可以使用总共具有4GB或更少数据的稀疏地图来自主导航美国的大部分道路(如果不是全部的话)。这些数据密度值可以表示整个稀疏地图800、稀疏地图800内的局部地图和/或稀疏地图800内的特定道路路段上的平均。
如上所述，稀疏地图800可以包括多个目标轨迹的表示810，以用于沿着道路路段引导自主驾驶或导航。这种目标轨迹可以被储存为三维样条。例如，储存在稀疏地图800中的目标轨迹可以基于车辆沿着特定道路路段的先前穿越(traversal)的两个或更多个重建轨迹来确定，如参考图29讨论的。道路路段可以与单个目标轨迹或多个目标轨迹相关联。例如，在双车道道路上，可以储存第一目标轨迹以表示在第一方向上沿着道路行驶的意图路径，并且可以储存第二目标轨迹以表示在另一方向上(例如，与第一方向相反)沿着道路行驶的意图路径。可以储存关于特定道路路段的附加目标轨迹。例如，在多车道道路上，可以储存一个或多个目标轨迹，其表示与多车道道路相关联的一个或多个车道中的车辆的行驶的意图路径。在一些实施例中，多车道道路的每个车道可以与其自己的目标轨迹相关联。在其他实施例中，储存的目标轨迹可以比多车道道路上存在的车道少。在这种情况下，在多车道道路上导航的车辆可以使用任何储存的目标轨迹来通过考虑从储存目标轨迹的车道的车道偏移来引导其导航(例如，如果车辆在三车道公路的最左侧车道上行驶，并且目标轨迹仅针对公路的中间车道储存，当生成导航指令时，通过考虑中间车道和最左侧车道之间的车道偏移，车辆可以使用中间车道的目标轨迹导航)。
在一些实施例中，目标轨迹可以表示车辆行驶时应当走的理想路径。目标轨迹可以位于例如行驶的车道的近似中心。在其他情况下，目标轨迹可以位于相对于道路路段的其他地方。例如，目标轨迹可以与道路的中心、道路的边缘或车道的边缘等近似重合。在这种情况下，基于目标轨迹的导航可以包括相对于目标轨迹的定位维持的确定的偏移量。此外，在一些实施例中，相对于目标轨迹的定位维持的确定的偏移量可以基于车辆的类型而不同(例如，沿着目标轨迹的至少一部分，包括两个轴的客车可以与包括两个以上的轴的卡车具有不同的偏移)。
稀疏地图800还可以包括与多个预定地标820相关的数据，多个预定地标820与特定道路路段、局部地图等相关联。如下文更详细讨论的，这些地标可以用于自主车辆的导航。例如，在一些实施例中，地标可用于确定车辆相对于所储存的目标轨迹的当前位置。利用该位置信息，自主车辆能够调整航向方向，以匹配在确定定位处的目标轨迹的方向。
多个地标820可以以任何合适的间距被识别并储存在稀疏地图800中。在一些实施例中，地标可以以相对高的密度被储存(例如，每隔几米或更多)。然而，在一些实施例中，可以采用显著更大的地标间距值。例如，在稀疏地图800中，所识别的(或所辨识的)地标可以间距开10米、20米、50米、100米、1千米或2千米。在一些情况下，所识别的地标可以位于相距甚至超过2千米的距离处。
在地标之间，并因此在相对于目标轨迹的车辆位置的确定之间，车辆可以基于航位推算来导航，在该航位推算中，车辆使用传感器来确定其自我(ego)运动并估计其相对于目标轨迹的位置。由于在通过航位推算的导航期间误差可以累积，随着时间的推移，相对于目标轨迹的位置确定可能变得越来越不准确。车辆可以使用出现在稀疏地图800中的地标(以及它们的已知定位)来消除位置确定中由航位推算引起的误差。以这种方式，稀疏地图800中包括的所识别的地标可以用作导航锚，从该导航锚可以确定车辆相对于目标轨迹的准确位置。因为在位置定位中一定量的误差可以是可接受的，所以所识别的地标不需要总是对自主车辆可用。相反，合适的导航甚至可以基于如上所述的10米、20米、50米、100米、500米、1千米、2千米或更多的地标间距。在一些实施例中，每1千米的道路的1个识别地标的密度足以将纵向位置确定准确度维持在1米内。因此，不需要将沿着道路路段出现的每个潜在地标储存在稀疏地图800中。
此外，在一些实施例中，车道标记可以用于在地标间距期间的车辆的定位。通过在地标间距期间使用车道标记，通过航位推算的导航期间的累积可以被最小化。具体地，这种定位将在下面参考图35进行讨论。
除了目标轨迹和所识别的地标之外，稀疏地图800可以包括与各种其他道路特征相关的信息。例如，图9A示出了可以储存在稀疏地图800中的沿着特定道路路段的曲线的表示。在一些实施例中，道路的单个车道可以由道路左侧边和右侧边的三维多项式描述来建模。图9A中示出了表示单个车道的左侧边和右侧边的这样的多项式。不管道路可以有多少车道，道路可以以类似于图9A所示的方式使用多项式来表示。例如，多车道道路的左侧边和右侧边可以由类似于图9A所示的多项式来表示，并且包括在多车道道路上的中间车道标记(例如，表示车道边界的虚线标志、表示在不同方向上行驶的车道之间的边界的黄色实线等)也可以使用诸如图9A所示的多项式来表示。
如图9A所示，可以使用多项式(例如，一阶、二阶、三阶或任何合适阶的多项式)来表示车道900。为了说明，车道900被示出为二维车道，并且多项式被显示为二维多项式。如图9A所示，车道900包括左侧边910和右侧边920。在一些实施例中，可以使用一个以上的多项式来表示道路或车道边界的每一边的定位。例如，左侧边910和右侧边920中的每一个可以由任意合适长度的多个多项式来表示。在一些情况下，多项式可以具有大约100m的长度，尽管也可以使用大于或小于100m的其他长度。此外，多项式可以彼此重叠，以便当主车辆沿着道路行驶时，基于后续遇到的多项式来促进导航中的无缝转变。例如，左侧边910和右侧边920中的每一个可以由多个三阶多项式表示，这些三阶多项式被分成大约100米长的段(第一预定范围的示例)，并且彼此重叠大约50米。表示左侧边910和右侧边920的多项式可以具有或不具有相同的顺序。例如，在一些实施例中，一些多项式可以是二阶多项式，一些可以是三阶多项式，以及一些可以是四阶多项式。
在图9A所示的示例中，车道900的左侧边910由两组三阶多项式表示。第一组包括多项式段911、912和913。第二组包括多项式段914、915和916。这两个组虽然基本上彼此平行，但是遵循它们各自的道路边的定位。多项式段911、912、913、914、915和916具有大约100米的长度，并且与系列中与相邻段重叠大约50米。然而，如前所述，也可以使用不同长度和不同重叠量的多项式。例如，多项式可以具有500m、1km或更长的长度，并且重叠量可以从0到50m、50m到100m或大于100m变化。另外，虽然图9A被示为表示在2D空间中(例如，在纸的表面上)延伸的多项式，但是应当理解，这些多项式可以表示在三维中延伸的曲线(例如，包括高度分量)，以表示除了X-Y曲率之外的道路路段中的标高改变。在图9A所示的示例中，车道900的右侧边920进一步由具有多项式段921、922和923的第一组和具有多项式段924、925和926的第二组表示。
回到稀疏地图800的目标轨迹，图9B示出了表示沿着特定道路路段行驶的车辆的目标轨迹的三维多项式。目标轨迹不仅表示主车辆应当沿着特定道路路段行驶的X-Y路径，还表示主车辆沿着该道路路段行驶时将经历的标高改变。因此，稀疏地图800中的每个目标轨迹可以由一个或多个三维多项式表示，如图9B中所示的三维多项式950。稀疏地图800可以包括多个轨迹(例如，数百万或数十亿或更多，以表示沿着沿着世界各地的道路的各个道路路段的车辆的轨迹)。在一些实施例中，每个目标轨迹可以对应于连接三维多项式段的样条。
关于储存在稀疏地图800中的多项式曲线的数据足迹，在一些实施例中，每个三次多项式可以由四个参数表示，每个参数需要四个字节的数据。可以使用需要每100m约192字节数据的三次多项式来获得合适的表示。对于行驶约100km/hr的主车辆，这可以转化为每小时约200kB的数据使用/传输要求。
稀疏地图800可以使用几何结构描述符和元数据的组合来描述车道网络。几何结构可以用如上所述的多项式或样条来描述。元数据可以描述车道的数量、特殊特性(诸如合用车道)以及可能的其他稀疏标签。这种指示符的总足迹可能可以忽略不计。
相应地，根据本公开的实施例的稀疏地图可以包括沿着道路路段延伸的道路表面特征的至少一个线条表示，每个线条表示表示沿着道路路段基本上对应于道路表面特征的路径。在一些实施例中，如上所述，道路表面特征的至少一个线条表示可以包括样条、多项式表示或曲线。此外，在一些实施例中，道路表面特征可以包括道路边缘或车道标记中的至少一个。此外，如下面关于“众包”所讨论的，可以通过对当一个或多个车辆穿越道路路段时获取的多个图像的图像分析来识别道路表面特征。
如前所述，稀疏地图800可以包括与道路路段相关联的多个预定地标。稀疏地图800中的每个地标可以使用比储存的实际图像所需的更少的数据来表示和辨识，而不是储存地标的实际图像并依赖于例如基于捕获的图像和储存的图像的图像辨识分析。表示地标的数据仍然可以包括用于描述或识别沿着道路的地标的足够信息。储存描述地标的特性的数据，而不是地标的实际图像，可以减小稀疏地图800的大小。
图10示出了可以在稀疏地图800中表示的地标的类型的示例。地标可以包括沿着道路路段的任何可见且可识别的对象。可以选择地标，使得它们是固定的，并且相对于它们的定位和/或内容不会经常改变。稀疏地图800中包括的地标在车辆穿越特定道路路段时确定车辆200相对于目标轨迹的定位是有用的。地标的示例可以包括交通标志、方向标志、一般标志(例如，矩形标志)、路边固定装置(例如，灯柱、反射器等)以及任何其他合适的类别。在一些实施例中，道路上的车道标记也可以作为地标被包括在稀疏地图800中。
图10中示出的地标的示例包括交通标志，方向标志，路边固定装置和一般标志。交通标志可以包括，例如限速标志(例如，限速标志1000)、让行标志(例如，让行标志1005)、路线号标志(例如，路线号标志1010)、交通灯标志(例如，交通灯标志1015)、停车标志(例如，停车标志1020)。方向标志可以包括标志，该标志包括一个或多个箭头，该箭头指示到不同地方的一个或多个方向。例如，方向标志可以包括具有用于将车辆引导到不同道路或地方的箭头的高速公路标志1025、具有将车辆引导离开道路的箭头的出口标志1030等等。相应地，多个地标中的至少一个可以包括道路标志。
一般标志可以与交通无关。例如，一般标志可能包括用于广告的广告牌，或两个国、州、县、市或城镇之间边界附近的欢迎板。图10示出了一般标志1040(“乔的餐厅”)。尽管一般标志1040可以具有矩形形状，如图10所示，但是一般标志1040可以具有其他形状，诸如正方形，圆形，三角形等。
地标还可能包括路边固定装置。路边固定装置可以不是标志，也可以与交通或方向无关。例如，路边固定装置可以包括灯柱(例如，灯柱1035)、电力线柱、交通灯柱等。
地标还可以包括专门设计用于自主车辆导航系统的信标。例如，这种信标可以包括以预定间隔放置的独立结构，以帮助导航主车辆。这种信标还可以包括添加到现有道路标志的可视/图形信息(例如，图标、徽章、条形码等)，该可视/图形信息可以被沿着道路路段行驶的车辆识别或辨识。这种信标还可以包括电子组件。在这样的实施例中，电子信标(例如，RFID标签等)可用于向主车辆传输非可视信息。这种信息可以包括例如主车辆在确定其沿目标轨迹的位置时可以使用的地标标识和/或地标定位信息。
在一些实施例中，稀疏地图800中包括的地标可以由预定大小的数据对象来表示。表示地标的数据可以包括用于识别特定地标的任何合适的参数。例如，在一些实施例中，储存在稀疏地图800中的地标可以包括参数，诸如地标的物理大小(例如，以支持基于已知大小/比例的到地标的距离的估计)、到先前地标的距离、横向偏移、高度、类型代码(例如，地标类型——什么类型的方向标志、交通标志等)、GPS坐标(例如，支持全球定位)和任何其他合适的参数。每个参数可以与数据大小相关联。例如，可以使用8字节的数据来储存地标大小。可以使用12字节的数据来指定到先前地标的距离、横向偏移和高度。与诸如方向标志或交通标志的地标相关联的类型代码可以需要大约2字节的数据。对于一般标志，可以使用50字节的数据存储装置来储存使能识别一般标志的图像签名。地标GPS位置可以与16字节的数据存储装置相关联。每个参数的这些数据大小只是示例，也可以使用其他数据大小。
以这种方式在稀疏地图800中表示地标可以提供用于在数据库中有效地表示地标的精简方案。在一些实施例中，标志可以被称为语义标志和非语义标志。语义标志可以包括具有标准化含义的任何类别的标志(例如，限速标志、警告标志、方向标志等)。非语义标志可以包括与标准化含义不相关联的任何标志(例如，一般广告标志、标识商业机构的标志等)。例如，每个语义标志可以用38字节的数据来表示(例如，8字节用于大小；12字节用于到先前地标的距离、横向偏移和高度；2字节用于类型代码；以及16字节用于GPS坐标)。稀疏地图800可以使用标签系统来表示地标类型。在一些情况下，每个交通标志或方向标志可以与其自己的标签相关联，该标签可以作为地标标识的一部分储存在数据库中。例如，数据库可以包括大约1000个不同的标签来表示各种交通标志，以及大约10000个不同的标签来表示方向标志。当然，可以使用任何合适数量的标签，并且可以根据需要创建附加标签。在一些实施例中，通用标志可以使用小于约100字节(例如，约86字节，包括8字节用于大小；12字节用于到先前地标的距离、横向偏移和高度；50字节用于图像签名；以及16字节用于GPS坐标)。
因此，对于不需要图像签名的语义道路标志，即使以大约每50米1个的相对高的地标密度，对稀疏地图800的数据密度影响也可以是大约每千米760字节(例如，每千米20个地标×每地标38字节＝760字节)。即使对于包括图像签名组件的通用标志，数据密度影响也约为每千米1.72千字节(例如，每千米20个地标×每地标86字节＝1,720字节)。对于语义道路标志，这相当于对于行驶100km/hr的车辆的每小时约76kB的数据使用。对于通用标志，这相当于对于行驶100km/hr的车辆的每小时约170kB的数据使用。
在一些实施例中，诸如矩形标志的一般矩形对象可以在稀疏地图800中由不超过100字节的数据来表示。稀疏地图800中的一般矩形对象(例如，一般标志1040)的表示可以包括与一般矩形对象相关联的压缩(condensed)图像签名(例如，压缩图像签名1045)。这种压缩图像签名可以用于例如帮助通用标志的识别，例如作为辨识的地标。这种压缩图像签名(例如，从表示对象的实际图像数据导出的图像信息)可以避免储存对象的实际图像的需要，或者避免对实际图像执行比较图像分析以辨识地标的需要。
参考图10，稀疏地图800可以包括或储存与一般标志1040相关联的压缩图像签名1045，而不是一般标志1040的实际图像。例如，在图像捕获装置(例如，图像捕获装置122、124或126)捕获一般标志1040的图像之后，处理器(例如，可以处理图像的图像处理器190或任何其他处理器，其在主车辆上或相对于主车辆位于远处)可以执行图像分析以提取/创建包括与一般标志1040相关联的唯一签名或图案的压缩图像签名1045。在一个实施例中，压缩图像签名1045可以包括形状、颜色图案、亮度图案或可以从一般标志1040的图像中提取的用于描述一般标志1040的任何其他特征。
例如，在图10中，压缩图像签名1045中所示的圆形、三角形和星形可以表示不同颜色的区域。由圆形、三角形和星形表示的图案可以储存在稀疏地图800中，例如，在被指定为包括图像签名的50个字节内。值得注意的是，圆形、三角形和星形不一定意图指示这些形状作为图像签名的一部分被储存。相反，这些形状意图在概念上表示具有可辨别的颜色差异的可辨识区域、文本区域、图形形状或者可以与一般标志相关联的特性的其他变化。这种压缩图像签名可用于以一般标志的形式识别地标。例如，压缩图像签名可用于基于储存的压缩图像签名与例如使用自主车辆上的相机捕获的图像数据的比较来执行相同或不同的分析。
相应地，可以通过对当一个或多个车辆穿越道路路段时获取的多个图像进行图像分析来识别多个地标。如下面关于“众包”所解释的，在一些实施例中，识别多个地标的图像分析可以包括当地标确实出现的图像与地标没有出现的图像的比率超过阈值时接受潜在地标。此外，在一些实施例中，识别多个地标的图像分析可以包括当地标没有出现的图像与地标确实出现的图像的比率超过阈值时拒绝潜在地标。
回到主车辆可以用来导航特定道路路段的目标轨迹，图11A示出了在建造或维持稀疏地图800的过程中捕获的多项式表示轨迹。稀疏地图800中包括的目标轨迹的多项式表示可以基于车辆沿着相同道路路段的先前穿越的两个或更多个重建轨迹来确定。在一些实施例中，稀疏地图800中包括的目标轨迹的多项式表示可以是沿着相同道路路段的车辆的先前穿越的两个或更多个重建轨迹的聚集。在一些实施例中，稀疏地图800中包括的目标轨迹的多项式表示可以是车辆沿着相同道路路段的先前穿越的两个或更多个重建轨迹的平均。其他数学运算也可以用于基于从沿着道路路段穿越的车辆收集的重建轨迹来构建沿着道路路径的目标轨迹。
如图11A所示，道路路段1100可以由多个车辆200在不同时间处行驶。每个车辆200可以收集与车辆沿着道路路段所走的路径相关的数据。由特定车辆行驶的路径可以基于相机数据、加速度计信息、速度传感器信息和/或GPS信息以及其他潜在来源来确定。这种数据可用于重建沿着道路路段行驶的车辆的轨迹，并且基于这些重建轨迹，可为特定道路路段确定目标轨迹(或多个目标轨迹)。这种目标轨迹可以表示主车辆沿着道路路段行驶时的(例如，由自主导航系统所引导的)该车辆的优选路径。
在图11A所示的示例中，第一重建轨迹1101可以基于从在第一时间段(例如，第一天)穿越道路路段1100的第一车辆接收的数据来确定，第二重建轨迹1102可以从在第二时间段(例如，第二天)穿越道路路段1100的第二车辆获得，第三重建轨迹1103可以从在第三时间段(例如，第三天)穿越道路路段1100的第三车辆获得。每个轨迹1101、1102和1103可以由多项式表示，诸如三维多项式。应当注意，在一些实施例中，任何重建轨迹可以在穿越道路路段1100的车辆上组装。
附加地或替代地，可以基于从穿越道路路段1100的车辆接收的信息在服务器侧确定这样的重建轨迹。例如，在一些实施例中，车辆200可以向一个或多个服务器传输与它们沿着道路路段1100的运动相关的数据(例如，转向角、航向、时间、位置、速度、感测的道路几何结构和/或感测的地标等)。服务器可以基于接收到的数据重建车辆200的轨迹。服务器还可以基于第一轨迹1101、第二轨迹1102和第三轨迹1103生成用于引导将在稍后的时间沿着相同道路路段1100行驶的自主车辆的导航的目标轨迹。虽然目标轨迹可以与道路路段的单个先前穿越相关联，但是在一些实施例中，稀疏地图800中包括的每个目标轨迹可以基于穿越相同道路路段的车辆的两个或更多个重建轨迹来确定。在图11A中，目标轨迹由1110表示。在一些实施例中，目标轨迹1110可以基于第一轨迹1101、第二轨迹1102和第三轨迹1103的平均来生成。在一些实施例中，稀疏地图800中包括的目标轨迹1110可以是两个或更多个重建轨迹的聚集(例如，加权组合)。下面参考图29进一步讨论将驾驶数据与构建轨迹对齐。
图11B和图11C进一步示出了与地理区域1111内存在的道路路段相关联的目标轨迹的概念。如图11B所示，地理区域1111内的第一道路路段1120可以包括多车道道路，该多车道道路包括指定用于车辆在第一方向上行驶的两条车道1122和指定用于车辆在与第一方向相反的第二方向上行驶的两条附加车道1124。车道1122和车道1124可以由双黄线1123分开。地理区域1111还可以包括与道路路段1120相交的分支道路路段1130。道路路段1130可以包括双车道道路，每个车道被指定用于不同的行驶方向。地理区域1111还可以包括其他道路特征，诸如停车线1132、停车标志1134、限速标志1136和危险标志1138。
如图11C所示，稀疏地图800可以包括局部地图1140，该局部地图1140包括用于帮助地理区域1111内的车辆的自主导航的道路模型。例如，局部地图1140可以包括与地理区域1111内的道路路段1120和/或1130相关联的一个或多个车道的目标轨迹。例如，局部地图1140可以包括自主车辆在穿越车道1122时可以访问或依赖的目标轨迹1141和/或1142。类似地，局部地图1140可以包括自主车辆在穿越车道1124时可以访问或依赖的目标轨迹1143和/或1144。此外，局部地图1140可以包括自主车辆在穿越道路路段1130时可以访问或依赖的目标轨迹1145和/或1146。目标轨迹1147表示当从车道1120(具体而言，相对于与车道1120的最右侧车道相关联的目标轨迹1141)转换到道路路段1130(具体而言，相对于与道路路段1130的第一边相关联的目标轨迹1145)时，自主车辆应当遵循的优选路径。类似地，目标轨迹1148表示当从道路路段1130(具体地，相对于目标轨迹1146)转换到道路路段1124的一部分(具体地，如图所示，相对于与车道1124的左车道相关联的目标轨迹1143)时，自主车辆应当遵循的优选路径。
稀疏地图800还可以包括与地理区域1111相关联的其他道路相关特征的表示。例如，稀疏地图800还可以包括在地理区域1111中识别的一个或多个地标的表示。这些地标可以包括与停车线1132相关联的第一地标1150、与停车标志1134相关联的第二地标1152、与限速标志1154相关联的第三地标以及与危险标志1138相关联的第四地标1156。这种地标可以用于例如帮助自主车辆确定其相对于任何所示目标轨迹的当前定位，使得车辆可以调整其航向以匹配在确定的定位处的目标轨迹的方向。下面参考图26进一步讨论使用来自稀疏地图的地标进行导航。
在一些实施例中，稀疏地图800还可以包括道路签名轮廓。这种道路签名轮廓可以与至少一个与道路相关联的参数的任何可辨别/可测量的变化相关联。例如，在一些情况下，这种轮廓可以与道路表面信息的变化相关联，诸如特定道路路段的表面粗糙度的变化、特定道路路段上道路宽度的变化、沿着特定道路路段绘制的虚线之间的距离的变化、沿着特定道路路段的道路曲率的变化等。图11D示出了道路签名轮廓1160的示例。虽然轮廓1160可以表示上述参数中的任意参数或其他参数，但是在一个示例中，轮廓1160可以表示道路表面粗糙度的测量，例如，如通过监控一个或多个传感器来获得，该一个或多个传感器提供指示车辆在特定道路路段上行驶时悬架位移量的输出。
替代地或同时地，轮廓1160可以表示道路宽度的变化，如基于经由在特定道路路段上行驶的车辆上的相机获得的图像数据来确定的。例如，这种轮廓在确定自主车辆相对于特定目标轨迹的特定定位时是有用的。也就是说，当它穿越道路路段时，自主车辆可以测量与道路路段相关联的一个或多个参数相关联的轮廓。如果测量的轮廓可以与相对于沿着道路路段的位置映射参数变化的预定轮廓相关/匹配，则可以使用测量的和预定的轮廓(例如，通过覆盖测量的和预定的轮廓的对应部分)，以便确定沿着道路路段的当前位置，并且因此确定相对于道路路段的目标轨迹的当前位置。
在一些实施例中，稀疏地图800可以包括基于与自主车辆的用户相关联的不同特性、环境条件和/或与驾驶相关的其他参数的不同轨迹。例如，在一些实施例中，可以基于不同的用户偏好和/或轮廓来生成不同的轨迹。包括这种不同轨迹的稀疏地图800可以被提供给不同用户的不同自主车辆。例如，一些用户可能偏好避开收费公路，而其他用户可能偏好走最短或最快的路线，而不管路线上是否有收费公路。所公开的系统可以基于这种不同的用户偏好或轮廓生成具有不同轨迹的不同稀疏地图。作为另一个示例，一些用户可能偏好在快速移动的车道上行驶，而其他用户可能偏好始终维持在中心车道上的位置。
基于不同的环境条件，诸如白天和黑夜、下雪、下雨、有雾等，可以生成不同的轨迹并将其包括在稀疏地图800中。在不同环境条件下行驶的自主车辆可以被提供有基于这种不同环境条件生成的稀疏地图800。在一些实施例中，在自主车辆上提供的相机可以检测环境条件，并且可以将这种信息提供回生成并提供稀疏地图的服务器。例如，服务器可以生成或更新已经生成的稀疏地图800，以包括在检测到的环境条件下可能更适合或更安全用于自主驾驶的轨迹。当自主车辆沿着道路行驶时，可以动态地执行基于环境条件的稀疏地图800的更新。
与驾驶相关的其他不同参数也可以用作生成不同的稀疏地图并将不同的稀疏地图提供给不同的自主车辆的基础。例如，当自主车辆以高速行驶时，转弯可能会更困难(tighter)。与特定车道而不是道路相关联的轨迹可以被包括在稀疏地图800中，使得当车辆遵循特定轨迹时，自主车辆可以维持在特定车道内。当由自主车辆上的相机捕获的图像指示车辆已经漂移到车道之外(例如，越过车道标记)时，可以在车辆内触发动作，以根据特定轨迹将车辆带回指定车道。
众包稀疏地图
在一些实施例中，所公开的系统和方法可以生成用于自主车辆导航的稀疏地图。例如，所公开的系统和方法可以使用众包数据来生成稀疏，一个或多个自主车辆可以使用该稀疏来沿着道路的系统进行导航。如本文所使用的，“众包”意味着从在不同时间处在道路路段上行驶的各种车辆(例如，自主车辆)接收数据，并且这些数据被用于生成和/或更新道路模型。模型又可以被传输到稍后沿着道路路段行驶的车辆或其他车辆，以用于辅助自主车辆导航。道路模型可以包括多个目标轨迹，这些目标轨迹表示自主车辆在穿越道路路段时应当遵循的优选轨迹。目标轨迹可以与从穿越道路路段的车辆收集的重建的实际轨迹相同，其可以从车辆传输到服务器。在一些实施例中，目标轨迹可以不同于一个或多个车辆先前在穿越道路路段时所采用的实际轨迹。目标轨迹可以基于实际轨迹生成(例如，通过平均或任何其他合适的操作)。下面参考图29讨论用于生成目标轨迹的众包数据的对齐的示例。
车辆可以上传到服务器的车辆轨迹数据可以与车辆的实际重建轨迹对应，或者可以对应于推荐轨迹，该推荐轨迹可以基于车辆的实际重建轨迹或与之相关，但是可以不同于实际重建轨迹。例如，车辆可以修改它们的实际重建轨迹，并且向服务器提交(例如，推荐)修改的实际轨迹。道路模型可以使用推荐的、修改的轨迹作为其他车辆自主导航的目标轨迹。
除了轨迹信息之外，在建造稀疏数据地图800中潜在使用的其他信息可以包括与潜在地标候选相关的信息。例如，通过信息的众包，所公开的系统和方法可以识别环境中的潜在地标并细化地标位置。自主车辆的导航系统可以使用这些地标来确定和/或调整车辆沿着目标轨迹的位置。
车辆沿着道路行驶时可以生成的重建轨迹可以通过任何合适的方法获得。在一些实施例中，重建轨迹可以通过使用例如自我运动估计(例如，相机(以及由此的车身)的三维平移和三维旋转)将车辆的运动的路段拼接(stitch)在一起来产生。旋转和平移估计可以基于对由一个或多个图像捕获装置捕获的图像以及来自其他传感器或装置(诸如惯性传感器和速度传感器)的信息的分析来确定。例如，惯性传感器可以包括加速度计或其他合适的传感器，其被配置为测量车身平移和/或旋转的改变。车辆可以包括测量车辆的速度的速度传感器。
在一些实施例中，可以基于捕获的图像的光流分析来估计相机(以及由此的车身)的自我运动。图像序列的光流分析从图像序列中识别像素的移动，并且基于所识别的运动，确定车辆的运动。自我运动可以随着时间和沿着道路路段被积分，以重建与车辆已经遵循的道路路段相关联的轨迹。
沿着道路路段在不同时间处由多个驾驶中的多个车辆收集的数据(例如，重建轨迹)可用于构建包括在稀疏数据地图800中的道路模型(例如，包括目标轨迹等)。还可以对沿着道路路段在不同时间处由多个驾驶中的多个车辆收集的数据进行平均，以提高模型的准确度。在一些实施例中，可以从在不同时间处穿越公共道路路段的多个车辆接收关于道路几何结构和/或地标的数据。从不同车辆接收的这种数据可以被组合以生成道路模型和/或更新道路模型。
沿着道路路段的重建轨迹(以及目标轨迹)的几何结构可以由三维空间中的曲线条表示，该曲线可以是连接三维多项式的样条。重建轨迹曲线可以通过分析由安装在车辆上的相机捕获的视频流或多个图像来确定。在一些实施例中，在车辆当前位置前方几米的每个帧或图像中识别定位。该定位是车辆预期在预定时间段内行驶的位置。该操作可以逐帧重复，同时，车辆可以计算相机的自我运动(旋转和平移)。在每一帧或每一个图像中，车辆在附接到相机的参考系中生成期望路径的短程模型。短程模型可以被拼接在一起，以在某个坐标系中获得道路的三维模型，该坐标系可以是任意的或预定的坐标系。然后，道路的三维模型可以由样条拟合，该样条可以包括或连接一个或多个合适阶数的多项式。
为了在每个帧处总结短程道路模型，可以使用一个或多个检测模块。例如，可以使用自底向上(bottom-up)的车道检测模块。当在道路上映射车道标记时，自底向上的车道检测模块可以是有用的。该模块可以在图像中寻找边缘，并将它们组装在一起以形成车道标记。第二模块可以与自底向上车道检测模块一起使用。第二模块是端到端深度神经网络，其可以被训练以从输入图像预测正确的短程路径。在这两个模块中，道路模型可以在图像坐标系中被检测，并且被变换成可以虚拟地附接到相机的三维空间。
尽管重建轨迹建模方法可能由于长时间段的自我运动的积分而引入误差的累积，这可能包括噪声分量，但是这种误差可能是无关紧要的，因为生成的模型可以为局部比例上的导航提供足够的准确度。此外，还可以通过使用卫星图像或大地测量等外部信息源来消除积分误差。例如，所公开的系统和方法可以使用GNSS接收器来消除累积误差。然而，GNSS定位信号可能并不总是可用的和准确的。所公开的系统和方法可以使能很弱地依赖于GNSS定位的可用性和准确度的转向应用。在这种系统中，GNSS信号的使用可能受到限制。例如，在一些实施例中，所公开的系统可以将GNSS信号仅用于数据库索引目的。
在一些实施例中，与自主车辆导航转向应用相关的范围比例(例如，局部比例)可以大约为50米、100米、200米、300米等。可以使用这样的距离，因为几何道路模型主要用于两个目的：规划前方轨迹和在道路模型上定位车辆。在一些实施例中，当控制算法根据位于前方1.3秒(或任何其他时间，例如1.5秒、1.7秒、2秒等)的目标点使车辆转向时，规划任务可以使用在前方40米(或任何其他合适的前方距离，例如20米、30米、50米)的典型范围内的模型。定位任务使用在汽车后60米(或任何其他合适的距离，诸如50米、100米、150米等)的典型范围内的道路模型。根据另一章节中更详细描述的称为“尾部对齐”的方法。所公开的系统和方法可以生成在特定范围(诸如100米)上具有足够准确度的几何模型，使得规划的轨迹不会偏离(deviate)车道中心超过例如30厘米。
如上所述，可以根据检测短程部分并将它们拼接在一起来构建三维道路模型。可以通过使用相机捕获的视频和/或图像、来自反映车辆的运动的惯性传感器的数据以及主车辆速度信号来计算六度自我运动模型来使能拼接。累积误差在某个局部范围比例(诸如大约100米)上可能足够小。所有这些都可以在特定道路路段上的单个驾驶中完成。
在一些实施例中，可以使用多个驾驶来对得到的模型进行平均，并进一步提高其准确度。相同汽车可以多次行驶相同路线，或者多辆汽车可以将它们收集到的模型数据传送到中央服务器。在任何情况下，可以执行匹配过程来识别重叠的模型并使能平均，以便生成目标轨迹。一旦满足会聚标准，构建的模型(例如，包括目标轨迹)可用于转向。后续驾驶可用于进一步的模型改进和适应基础设施改变。
如果多辆汽车连接到一个中央服务器，则它们之间共享驾驶经验(诸如感测的数据)变得可行。每个车辆客户端可以储存一般道路模型的部分副本，该副本可以与其当前位置相关。车辆和服务器之间的双向更新过程可以由车辆和服务器执行。上面讨论的小足迹概念使得所公开的系统和方法能够使用非常小的带宽来执行双向更新。
还可以确定与潜在地标相关的信息，并将其转发给中央服务器。例如，所公开的系统和方法可以基于包括地标的一个或多个图像来确定潜在地标的一个或多个物理属性。物理属性可以包括地标的物理大小(例如，高度、宽度)、从车辆到地标的距离、地标到先前地标之间的距离、地标的横向位置(例如，地标相对于行驶的车道的位置)、地标的GPS坐标、地标的类型、地标上的文本标识等。例如，车辆可以分析由相机捕获的一个或多个图像，以检测潜在地标，诸如限速标志。
车辆可以基于对一个或多个图像的分析来确定从车辆到地标的距离。在一些实施例中，可以使用合适的图像分析方法，例如缩放方法和/或光流方法，基于对地标的图像的分析来确定距离。在一些实施例中，所公开的系统和方法可以被配置为确定潜在地标的类型或分类。在车辆确定某潜在地标对应于储存在稀疏地图中的预定类型或分类的情况下，车辆将地标的类型或分类的指示连同其定位传达给服务器就足够了。服务器可以储存这样的指示。在稍后的时间，其他车辆可以捕获地标的图像，处理该图像(例如，使用分类器)，并将处理该图像的结果与储存在服务器中的关于地标类型的指示进行比较。可以有各种类型的地标，并且不同类型的地标可以与上传到服务器并储存在服务器中的不同类型的数据相关联，车辆上的不同处理可以检测地标并将关于地标的信息传达到服务器，并且车辆上的系统可以从服务器接收地标数据并使用地标数据以用于在自主导航中识别地标。
在一些实施例中，在道路路段上行驶的多个自主车辆可以与服务器通信。车辆(或客户端)可以在任意坐标系中生成描述其驾驶的曲线(例如，通过自我运动积分)。车辆可以检测地标并在相同帧中定位它们。车辆可以将曲线和地标上传到服务器。服务器可以通过多个驾驶从车辆收集数据，并生成统一的道路模型。或者例如，如下面参考图19所讨论的，服务器可以使用上传的曲线和地标生成具有统一道路模型的稀疏地图。
服务器还可以将模型分发给客户端(例如，车辆)。例如，如以下参考图24所讨论的，服务器可以将稀疏地图分发给一个或多个车辆。当从车辆接收到新数据时，服务器可以连续或周期性地更新模型。例如，服务器可以处理新数据以评估该数据是否包括应当触发服务器上新数据的更新或创建的信息。服务器可以将更新后的模型或更新分发给车辆，以用于提供自主车辆导航。
服务器可以使用一个或多个标准来确定从车辆接收的新数据是否应当触发对模型的更新或者触发新数据的创建。例如，当新数据指示在特定定位的先前辨识的地标不再存在，或者被另一个地标替换时，服务器可以确定新数据应当触发对模型的更新。作为另一个示例，当新数据指示道路路段已经关闭，并且当这已经被从其他车辆接收的数据证实时，服务器可以确定新数据应当触发对模型的更新。
服务器可以将更新后的模型(或模型的更新部分)分发给在与模型更新相关联的道路路段上行驶的一个或多个车辆。服务器还可以将更新后的模型分发给将要在道路路段上行驶的车辆，或者其规划行程包括与模型更新相关联的道路路段的车辆。例如，当自主车辆在到达与更新相关联的道路路段之前沿着另一道路路段行驶时，服务器可以在车辆到达道路路段之前将更新或更新后的模型分发给自主车辆。
在一些实施例中，远程服务器可以从多个客户端(例如，沿着公共道路路段行驶的车辆)收集轨迹和地标。服务器可以使用地标匹配曲线，并且基于从多个车辆收集的轨迹创建平均道路模型。服务器还可以计算道路的图和道路路段的每个节点或连接处的最可能路径。例如，如以下参考图29所讨论的，远程服务器可以对齐轨迹以从收集的轨迹生成众包稀疏地图。
服务器可以对从沿着公共道路路段行驶的多个车辆接收的地标属性进行平均，诸如由多个车辆测量的一个地标到另一个地标(例如，沿着道路路段的前一个地标)之间的距离，以确定弧长参数并支持每个客户端车辆沿着路径的定位和速度校准。服务器可以对由沿着公共道路路段行驶并辨识相同地标的多个车辆测量的地标的物理大小进行平均。平均物理大小可用于支持距离估计，诸如从车辆到地标的距离。服务器可以对由沿着公共道路路段行驶并辨识相同地标的多个车辆测量的地标的横向位置(例如，从车辆正在行驶的车道到地标的位置)进行平均。平均横向部分可用于支持车道分配。服务器可以对由沿着相同道路路段行驶并辨识相同地标的多个车辆测量的地标的GPS坐标进行平均。地标的平均GPS坐标可用于支持道路模型中地标的全球定位(localization)或定位(positioning)。
在一些实施例中，基于从车辆接收的数据，服务器可以识别模型改变，诸如构建、绕行、新标志、标志的移除等。当从车辆接收到新数据时，服务器可以连续地或周期性地或瞬时地更新模型。服务器可以将对模型的更新或更新后的模型分发给车辆，以用于提供自主导航。例如，如下面进一步讨论的，服务器可以使用众包数据来过滤掉由车辆检测到的“幽灵(ghost)”地标。
在一些实施例中，服务器可以分析自主驾驶期间的驾驶员干预。服务器可以分析在干预发生的时间和定位从车辆接收的数据，和/或在干预发生的时间之前接收的数据。服务器可以识别引起干预或与干预密切相关的数据的某些部分，例如，指示临时车道封闭设置的数据、指示道路中行人的数据。服务器可以基于识别的数据更新模型。例如，服务器可以修改储存在模型中的一个或多个轨迹。
图12是使用众包生成稀疏地图(以及使用众包稀疏地图分发和导航)的系统的示意图。图12示出了包括一个或多个车道的道路路段1200。多个车辆1205、1210、1215、1220和1225可以在相同时间或在不同时间在道路路段1200上行驶(尽管在图12中显示为在相同时间出现在道路路段1200上)。车辆1205、1210、1215、1220和1225中的至少一个可以是自主车辆。为了简化本示例，假定所有车辆1205、1210、1215、1220和1225都为自主车辆。
每个车辆可以类似于在其他实施例中公开的车辆(例如，车辆200)，并且可以包括被包括在其他实施例中公开的车辆中或者与其他实施例中公开的车辆相关联的组件或装置。每个车辆可以配备有图像捕获装置或相机(例如，图像捕获装置122或相机122)。每个车辆可以经由一个或多个网络(例如，通过蜂窝网络和/或互联网等)通过如虚线所示的无线通信路径1235与远程服务器1230通信。每个车辆可以向服务器1230传输数据，并从服务器1230接收数据。例如，服务器1230可以从在不同时间在道路路段1200上行驶的多个车辆收集数据，并且可以处理所收集的数据以生成自主车辆道路导航模型，或者对模型的更新。服务器1230可以将自主车辆道路导航模型或对模型的更新传输到向服务器1230传输数据的车辆。服务器1230可以将自主车辆道路导航模型或对模型的更新传输给稍后在道路路段1200上行驶的其他车辆。
当车辆1205、1210、1215、1220和1225在道路路段1200上行驶时，由车辆1205、1210、1215、1220和1225收集(例如，检测、感测或测量)的导航信息可以被传输到服务器1230。在一些实施例中，导航信息可以与公共道路路段1200相关联。导航信息可以包括当每个车辆在道路路段1200上行驶时与每个车辆1205、1210、1215、1220和1225相关联的轨迹。在一些实施例中，可以基于由车辆1205上提供的各种传感器和装置感测的数据来重建轨迹。例如，可以基于加速度计数据、速度数据、地标数据、道路几何结构或轮廓数据、车辆位置数据和自我运动数据中的至少一个来重建轨迹。在一些实施例中，可以基于来自惯性传感器(诸如加速度计)的数据和由速度传感器感测的车辆1205的速度来重建轨迹。此外，在一些实施例中，可以基于感测的相机的自我运动来确定轨迹(例如，通过车辆1205、1210、1215、1220和1225中的每一个上的处理器)，该感测的相机的自我运动可以指示三维平移和/或三维旋转(或旋转运动)。相机(以及由此的车身)的自我运动可以通过对相机捕获的一个或多个图像的分析来确定。
在一些实施例中，车辆1205的轨迹可以由在车辆1205上提供的处理器确定，并被传输到服务器1230。在其他实施例中，服务器1230可以接收由在车辆1205中提供的各种传感器和装置感测的数据，并且基于从车辆1205接收的数据确定轨迹。
在一些实施例中，从车辆1205、1210、1215、1220和1225传输到服务器1230的导航信息可以包括关于道路表面、道路几何结构或道路轮廓的数据。道路路段1200的几何结构可以包括车道结构和/或地标。车道结构可以包括道路路段1200的车道总数、车道类型(例如，单车道、双车道、行车车道、超车道等)、车道上的标志，车道宽度等。在一些实施例中，导航信息可以包括车道分配，例如，车辆正在多个车道中的哪个车道中行驶。例如，车道分配可以与数字值“3”相关联，该数字值“3”指示车辆正在从左侧或右侧的第三车道上行驶。作为另一个示例，车道分配可以与文本值“中心车道”相关联，该文本值指示车辆正在中心车道上行驶。
服务器1230可以将导航信息储存在非暂时性计算机可读介质上，诸如硬盘驱动器、光盘、磁带、存储器等。服务器1230可以基于从多个车辆1205、1210、1215、1220和1225接收的导航信息，为公共道路路段1200生成(例如，通过包括在服务器1230中的处理器)自主车辆道路导航模型的至少一部分，并且可以将该模型储存为稀疏地图的一部分。服务器1230可以基于从在不同时间在道路路段的车道上行驶的多个车辆(例如，1205、1210、1215、1220和1225)接收的众包数据(例如，导航信息)来确定与每个车道相关联的轨迹。服务器1230可以基于基于众包导航数据确定的多个轨迹来生成自主车辆道路导航模型或模型的一部分(例如，更新部分)。如以下参考图24更详细的解释，服务器1230可以将模型或模型的更新部分传输到在道路路段1200上行驶的自主车辆1205、1210、1215、1220和1225中的一个或多个，或者在稍后的时间在道路路段上行驶的任何其他自主车辆，以用于更新在车辆的导航系统中提供的现有自主车辆道路导航模型。如以下参考图26更详细的解释，自主车辆道路导航模型可以被自主车辆用于沿着公共道路路段1200的自主导航。
如上所述，自主车辆道路导航模型可以包括在稀疏地图(例如，图8中描绘的稀疏地图800)中。稀疏地图800可以包括与沿着道路的道路几何结构和/或地标相关的数据的稀疏记录，这可以为引导自主车辆的自主导航提供足够的信息，但是不需要过多的数据存储。在一些实施例中，自主车辆道路导航模型可以与稀疏地图800分开储存，并且当该模型被执行用于导航时，可以使用来自稀疏地图800的地图数据。在一些实施例中，自主车辆道路导航模型可以使用稀疏地图800中包括的地图数据来确定沿着道路路段1200的目标轨迹，以用于引导自主车辆1205、1210、1215、1220和1225或稍后沿着道路路段1200行驶的其他车辆的自主导航。例如，当自主车辆道路导航模型由包括在车辆1205的导航系统中的处理器执行时，该模型可以使处理器将基于从车辆1205接收的导航信息确定的轨迹与包括在稀疏地图800中的预定轨迹进行比较，以验证和/或校正车辆1205的当前行驶路线。
在自主车辆道路导航模型中，道路特征或目标轨迹的几何结构可以由三维空间中的曲线编码。在一个实施例中，曲线可以是三维样条，包括一个或多个连接三维多项式。如本领域技术人员所理解的，样条可以是由一系列多项式逐段定义的用于拟合数据的数值函数。用于拟合道路的三维几何结构数据的样条可以包括线性样条(一阶)、二次样条(二阶)、三次样条(三阶)、或任何其他样条(其他阶)、或其组合。样条可以包括连接(例如，拟合)道路的三维几何结构数据的数据点的不同阶的一个或多个三维多项式。在一些实施例中，自主车辆道路导航模型可以包括对应于沿着公共道路路段(例如，道路路段1200)或道路路段1200的车道的目标轨迹的三维样条。
如上所述，稀疏地图中包括的自主车辆道路导航模型可以包括其他信息，诸如沿着道路路段1200的至少一个地标的标识。地标可以在安装在车辆1205、1210、1215、1220和1225中的每一个上的相机(例如，相机122)的视场内可见。在一些实施例中，相机122可以捕获地标的图像。车辆1205上提供的处理器(例如，处理器180、190或处理单元110)可以处理地标的图像以提取地标的识别信息。地标识别信息，而不是地标的实际图像，可以储存在稀疏地图800中。地标识别信息可以需要比实际图像少得多的存储空间。其他传感器或系统(例如，GPS系统)也可以提供地标的某些识别信息(例如，地标的位置)。地标可以包括交通标志、箭头标志、车道标记、虚线车道标记、交通灯、停车线、方向标志(例如，具有指示方向的箭头的高速公路出口标志、具有指向不同方向或地方的箭头的高速公路标志)、地标信标或灯柱中的至少一个。地标信标是指沿着道路路段安装的装置(例如，RFID装置)，其向安装在车辆上的接收器传输或反射信号，使得当车辆经过该装置时，由车辆接收的信标和(例如，从装置的GPS定位确定的)装置的定位可以被用作要被包括在自主车辆道路导航模型和/或稀疏地图800中的地标。
至少一个地标的标识可以包括至少一个地标的位置。地标的位置可以基于使用与多个车辆1205、1210、1215、1220和1225相关联的传感器系统(例如，全球定位系统、基于惯性的定位系统、地标信标等)执行的位置测量来确定。在一些实施例中，地标的位置可以通过对不同车辆1205、1210、1215、1220和1225上的传感器系统通过多次驾驶检测、收集或接收的位置测量进行平均来确定。例如，车辆1205、1210、1215、1220和1225可以向服务器1230传输位置测量，服务器1230可以对位置测量进行平均，并将平均的位置测量用作地标的位置。地标的位置可以通过从后续驾驶中的车辆接收的测量来不断地细化。
地标的标识可以包括地标的大小。车辆(例如1205)上提供的处理器可以基于图像的分析来估计地标的物理大小。服务器1230可以通过不同的驾驶从不同的车辆接收相同地标的物理大小的多个估计。服务器1230可以对不同的估计进行平均，以得出地标的物理大小，并将地标大小储存在道路模型中。物理大小估计可用于进一步确定或估计从车辆到地标的距离。到地标的距离可以基于车辆的当前速度并且基于图像中出现的地标相对于相机的扩展的焦点的位置的扩展比例来估计。例如，到地标的距离可以通过Z＝V*dt*R/D来估计，其中V是车辆的速度，R是图像中从时间t1处的地标到扩展的焦点的距离，并且D是图像中从t1到t2的地标的距离改变。dt表示(t2-t1)。例如，到地标的距离可以通过Z＝V*dt*R/D来估计，其中V是车辆的速度，R是图像中地标和扩展焦点之间的距离，dt是时间间隔，D是地标沿着核线的图像位移。与上述等式等效的其他等式，诸如Z＝V*ω/Δω，可以用于估计到地标的距离。这里，V是车辆速度，ω是图像长度(类似对象宽度)，Δω是该图像长度在单位时间内的改变。
当地标的物理大小已知时，到地标的距离也可以基于以下等式来确定：Z＝f*W/ω，其中f为焦距，W为地标的大小(如高度或宽度)，ω为地标离开图像时的像素数。根据上述等式，可以使用ΔZ＝f*W*Δω/ω2+f*ΔW/ω来计算距离Z的改变，其中ΔW通过平均而衰减到零，并且其中Δω是表示图像中边界框准确度的像素数。可以通过平均服务器侧的多个观测来计算估计地标的物理大小的值。距离估计的最终误差可以非常小。使用上述等式时，可能出现两个误差源，即ΔW和Δω。它们对距离误差的贡献由ΔZ＝f*W*Δω/ω2+f*ΔW/ω给出。然而，ΔW通过平均衰减到零；因此ΔZ由Δω(例如，图像中边界框的不准确度)确定。
对于未知尺寸的地标，可以通过在连续帧之间跟踪地标上的特征点来估计到地标的距离。例如，可以在两个或更多个图像帧之间跟踪出现在限速标志上的某些特征。基于这些跟踪的特征，可以生成每特征点的距离分布。距离估计可以从距离分布中提取。例如，距离分布中最频繁出现的距离可以用作距离估计。作为另一个示例，距离分布的平均可以用作距离估计。
图13示出了由多个三维样条1301、1302和1303表示的示例自主车辆道路导航模型。图13中所示的曲线1301、1302和1303仅用于说明目的。每个样条可以包括连接多个数据点1310的一个或多个三维多项式。每个多项式可以是一阶多项式、二阶多项式、三阶多项式或具有不同阶数的任何合适多项式的组合。每个数据点1310可以与从车辆1205、1210、1215、1220和1225接收的导航信息相关联。在一些实施例中，每个数据点1310可以与与地标(例如，地标的大小、定位和识别信息)和/或道路签名轮廓(例如，道路几何结构、道路粗糙度轮廓、道路曲率轮廓、道路宽度轮廓)相关的数据相关联。在一些实施例中，一些数据点1310可以与地标相关的数据相关联，而其他数据点可以与道路签名轮廓相关的数据相关联。
图14示出了从五个单独的驾驶接收的原始定位数据1410(例如，GPS数据)。如果一个驾驶同时被分离的车辆在相同的时间、被相同车辆在分离的时间、或被分离的车辆在分离的时间穿越，则该驾驶可以与另一驾驶分开。为了考虑定位数据1410中的误差以及相同车道内车辆的不同定位(例如，一个车辆可能比另一车辆更靠近车道的左侧)，服务器1230可以使用一个或多个统计技术来生成地图骨架1420，以确定原始定位数据1410中的变化是否表示实际的偏离或统计误差。骨架1420内的每个路径可以链接回形成该路径的原始数据1410。例如，骨架1420内的A和B之间的路径链接到来自驾驶2、3、4和5而不是来自驾驶1的原始数据1410。骨架1420可以不足够详细以用于导航车辆(例如，因为与上述样条不同，骨架1420组合了相同道路上多个车道的驾驶)，但是可以提供有用的拓扑信息并且可以用于定义交叉路口。
图15示出了通过其可以为地图骨架的路段内的稀疏地图(例如，骨架1420内的路段A至路段B)生成附加细节的示例。如图15所示，数据(例如自我运动数据、道路标志数据等)可以示出为沿驾驶的位置S(或S1或S2)的函数。服务器1230可以通过识别驾驶1510的地标1501、1503和1505与驾驶1520的地标1507和1509之间的唯一匹配来识别稀疏地图的地标。这种匹配算法可以得到地标1511、1513和1515的识别。然而，本领域技术人员将认识到，可以使用其他匹配算法。例如，概率优化可以用来代替唯一匹配或者与唯一匹配相结合。如以下参考图29更详细的解释，服务器1230可以纵向对齐驾驶以对齐匹配的地标。例如，服务器1230可以选择一个驾驶(例如，驾驶1520)作为参考驾驶，然后移位和/或弹性拉伸(多个)其他驾驶(例如，驾驶1510)以用于对齐。
图16示出了在稀疏地图中使用的对齐地标数据的示例。在图16的示例中，地标1610包括道路标志。图16的示例进一步描绘了来自多个驾驶1601、1603、1605、1607、1609、1611和1613的数据。在图16的示例中，来自驾驶1613的数据包括“幽灵”地标，并且服务器1230可以这样识别它，因为驾驶1601、1603、1605、1607、1609和1611都不包括驾驶1613中识别的地标附近的地标的标识。相应地，当地标确实出现的图像与地标没有出现的图像的比率超过阈值时，服务器1230可以接受潜在地标，和/或当地标没有出现的图像与地标确实出现的图像的比率超过阈值时，服务器1230可以拒绝潜在地标。
图17描绘了用于生成驾驶数据的系统1700，其可用于众包稀疏地图。如图17所示，系统1700可以包括相机1701和定位(locating)装置1703(例如，GPS定位器)。相机1701和定位装置1703可以安装在车辆上(例如，车辆1205、1210、1215、1220和1225之一)。相机1701可以产生多个多种类型的数据，例如，自我运动数据、交通标志数据、道路数据等。相机数据和定位数据可以被分段成驾驶路段1705。例如，驾驶路段1705可以各自具有来自少于1千米的驾驶的相机数据和定位数据。
在一些实施例中，系统1700可以移除驾驶路段1705中的冗余。例如，如果地标出现在来自相机1701的多个图像中，则系统1700可以去除冗余数据，使得驾驶路段1705仅包含地标的定位的一个副本和与地标相关的任何元数据。作为进一步的示例，如果车道标记出现在来自相机1701的多个图像中，系统1700可以去除冗余数据，使得驾驶路段1705仅包含车道标记的定位的一个副本和与车道标记相关的任何元数据。
系统1700还包括服务器(例如，服务器1230)。服务器1230可以从车辆接收驾驶路段1705，并将驾驶路段1705重组为单个驾驶1707。当在车辆和服务器之间传输数据时，这种布置可以减少带宽需求，同时还允许服务器储存与整个驾驶相关的数据。
图18描绘了进一步被配置用于众包稀疏地图的图17的系统1700。如图17所示，系统1700包括车辆1810，其使用例如相机(其产生例如自我运动数据、交通标志数据、道路数据等)和定位装置(例如GPS定位器)来捕获驾驶数据。如图17所示，车辆1810将收集的数据分段成驾驶路段(在图18中描绘为“DS1 1”、“DS2 1”、“DSN 1”)。然后，服务器1230接收驾驶路段，并从接收到的路段重建驾驶(在图18中被描述为“驾驶1”)。
如图18中进一步描绘的，系统1700还从附加车辆接收数据。例如，车辆1820还使用例如相机(其产生例如自我运动数据、交通标志数据、道路数据等)和定位装置(例如GPS定位器)来捕获驾驶数据。类似于车辆1810，车辆1820将收集的数据分段成驾驶路段(在图18中描绘为“DS1 2”、“DS22”、“DSN 2”)。然后，服务器1230接收驾驶路段，并从接收到的路段重建驾驶(在图18中被描述为“驾驶2”)。可以使用任何数量的附加车辆。例如，图18还包括“汽车N”，该“汽车N”捕获驾驶数据，将其分段成驾驶路段(在图18中描绘为“DS1N”、“DS2N”、“DSN N”)，以及将其传送到服务器1230以用于重建成驾驶(在图18中描绘为“驾驶N”)。
如图18所示，服务器1230可以使用从多个车辆(例如，“汽车1”(也标记为车辆1810)、“汽车2”(也标记为车辆1820)和“汽车N”)收集的重建驾驶(例如，“驾驶1”、“驾驶2”和“驾驶N”)来构建稀疏地图(描绘为“地图”)。
图19是示出用于生成用于沿着道路路段的自主车辆导航的稀疏地图的示例过程1900的流程图。过程1900可以由服务器1230中包括的一个或多个处理装置来执行。
过程1900可以包括接收当一个或多个车辆穿越道路路段时获取的多个图像(步骤1905)。服务器1230可以从包括在车辆1205、1210、1215、1220和1225中的一个或多个内的相机接收图像。例如，当车辆1205沿着道路路段1200行驶时，相机122可以捕获车辆1205周围的环境的一个或多个图像。在一些实施例中，服务器1230还可以接收已经被车辆1205上的处理器移除冗余的被剥离(stripped down)的图像数据，如上文参考图17所讨论的。
过程1900可以进一步包括基于多个图像识别沿着道路路段延伸的道路表面特征的至少一个线条表示(步骤1910)。每个线条表示可以表示沿着道路路段基本上对应于道路表面特征的路径。例如，服务器1230可以分析从相机122接收的环境图像以识别道路边缘或车道标记，并确定沿着与道路边缘或车道标记相关联的道路路段1200的行驶轨迹。在一些实施例中，轨迹(或线条表示)可以包括样条、多项式表示或曲线。服务器1230可以基于在步骤1905处接收的相机自我运动(例如，三维平移和/或三维旋转运动)来确定车辆1205的行驶的轨迹。
过程1900还可以包括基于多个图像识别与道路路段相关联的多个地标(步骤1910)。例如，服务器1230可以分析从相机122接收的环境图像，以识别一个或多个地标，诸如沿着道路路段1200的道路标志。服务器1230可以使用对当一个或多个车辆穿越道路路段时获取的多个图像的分析来识别地标。为了使能众包，分析可以包括关于接受和拒绝与道路路段相关联的可能地标的规则。例如，分析可以包括当地标确实出现的图像与地标没有出现的图像的比率超过阈值时接受潜在地标，和/或当地标没有出现的图像与地标确实出现的图像的比率超过阈值时拒绝潜在地标。
过程1900可以包括由服务器123执行的其他操作或步骤。例如，导航信息可以包括车辆沿着道路路段行驶的目标轨迹，并且过程1900可以包括由服务器1230聚类与在道路路段上行驶的多个车辆相关的车辆轨迹，并且基于聚类的车辆轨迹确定目标轨迹，如下面进一步详细讨论的。聚类车辆轨迹可以包括由服务器1230基于车辆的绝对航向或车辆的车道分配中的至少一个，将与在道路路段上行驶的车辆相关的多个轨迹聚类成多个聚类。生成目标轨迹可以包括由服务器1230平均聚类的轨迹。
作为进一步的示例，过程1900可以包括对齐在步骤1905中接收的数据，如以下参考图29更详细的解释。如上所述，由服务器1230执行的其他过程或步骤也可以包括在过程1900中。
所公开的系统和方法可以包括其他特征。例如，所公开的系统可以使用局部坐标，而不是全局坐标。对于自主驾驶，一些系统可能以世界坐标呈现数据。例如，可以使用地球表面上的经度和纬度坐标。为了使用地图进行转向，主车辆可以确定其相对于地图的位置和朝向。在车上使用GPS装置似乎是很自然的，以便在地图上定位车辆，并以便找到车身参考系和世界参考系(例如，北、东和下)之间的旋转变换。一旦车身参考系与地图参考系对齐，则期望的路线可以在车身参考系中表达，并且可以计算或生成转向命令。
然而，这种策略的一个可能的问题是，当前的GPS技术通常不能提供具有足够准确度和可用性的车身位置和方位。为了克服这个问题，可以将世界坐标已知的地标用来构建非常详细的地图(称为高清或HD地图)，该地图包含不同种类的地标。因此，配备有传感器的车辆可以在其自身的参考系中检测和定位地标。一旦找到车辆与地标之间的相对方位，可以从HD地图中确定地标的世界坐标，并且车辆可以使用其来计算其自身的位置和方位。
然而，该方法可以使用全局世界坐标系，作为建立地图和车身参考系之间的对齐的媒介。也就是说，可以使用地标以便补偿车辆上的车载GPS装置的局限性。地标与HD地图一起可以使得能够在全局坐标中计算精确的车辆位置，并且从而解决了地图-车身对齐问题。
在所公开的系统和方法中，代替于使用一个世界全局地图，可以将许多地图片段或局部地图用于自主导航。地图的每个片段或每个局部地图可以定义其自己的坐标系(frame)。这些坐标系可以是任意的。车辆在局部地图中的坐标可以不需要指示车辆在地球表面上的位置。此外，可以不要求局部地图在大的规模上是准确的，这意味着可能不存在可以将局部地图嵌入全局世界坐标系统的刚性变换。
存在与世界的这种表示相关联的两个主要过程，一个与地图的生成相关，且另一个与使用地图相关。关于地图生成，可以通过众包来创建和维护这种类型的表示。可以不需要应用复杂的测量(survey)设备，因为HD地图的使用是有限的，并且因此众包变得可行。关于使用方面，可以采用有效的方法将局部地图与车身参考系对齐，而不经过标准的世界坐标系。因此，至少在大多数场景和情况下，可以不需要在全局坐标中对车辆位置和方位进行精确估计。此外，局部地图的存储器占用(footprint)可以保持非常小。
地图生成的底层原理是自我运动的积分。车辆可以感测相机在空间中的运动(3D平移和3D旋转)。车辆或服务器可以通过自我运动随时间的积分来重建车辆的轨迹，并且该经积分的路径可以被用作道路几何结构的模型。这种过程可以与对近距离车道标记的感测相结合，并且然后经重建的路线可以反映车辆应该遵循的路径，而不是车辆曾遵循过的特定路径。换句话说，可以基于与近距离车道标记相关的感测到的数据来修改经重建的路线或轨迹，并且所修改的经重建轨迹可以被用作推荐轨迹或目标轨迹，其可以被保存在道路模型或稀疏地图中，以供在相同道路路段上导航的其他车辆使用。
在一些实施例中，地图坐标系可以是任意的。可以在任意时间处选择相机参考系，并将其用作地图原点。可以用该特定选择的帧的坐标系，来表示相机的经积分轨迹。地图中的路线坐标的值可以不直接表示地球上的位置。
经积分路径可能会累积误差。这可能是因为以下事实，即，自我运动的感测可能不是绝对地准确的。累积误差的结果在于，局部地图可能偏离，并且局部地图可能不被视为全局地图的局部副本。局部地图片段的大小越大，与地球上“真实”几何结构的偏离就越大。
局部地图的任意性和偏离性可能不是积分方法的结果，其中该积分方法可以被应用以便以众包方式(例如，通过沿道路行驶的车辆)来构建地图。然而，车辆可以成功地使用局部地图进行转向。
地图可以在长的距离上发生偏离。由于地图被用于规划车辆的紧邻区中轨迹，因此偏离的影响是可以接受的。在任何时间实例中，系统(例如，服务器1230或车辆1205)可以重复对齐过程，并且使用地图提前大约1.3秒(或任何其他秒数，诸如1.5秒、1.0秒、1.8秒等)来预测道路位置(在相机坐标系中的道路位置)。只要该距离上的累积误差足够小，就可以使用被提供用于自动驾驶的转向命令。
在一些实施例中，局部地图可以聚焦于局部区域，并且可以不覆盖太大的区域。这意味着正在自动驾驶中使用局部地图进行转向的车辆可能会在某一点处到达该地图的终点，并且可能不得不切换到地图的另一个局部片段或部分。可以通过彼此重叠的局部地图来实现切换。一旦车辆进入对两个地图公共的区域，系统(例如，服务器1230或车辆1205)可以继续基于第一局部地图(正在被使用的地图)生成转向命令，但在同一时间，系统可以在与第一局部地图重叠的另一地图(或第二局部地图)上定位车辆。换句话说，系统可以同时将相机的当前坐标系与第一地图的坐标系并与第二地图的坐标系对齐。当新的对齐被建立时，系统可以切换到另一个地图，并在那里规划车辆轨迹。
所公开的系统可以包括附加特征，其中一个附加特征与系统对齐车辆和地图的坐标系的方式有关。如上所述，假定车辆可以测量其相对于地标的相对位置，则该地标可以被用于对齐。这在自主驾驶中是有用的，但有时可能会导致对大量地标的需求，从而导致较大的存储器占用。因此，所公开的系统可以使用解决了这个问题的一种对齐过程。在该对齐过程中，系统可以使用稀疏地标和自我速度的积分，来计算车辆沿着道路的位置的1D估计量。该系统可以通过使用下面其他部分中详细讨论的尾部对齐方法，来使用轨迹本身的形状来计算对齐的旋转部分。因此，车辆可以在驾驶“尾部”时重建其自身的轨迹，并计算沿着道路围绕其假定位置的旋转，以便将尾部与地图对齐。这种对齐过程不同于下面参考图29讨论的众包数据的对齐。
在所公开的系统和方法中，仍然可以使用GPS装置。全局坐标可用于对储存了轨迹和/或地标的数据库进行索引。局部地图的相关片段和车辆附近的相关地标可以储存在存储器中，并使用全局GPS坐标从存储器中检索。然而，在一些实施例中，全局坐标可以不被用于路径规划，并且可以不是准确的。在一个示例中，全局坐标的使用对于信息的索引可能是有限的。
在“尾部对齐”不能很好地工作的情况下，系统可以使用更大量的地标来计算车辆的位置。这可能是一种罕见的情况，因此对存储器占用的影响可以是适度的。道路交叉路口就是这种情况的示例。
所公开的系统和方法可以使用语义地标(例如，交通标志)，因为它们可以从场景中可靠地检测到，并且与储存在道路模型或稀疏地图中的地标相匹配。在一些情况下，所公开的系统也可以使用非语义标志(例如，通用标志)，并且在这种情况下，非语义标志可以被附加到外观签名，如上所述的。系统可以使用用于生成遵循“相同或不相同”辨识范例的签名的学习方法。
例如，给定沿着驾驶具有GPS坐标的此类许多驾驶，所公开的系统可以产生底层的道路结构交叉口和道路路段，如上面关于图14所讨论的。假定这些道路彼此相距足够远，从而能够使用GPS来区分它们。在一些实施例中，可以只需要粗粒度地图。为了生成底层道路结构图，可以将空间划分成给定分辨率的网格(例如，50m×50m)。每个驾驶都可以看作是点阵位点(lattice site)的有序列表。该系统可以对属于驾驶的每个点阵位点着色，以产生合并(merged)驾驶的图像。着色的点阵点可以被表示为合并驾驶上的节点。从一个节点达到另一个节点的驾驶可以被表示为链路。该系统可以填充图像中的小孔，以避免区分车道并且校正GPS误差。系统可以使用合适的细化算法(例如，名为“Zhang-Suen”细化算法的算法)来获得图像的骨架。这种骨架可以表示底层道路结构，并且可以使用掩膜(mask)(例如，连接到至少三个其他点的点)来找到交叉口。在找到该交叉口后，路段可以是连接这些交叉口的骨架部分。为了将驾驶匹配回骨架，系统可以使用隐马尔可夫模型。每个GPS点可以与点阵位点相关联，其概率与该GPS点距该位点的距离成反比。使用合适的算法(例如，称为“维特比”算法的算法)将GPS点匹配到点阵位点，同时不允许连续的GPS点匹配到非相邻的点阵位点。
可以使用多种方法将驾驶建图(map)回地图。例如，第一解决方案可以包括在细化过程中保持跟踪。第二解决方案可以使用邻近匹配。第三解决方案可以使用隐马尔可夫模型。隐马尔可夫模型为每个观察假定底层的隐藏状态，并且为给定状态下的给定观察、以及为给定先前状态下的状态分配概率。维特比算法可被用于在给定观察的列表的情况下，找到最可能的状态。
所公开的系统和方法可以包括附加特征。例如，所公开的系统和方法可以检测高速公路入口/出口。可以使用GPS数据将同一区域中的多个驾驶合并到同一坐标系中。系统可以使用视觉特征点进行建图和定位。
在一些实施例中，通用视觉特征可以用作地标，以用于相对于由在先前驾驶中穿越同一路段的各车辆所生成的地图(建图阶段)，在一次驾驶(定位阶段)中对移动车辆的位置和朝向进行配准。这些车辆可以配备有对车辆周围成像的校准相机和GPS接收器。车辆可以与中央服务器(例如，服务器1230)通信，该中央服务器维持最新的地图，该地图包括与其他重要的几何和语义信息(例如，车道结构、路标的类型和位置、道路标记的类型和位置、由物理障碍物的位置所划定的附近可驾驶地面区域的形状、先前由人类驾驶员控制时所驾驶的车辆路径的形状等)相连接的这些视觉地标。在建图和定位阶段两者中，每道路长度的、在中央服务器和车辆之间可传达的数据总量是小的。
在建图阶段，所公开的系统(例如，自主车辆和/或一个或多个服务器)可以检测特征点(FP)。特征点可以包括一个或多个点，其被用于跟踪相关联的对象，诸如地标。例如，包括停车标志的角的八个点可以是特征点。所公开的系统可以进一步计算与FP相关联的描述符(例如，使用来自加速段测试(FAST)检测器、二进制鲁棒不变可扩展关键点(BRISK)检测器、二进制鲁棒独立基本特征(BRIEF)检测器和/或定向FAST和旋转BRIEF(ORB)检测器的特征，或者使用使用了训练库训练的检测器/描述符对)。该系统可以使用FP在图像平面中的运动并通过使用例如描述符空间中的欧几里德距离或汉明距离来匹配相关的描述符，以在出现了FP的帧之间来跟踪这些FP。该系统可以使用跟踪的FP来估计相机运动和对象(在其上检测到和跟踪到FP)的世界位置。例如，跟踪的FP可被用于估计车辆的运动和/或地标(最初在其上检测到了FP)的位置。
系统可以进一步将FP分类为在未来的驾驶中可能检测到或检测不到的FP(例如，在瞬时移动的对象、停放的汽车上检测到的FP以及阴影纹理可能不会在未来的驾驶中再次出现)。这种分类可以被称为再现性分类(RC)，并且可以是围绕检测到的FP的金字塔区域中的光强度、被跟踪的FP在图像平面中的运动和/或其被成功检测到并跟踪到的视点范围的函数。在一些实施例中，车辆可以向服务器1230发送与FP相关联的描述符、相对于FP的车辆的估计的3D位置、以及在检测/跟踪FP时的瞬时车辆GPS坐标。
在建图阶段期间，当建图车辆和中央服务器之间的通信带宽有限时，车辆可以在地图中的FP或其他语义地标(诸如道路标志和车道结构)的存在有限且不足够用于定位的目的之时，以高频率向服务器发送FP。此外，尽管处于建图阶段的车辆通常会以较低的空间频率向服务器发送FP，但FP可以在服务器中被凝聚。对重复出现的FP的检测也可以由服务器执行，并且服务器可以储存该组重复出现的FP和/或忽略掉不重复出现的FP。至少在某些情况下，地标的视觉外观可能对它们被捕获的一天中的时间或季节是敏感的。因此，为了增加FP的可再现性概率，接收的FP可以由服务器分仓(bin)为一天中的时间仓、季节仓等。在一些实施例中，车辆还可以向服务器发送与FP相关联的其他语义和几何信息(例如，车道形状、道路平面的结构、障碍物的3D位置、建图剪辑瞬时坐标系中的自由空间、在到停车位置的设置驾驶中由人类驾驶员驾驶的路径等)。
在定位阶段，服务器可以向一个或多个车辆发送包含地标的地图，该地标为FP位置和描述符的形式。车辆可以在一组当前连续帧内近乎实时地检测和跟踪特征点(FP)。跟踪的FP可被用于估计相机运动和/或相关联的对象(诸如地标)的位置。可以搜索检测到的FP描述符以匹配FP的列表，该FP的列表被包括在地图中并且具有GPS坐标，该GPS坐标在距车辆的当前GPS读数为经估计的有限GPS不确定性半径内。可以通过搜索当前的所有对，并且对在描述符空间中使欧几里德或汉明距离最小化的FP进行建图，来完成匹配。使用FP匹配及其当前和地图位置，车辆可以在瞬时车辆位置和局部地图坐标系之间旋转和/或平移。
所公开的系统和方法可以包括用于训练再现性分类器的方法。训练可以在以下方案之一中、以增加标签化成本和最终分类器准确度的顺序来执行。
在第一方案中，可以收集包括由具有匹配的瞬时车辆GPS位置的车辆相机所记录的大量剪辑的数据库。该数据库可以包括驾驶的代表性样本(关于各种属性：例如，一天中的时间、季节、天气条件、道路类型)。从在相似的GPS位置和航向上的不同驾驶的帧中所提取的特征点(FP)可能在GPS不确定性半径内被匹配。不匹配的FP可以被标记为不可再现，并且匹配的那些FP可以被标记为可再现。然后分类器可以被训练，以在给定FP在图像金字塔中的外观、FP相对于车辆的瞬时位置以及FP被成功跟踪的视点位置的范围的情况下，预测FP的再现性标签。
在第二方案中，从第一方案中描述的剪辑数据库中提取的FP对也可以由负责对剪辑之间的FP匹配进行注释的人来标记。
在第三方案中，可以使用一种数据库来精确匹配不同驾驶中的世界位置，该数据库使用光探测和测距(LIDAR)测量，用精确的车辆位置、车辆方向和图像像素深度而扩充了第一方案的数据库。然后可以在与处于不同视点和驾驶时间下的这些世界点对应的图像区域处，计算特征点描述符。然后，分类器可以被训练以根据其匹配的描述符，来预测描述符在描述符空间中的平均距离。在这种情况下，可以通过可能具有低描述符距离来测量再现性。
与公开的实施例一致，该系统可以基于穿越公共道路路段的车辆的观察到的轨迹(例如，其可以对应于由车辆转发给服务器的轨迹信息)，来生成自主车辆道路导航模型。然而，观察到的轨迹可能不对应于穿越道路路段的车辆所采取的实际轨迹。相反，在某些情况下，相对于由车辆确定的实际重建轨迹，上传到服务器的轨迹可以被修改。例如，车辆系统在对实际采取的轨迹进行重建时，可以使用传感器信息(例如，对由相机提供的图像的分析)来确定其自身的轨迹可能不是道路路段的优选轨迹。例如，车辆可以基于来自车载相机的图像数据，来确定它没有在车道中心行驶或者它在确定的时间段内越过了车道边界。在这种以及其他情况下，可以基于从传感器输出导出的信息，来对车辆的重建轨迹(实际穿越的路径)进行细化。然后，可以将细化的轨迹而不是实际轨迹上传到服务器，用于在建造或更新稀疏数据图800时的潜在用途。
在一些实施例中，然后，车辆(例如，车辆1205)中包括的处理器可以基于来自一个或多个传感器的输出，来确定车辆1205的实际轨迹。例如，基于对从相机122输出的图像的分析，处理器可以识别沿着道路路段1200的地标。地标可以包括交通标志(例如，限速标志)、方向标志(例如，指向不同路线或地点的高速公路方向标志)和通用标志(例如，与诸如颜色图案的唯一签名相关联的矩形商业标志)。可以将所识别的地标与储存在稀疏地图800中的地标进行比较。当找到匹配时，储存在稀疏地图800中的地标的位置可以被用作所识别的地标的位置。所识别的地标的位置可以被用于确定车辆1205沿着目标轨迹的位置。在一些实施例中，处理器还可以基于由GPS单元1710输出的GPS信号来确定车辆1205的位置。
处理器还可以确定用于向服务器1230传输的目标轨迹。目标轨迹可以与由处理器基于传感器输出所确定的实际轨迹相同。然而，在一些实施例中，目标轨迹可以不同于基于传感器输出所确定的实际轨迹。例如，目标轨迹可以包括对实际轨迹的一个或多个修改。
在一个示例中，如果来自相机122的数据包括障碍物，诸如在车辆1250前方100米处改变了车道的临时变道障碍物(例如，当车道由于前方的施工或事故而被临时变换时)，则处理器可以从图像中检测临时变道障碍物，并选择与储存在道路模型或稀疏地图中的目标轨迹相对应的车道不同的车道，以便遵从该临时变道。车辆的实际轨迹可以反映车道的这种改变。然而，例如，如果变道是临时的并且可以在接下来的10、15或30分钟内被清除，则车辆1205因此可以修改车辆1205已经采取的实际轨迹(即，车道的变换)，以反映出目标轨迹应该不同于车辆1205已经采取的实际轨迹。例如，系统可以辨识出，所行驶的路径不同于道路路段的优选轨迹。因此，系统可以在将轨迹信息上传到服务器之前调整重建轨迹。
在其他实施例中，可以上传实际重建轨迹信息，也可以上传一个或多个推荐的轨迹细化(例如，要对重建轨迹的至少一部分进行的平移的大小和方向)。在一些实施例中，处理器1715可以向服务器1230传输经修改的实际轨迹。服务器1230可以基于接收到的信息来生成或更新目标轨迹，并且可以将目标轨迹传输给稍后在相同道路路段上行驶的其他自主车辆，如下面参考图24进一步详细讨论的。
作为另一个示例，环境图像可以包括对象，诸如突然出现在道路路段1200中的行人。处理器可以检测到行人，并且车辆1205可以改变车道以避免与行人碰撞。基于感测的数据重建的实际轨迹车辆1205可以包括车道的改变。然而，行人可能很快就会离开道路。因此，车辆1205可以修改实际轨迹(或确定推荐的修改)，以反映目标轨迹应该不同于所采取的实际轨迹(因为行人的出现是不应该在目标轨迹确定时考虑的临时条件)。在一些实施例中，当实际轨迹被修改时，车辆可以向服务器传输指示与预定轨迹的临时偏离的数据。数据可以指示该偏离的原因，或者服务器可以分析数据以确定偏离的原因。知道偏离的原因可以是有用的。例如，当偏离是由于驾驶员注意到最近发生的事故，并且作为响应转向车轮以避免碰撞时，服务器可以基于偏离的原因规划对模型或与道路路段相关联的特定轨迹进行更适度的调整。作为另一示例，当偏离的原因是行人横穿道路时，服务器可以确定将来不需要改变轨迹。
作为进一步的示例，环境图像可以包括车道标记，该车道标记指示车辆1205可能在人类驾驶员的控制下稍微在车道之外行驶。处理器可以从捕获的图像中检测车道标记，并且可以修改车辆1205的实际轨迹，以考虑与车道的偏离。例如，可以对重建轨迹应用平移，使得它落在观察到的车道的中心内。
对众包稀疏地图进行分发
所公开的系统和方法可以实施具有低足迹模型的自主车辆导航(例如，转向控制)，这些模型可以由自主车辆自己收集，而无需昂贵的勘测仪器的帮助。为了支持自主导航(例如，转向应用)，道路模型可以包括稀疏地图，该稀疏地图具有道路的几何结构、其车道结构和地标，该地标可以用于确定车辆沿着包括在模型中的轨迹的定位或位置。如上所述，稀疏地图的生成可以由远程服务器来执行，该远程服务器与在道路上行驶的车辆通信并从车辆接收数据。数据可以包括感测的数据、基于感测的数据重建轨迹、和/或可以表示修改的重建轨迹的推荐轨迹。如下所述，服务器可以将模型传输回车辆或稍后在道路上行驶的其他车辆，以帮助自主导航。
图20示出了服务器的框图。服务器1230可以包括通信单元2005，该通信单元2005可以包括硬件组件(例如，通信控制电路、开关和天线)和软件组件(例如，通信协议、计算机代码)。例如，通信单元2005可以包括至少一个网络接口。服务器1230可以通过通信单元2005与车辆1205、1210、1215、1220和1225通信。例如，服务器1230可以通过通信单元2005接收从车辆1205、1210、1215、1220和1225传输的导航信息。服务器1230可以通过通信单元2005将自主车辆道路导航模型分发给一个或多个自主车辆。
服务器1230可以包括至少一个非暂时性存储介质2010，诸如硬盘驱动器、光盘、磁带等。存储装置1410可以被配置为储存数据，诸如从车辆1205、1210、1215、1220和1225接收的导航信息和/或服务器1230基于导航信息生成的自主车辆道路导航模型。存储装置2010可以被配置为储存任何其他信息，诸如稀疏地图(例如，上面参考图8讨论的稀疏地图800)。
除了或代替存储装置2010，服务器1230可以包括存储器2015。存储器2015可以类似于或不同于存储器140或150。存储器2015可以是非暂时性存储器，诸如闪速存储器、随机存取存储器等。存储器2015可以被配置为储存数据，诸如可由处理器(例如，处理器2020)执行的计算机代码或指令、地图数据(例如，稀疏地图800的数据)、自主车辆道路导航模型和/或从车辆1205、1210、1215、1220和1225接收的导航信息。
服务器1230可以包括至少一个处理装置2020，该至少一个处理装置2020被配置为执行储存在存储器2015中的计算机代码或指令，以执行各种功能。例如，处理装置2020可以分析从车辆1205、1210、1215、1220和1225接收的导航信息，并且基于该分析生成自主车辆道路导航模型。处理装置2020可以控制通信单元1405以将自主车辆道路导航模型分发给一个或多个自主车辆(例如，车辆1205、1210、1215、1220和1225中的一个或多个或者稍后在道路路段1200上行驶的任何车辆)。处理装置2020可以类似于或不同于处理器180、190或处理单元110。
图21示出了存储器2015的框图，存储器2015可以储存用于执行一个或多个操作的计算机代码或指令，以用于生成用于自主车辆导航的道路导航模型。如图21所示，存储器2015可以储存用于执行用于处理车辆导航信息的操作的一个或多个模块。例如，存储器2015可以包括模型生成模块2105和模型分发模块2110。处理器2020可以执行储存在包括在存储器2015中的任何模块2105和2110中的指令。
模型生成模块2105可以储存指令，当由处理器2020执行时，该指令可以基于从车辆1205、1210、1215、1220和1225接收的导航信息，为公共道路路段(例如，道路路段1200)生成自主车辆道路导航模型的至少一部分。例如，在生成自主车辆道路导航模型时，处理器2020可以将沿着公共道路路段1200的车辆轨迹聚类成不同的聚类。处理器2020可以基于对于每个不同聚类的聚类的车辆轨迹来确定沿着公共道路路段1200的目标轨迹。这样的操作可以包括在每个聚类中找到聚类的车辆轨迹的均值(mean)或平均(average)轨迹(例如，通过平均表示聚类的车辆轨迹的数据)。在一些实施例中，目标轨迹可以与公共道路路段1200的单个车道相关联。
自主车辆道路导航模型可以包括多个目标轨迹，每个目标轨迹与公共道路路段1200的单独车道相关联。在一些实施例中，目标轨迹可以与公共道路路段1200相关联，而不是与道路路段1200的单个车道相关联。目标轨迹可以由三维样条表示。在一些实施例中，样条可以由小于每千米10千字节、小于每千米20千字节、小于每千米100千字节、小于每千米1兆字节或每千米任何其他合适的存储大小来定义。模型分发模块2110然后可以将生成的模型分发给一个或多个车辆，例如，如下面参考图24所讨论的。
道路模型和/或稀疏地图可以储存与道路路段相关联的轨迹。这些轨迹可以被称为目标轨迹，其被提供给自主车辆用于自主导航。目标轨迹可以从多个车辆接收，或者可以基于从多个车辆接收的实际轨迹或推荐轨迹(具有一些修改的实际轨迹)生成。道路模型或稀疏地图中包括的目标轨迹可以用从其他车辆接收的新轨迹连续更新(例如，平均)。
在道路路段上行驶的车辆可以通过各种传感器收集数据。该数据可以包括地标、道路签名轮廓、车辆运动(例如，加速度计数据、速度数据)、车辆位置(例如，GPS数据)，并且可以重建实际轨迹本身，或者将数据传输到服务器，该服务器将重建车辆的实际轨迹。在一些实施例中，车辆可以向服务器1230传输与轨迹(例如，任意参考系中的曲线)、地标数据和沿着行驶路径的车道分配相关的数据。以多种驾驶方式沿相同道路路段行驶的各种车辆可以具有不同的轨迹。服务器1230可以从通过聚类过程从车辆接收的轨迹中识别与每个车道相关联的路线或轨迹。
图22示出了聚类与车辆1205、1210、1215、1220和1225相关联的车辆轨迹以用于确定公共道路路段(例如，道路路段1200)的目标轨迹的过程。从聚类过程确定的目标轨迹或多个目标轨迹可以包括在自主车辆道路导航模型或稀疏地图800中。在一些实施例中，沿着道路路段1200行驶的车辆1205、1210、1215、1220和1225可以向服务器1230传输多个轨迹2200。在一些实施例中，服务器1230可以基于从车辆1205、1210、1215、1220和1225接收的地标、道路几何结构和车辆运动信息来生成轨迹。为了生成自主车辆道路导航模型，服务器1230可以将车辆轨迹1600聚类成多个聚类2205、2210、2215、2220、2225和2230，如图22所示。
可以使用各种标准来执行聚类。在一些实施例中，聚类中的所有驾驶在沿着道路路段1200的绝对航向方面可以是相似的。绝对航向可以从车辆1205、1210、1215、1220和1225接收的GPS信号中获得。在一些实施例中，可以使用航位推算来获得绝对航向。如本领域技术人员所理解的，航位推算可用于通过使用先前确定的位置、估计速度等来确定车辆1205、1210、1215、1220和1225的当前位置并因此确定其航向。按绝对航向聚类的轨迹可以有助于沿着道路识别路线。
在一些实施例中，关于沿着道路路段1200上的驾驶的车道分配(例如，在交叉口之前和之后的相同车道中)，聚类中的所有驾驶可以是相似的。通过车道分配聚类的轨迹可以有助于沿着道路识别车道。在一些实施例中，两个标准(例如，绝对航向和车道分配)都可以用于聚类。
在每个聚类2205、2210、2215、2220、2225和2230中，轨迹可以被平均以获得与特定聚类相关联的目标轨迹。例如，可以对来自与相同车道聚类相关联的多个驾驶的轨迹进行平均。平均轨迹可以是与特定车道相关联目标轨迹。为了平均一组轨迹，服务器1230可以选择任意轨迹C0的参考系。对于所有其他轨迹(C1，…，Cn)，服务器1230可以找到将Ci建图到C0的刚性变换，其中i＝1，2，…，n，其中n是正整数，对应于包括在聚类中的轨迹的总数。服务器1230可以计算C0参考系中的均值曲线或轨迹。
在一些实施例中，地标可以定义不同驾驶之间的弧长匹配，这可以用于轨迹与车道的对齐。在一些实施例中，交叉口之前和之后的车道标记可用于轨迹与车道的对齐。
为了从轨迹组装车道，服务器1230可以选择任意车道的参考系。服务器1230可以将部分重叠的车道建图到选择的参考系。服务器1230可以继续建图，直到所有车道都在相同的参考系中。彼此相邻的车道可以对齐，就好像它们是相同的车道，稍后它们可以被横向移位。
沿着道路路段辨识的地标可以首先在车道级，然后在交叉口级被建图到公共参考系。例如，相同的地标可以被多个驾驶中的多个车辆辨识多次。不同驾驶中接收到的关于相同地标的数据可能略有不同。这样的数据可以被平均并建图到相同的参考系，诸如C0参考系。附加地或替代地，可以计算在多个驾驶中接收的相同地标的数据的方差。
在一些实施例中，道路路段120的每个车道可以与目标轨迹和某些地标相关联。目标轨迹或多个这样的目标轨迹可以被包括在自主车辆道路导航模型中，其可以稍后被沿着相同道路路段1200行驶的其他自主车辆使用。当车辆沿着道路路段1200行驶时，由车辆1205、1210、1215、1220和1225识别的地标可以与目标轨迹相关联地被记录。目标轨迹和地标的数据可以利用在后续驾驶中从其他车辆接收的新数据被连续地或周期性地更新。
对于自主车辆的定位，所公开的系统和方法可以使用扩展卡尔曼滤波器。车辆的定位可以基于三维位置数据和/或三维朝向数据、通过自我运动的积分对车辆的当前定位前方的未来定位的预测来确定。可以通过地标的图像观察来校正或调整车辆的定位。例如，当车辆检测到由相机捕获的图像内的地标时，该地标可以与储存在道路模型或稀疏地图800内的已知地标进行比较。已知地标可以具有储存在道路模型和/或稀疏地图800中的沿着目标轨迹的已知定位(例如，GPS数据)。基于地标的当前速度和图像，可以估计从车辆到地标的距离。车辆沿着目标轨迹的定位可以基于到地标的距离和地标的已知定位(储存在道路模型或稀疏地图800中)来调整。储存在道路模型和/或稀疏地图800中的地标的位置/定位数据(例如，来自多个驾驶的均值)可以被假定为准确的。
在一些实施例中，所公开的系统可以形成闭环子系统，其中车辆六个自由度定位(例如，三维位置数据加上三维朝向数据)的估计可以用于自主车辆的导航(例如，对自主车辆的车轮进行转向)以到达期望的点(例如，储存的前方1.3秒)。反过来，从转向和实际导航测量的数据可用于估计六个自由度定位。
在一些实施例中，沿着道路的杆(pole)，诸如灯柱和电力或电缆线杆可以用作定位车辆的地标。诸如交通标志、交通灯、道路上的箭头、停车线以及沿着道路路段的对象的静态特征(feature)或签名(signature)的其他地标也可以用作定位车辆的地标。当杆用于定位时，可以使用杆的x观察(即从车辆的视角)，而不是y观察(即到杆的距离)，因为杆的底部可能被遮挡，有时它们不在道路平面上。
图23示出了用于车辆的导航系统，其可以用于使用众包稀疏地图的自主导航。为了说明，车辆被称为车辆1205。图23中所示的车辆可以是本文公开的任何其他车辆，包括例如车辆1210、1215、1220和1225，以及其他实施例中所示的车辆200。如图12所示，车辆1205可以与服务器1230通信。车辆1205可以包括图像捕获装置122(例如，相机122)。车辆1205可以包括导航系统2300，该导航系统2300被配置用于为车辆1205在道路(例如，道路路段1200)上行驶提供导航引导。车辆1205还可以包括其他传感器，例如速度传感器2320和加速度计2325。速度传感器2320可以被配置为检测车辆1205的速度。加速度计2325可以被配置为检测车辆1205的加速或减速。图23中所示的车辆1205可以是自主车辆，并且导航系统2300可以用于为自主驾驶提供导航引导。替代地，车辆1205也可以是非自主的、人类控制的车辆，并且导航系统2300仍然可以用于提供导航引导。
导航系统2300可以包括被配置为通过通信路径1235与服务器1230通信的通信单元2305。导航系统2300还可以包括被配置为接收和处理GPS信号的GPS单元2310。导航系统2300还可以包括至少一个处理器2315，该至少一个处理器2315被配置为处理数据，诸如GPS信号、来自稀疏地图800的地图数据(其可以储存在车辆1205上提供的存储装置上和/或从服务器1230接收)、由道路轮廓传感器2330感测的道路几何结构、由相机122捕获的图像和/或从服务器1230接收的自主车辆道路导航模型。道路轮廓传感器2330可以包括用于测量不同类型的道路轮廓(诸如道路表面粗糙度、道路宽度、道路高度、道路曲率等)的不同类型的装置。例如，道路轮廓传感器2330可以包括测量车辆的悬架2305的运动以推导道路粗糙度轮廓的装置。在一些实施例中，道路轮廓传感器2330可以包括雷达传感器，以测量从车辆1205到道路边(例如，道路边上的障碍物)的距离，从而测量道路的宽度。在一些实施例中，道路轮廓传感器2330可以包括被配置用于测量道路的上下标高的装置。在一些实施例中，道路轮廓传感器2330可以包括被配置为测量道路曲率的装置。例如，相机(例如，相机122或另一个相机)可以用于捕获示出道路曲率的道路图像。车辆1205可以使用这样的图像来检测道路曲率。
至少一个处理器2315可以被编程为从相机122接收与车辆1205相关联的至少一个环境图像。至少一个处理器2315可以分析至少一个环境图像以确定与车辆1205相关的导航信息。导航信息可以包括与车辆1205沿着道路路段1200行驶相关的轨迹。至少一个处理器2315可以基于相机122(以及由此的车辆)的运动来确定轨迹，例如三维平移和三维旋转运动。在一些实施例中，至少一个处理器2315可以基于对由相机122获取的多个图像的分析来确定相机122的平移和旋转运动。在一些实施例中，导航信息可以包括车道分配信息(例如，车辆1205沿着道路路段1200行驶在哪个车道中)。从车辆1205传输到服务器1230的导航信息可以被服务器1230用来生成和/或更新自主车辆道路导航模型，该模型可以从服务器1230传输回车辆1205，以用于为车辆1205提供自主导航引导。
至少一个处理器2315还可以被编程为将导航信息从车辆1205传输到服务器1230。在一些实施例中，导航信息可以与道路信息一起被传输到服务器1230。道路定位信息可以包括由GPS单元2310接收的GPS信号、地标信息、道路几何结构、车道信息等中的至少一个。至少一个处理器2315可以从服务器1230接收自主车辆道路导航模型或模型的一部分。从服务器1230接收的自主车辆道路导航模型可以包括基于从车辆1205传输到服务器1230的导航信息的至少一个更新。从服务器1230传输到车辆1205的模型部分可以包括模型的更新部分。至少一个处理器2315可以基于接收到的自主车辆道路导航模型或模型的更新部分来引起车辆1205的至少一个导航操纵(例如，转向，诸如转弯、制动、加速、经过另一车辆等)。
至少一个处理器2315可以被配置为与车辆1205中包括的各种传感器和组件通信，包括通信单元1705、GPS单元2315、相机122、速度传感器2320、加速度计2325和道路轮廓传感器2330。至少一个处理器2315可以从各种传感器和组件收集信息或数据，并通过通信单元2305将信息或数据传输到服务器1230。替代地或附加地，车辆1205的各种传感器或组件也可以与服务器1230通信，并将由传感器或组件收集的数据或信息传输到服务器1230。
在一些实施例中，车辆1205、1210、1215、1220和1225可以彼此通信，并且可以彼此共享导航信息，使得车辆1205、1210、1215、1220和1225中的至少一个可以例如基于由其他车辆共享的信息，使用众包生成自主车辆道路导航模型。在一些实施例中，车辆1205、1210、1215、1220和1225可以彼此共享导航信息，并且每个车辆可以更新其自己的车辆中提供的自主车辆道路导航模型。在一些实施例中，车辆1205、1210、1215、1220和1225中的至少一个(例如，车辆1205)可以用作中枢车辆(hub vehicle)。中枢车辆(例如，车辆1205)的至少一个处理器2315可以执行由服务器1230执行的一些或所有功能。例如，中枢车辆的至少一个处理器2315可以与其他车辆通信，并从其他车辆接收导航信息。中枢车辆的至少一个处理器2315可以基于从其他车辆接收的共享信息生成自主车辆道路导航模型或对模型的更新。中枢车辆的至少一个处理器2315可以将自主车辆道路导航模型或对模型的更新传输到其他车辆，以用于提供自主导航引导。
图24是示出用于生成用于自主车辆导航的道路导航模型的示例性过程2400的流程图。过程2400可以由服务器1230或包括在中枢车辆中的处理器2315来执行。在一些实施例中，过程2400可用于聚集车辆导航信息以提供自主车辆道路导航模型或更新该模型。
过程2400可以包括由服务器从多个车辆接收导航信息(步骤2405)。例如，服务器1230可以从车辆1205、1210、1215、1220和1225接收导航信息。来自多个车辆的导航信息可以与多个车辆(例如，1205、1210、1215、1220和1225)沿其行驶的公共道路路段(例如，道路路段1200)相关联。
过程2400还可以包括由服务器储存与公共道路路段相关联的导航信息(步骤2410)。例如，服务器1230可以将导航信息储存在存储装置2010和/或存储器2015中。
过程2400还可以包括由服务器基于来自多个车辆的导航信息，为公共道路路段生成自主车辆道路导航模型的至少一部分(步骤2415)。用于公共道路路段的自主车辆道路导航模型可以包括沿着公共道路路段延伸的道路表面特征的至少一个线条(line)表示，并且每个线条表示可以表示沿着该公共道路路段的、基本上与该道路表面特征相对应的路径。例如，道路表面特征可以包括道路边缘或车道标记。此外，可以通过对多个车辆穿越公共道路路段时获取的多个图像的图像分析，来识别道路表面特征。例如，服务器1230可以基于从在公共道路路段1200上行驶的车辆1205、1210、1215、1220和1225接收的导航信息，为公共道路路段1200生成自主车辆道路导航模型的至少一部分。
在一些实施例中，自主车辆道路导航模型可以被配置为叠加在地图、图像或卫星图像上。例如，模型可以叠加在由诸如
Figure BDA0003175263700000811
地图、Waze等传统导航服务提供的地图或图像上。
在一些实施例中，生成自主车辆道路导航模型的至少一部分可以包括：基于多个图像的图像分析来识别与公共道路路段相关联的多个地标。在某些方面，这种分析可以包括当地标确实出现的图像与地标没有出现的图像的比率超过阈值时接受潜在地标，和/或当地标没有出现的图像与地标确实出现的图像的比率超过阈值时拒绝潜在地标。例如，如果潜在地标出现在来自车辆1210的数据中，但是没有出现在来自车辆1205、1215、1220和1225的数据中，则系统可以确定1∶5的比率低于用于接受潜在地标的阈值。作为进一步的示例，如果潜在地标出现在来自车辆1205、1215、1220和1225的数据中，但是没有出现在来自车辆1210的数据中，则系统可以确定4∶5的比率高于用于接受潜在地标的阈值。
过程2400还可以包括由服务器将自主车辆道路导航模型分发给一个或多个自主车辆，以用于沿着公共道路路段自主导航一个或多个自主车辆(步骤2420)。例如，服务器1230可以将自主车辆道路导航模型或该模型的一部分(例如，更新)分发给车辆1205、1210、1215、1220和1225、或者稍后在道路路段1200上行驶的任何其他车辆，以用于沿着道路路段1200自主导航车辆。
过程2400可以包括附加的操作或步骤。例如，生成自主车辆道路导航模型可以包括将从沿着道路路段1200的车辆1205、1210、1215、1220和1225接收的车辆轨迹聚类(cluster)成多个聚类和/或对齐从车辆1205、1210、1215、1220和1225接收的数据，如下面参考图29进一步详细讨论的。过程2400可以包括通过对每个聚类中的被聚类车辆轨迹进行平均，来确定沿着公共道路路段1200的目标轨迹。过程2400还可以包括将目标轨迹与公共道路路段1200的单个车道相关联。过程2400可以包括确定三维样条，来表示自主车辆道路导航模型中的目标轨迹。
使用众包稀疏地图进行导航
如上所述，服务器1230可以向一个或多个车辆分发生成的道路导航模型。如上所述，道路导航模型可以包括在稀疏地图中。与本公开的实施例一致，一个或多个车辆可以被配置为使用所分发的稀疏地图用于自主导航。
图25是存储器140和/或150的示例性功能框图，存储器140和/或150可以储存/编程有用于执行与所公开的实施例一致的一个或多个操作的指令。尽管下文参照存储器140，但是本领域技术人员将认识到，指令可以储存在存储器140和/或150中。
如图25所示，存储器140可以储存稀疏地图模块2502、图像分析模块2504、道路表面特征模块2506和导航响应模块2508。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行储存在包括在存储器140中的模块2502、2504、2506和2508中的任何一个中的指令。本领域的技术人员将理解，在下面的讨论中对处理单元110的引用可以单独地或共同地指代应用处理器180和图像处理器190。因此，以下任何过程的步骤可以由一个或多个处理装置来执行。
在一个实施例中，稀疏地图模块2502可以储存指令，当该指令由处理单元110执行时，接收(并且在一些实施例中，储存)由服务器1230分发的稀疏地图。稀疏地图模块2502可以在一次通信中接收整个稀疏地图，或者可以接收稀疏地图的子部分，该子部分对应于车辆在其中运行的区域。
在一个实施例中，图像分析模块2504可以储存指令(诸如，计算机视觉软件)，当该指令由处理单元110执行时，执行对由图像捕获装置122、124和126中的一个获取的一个或多个图像的分析。如下文进一步详细描述的，图像分析模块2504可以分析一个或多个图像以确定车辆的当前位置。
在一个实施例中，道路表面特征模块2506可以储存指令，当该指令由处理单元110执行时，识别由稀疏地图模块2502接收的稀疏地图中和/或由图像捕获装置122、124和126中的一个获取的一个或多个图像中的道路表面特征。
在一个实施例中，导航响应模块2508可以储存软件，该软件可由处理单元110执行以基于从稀疏地图模块2502、图像分析模块2504和/或道路表面特征模块2506的执行中导出的数据，来确定期望的导航响应。
此外，本文公开的任何模块(例如，模块2502、2504和2506)可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图26是示出用于沿着道路路段自主导航车辆的示例性过程2600的流程图。过程2600可以由导航系统2300中包括的处理器2315来执行。
过程2600可以包括接收稀疏地图模型(步骤2605)。例如，处理器2315可以从服务器1230接收稀疏地图。在一些实施例中，稀疏地图模型可以包括沿着道路路段延伸的道路表面特征的至少一个线条表示，并且每个线条表示可以表示沿着道路路段基本上对应于道路表面特征的路径。例如，道路特征可以包括道路边缘或车道标记。
过程2600还可以包括从相机接收表示车辆的环境的至少一个图像(步骤2610)。例如，处理器2315可以从相机122接收至少一个图像。当车辆1205沿着道路路段1200行驶时，相机122可以捕获车辆1205周围环境的一个或多个图像。
过程2600还可以包括分析稀疏地图模型和从相机接收的至少一个图像(步骤2615)。例如，对稀疏地图模型和从相机接收的至少一个图像的分析可以包括：确定车辆相对于沿着道路表面特征的至少一个线条表示的纵向位置的当前位置，该道路表面特征是沿着道路路段延伸的。在一些实施例中，这种确定可以基于对至少一个图像中的至少一个辨识的地标的识别。在一些实施例中，过程2600还可以包括：基于车辆相对于纵向位置的预期位置和车辆相对于纵向位置的当前位置，来确定估计偏移。
过程2600还可以包括基于对稀疏地图模型和从相机接收的至少一个图像的分析，来确定对于车辆的自主导航响应(步骤2620)。在处理器2315确定估计偏移的实施例中，自主导航响应可以进一步基于该估计偏移。例如，如果处理器2315确定车辆从至少一条线条表示向左偏移了1m，则处理器2315可以使车辆向右移动(shift)(例如，通过改变车轮的朝向)。作为进一步的示例，如果处理器2315确定所识别的地标距预期位置有偏移，则处理器2315可以使车辆移动，以便将所识别的地标朝向其预期位置移动。因此，在一些实施例中，过程2600还可以包括基于自主导航响应来调整车辆的转向系统。
对齐众包地图数据
如上所述，众包稀疏地图的生成可以使用来自沿着公共道路路段的多个驾驶的数据。该数据可以被对齐，以便生成一致性稀疏地图。如上文关于图14所讨论的，生成地图骨架可能不足以构建用于导航的样条。因此，本公开的实施例可以允许对齐从多个驾驶众包的数据。
图27示出了存储器2015的框图，存储器2015可以储存用于执行一个或多个操作的计算机代码或指令，以生成用于自主车辆导航的道路导航模型。如图21所示，存储器2015可以储存用于执行用于处理车辆导航信息的操作的一个或多个模块。例如，存储器2015可以包括驾驶数据接收模块2705和纵向对齐模块2710。处理器2020可以执行储存在包括在存储器2015中的任何模块2705和2710中的指令。
驾驶数据接收模块2705可以储存指令，当由处理器2020执行时，该指令可以控制通信装置2005从一个或多个车辆(例如，1205、1210、1215、1220和1225)接收驾驶数据。
纵向对齐模块2710可以储存指令，当由处理器2020执行时，该指令在使用驾驶数据接收模块2705接收到的数据与公共道路路段(例如，道路路段1200)相关时、基于从车辆1205、1210、1215、1220和1225接收的导航信息来对齐该数据。例如，纵向对齐模块2710可以沿着分块(patch)对齐数据，这可以允许更容易地优化对齐所需要的误差校正。在一些实施例中，纵向对齐模块2710可以进一步用置信度得分对每个分块对齐进行评分。
图28A示出了来自四个不同驾驶的原始定位数据的示例。在图28A的示例中，来自第一驾驶的原始数据被描绘为一系列星形，来自第二驾驶的原始数据被描绘为一系列实心正方形，来自第三第一驾驶的原始数据被描绘为一系列空心正方形，以及来自第四驾驶的原始数据被描绘为一系列空心圆形。如本领域技术人员将认识到的，形状仅仅是数据本身的说明，其可以被储存为一系列坐标，无论是局部的还是全局的。
如从图28A中可以看出，驾驶可以发生在沿着同一条道路(由线1200表示)的不同车道上。此外，图28A描绘了，驾驶数据可以包括由于定位测量(例如，GPS)中的误差而导致的变化，并且可以具有由于系统误差而导致的丢失的数据点。最后，图28A还描绘了，每个驾驶可以在沿着道路的路段内的不同点处开始和结束。
图28B示出了来自五个不同驾驶的原始定位数据的另一个示例。在图28B的示例中，来自第一驾驶的原始数据被描绘为一系列实心正方形，来自第二驾驶的原始数据被描绘为一系列空心正方形，来自第三第一驾驶的原始数据被描绘为一系列空心圆形，来自第四驾驶的原始数据被描绘为一系列星形，以及来自第五驾驶的原始数据被描绘为一系列三角形。如本领域技术人员将认识到的，形状仅仅是数据本身的说明，其可以被储存为一系列坐标，无论是局部的还是全局的。
图28B示出了与图28A相似的驾驶数据属性。图28B进一步描绘了，可以通过跟踪第五驾驶远离其他驾驶的移动，来检测交叉路口。例如，图28B中的示例数据可以表明，出口匝道存在于道路(由线1200表示)的右侧。图28B还描绘了，如果数据在道路的新的部分上开始，则可以检测到增加的车道。例如，图28B中的示例数据中的第四驾驶可以表明，在检测到的出口匝道之后不久，第四车道被添加到该道路。
图28C示出了原始定位数据的示例，该原始定位数据带有来源于该原始定位数据的目标轨迹。例如，第一驾驶数据(由三角形表示)和第二驾驶数据(由空心正方形表示)具有相关联的目标轨迹2810。类似地，第三驾驶数据(由空心圆形表示)具有相关联的目标轨迹2820，以及第四驾驶数据(由实心正方形表示)具有相关联的目标轨迹2830。
在一些实施例中，可以重建驾驶数据，使得一个目标轨迹与每个行驶车道相关联，如图28C所示。如果执行了驾驶数据的分块的适当对齐，则可以从一个或多个简单的平滑线条(line)模型生成这样的目标轨迹。下面讨论的过程2900是分块的适当对齐的一个示例。
图29是示出用于确定沿着道路路段延伸的道路表面特征的线条表示的示例性过程2900的流程图。道路表面特征的线条表示可以被配置用于自主车辆导航，例如，使用上面图26的过程2600。过程2900可以由服务器1230或包括在中枢车辆中的处理器2315来执行。
过程2900可以包括由服务器接收包括与道路表面特征相关联的位置信息的第一驾驶数据集合(步骤2905)。位置信息可以基于对道路路段的图像的分析来确定，并且道路表面特征可以包括道路边缘或车道标记。
过程2900还可以包括由服务器接收包括与道路表面特征相关联的位置信息的第二驾驶数据集合(步骤2910)。如同步骤2905，位置信息可以基于对道路路段的图像的分析来确定，并且道路表面特征可以包括道路边缘或车道标记。步骤2905和2910可以同时执行，或者在步骤2905和步骤2910之间可以有一段时间间隔，这取决于何时收集第一驾驶数据集合和第二驾驶数据集合。
过程2900还可以包括将第一驾驶数据集合分段成第一驾驶分块，并将第二驾驶数据集合分段成第二驾驶分块(步骤2915)。分块可以由数据大小或驾驶长度来定义。定义分块的大小或长度可以预定义为一个或多个值，或者可以用神经网络或其他机器技术来更新。例如，分块的长度可以被预设为总是1千米，或者它可以被预设为当以大于30km/hr的速度沿着道路行驶时的1千米，以及当以小于30km/hr的速度沿着道路行驶时的0.8千米。可替换地或同时地，机器学习分析可以基于多个因变量(诸如驾驶条件、驾驶速度等)，来优化分块的大小或长度。此外，在一些实施例中，路径可以由数据大小和驾驶长度来定义。
在一些实施例中，第一数据集合和第二数据集合可以包括位置信息，并且可以与多个地标相关联。在这样的实施例中，过程2900还可以包括基于一个或多个阈值来确定是否接受或拒绝数据集合内的地标，如以上参考图19所述。
过程2900可以包括在对应的分块内，纵向对齐第一驾驶数据集合与第二驾驶数据集合(步骤2920)。例如，纵向对齐可以包括选择第一数据集合或第二数据集合作为参考数据集合，并且然后移动和/或弹性拉伸另一数据集合以便对齐集合内的分块。在一些实施例中，对齐数据集合还可以包括：对齐包括在两个集合中并且与分块相关联的GPS数据。例如，可以调整集合内的分块之间的连接，以与GPS数据更紧密地对齐。然而，在这样的实施例中，必须限制调整以防止GPS数据的限制破坏该对齐。例如，GPS数据不是三维的，因此，当投影到道路的三维表示上时，可能会产生不自然的扭曲和倾斜。
过程2900还可以包括基于第一和第二草拟分块中的经纵向对齐的第一和第二驾驶数据，来确定道路表面特征的线条表示(步骤2925)。例如，可以对经对齐的数据使用平滑线条模型，来构建线条表示。在一些实施例中，确定线条表示可以包括基于作为第一驾驶数据集合或第二驾驶数据集合中的至少一个的一部分而获取的GPS数据，将线条表示与全局坐标对齐。例如，第一数据集合和/或第二数据集合可以用局部坐标表示；然而，平滑线条模型的使用要求两个集合具有相同的坐标轴。因此，在某些方面，第一数据集合和/或第二数据集合可以被调整为具有彼此相同的坐标轴。
在一些实施例中，确定线条表示可以包括确定和应用一组平均变换。例如，平均变换中的每一个可以基于确定的变换，该确定的变换跨连续分块而链接来自第一驾驶数据集合的数据，并且跨连续分块而链接来自第二驾驶数据集合的数据。
过程2900可以包括附加的操作或步骤。例如，过程2900还可以包括将道路表面特征的线条表示覆盖在至少一个地理图像上。例如，地理图像可以是卫星图像。作为进一步的示例，过程2900还可以包括基于确定的线条表示和纵向对齐，过滤掉看起来错误的地标信息和/或驾驶数据。这种过滤在概念上类似于基于一个或多个阈值对可能的地标的拒绝，如以上关于图19所述的。
众包道路表面信息
除了众包地标和线条表示以生成稀疏地图之外，所公开的系统和方法也可以众包道路表面信息。因此，道路状况可以与用于自主车辆导航的稀疏地图一起储存和/或储存在该稀疏地图内。
图30是存储器140和/或150的示例性功能框图，存储器140和/或150可以储存/编程有用于执行与所公开的实施例一致的一个或多个操作的指令。尽管下文参照存储器140，但是本领域技术人员将认识到，指令可以储存在存储器140和/或150中。
如图30所示，存储器140可以储存图像接收模块3002、道路表面特征模块3004、定位确定模块3006和导航响应模块3008。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行储存在包括在存储器140中的模块3002、3004、3006和3008中的任何一个中的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的引用可以单独地或共同地指代应用处理器180和图像处理器190。因此，以下任何过程的步骤可以由一个或多个处理装置来执行。
在一个实施例中，图像接收模块3002可以储存指令，当该指令由处理单元110执行时，接收(并且在一些实施例中，储存)由图像捕获装置122、124和126中的一个获取的图像。
在一个实施例中，道路表面特征模块3004可以储存指令(诸如计算机视觉软件)，当该指令由处理单元110执行时，对由图像捕获装置122、124和126中的一个获取的一个或多个图像进行分析，并识别道路表面特征。例如，道路表面特征可以包括道路边缘或车道标记。
在一个实施例中，定位确定模块3006可以储存指令(诸如GPS软件或视觉里程计软件)，当该指令由处理单元110执行时，接收与车辆相关的定位信息。例如，定位确定模块3006可以接收GPS数据和/或包括车辆的位置的自我运动数据。在一些实施例中，定位确定模块3006可以使用接收到的信息来计算一个或多个定位。例如，定位确定模块3006可以接收由图像捕获装置122、124和126中的一个获取的一个或多个图像，并使用对图像的分析来确定车辆的定位。
在一个实施例中，导航响应模块3008可以储存软件，该软件可由处理单元110执行以基于从图像接收模块3002、道路表面特征模块3004和/或定位确定模块3006的执行中导出的数据，来确定期望的导航响应。
此外，本文公开的任何模块(例如，模块3002、3004和3006)可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图31是示出用于收集道路路段的道路表面信息的示例性过程3100的流程图。过程3100可以由导航系统2300中包括的处理器2315来执行。
过程3100可以包括从相机接收表示道路路段的一部分的至少一个图像(步骤3105)。例如，处理器2315可以从相机122接收至少一个图像。当车辆1205沿着道路路段1200行驶时，相机122可以捕获车辆1205周围环境的一个或多个图像。
过程3100还可以包括在至少一个图像中识别沿着道路路段的一部分的至少一个道路表面特征(步骤3010)。例如，至少一个道路表面特征可以包括道路边缘或者可以包括车道标记。
过程3100还可以包括根据车辆的局部坐标系，确定与道路表面特征相关联的多个定位(步骤3115)。例如，处理器2315可以使用自我运动数据和/或GPS数据来确定多个定位。
过程3100还可以包括将确定的多个定位从车辆传输到服务器(步骤3120)。例如，所确定的定位可以被配置为使得服务器能够确定沿着道路路段延伸的道路表面特征的线条表示，如以上参考图29所述。在一些实施例中，线条表示可以表示沿着道路路段基本上对应于道路表面特征的路径。
过程3100可以包括附加的操作或步骤。例如，过程3100还可以包括从服务器接收线条表示。在该示例中，处理器2315可以例如根据图24的过程2400和/或图26的过程2600，接收作为所接收的稀疏地图的一部分的线条表示。作为进一步的示例，过程2900还可以包括将道路表面特征的线条表示覆盖在至少一个地理图像上。例如，地理图像可以是卫星图像。
如以上针对地标的众包所解释的，在一些实施例中，服务器可以实施用于决定是否接受或拒绝从车辆接收的可能的道路表面特征的选择标准。例如，当道路表面特征确实出现的定位集合与道路表面特征没有出现的定位集合的比率超过阈值时，服务器可以接受道路表面特征，和/或当道路表面特征没有出现的定位集合与道路表面特征确实出现的定位集合的比率超过阈值时，服务器可以拒绝可能的道路表面特征。
车辆定位
在一些实施例中，所公开的系统和方法可以使用稀疏地图以进行自主车辆导航。特别地，稀疏地图可以用于沿着道路路段的自主车辆导航。例如，稀疏地图可以在不储存和/或更新大量数据的情况下，为自主车辆导航提供足够的信息。如下文更详细讨论的，自主车辆可以基于一个或多个储存的轨迹使用稀疏地图来导航一条或多条道路。
使用车道标记的自主车辆车道定位
如上所述，自动驾驶车辆可以基于地标之间的航位推算进行导航。然而，误差可能在通过航位推算的导航期间累积，并且因此随着时间的推移，相对于目标轨迹的位置确定可能变得越来越不那么准确。如下所述，车道标记可用于在地标间隔期间定位车辆，这可以使在通过航位推算的导航期间的误差累积最小化。
例如，样条可以表示为下面的等式1所示：
Figure BDA0003175263700000891
在等式1的示例中，B(u)是表示样条的曲线，bk(u)是基础(basis)函数，并且P(k)表示控制点。控制点可以根据例如如下的等式2被变换为局部坐标：
Pl (k)＝PT(P(k)-T)
等式2
在等式2的示例中，Pl (k)表示变换到局部坐标的控制点P(k)，R是旋转矩阵，该旋转矩阵例如可以从车辆的航向推断，RT表示旋转矩阵的转置，并且T表示车辆的定位。
在一些实施例中，可以使用下面的等式3来确定表示车辆的路径的局部曲线：
Hi(u)＝yiBlz(u)-fBly(u)＝0
等式3
在等式3的示例中，f是相机的焦距，并且Blz、Bly和Blx表示曲线B在局部坐标中的分量。H的导数可以由下面的等式4表示：
H′(u)＝yiB′lz(u)-fB′ly(u)
等式4
基于等式1，等式4中的B′l可以进一步由下面的等式5表示：
Figure BDA0003175263700000903
例如，等式5可以由基于牛顿-拉夫逊的求解器来求解。在某些方面，求解器可以运行达五个或更少的步骤。为了求解x，在一些实施例中，可以使用下面的等式6：
Figure BDA0003175263700000904
在一些实施例中，可以使用轨迹的导数。例如，导数可以由下面的等式7给出：
Figure BDA0003175263700000905
在等式7的示例中，Xj可以表示例如用于车辆的定位的状态分量。在某些方面，j可以表示1和6之间的整数。
为了求解等式7，在一些实施例中，可以使用下面的等式8：
Figure BDA0003175263700000911
为了求解等式8，在一些实施例中，可以使用隐式微分来获得下面的等式9和10：
Figure BDA0003175263700000912
Figure BDA0003175263700000913
等式9和10
使用等式9和10，可以获得轨迹的导数。然后，在一些实施例中，可以将扩展卡尔曼滤波器用于定位车道测量。如上所述，通过定位车道测量，车道标记可用于使在通过航位推算的导航期间的误差累积最小化。下面参考图32-35进一步详细描述车道标记的使用。
图32是存储器140和/或150的示例性功能框图，存储器140和/或150可以储存/编程有用于执行与所公开的实施例一致的一个或多个操作的指令。尽管下文参照存储器140，但是本领域技术人员将认识到，指令可以储存在存储器140和/或150中。
如图32所示，存储器140可以储存位置确定模块3202、图像分析模块3204、距离确定模块3206和偏移确定模块3208。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行储存在包括在存储器140中的模块3202、3204、3206和3208中的任何一个中的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的引用可以单独地或共同地指代应用处理器180和图像处理器190。因此，以下任何过程的步骤可以由一个或多个处理装置来执行。
在一个实施例中，位置确定模块3202可以储存指令(诸如GPS软件或视觉里程计软件)，当该指令由处理单元110执行时，接收与车辆相关的定位信息。例如，位置确定模块3202可以接收包括车辆的位置的GPS数据和/或自我运动数据。在一些实施例中，位置确定模块3202可以使用接收到的信息来计算一个或多个定位。例如，位置确定模块3202可以接收由图像捕获装置122、124和126中的一个获取的一个或多个图像，并使用对图像的分析来确定车辆的定位。
位置确定模块3202还可以使用其他导航传感器来确定车辆的位置。例如，速度传感器或加速度计可以向位置确定模块3202发送信息，以用于计算车辆的位置。
在一个实施例中，图像分析模块3204可以储存指令(诸如计算机视觉软件)，当该指令由处理单元110执行时，执行对由图像捕获装置122、124和126中的一个获取的一个或多个图像的分析。如下面进一步详细描述的，图像分析模块3204可以分析一个或多个图像以识别至少一个车道标记。
在一个实施例中，距离确定模块3206可以储存指令，当该指令由处理单元110执行时，执行对由图像捕获装置122、124和126中的一个获取的一个或多个图像的分析，并确定从车辆到由图像分析模块3204识别的车道标记的距离。
在一个实施例中，偏移确定模块3208可以储存软件，该软件可由处理单元110执行以确定车辆距道路模型轨迹的估计偏移。例如，偏移确定模块3208可以使用由距离确定模块3206确定的距离，来计算该估计偏移。然后可以基于从位置确定模块3202、图像分析模块3204、距离确定模块3206和/或偏移确定模块3208的执行中导出的数据，来确定期望的导航响应。
此外，本文公开的任何模块(例如，模块3202、3204和3206)可以实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图33A示出了车辆在不使用车道标记的情况下通过航位推算进行导航的示例。在图33A的示例中，车辆沿着轨迹3310导航，但是不使用车道标记(例如，标志3320A或3320B)用于导航。
图33B示出了图33A在350m之后的示例。如图33B所示，车辆的轨迹3310没有完全与车道标记对齐(例如，标志3320A或3320B)。
图33C示出了图33A和33B在1千米后的示例。如图33C所示，地标的预期位置3330A与地标的实际位置3330B不对齐。虽然车辆现在可以使用地标来校正在1千米过程中所累积的航位推算误差，但是本公开的系统和方法可以允许使用车道标记来最小化地标之间的航位推算误差累积。
图34A示出了车辆利用车道标记通过航位推算进行导航的示例。在图34A的示例中，车辆正沿着轨迹3410导航，并且还识别出车道标记(例如，标志3420A和3420B)以定位和用于导航。
图34B示出了图34A在350m之后的示例。如图34B所示，车辆的轨迹3410基本上与车道标记(例如，标志3420A和3420B)对齐，因为车辆已经使用识别的车道标记而被校正了航位推算误差。
图34C示出了图34A和34B在1千米后的示例。如图34C所示，地标的预期位置3430A基本上与地标的实际位置3430B对齐。因此，当遇到了地标时，图34C中的车辆可以进行比图33C中的车辆小得多的校正。下面讨论的图35的过程3500是一个示例性的过程，通过该过程，车辆可以像图34A-34C那样使用车道标记以用于导航。
图35是示出用于校正导航道路路段的车辆的位置的示例性过程3500的流程图。过程3500可以由导航系统2300中包括的处理器2315来执行。
过程3500可以包括基于至少一个导航传感器的输出，来确定该车辆沿着预定道路模型轨迹的测量位置(步骤3505)。例如，预定道路模型轨迹可以与道路路段相关联，并且在一些实施例中，预定道路模型轨迹可以包括沿着道路路段的目标轨迹的三维多项式表示。该至少一个导航传感器可以例如包括速度传感器或加速度计。
过程3500还可以包括从图像捕获装置接收表示车辆的环境的至少一个图像(步骤3510)。例如，处理器2315可以从相机122接收至少一个图像。当车辆1205沿着道路路段1200行驶时，相机122可以捕获车辆1205周围环境的一个或多个图像。
过程3500还可以包括分析至少一个图像以识别至少一个车道标记。该至少一个车道标记可以与沿着道路路段的行驶的车道相关联。过程3500还可以包括基于至少一个图像确定从车辆到至少一个车道标记的距离。例如，可以使用用于计算图像中对象的距离的各种已知的算法。
过程3500可以包括基于车辆的测量位置和确定的距离，来确定车辆距预定道路模型轨迹的估计偏移。在一些实施例中，确定估计偏移还可以包括基于到至少一个车道标记的距离，确定车辆是否在将与至少一个车道标记相交的轨迹上。替代地或同时地，在一些实施例中，确定估计偏移还可以包括基于到至少一个车道标记的距离，来确定车辆是否在至少一个车道标记的预定阈值内。
过程3500还可以包括基于估计偏移来确定车辆的自主转向动作，以校正车辆的位置。例如，在估计偏移包括确定车辆是否在将与至少一个车道标记相交的轨迹上和/或车辆是否在至少一个车道标记的预定阈值内的实施例中，处理器2315可以确定自主转向动作以防止车辆轨迹与至少一个车道标记相交和/或使车辆和车道标记之间的距离低于预定阈值。
在一些实施例中，确定自主转向动作还可以包括求解预定道路模型轨迹的至少一个导数。例如，如上所述，可以使用扩展卡尔曼滤波器来计算轨迹的导数。
过程3500可以包括附加的操作或步骤。例如，过程3500还可以包括基于自主转向动作来调整车辆的转向系统。
车道建图和导航
所公开的系统和实施例可以允许基于车辆轨迹对车道分裂(split)进行建图。所公开的系统和实施例可以进一步允许基于车辆轨迹来检测车道分裂。
车道分裂可以包括道路路段的一部分，其中在分裂后车道数量增加或减少。例如，沿着道路路段在给定方向上行驶的可用车道的数量可以从1增加到2、从2增加到3等等。诸如服务器1230的服务器可以从沿着道路路段行驶的车辆接收导航信息，并识别道路路段中的车道分裂。服务器1230可以更新车辆道路导航模型，以建立用于从该车道分裂出现的新车道的目标轨迹。相应的，在导航期间，主车辆可以进入新车道并根据所建图的轨迹进行导航。
如本文所公开的，用于对道路路段中的车道分裂特征进行建图和导航的技术克服了几个重要的技术问题，包括与效率和准确度相关的问题。现有技术可以基于道路边界或车道标记来确定车道分裂特征，例如，基于由对该道路路段进行导航的车辆捕获的图像来确定。虽然在某些情况下，这可以允许检测道路分裂，但它可能不能反映供车辆行驶的最理想路径。例如，许多车辆在道路路段上的标记指示车道分裂特征之前，开始移动到新车道。如本文所公开的，用于基于实际轨迹来对车道分裂特征进行建图和导航的技术提供了与车辆会如何穿越车道分裂特征更一致的目标轨迹。
图36示出了与所公开的实施例一致的具有车道分裂的示例道路路段3600。如上所述，车道分裂可以包括道路的任何部分，其中可用行驶车道的数量沿着与道路相关联的行驶方向增加(或减少)。例如，如图36所示，道路路段3600可以包括车道3611和3612，车辆3621和3622可以分别在其中行驶。车辆3620、3621和3622可以在箭头3630所指示的大致行驶方向上沿着道路路段3600行驶。道路路段3600可以包括新车道3610出现在其中的车道分裂。车辆3620可以从车道3611进入新车道3610，如图36所示。作为车道分裂的结果，道路路段3600中的可用行驶车道的数量可以从两个车道增加到三个车道。图36所示的车道分裂是作为示例提供的。应当理解，所公开的系统和方法可以应用于车道分裂的各种其他配置。例如，可用行驶车道的数量可以从一个增加到两个、从两个增加到三个、从三个增加到四个等等。在一些实施例中，车道的数量可以增加一个以上(例如，其中增加了两条、三条、四条或更多条车道)。虽然本公开一般是参考沿着给定行驶方向车道数量的增加来讨论的，但是所公开的系统和方法也可以应用于车道数量减少的情况，例如车道合并(merge)等。
可以存在其中作为车道分裂的结果而增加了新车道3610的各种场景。在一些实施例中，车道分裂可以与高速公路或高速路的出口相关联。因此，新车道3610可以与出口匝道等相关联。在其他实施例中，车道分裂可以与转弯车道相关联。例如，车辆3620可以正在接近交叉路口，并且新车道3610可以包括用于供车辆在交叉路口转弯的转弯车道。车道分裂也可以与道路中的岔道或分裂相关联，并且新车道3610最终可以从车道3611和/或3612分岔(diverge)。因此，在车道分裂之后，新车道3610最终可以与除车道3611和/或3612之外的单独道路路段相关联。在一些实施例中，车道分裂可以与一段道路的宽度变化相关联，例如，以适应附加的交通量(例如，给道路增加车道)等。因此，新车道3610可以在分裂后沿着道路路段3600继续。虽然新车道3610被示出为出现以形成道路路段3600的外侧车道，但是它也可以是内侧车道。例如，在一些实施例中，新车道3610可以出现在车道3611和3612之间，等等。
可以通过分析沿着道路路段3600行驶的车辆的轨迹，来识别车道分裂。图37A示出了与所公开的实施例一致的可用于识别车道分裂的示例车辆轨迹。诸如服务器1230的服务器可以从穿越道路路段3600的车辆接收多个车辆轨迹3701、3702、3703、3704、3705和3706，并且可以使用它们来识别车道分裂。轨迹3701、3702和3703可以表示在车道分裂后选择进入新车道3610的车辆的轨迹。轨迹3704、3705和3706可以表示在车道分裂后继续在车道3611内行驶的车辆的轨迹。轨迹可以由车辆记录并从车辆传输到服务器1230。如上面更详细讨论的，轨迹可以由样条、一系列点(例如，定位标识符)或各种其他形式表示。在一些实施例中，轨迹可以基于参考坐标系来定义，如上所述。在一些实施例中，轨迹可以由车辆在将其传输到服务器1230之前进行组装(assemble)。在其他实施例中，例如，基于从穿越道路路段3600的车辆接收的数据，可以在服务器侧对轨迹进行组装。例如，在一些实施例中，车辆(例如，车辆200)可以向一个或多个服务器传输与它们沿着道路路段3600的运动相关的数据(例如，转向角度、航向、时间、位置、速度、感测的道路几何结构和/或感测的地标等)。服务器可以基于接收的数据重建车辆的轨迹。
在一些实施例中，可以基于第一轨迹(诸如轨迹3701)和第二轨迹(诸如轨迹3704)，来识别车道分裂。在这样的实施例中，可以基于轨迹3701和3704之间的横向间距，来识别车道分裂。例如，可以基于车道分裂之后轨迹之间的横向间距的增加，来检测车道分裂。在一些实施例中，可以通过将轨迹3701和3704之间的横向间距与横向间距阈值进行比较，来确定车道分裂。例如，可以基于横向间距超过阈值(例如，0.5米、1.0米、2.0米等等)，来识别车道分裂。在一些实施例中，滚动平均、回归模型(线性回归、局部回归等)、或各种其他统计分析方法也可用于更准确地识别车道分裂。
也可以基于环境信息或与道路路段3600相关联的其他数据，来确定车道分裂。服务器1230可以使用环境数据来验证轨迹的分岔(divergency)是否表示车道分裂而不是车道改变等。在一些实施例中，环境信息可以包括由穿越道路路段3600的车辆捕获的一个或多个图像。服务器1230可以分析图像以识别指示车道分裂的道路路段3600的特征的表示。例如，服务器1230可以确定车道边界3740的形状指示新车道3610已经形成。作为另一个示例，服务器1230可以检测在分岔之后、而不是不在分岔之前，使轨迹3701和3704分离的虚线车道标记3741，其可以指示车道分裂。服务器1230可以基于图像中的其他特征，诸如道路的结构(例如，整体宽度的增加等)、车道标记、车辆、交通标志、交通箭头、交通灯等，来检测和/或验证车道分裂。在一些实施例中，环境信息可以不是图像，而是可以包括表示任何上述特征的数据。这些特征可以例如使用经训练的模型(例如，使用深度神经网络等)来检测，以辨识捕获的图像中的特征。在一些实施例中，可以从穿越道路路段3600的车辆接收环境信息。例如，环境信息可以从与轨迹3701和3704相关联的车辆接收，或者可以从其他车辆接收。在其他实施例中，可以从存储位置检索环境信息以确定车道分裂。在其他实施例中，车道分裂特征可以在不使用环境信息(例如，图像等)的情况下被确定，并且可以基于对车辆轨迹的分析。
在一些实施例中，可以基于与进入车道3610的车辆和继续沿着车道3611的车辆相关联的多个轨迹，来确定车道分裂。例如，可以基于穿越道路路段的车辆的众包轨迹，来检测车道分裂特征。服务器1230可以在道路分裂特征被建图之前，要求指示道路分裂特征的足够的证据或数据。例如，单个车辆或仅有几个具有分岔轨迹的车辆可能是离群值(outlier)，并且可能不足以建立车道分裂特征。因此，服务器1230可以基于轨迹执行聚类(cluster)或用于识别车道分裂的其他操作。图37B示出了与所公开的实施例一致的用于确定车道分裂的对车辆轨迹的示例性聚类。如上所述，轨迹3701、3702和3703可与车道分裂后进入新车道3610的车辆相关联，且轨迹3704、3705和3706可与继续在车道3611内行驶的车辆相关联。虽然为了说明的目的，在图37B中示出了对于每个选项的三个轨迹(例如，进入车道3610或在车道3611中继续)，但是应当理解，任何合适数量的轨迹可以用于识别车道分裂。
服务器1230可以被配置为在检测车道分裂特征时，对轨迹3701、3702、3703、3704、3705和3706进行聚类。例如，服务器1230可以确定聚类3721、3722、3723、3724、3725和3726。可以在沿着道路路段3600的不同位置确定聚类。在一些实施例中，可以以预定间隔(例如，1米、2米、5米、10米、20m、50米等等)确定聚类。可以使用各种因素来确定间距。例如，间隔之间较短的间距可以导致较高的计算负载，尤其是当被分析的轨迹的数量(或与每个轨迹相关联的数据的量等)增加时。然而，间隔之间的间距越大，则可能提供的准确度越低，因此也可以考虑道路路段或轨迹路径的复杂性。在一些实施例中，可以不以预定间隔确定聚类。例如，位置可以是随机的或者基于道路路段和/或轨迹的特性。
在每个定位处，服务器1230可以被配置为基于轨迹之间的横向间距来聚类轨迹。可以通过在给定定位处定义垂直于轨迹或垂直于道路路段的线段并识别与该线段相交的所有轨迹，来确定聚类。例如，在聚类3721中，所有轨迹3701、3702、3703、3704、3705和3706可以被聚类在一起，如图所示。在一些实施例中，聚类可以基于轨迹之间的最小或阈值距离(例如，0.1米、0.5米、1.0米、2.0米、3.0米、等等)。例如，在聚类3722中，所有轨迹可以被再次聚类在一起，尽管在轨迹3701、3702和3703与轨迹3704、3705和3706之间开始出现一些分岔。然而，在聚类3723和3725处，两组轨迹(3701、3702和3703；以及3704、3705和3706)可以被分离地聚集，如图所示。聚类3724和3726也可以如此。基于聚类，服务器1230可以确定轨迹之间的分岔开始于聚类3722处。这种分岔可以指示车道分裂。如上所述，可以基于聚类之间的横向间距，来确定车道分裂。例如，可以基于横向间距超过阈值(例如，0.5米、1.0米、2.0米、等等)，来识别车道分裂。在一些实施例中，滚动平均、其他统计分析方法也可用于基于聚类来识别车道分裂。此外，如上所述，环境信息(例如，图像等)可用于确认基于聚类所识别出的分岔。例如，服务器1230可以使用图像来确定分岔是否与车道分裂相关联，或者它是否应该被认为是离群值等。
服务器1230还可以确定目标轨迹，该目标轨迹对应于要由自主车辆使用以通过道路路段3600的可驾驶路径。在一些实施例中，这可以包括对基于轨迹而产生的一系列聚类进行连接。图37C示出了与所公开的实施例一致的示例目标轨迹3730和3731。目标轨迹3730可以与新车道3601相关联，而目标轨迹3731可以与车道3611相关联。如图37C所示，目标轨迹可以被表示为在每个聚类定位处具有节点的样条。在一些实施例中，轨迹可以以其他形式表示，诸如一系列点等。可以由服务器1230或在车辆本地，从样条中导出这些点。在一些实施例中，可以基于对每个聚类进行连接的轨迹的数量，来确定目标轨迹。例如，轨迹3701、3702和3703可以包括聚类3722和3723两者(参见图37B)，因此服务器1230可以形成目标轨迹3730以包括聚类3722和3723。在一些实施例中，服务器1230可以包括基于连接两个聚类的轨迹的最小数量的、成对聚类之间的连接。结果，可以确定目标轨迹3730和3731。目标轨迹3730可以在对应于聚类3722的分支点或分岔点处开始。
在一些实施例中，服务器1230还可以被配置为调整沿着轨迹3730和3731的各个点。例如，因为轨迹3730和3731是基于上述聚类技术而产生的，轨迹3730和3731开始分岔的点将位于两组轨迹被聚类在一起的最后一个点处。然而，实际上，进入新车道3610的车辆的实际轨迹可能在轨迹中更早出现(例如，在聚类3722和3721之间)，或者在轨迹中更晚出现(例如，在车道合并的情况下)。因此，所得到的轨迹3730可能以比车辆将正常驾驶时更陡的角度从轨迹3731分支。为了校正或考虑这一点，服务器1230可以调整分岔的位置。
图38A示出了与所公开的实施例一致的用于调整分支点的位置的示例过程。分支点的调整可以以类似于上述聚类技术的方式来执行。例如，服务器1230可以检查与特定分支或分岔点相关联的所有轨迹。在图38A所示的示例中，这可以包括轨迹3701、3702、3703、3704、3705和3706。服务器1230可以在定义该分岔的聚类点(例如，聚类3722)之前和/或之后的多个纵向距离处，对轨迹进行采样。纵向距离可以以预定距离(例如，0.1米、0.2米、0.5米、1.0米、等等)间隔开，该预定距离可以短于上述聚类过程的预定距离。在每个纵向距离处，服务器1230可以确定轨迹3701、3702和3703的群组3801与轨迹3704、3705和3706的群组3802之间的横向距离D。服务器1230然后可以基于群组3801和群组3802在何处开始分岔，来调整分岔点。图38B示出了与所公开的实施例一致的示例调整后的目标轨迹3730和3731。例如，服务器1230可以确定，目标轨迹3730在分支点3810处从目标轨迹3731分支。可以类似地基于实际轨迹来调整沿着目标轨迹3730和3731的各种其他点。也可以使用用于调整分支点的各种其他手段。例如，在一些实施例中，分支点可以向后移动预定因子或距离。在其他实施例中，可以仅基于对聚类点的分析来调整分支点，而无需进一步采样。例如，可以基于由聚类3723、3722和3725等形成的角度，来估计分支点的定位。在其他实施例中，可以通过将目标轨迹3730和3731之间的角度与阈值进行比较来调整分支点，以确保分支角度不太尖锐等。
在一些实施例中，确定目标轨迹3730和3731可以包括校正或移除目标轨迹中的一个或多个异常(anomaly)。图39A-39C示出了与所公开的实施例一致的可能出现在目标轨迹3730和3731中的示例性异常。这种异常可能由于车辆沿着道路路段3600所行驶的轨迹不一致而出现。在一些情况下，异常可以包括目标轨迹3730和目标轨迹3731之间的不指示车道分裂特征的分岔。例如，图39A示出了目标轨迹的路段，其中目标轨迹分岔并会聚(converge)，这可以指示分岔不表示车道分裂。这种异常可以以各种其他方式检测，例如，通过参考其他数据(例如，经建图的车道标记、图像数据、经建图的地标等)，通过人工分析等来分析车道分裂特征。例如，可以通过移除节点3901和3902中的至少一个或者组合这些节点以形成连续的目标轨迹，来校正图39A所示的异常。类似地，如图39B所示，两个目标轨迹之间的分支点可以包括异常节点3903和/或3904。例如，可以通过移除节点3903或3904中的至少一个或组合这些节点来校正异常。在其他情况下，目标轨迹可以包括轨迹中的空白(leave)和/或间隙，如图39C所示。这种异常可以通过连接节点3905和3906来校正，或者在空白不是车道分裂特征的一部分的情况下，通过移除无关节点3905来校正。在一些实施例中，可以根据需要添加附加的节点。
作为以上参考图37A-39C描述的步骤的结果，可以确定表示与道路路段3600的车道分裂特征相关联的可驾驶路径的目标轨迹。应当理解，各种步骤或技术不一定按上述顺序执行。例如，校正目标轨迹中的异常点可以在调整分岔点之前执行，等等。在一些实施例中，服务器1230可以更新车辆道路导航模型以包括目标轨迹3730和3731。服务器1230可以将车辆道路导航模型或对模型的更新传输给向服务器1230传输了数据的车辆。服务器1230可以将自主车辆道路导航模型或对模型的更新传输给稍后在道路路段3600上行驶的其他车辆。在一些实施例中，服务器1230还可以基于目标轨迹，来更新和/或分发稀疏地图，诸如上面讨论的稀疏地图800。
虽然在整个以上描述中通过示例的方式使用了车道分裂特征，但是应当理解，所公开的实施例也可以应用于车道合并。例如，使用上述聚类和其他技术，服务器1230可以被配置为检测沿着道路路段合并在一起的车辆轨迹。例如，车道合并特征可以包括车辆合并到高速路上的入口匝道、道路变窄、转弯或合并车道的末端、道路中的“Y”形交叉口或各种其他车道合并特征。本领域技术人员将认识到，对上述技术的各种修改可应用于检测车道合并从而代替于检测车道分裂。例如，该系统可以被配置为基于横向间距落到低于阈值距离来检测轨迹之间的会聚，可以沿着道路路段的预期行驶方向向前而不是向后调整分支点，等等。
在一些实施方式中，所公开的实施例可用于检测道路路段中的障碍物或阻塞，诸如停滞的车辆、动物、紧急或服务车辆、道路建设项目、车道封闭等。基于穿越道路中的障碍物的车辆的轨迹，服务器1230可以检测与该障碍物相关联的车道分裂和/或合并。在一些实施例中，服务器1230可以被配置为将车道分裂特征与道路障碍物等区分开来。例如，服务器1230可以基于车辆轨迹的分岔的突发性、分裂后轨迹的会聚、与历史数据相比车辆轨迹的分岔的定时(例如，如果检测到的车道分裂突然出现等)，来检测道路障碍物。可以基于检测到的障碍物来执行各种控制动作。例如，服务器1230可以不更新道路导航模型或者可以临时更新它。服务器1230还可以传输障碍物的通知，包括障碍物在道路导航模型中的指示符等。
如本文所公开的，所公开的实施例可以包括用于对车道合并进行建图的系统和方法。例如，用于对在车辆导航中使用的车道合并进行建图的系统可以包括至少一个处理器，该至少一个处理器被编程为从已经沿着道路路段导航的第一车辆接收第一导航信息。道路路段可以包括车道合并特征，并且道路路段可以包括在车道合并特征之前的至少第一行驶车道和第二行驶车道，该至少第一行驶车道和第二行驶车道在合并特征之后转变成第三行驶车道。该至少一个处理器还可以被编程为从已经沿着道路路段导航的第二车辆接收第二导航信息，并接收与道路路段相关联的至少一个图像。该至少一个处理器还可以被编程为根据第一导航信息来确定第一车辆沿着道路路段的第一行驶车道和第三行驶车道的第一实际轨迹，根据第二导航信息来确定第二车辆沿着道路路段的第二行驶车道和第三行驶车道的第二实际轨迹，确定第一实际轨迹和第二实际轨迹之间的会聚，以及基于对至少一个图像的分析，确定第一实际轨迹和第二实际轨迹之间的会聚指示车道合并特征在道路路段中的存在。该至少一个处理器还可以被编程为更新车辆道路导航模型以包括在车道合并特征之前对应于第一行驶车道并在车道合并特征之后沿着第三行驶车道延伸的第一目标轨迹，以及在车道合并特征之前沿着第二行驶车道延伸并与第一目标轨迹结合(join)的第二目标轨迹。
所公开的实施例还可以包括用于对车道合并特征进行导航的系统和方法。例如，用于沿着道路路段导航主车辆的系统可以包括至少一个处理器，该至少一个处理器被编程为从基于服务器的系统接收车辆道路导航模型，其中车辆道路导航模型包括第一目标轨迹，该第一目标轨迹在车道合并特征之前对应于第一行驶车道并且在车道合并特征之后沿着第三行驶车道延伸，并且其中车辆道路导航模型还包括第二目标轨迹，该第二目标轨迹在车道合并特征之前沿着第二行驶车道延伸并且与第一目标轨迹结合。该至少一个处理器还可以被编程为接收指示主车辆的环境的信息，基于指示主车辆的环境的信息来确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆，以及确定导航动作以使主车辆沿着确定的目标轨迹导航。
与所公开的实施例一致，主车辆可以被配置为基于从服务器1230接收的更新的道路导航模型，来导航包含车道分裂特征的道路路段。图40A示出了与所公开的实施例一致的包括车道分裂特征的示例道路路段4000。主车辆4010可以对应于如上所述的车辆200，其可以沿着可以在道路导航模型中表示的目标轨迹4031穿越道路路段4000。该模型还可以包括第二目标轨迹4031，以表示车道分裂特征。目标轨迹4030和/或目标轨迹4031可以已经使用上述车道分裂建图技术而产生。
当主车辆4010接近车道分裂特征时，它可以确定是沿着目标轨迹4031继续还是遵循目标轨迹4030。主车辆4010可以接收或访问信息，以便做出该确定。例如，这样的信息可以指示车辆的环境。在一些实施例中，该信息可以由诸如服务器1230的服务器访问，该服务器可以提供关于主车辆的路线、道路路段4000的属性、目标轨迹4030和4031的属性或各种其他信息的信息。在一些实施例中，信息可以由车辆捕获，例如，使用图像捕获装置、一个或多个传感器、输入到用户界面的信息等来捕获。该信息可以包括车辆的属性(例如，当前速度、当前位置、航向方向、车辆的燃料水平、车辆的维持状况或各种其他操作参数)或环境的属性(例如，速度限制、道路状况、天气状况、路段上目标车辆的存在、目标车辆的速度或其他属性、检测到的地标、道路中的障碍物等)。在一些实施例中，信息可以本地储存在主车辆4010上，例如储存在存储器140上、地图数据库160中等，并且可以由车辆4010访问。
如图40A所示，目标轨迹4030可以表示道路路段4000的加宽，诸如增加了超车道等。主车辆4010可以基于指示主车辆4010的环境的信息，来确定是否沿着目标轨迹4030导航。例如，主车辆4010可以在目标车辆4021后面行驶，并且可以基于关于目标车辆4021的信息来确定是否沿着目标轨迹4030导航。在一些实施例中，主车辆4010可以确定目标车辆4021的速度，并且可以基于确定的速度来确定是否超车。例如，如果目标车辆4021行驶得比主车辆4010慢(或比主车辆4010的目标或期望速度慢)，则主车辆4010可以确定沿着目标轨迹4030行驶，以便超过目标车辆4021。在一些实施例中，该确定也可以基于一个或多个规则。例如，主车辆4010可以仅在如果超车不会导致主车辆4010超过速度限制、最大加速度等的情况下，超过目标车辆4021。
在一些实施例中，如上所述，主车辆4010可以基于由主车辆4010捕获的图像来确定信息。图40B示出了与所公开的实施例一致的示例图像4020，该示例图像4020可被主车辆用于确定与车道分裂特征相关联的目标轨迹。主车辆可以基于如图所示的图像检测目标车辆4021。主车辆可以确定目标车辆4021的其他属性，诸如位置、速度、加速度、大小、航向方向等，这些属性可用于确定是沿着目标轨迹4030还是目标轨迹4031行驶。主车辆4010可以进一步从图像中检测其他特征，诸如车道标记4022或其他地标，这些其他特征特征可以用于确定目标车辆4021的属性或确定要遵循哪个目标轨迹。
在一些实施例中，被主车辆4010用来确定要遵循哪个目标轨迹的信息可以基于主车辆4010的预期路线或目的地。例如，主车辆4010可以确定目标轨迹4030是否与目标路线一致。图40C示出了与所公开的实施例一致的包括车道分裂特征的另一示例道路路段4001。在该示例中，车道分裂特征可以与出口匝道相关联。目标轨迹4030可以与离开当前道路或高速公路相关联，并且主车辆4010可以确定目标轨迹4030是否与预期路线一致。例如，采用出口匝道可以提供到主车辆的目标目的地的更快或更直接的路线。虽然在图40C中使用了出口匝道的示例，但是道路路段特征可以是转弯车道、道路中的“Y”形交叉口或各种其他车道分裂特征，如上所述。如同前面的示例，主车辆4010可以基于指示主车辆4010的环境的信息，来确定是否遵循目标轨迹4030。这可以包括由主车辆4010的图像捕获装置捕获的图像。图40D示出了与所公开的实施例一致的另一示例图像4040，该示例图像4040可被主车辆用于确定与车道分裂特征相关联的目标轨迹。在该示例中，主车辆可以检测地标，例如出口标志4041，其可以指示目标轨迹4030与出口车道相关联。可以检测路段4001的各种其他特征，包括道路结构(例如，道路的宽度、车道是否分岔等)、车道标记、天气状况、道路状况、障碍物、目标车辆等。在一些实施例中，主车辆4010可以分析图像4040以确定沿着目标轨迹4030或4031是否存在交通或其他状况，这可以告知确定要遵循哪个目标轨迹。应当理解，以上讨论的示例信息是作为示例提供的，并且在确定如何导航车道分裂特征时可以使用其他形式或信息。
基于确定的目标轨迹，主车辆4010可以确定与目标轨迹一致的导航动作。例如，如果主车辆4010确定遵循目标轨迹4030，导航动作可以是引导车辆4010沿着目标轨迹4030的转向动作。在车辆4010确定它应该遵循目标轨迹4031的情况下，导航动作可以是保持当前的航向方向。可以包括各种其他导航动作，诸如制动动作、加速、减速、并道操纵等。
图41是描绘与所公开的实施例一致的用于对在车辆导航中使用的车道分裂进行建图的示例性过程4100的流程图。过程4100可以由诸如服务器1230的服务器上包括的至少一个处理装置来执行。过程4100仅是示例性的。受益于本公开的本领域普通技术人员可以理解，过程4100可以包括附加步骤，排除某些步骤，或者可以以与本公开一致地以其他方式进行修改。
在步骤4110，过程4100可以包括从已经沿着道路路段导航的第一车辆接收第一导航信息，其中道路路段包括车道分裂特征。道路路段可以包括在车道分裂特征之前的至少第一行驶车道，该至少第一行驶车道在车道分裂特征之后转变成至少第二行驶车道和第三行驶车道。例如，道路路段可以对应于道路路段3600，因此第二行驶车道可以对应于新车道3610，第三行驶车道可以对应于车道3611。在一些实施例中，车道分裂特征可以对应于道路路段的加宽。因此，第二行驶车道和第三行驶车道可以在车道分裂特征之后彼此平行延伸。因此，第二行驶车道和第三行驶车道可以继续是同一道路路段的一部分。在其他实施例中，车道分裂特征可以对应于转弯车道、“Y”形交叉口、出口匝道等。因此，在车道分裂特征之后，第二行驶车道和第三行驶车道可以彼此分岔。例如，第二行驶车道可以在分裂后与单独的路段相关联。在一些实施例中，第一行驶路线和第三行驶路线可以形成连续的行驶车道。如上所述，第一导航信息可以由第一车辆上传或传输到服务器1230。第一导航信息可以包括由第一车辆在穿越道路路段时所记录的定位标识符。
在步骤4111，过程4100可以包括从已经沿着道路路段导航的第二车辆接收第二导航信息。类似于第一导航信息，第二导航信息可以由第二车辆上传或传输到服务器1230。第二导航信息可以包括由第二车辆在穿越道路路段时所记录的定位标识符。在一些实施例中，第一车辆和第二车辆可以是同一车辆，例如，在不同时间穿越道路路段。可替代地，第一车辆和第二车辆可以是不同的车辆。
在步骤4112，过程4100可以包括接收与道路路段相关联的至少一个图像。在一些实施例中，图像可以由穿越道路路段的主车辆捕获。例如，至少一个图像可以由第一车辆或第二车辆的图像捕获装置捕获。该至少一个图像可以描绘主车辆的环境的特征，并且可以包括车道分裂特征或其他相关联的特征的表示。在一些实施例中，至少一个图像可以从服务器检索，例如，从服务器1230的存储装置检索。
在步骤4113，过程4100可以包括根据第一导航信息，确定第一车辆沿着道路路段的第一行驶车道和第二行驶车道的第一实际轨迹。例如，步骤4113可以包括分析由第一车辆记录的定位标识符以确定第一实际轨迹。第一实际轨迹可以由具有多个节点的样条、由多个点或以各种其他格式来表示。
在步骤4114，过程4100可以包括根据第二导航信息，确定第二车辆沿着道路路段的第一行驶车道和第三行驶车道的第二实际轨迹。类似于步骤4113，步骤4114可以包括分析由第二车辆记录的定位标识符以确定第二实际轨迹。第二实际轨迹可以由具有多个节点的样条、由多个点或以各种其他格式来表示。
在步骤4115，过程4100可以包括确定第一实际轨迹和第二实际轨迹之间的分岔。如上所述，可以基于第一实际轨迹和第二实际轨迹之间的横向间距来确定分岔。此外，可以基于横向间距与阈值的比较来确定分岔。
在步骤4116，过程4100可以包括基于对至少一个图像的分析，确定第一实际轨迹和第二实际轨迹之间的分岔指示车道分裂特征在道路路段中的存在。在一些实施例中，确定第一实际轨迹和第二实际轨迹之间的分岔指示车道分裂特征在道路路段中的存在还基于第一实际轨迹和第二实际轨迹之间的确定的横向间距。例如，服务器1230可以分析第一实际轨迹和第二实际轨迹之间的横向间距，以确定分岔是否足够大以对应于车道分裂特征。服务器1230还可以分析至少一个图像，以确定分岔是否指示车道分裂特征。例如，确定第一实际轨迹和第二实际轨迹之间的分岔指示车道分裂特征在道路路段中的存在可以进一步基于在至少一个图像中检测到的车道标记、道路的结构或其他特征的表示。
在一些实施例中，过程4100可以包括分析多条实际轨迹。因此，过程4100可以包括聚类和上面讨论的其他技术。例如，过程4100还可以包括接收已经沿着道路路段导航的第三实际轨迹。过程4100还可以包括在沿着道路路段的多个定位处，将第三实际轨迹与第一实际轨迹或第二实际轨迹中的至少一个进行聚类。第一实际轨迹和第二实际轨迹可以在车道分裂特征之前的至少一个第一定位处被聚类在一起，并且可以在车道分裂特征之后的至少一个第二定位中被单独地聚类，类似于图37B所示的聚类。如上所述，多个定位可以由预定的纵向距离分开，这取决于计算能力、路线的复杂性、车辆导航信息的大小等。上述聚类技术的任何其他特征或方面也可以应用于过程4100。
在步骤4117，过程4100可以包括更新车辆道路导航模型以包括第一目标轨迹和第二目标轨迹。第一目标轨迹可以在道路分裂特征之前对应于第一行驶车道，并且可以在车道分裂特征之后沿着第二行驶车道延伸。第二目标轨迹可以从第一目标轨迹分支，并且可以在车道分裂特征之后沿着第三行驶车道延伸。例如，第二目标轨迹开始于与第一目标轨迹相邻或邻接的分支点。在使用聚类技术的实施例中，第一目标轨迹和第二目标轨迹可以基于聚类来确定，如以上关于图37C所讨论的。在一些实施例中，过程4100还可以包括将更新的车辆道路导航模型分发给多个车辆，如上所述。
过程4100可以包括如以上参考图37A-39C所讨论的各种其他技术或步骤。例如，过程4100还可以包括通过在分支点周围的多个定位处分析第一实际轨迹和第二实际轨迹之间的距离，以确定第一实际轨迹和第二实际轨迹何处开始分岔，从而细化第二目标轨迹从第一目标轨迹分支的位置。因此，可以调整分支点以更好地对应于第一实际轨迹和/或第二实际轨迹。在一些实施例中，过程4100可以包括基于已经沿着道路路段导航的第三实际轨迹，来细化第二目标轨迹从第一目标轨迹分支的位置。例如，第三实际轨迹可以提供用于调整分支位置的附加信息。
在一些实施例中，过程4100可以包括从第一目标轨迹或第二目标轨迹中的至少一个中移除至少一个异常，如以上参考图39A-39C所讨论的。例如，至少一个异常可以包括第一目标轨迹和第二目标轨迹之间的不指示车道分裂特征的分岔。移除异常可以包括移除、调整和/或组合与第一目标轨迹和/或第二目标轨迹相关联的一个或多个节点。
图42是描绘了与所公开的实施例一致的用于对车道分裂进行建图以沿着道路路段导航主车辆的示例性过程4200的流程图。过程4200可以由车辆的至少一个处理装置来执行，诸如上述的处理单元110。过程4200仅是示例性的。受益于本公开的本领域普通技术人员可以理解，过程4200可以包括附加步骤，排除某些步骤，或者可以以与本公开一致地以其他方式进行修改。
在步骤4210，过程4200可以包括从基于服务器的系统接收车辆道路导航模型，其中车辆道路导航模型包括第一目标轨迹，该第一目标轨迹在与道路路段相关联的车道分裂特征之前对应于沿着道路路段的第一行驶车道，并且在车道分裂特征之后沿着道路路段的第二行驶车道延伸。车辆道路导航模型还可以包括第二目标轨迹，该第二目标轨迹在车道分裂特征之后从第一目标轨迹分支并沿着道路路段的第三行驶车道延伸。如上所述，车辆道路导航模型可以对应于根据过程4200更新的车辆导航模型。
在步骤4211，过程4200可以包括接收指示主车辆的环境的信息。该信息可以是与导航车道分裂特征相关的任何形式的信息，并且可以包括上面关于图40A-40D讨论的任何信息。例如，该信息可以包括由主车辆的图像捕获装置捕获的至少一个图像。图像捕获装置可以对应于上述图像获取单元120。在一些实施例中，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆可以包括基于至少一个图像识别主车辆要超过的目标车辆。例如，主车辆4010可以如上所述确定是否要超过目标车辆4021。此外，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆还可以包括应用一个或多个规则或指南。信息还可以包括目标车辆相对于主车辆的速度，或者目标车辆的各种其他属性。在一些实施例中，信息可以包括主车辆的规划路线。信息可以由主车辆的传感器或其他装置捕获，从与主车辆相关联的本地存储装置访问，或者可以从诸如服务器1230的服务器检索。
在步骤4212，过程4200可以包括基于指示主车辆的环境的信息，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆。在信息包括主车辆的规划路线的实施例中，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆可以基于第一目标轨迹还是第二目标轨迹与规划路线一致。在一些实施例中，确定是沿着第一目标轨迹还是第二目标轨迹导航主车辆包括确定第一目标轨迹或第二目标轨迹中的至少一个与转弯车道、出口匝道、超车道等相关联。
在步骤4213，过程4200可以包括确定导航动作以使主车辆沿着所确定的目标轨迹导航。例如，在确定的目标轨迹是沿着第二目标轨迹的情况下，导航动作可以包括主车辆的航向方向改变，使得主车辆在车道分裂特征后遵循第二目标轨迹。在其他实施例中，导航动作可以包括保持主车辆的航向方向，使得主车辆在车道分裂特征后遵循第一目标轨迹。还可以执行各种其他导航动作，例如制动操纵、超车操纵、加速、并道操纵等。
出于说明的目的已经呈现了前面的描述。它不是穷举性的并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，修改和改编对于本领域技术人员来说是显而易见的。另外，尽管所公开的实施例的方面被描述为储存在存储器中，但本领域的技术人员将理解，这些方面也可以储存在其他类型的计算机可读介质上，诸如辅助储存装置，例如，硬盘或CDROM、或其他形式的RAM或ROM、USB介质、DVD、蓝光、4K超高清蓝光、或其他光驱动介质。
基于书面说明和所公开的方法的计算机程序在有经验的开发人员的技术范围内。可以使用任何本领域技术人员已知的技术来创建或可以结合现有的软件来设计各种程序或程序模块。例如，程序部分或程序模块可以以或通过.NET Framework、.NET CompactFramework(以及相关的语言，诸如Visual Basic，C等)、JAVA、C++、Objective-C、HTML、HTML/AJAX组合、XML或者包括Java小程序的HTML来设计。
此外，虽然已经在本文中描述了说明性实施例，但是本领域技术人员基于本公开将认识到具有等同的要素、修改、省略、组合(例如，遍及各个实施例的方面的)、改编和/或变化的任何以及所有实施例的范围。权利要求书中的限定将基于权利要求书中采用的语言宽泛地解释，并且不限于在本说明书中或在本申请的审查期间所描述的示例。示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包括通过重新排序步骤和/或插入或删除步骤。因此，意图是说明书和示例被视为仅是说明性的，真正的范围和精神由以下权利要求及其等同物的全部范围来表示。

Claims (32)

1.一种用于对在车辆导航中使用的车道分裂进行建图的系统，所述系统包括：
至少一个处理器，被编程为：
从已经沿着道路路段导航的第一车辆接收第一导航信息，其中，所述道路路段包括车道分裂特征，并且其中，所述道路路段包括在所述车道分裂特征之前的至少第一行驶车道，所述至少第一行驶车道在所述车道分裂特征之后转变成至少第二行驶车道和第三行驶车道；
从已经沿着所述道路路段导航的第二车辆接收第二导航信息；
接收与所述道路路段相关联的至少一个图像；
根据所述第一导航信息，确定所述第一车辆沿着所述道路路段的第一行驶车道和第二行驶车道的第一实际轨迹；
根据所述第二导航信息，确定所述第二车辆沿着所述道路路段的第一行驶车道和第三行驶车道的第二实际轨迹；
确定所述第一实际轨迹和所述第二实际轨迹之间的分岔；
基于对所述至少一个图像的分析，确定所述第一实际轨迹和所述第二实际轨迹之间的分岔指示所述车道分裂特征在所述道路路段中的存在；以及
更新车辆道路导航模型以包括：
第一目标轨迹，所述第一目标轨迹在所述道路分裂特征之前对应于所述第一行驶车道，并且在所述车道分裂特征之后沿着所述第二行驶车道延伸；和
第二目标轨迹，所述第二目标轨迹在所述车道分裂特征之后从所述第一目标轨迹分支并且沿着所述第三行驶车道延伸。
2.根据权利要求1所述的系统，其中，确定所述第一实际轨迹和所述第二实际轨迹之间的分岔指示所述车道分裂特征在所述道路路段中的存在还基于所确定的所述第一实际轨迹和所述第二实际轨迹之间的横向间距。
3.根据权利要求1所述的系统，其中，所述第二行驶车道和所述第三行驶车道在所述车道分裂特征之后彼此平行延伸。
4.根据权利要求1所述的系统，其中，所述第二行驶车道和所述第三行驶车道在所述车道分裂特征之后彼此分岔。
5.根据权利要求1所述的系统，其中，所述第一导航信息包括由所述第一车辆在穿越所述道路路段时记录的定位标识符，并且所述第二导航信息包括由所述第二车辆在穿越所述道路路段时记录的定位标识符。
6.根据权利要求1所述的系统，其中，所述至少一个图像由所述第一车辆或所述第二车辆的图像捕获装置捕获。
7.根据权利要求1所述的系统，其中，所述至少一个图像从服务器取得。
8.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为基于已经沿着所述道路路段导航的第三实际轨迹，来细化所述第二目标轨迹从所述第一目标轨迹分支的位置。
9.根据权利要求8所述的系统，其中，所述至少一个处理器还被配置为在沿着所述道路路段的多个定位处，将所述第三实际轨迹与所述第一实际轨迹或所述第二实际轨迹中的至少一个进行聚类。
10.根据权利要求9所述的系统，其中，所述第一实际轨迹和所述第二实际轨迹在所述车道分裂特征之前的至少一个第一定位中被聚类在一起，并且在所述车道分裂特征之后的至少一个第二定位中被单独地聚类。
11.根据权利要求8所述的系统，其中，所述多个定位以预定的纵向距离隔开。
12.根据权利要求8所述的系统，其中，所述第一目标轨迹和所述第二目标轨迹基于聚类来确定。
13.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为通过在分支点周围的多个定位处分析所述第一实际轨迹和所述第二实际轨迹之间的距离，以确定所述第一实际轨迹和所述第二实际轨迹何处开始分岔，从而细化所述第二目标轨迹从所述第一目标轨迹分支的位置。
14.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为将更新的车辆道路导航模型分发给多个车辆。
15.根据权利要求1所述的系统，其中，所述至少一个处理器还被编程为从所述第一目标轨迹或所述第二目标轨迹中的至少一个中移除至少一个异常。
16.根据权利要求15所述的系统，其中，所述至少一个异常包括所述第一目标轨迹和所述第二目标轨迹之间的不指示车道分裂特征的分岔。
17.根据权利要求1所述的系统，其中，确定所述第一实际轨迹和所述第二实际轨迹之间的分岔指示所述车道分裂特征在所述道路路段中的存在还基于在所述至少一个图像中检测到的车道标记的表示。
18.根据权利要求1所述的系统，其中，确定所述第一实际轨迹和所述第二实际轨迹之间的分岔指示所述车道分裂特征在所述道路路段中的存在还基于在所述至少一个图像中检测到的道路结构的表示。
19.一种用于对在车辆导航中使用的车道分裂进行建图的方法，所述方法包括：
从已经沿着道路路段导航的第一车辆接收第一导航信息，其中，所述道路路段包括车道分裂特征，并且其中，所述道路路段包括在所述车道分裂特征之前的至少第一行驶车道，所述至少第一行驶车道在所述车道分裂特征之后转变成至少第二行驶车道和第三行驶车道；
从已经沿着所述道路路段导航的第二车辆接收第二导航信息；
接收与所述道路路段相关联的至少一个图像；
根据所述第一导航信息，确定所述第一车辆沿着所述道路路段的第一行驶车道和第二行驶车道的第一实际轨迹；
根据所述第二导航信息，确定所述第二车辆沿着所述道路路段的第一行驶车道和第三行驶车道的第二实际轨迹；
确定所述第一实际轨迹和所述第二实际轨迹之间的分岔；
基于对所述至少一个图像的分析，确定所述第一实际轨迹和所述第二实际轨迹之间的分岔指示所述车道分裂特征在所述道路路段中的存在；以及
更新车辆道路导航模型以包括：
第一目标轨迹，所述第一目标轨迹在所述道路分裂特征之前对应于所述第一行驶车道，并且在所述车道分裂特征之后沿着所述第二行驶车道延伸；和
第二目标轨迹，所述第二目标轨迹在所述车道分裂特征之后从所述第一目标轨迹分支并沿着所述第三行驶车道延伸。
20.一种用于沿着道路路段导航主车辆的系统，所述系统包括：
至少一个处理器，被编程为：
从基于服务器的系统接收车辆道路导航模型，其中，所述车辆道路导航模型包括第一目标轨迹，所述第一目标轨迹在与所述道路路段相关联的车道分裂特征之前对应于沿着所述道路路段的第一行驶车道，并且在所述车道分裂特征之后沿着所述道路路段的第二行驶车道延伸，并且其中，所述车辆道路导航模型还包括第二目标轨迹，所述第二目标轨迹在所述车道分裂特征之后从所述第一目标轨迹分支并且沿着所述道路路段的第三行驶车道延伸；
接收指示所述主车辆的环境的信息；
基于指示所述主车辆的环境的信息，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆；以及
确定导航动作以使所述主车辆沿着所确定的目标轨迹导航。
21.根据权利要求20所述的系统，其中，所述信息包括由所述主车辆的图像捕获装置捕获的至少一个图像。
22.根据权利要求21所述的系统，其中，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆包括基于所述至少一个图像识别要被所述主车辆超过的目标车辆。
23.根据权利要求22所述的系统，其中，所述信息还包括所述目标车辆相对于所述主车辆的速度。
24.根据权利要求20所述的系统，其中，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆包括确定所述第一目标轨迹或所述第二目标轨迹中的至少一个与转弯车道相关联。
25.根据权利要求20所述的系统，其中，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆包括确定所述第一目标轨迹或所述第二目标轨迹中的至少一个与出口匝道相关联。
26.根据权利要求20所述的系统，其中，所述信息包括所述主车辆的规划路线。
27.根据权利要求26所述的系统，其中，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆是基于所述第一目标轨迹还是所述第二目标轨迹与所述规划路线一致。
28.根据权利要求20所述的系统，其中，所述导航动作包括保持所述主车辆的航向方向，使得所述主车辆在所述车道分裂特征后遵循所述第一目标轨迹。
29.根据权利要求20所述的系统，其中，所述导航动作包括所述主车辆的航向方向改变，使得所述主车辆在所述车道分裂特征后遵循所述第二目标轨迹。
30.一种用于沿着道路路段导航主车辆的方法，所述方法包括：
从基于服务器的系统接收车辆道路导航模型，其中，所述车辆道路导航模型包括第一目标轨迹，所述第一目标轨迹在与所述道路路段相关联的车道分裂特征之前对应于沿着所述道路路段的第一行驶车道，并且在所述车道分裂特征之后沿着所述道路路段的第二行驶车道延伸，并且其中，所述车辆道路导航模型还包括第二目标轨迹，所述第二目标轨迹在所述车道分裂特征之后从所述第一目标轨迹分支并且沿着所述道路路段的第三行驶车道延伸；
接收指示所述主车辆的环境的信息；
基于指示所述主车辆的环境的信息，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆；以及
确定导航动作以使所述主车辆沿着所确定的目标轨迹导航。
31.一种用于对在车辆导航中使用的车道合并进行建图的系统，所述系统包括：
至少一个处理器，被编程为：
从已经沿着道路路段导航的第一车辆接收第一导航信息，其中，所述道路路段包括车道合并特征，并且其中，所述道路路段包括在所述车道合并特征之前的至少第一行驶车道和第二行驶车道，所述至少第一行驶车道和第二行驶车道在所述合并特征之后转变成第三行驶车道；
从已经沿着所述道路路段导航的第二车辆接收第二导航信息；
接收与所述道路路段相关联的至少一个图像；
根据所述第一导航信息，确定所述第一车辆沿着所述道路路段的第一行驶车道和第三行驶车道的第一实际轨迹；
根据所述第二导航信息，确定所述第二车辆沿着所述道路路段的第二行驶车道和第三行驶车道的第二实际轨迹；
确定所述第一实际轨迹和所述第二实际轨迹之间的会聚；
基于对所述至少一个图像的分析，确定所述第一实际轨迹和所述第二实际轨迹之间的会聚指示所述车道合并特征在所述道路路段中的存在；以及
更新车辆道路导航模型以包括：
第一目标轨迹，所述第一目标轨迹在所述车道合并特征之前对应于所述第一行驶车道，并且在所述车道合并特征之后沿着所述第三行驶车道延伸；和
第二目标轨迹，所述第二目标轨迹在所述车道合并特征之前沿着所述第二行驶车道延伸，并且与所述第一目标轨迹结合。
32.一种用于沿着所述道路路段导航主车辆的系统，所述系统包括：
至少一个处理器，被编程为：
从基于服务器的系统接收车辆道路导航模型，其中，所述车辆道路导航模型包括第一目标轨迹，所述第一目标轨迹在车道合并特征之前对应于第一行驶车道，并且在所述车道合并特征之后沿着第三行驶车道延伸，并且其中，所述车辆道路导航模型还包括第二目标轨迹，所述第二目标轨迹在所述车道合并特征之前沿着第二行驶车道延伸，并且与所述第一目标轨迹结合；
接收指示所述主车辆的环境的信息；
基于指示所述主车辆的环境的信息，确定是沿着所述第一目标轨迹还是所述第二目标轨迹导航所述主车辆；以及
确定导航动作以使所述主车辆沿着所确定的目标轨迹导航。
CN201980089986.5A 2018-11-26 2019-11-26 车道建图和导航 Pending CN113348338A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862771335P 2018-11-26 2018-11-26
US62/771,335 2018-11-26
US201962795868P 2019-01-23 2019-01-23
US62/795,868 2019-01-23
US201962800845P 2019-02-04 2019-02-04
US62/800,845 2019-02-04
PCT/US2019/063326 WO2020112827A2 (en) 2018-11-26 2019-11-26 Lane mapping and navigation

Publications (1)

Publication Number Publication Date
CN113348338A true CN113348338A (zh) 2021-09-03

Family

ID=68966027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089986.5A Pending CN113348338A (zh) 2018-11-26 2019-11-26 车道建图和导航

Country Status (5)

Country Link
US (1) US20220082403A1 (zh)
EP (1) EP3887762B1 (zh)
JP (2) JP7432285B2 (zh)
CN (1) CN113348338A (zh)
WO (1) WO2020112827A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019497A (zh) * 2022-01-05 2022-02-08 南京楚航科技有限公司 一种基于毫米波雷达方差统计的目标变道识别方法
CN116029178A (zh) * 2023-03-29 2023-04-28 长安新能源南京研究院有限公司 一种模型建立方法、装置、电子设备及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
DE102019103106A1 (de) * 2019-02-08 2020-08-13 Zf Automotive Germany Gmbh Steuerungssystem und Steuerungsverfahren zur interaktionsbasierten Langzeitbestimmung von Trajektorien für Kraftfahrzeuge
JP7210357B2 (ja) * 2019-03-28 2023-01-23 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11988518B2 (en) * 2019-06-17 2024-05-21 Nvidia Corporation Updating high definition maps based on lane closure and lane opening
KR20210044961A (ko) * 2019-10-15 2021-04-26 현대자동차주식회사 자율주행차량의 차선변경 전략 결정 장치 및 그 방법
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
US11674819B2 (en) * 2019-12-30 2023-06-13 Subaru Corporation Mobility information provision system, server, and vehicle
WO2021141142A1 (ko) * 2020-01-06 2021-07-15 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
JP7347375B2 (ja) * 2020-08-31 2023-09-20 トヨタ自動車株式会社 走行車線計画装置及び走行車線計画用コンピュータプログラム
CN112172837A (zh) * 2020-09-27 2021-01-05 苏州交驰人工智能研究院有限公司 一种车辆的控制方法及相关装置
US11946769B2 (en) * 2020-11-20 2024-04-02 Here Global B.V. Method, apparatus, and system for identifying special areas and cleaning-up map data
US20220197287A1 (en) * 2020-12-22 2022-06-23 GM Global Technology Operations LLC Map-based stop point control
US20220026234A1 (en) * 2021-02-25 2022-01-27 Kabushiki Kaisha Toshiba Drive control device, drive control method, and computer program product
JP7086245B1 (ja) * 2021-03-18 2022-06-17 三菱電機株式会社 進路生成装置および車両制御装置
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz
US11703870B2 (en) 2021-05-11 2023-07-18 Toyota Research Institute, Inc. Method for computing maneuvers drivable space using piecewise semantic aggregation of trajectories
US11892832B2 (en) * 2021-06-16 2024-02-06 Waymo Llc Lane path modification framework
US11891060B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and method in lane departure warning with full nonlinear kinematics and curvature
US11840147B2 (en) 2021-07-13 2023-12-12 Canoo Technologies Inc. System and method in data-driven vehicle dynamic modeling for path-planning and control
US11908200B2 (en) * 2021-07-13 2024-02-20 Canoo Technologies Inc. System and method in the prediction of target vehicle behavior based on image frame and normalization
US11845428B2 (en) 2021-07-13 2023-12-19 Canoo Technologies Inc. System and method for lane departure warning with ego motion and vision
US11891059B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and methods of integrating vehicle kinematics and dynamics for lateral control feature at autonomous driving
KR20230071847A (ko) * 2021-11-15 2023-05-24 현대자동차주식회사 차량의 제어권 이양 판단 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087992A (zh) * 2004-12-24 2007-12-12 富士通天株式会社 驾驶辅助装置
CN101128337A (zh) * 2005-02-21 2008-02-20 罗伯特·博世有限公司 在驾驶员辅助系统中确定对象的似然性的方法
US20120095682A1 (en) * 2009-06-16 2012-04-19 Christopher Kenneth Hoover Wilson Methods and Systems for Creating Digital Street Network Database
CN104029676A (zh) * 2013-03-05 2014-09-10 通用汽车环球科技运作有限责任公司 车辆车道确定
CN104870288A (zh) * 2012-11-06 2015-08-26 谷歌公司 辅助自主车辆行驶经过车道合并的方法和系统
US20160102986A1 (en) * 2014-10-10 2016-04-14 Here Global B.V. Apparatus and associated methods for use in lane-level mapping of road intersections
CN106476690A (zh) * 2015-09-01 2017-03-08 丰田自动车株式会社 驾驶辅助装置
CN107148378A (zh) * 2014-11-10 2017-09-08 罗伯特·博世有限公司 用于运行驾驶员辅助系统的方法和驾驶员辅助系统
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
CN107462243A (zh) * 2017-08-04 2017-12-12 浙江大学 一种基于高精度地图的云控自动驾驶任务生成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3498310B2 (ja) 2001-04-23 2004-02-16 株式会社日立製作所 道路地図作成システム
JP4861850B2 (ja) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法
DE102013211696A1 (de) * 2013-06-20 2014-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Vervollständigen und/oder Aktualisieren einer digitalen Straßenkarte, Vorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
US10247559B2 (en) * 2016-05-02 2019-04-02 Here Global B.V. Method and apparatus for disambiguating probe points within an ambiguous probe region
JP2018173534A (ja) 2017-03-31 2018-11-08 日産自動車株式会社 地図生成方法及び地図生成装置
US11009884B2 (en) * 2017-09-29 2021-05-18 Direct Current Capital LLC Method for calculating nominal vehicle paths for lanes within a geographic region
US11073831B2 (en) * 2018-10-17 2021-07-27 Baidu Usa Llc Autonomous driving using a standard navigation map and lane configuration determined based on prior trajectories of vehicles

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087992A (zh) * 2004-12-24 2007-12-12 富士通天株式会社 驾驶辅助装置
CN101128337A (zh) * 2005-02-21 2008-02-20 罗伯特·博世有限公司 在驾驶员辅助系统中确定对象的似然性的方法
US20120095682A1 (en) * 2009-06-16 2012-04-19 Christopher Kenneth Hoover Wilson Methods and Systems for Creating Digital Street Network Database
CN104870288A (zh) * 2012-11-06 2015-08-26 谷歌公司 辅助自主车辆行驶经过车道合并的方法和系统
CN104029676A (zh) * 2013-03-05 2014-09-10 通用汽车环球科技运作有限责任公司 车辆车道确定
US20160102986A1 (en) * 2014-10-10 2016-04-14 Here Global B.V. Apparatus and associated methods for use in lane-level mapping of road intersections
CN107148378A (zh) * 2014-11-10 2017-09-08 罗伯特·博世有限公司 用于运行驾驶员辅助系统的方法和驾驶员辅助系统
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
CN106476690A (zh) * 2015-09-01 2017-03-08 丰田自动车株式会社 驾驶辅助装置
CN107462243A (zh) * 2017-08-04 2017-12-12 浙江大学 一种基于高精度地图的云控自动驾驶任务生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019497A (zh) * 2022-01-05 2022-02-08 南京楚航科技有限公司 一种基于毫米波雷达方差统计的目标变道识别方法
CN114019497B (zh) * 2022-01-05 2022-03-18 南京楚航科技有限公司 一种基于毫米波雷达方差统计的目标变道识别方法
CN116029178A (zh) * 2023-03-29 2023-04-28 长安新能源南京研究院有限公司 一种模型建立方法、装置、电子设备及存储介质
CN116029178B (zh) * 2023-03-29 2023-08-18 长安新能源南京研究院有限公司 一种模型建立方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3887762A2 (en) 2021-10-06
US20220082403A1 (en) 2022-03-17
EP3887762B1 (en) 2024-05-15
JP2022523613A (ja) 2022-04-26
WO2020112827A2 (en) 2020-06-04
JP7432285B2 (ja) 2024-02-16
WO2020112827A3 (en) 2020-07-30
JP2024045389A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
AU2022203634B2 (en) Localizing vehicle navigation using lane measurements
JP7432285B2 (ja) レーンマッピング及びナビゲーション
US20210311490A1 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
US10248124B2 (en) Localizing vehicle navigation using lane measurements
CN111902694A (zh) 用于确定导航参数的系统和方法
CN114440898A (zh) 用于车辆导航的系统和方法
CN112654836A (zh) 用于车辆导航的系统和方法
CN113874683A (zh) 用于车辆导航的系统和方法
CN114514411A (zh) 用于交通工具导航的系统和方法
CN114729813A (zh) 用于车辆导航的系统和方法
CN113924462A (zh) 用于确定物体尺寸的导航系统和方法
CN113490835A (zh) 用于车辆导航的系统和方法
CN117824697A (zh) 用于基于地图的真实世界建模的系统和方法
CN117651668A (zh) 用于监测车道标记质量的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination