CN116888035A - 基于图像的定位模块 - Google Patents

Abstract

本发明提供了执行车辆的定位的系统和方法。所述系统接收包括以下中的一者或多者的数据：来自一个或多个视觉传感器的原始图像、运动传感器数据或车道级标测图信息。所述系统基于所述数据来确定所述车辆位于其中的车道以及所述车辆的中心相对于所述车道的中心的横向位移。

Description

基于图像的定位模块

相关申请的交叉引用

本申请要求于2020年12月18日提交的题为“IMAGE-BASED LOCALIZATION MODULE”的美国临时专利申请号63/127,278在35U.S.C.119下的权益和优先权，该美国临时专利申请通过引用其全部内容并入本文。

背景技术

车辆可以配备全球定位系统以定位道路上的车辆。全球定位系统控制系统可以从卫星接收指示卫星位置的信号。全球定位系统可以计算与卫星的距离以确定车辆的大致位置。

发明内容

本技术方案是基于图像的定位的定向系统、方法和设备。由于定位车辆位置的技术挑战，如全球定位系统(GPS)可能缺乏准确性或分辨率，因此GPS可能无法提供车辆在道路上的可靠或确切的位置。例如，GPS可以提供车辆在区域中的大致位置和车辆走过的路线。然而，GPS可能缺乏识别车辆在哪条车道上或车辆在其中走过的特定道路上有多少条车道的能力。此外，GPS可能提供过时或不准确的信息，并且可能无法指示道路上的不平整部。

因此，本文所讨论的技术方案可以包括位置模块，该位置模块可以从车辆的部件接收各种传感器数据以确定车辆的位置，包括例如车辆在其中走过的道路的车道以及距车道中心的横向位移。位置模块可以通过使实时道路概况与预定道路概况相关来确定和提供车辆的纵向定位。此外，位置模块可以检测任何不平整部(诸如坑洞、检修孔、减速带以及其他障碍物)，以向操作者或用户进行警报。因此，该技术方案的系统和方法可以接收传感器数据，包括原始图像、运动传感器数据或车道级标测图信息，来以具有改善的准确度、分辨率和可靠性确定车辆的横向和纵向位置，并且向用户警报检测到的不平整部，以改善驾驶体验、车辆寿命和操作者的安全性。

至少一个方面涉及一种执行车辆的定位的系统。该系统可以包括数据处理系统，该数据处理系统包括一个或多个处理器以及存储器。数据处理系统可以执行定位模块。定位模块可以接收包括以下中的一者或多者的数据：来自一个或多个视觉传感器的原始图像、运动传感器数据或车道级标测图信息。定位模块可以基于数据来确定车辆位于其中的车道以及车辆的中心相对于车道的中心的横向位移。

在一些具体实施中，数据处理系统可以使用视觉检测技术来检测车道的标志物，视觉检测技术包括图像分割或深度学习中的至少一者。数据处理系统可以接收包括以下中的至少一者的运动传感器数据：在车辆的重心处测量的角速度和线性加速度；车速；或在车辆的一个或多个车轮处测量的加速度。

数据处理系统可以接收包括以下中的至少一者的车道级标测图信息：道路上的车道的数量，指示曲率或宽度的车道的中心线的几何形状，或指示以下中的至少一者的车道的标志物的样式：标志物的颜色、虚线标志物、实线标志物或标志物的宽度。

数据处理系统可以使用Kalman滤波器来融合接收到的数据以确定车道。数据处理系统可以使用多传感器数据融合技术来融合接收到的数据以确定车道。

数据处理系统可以提供通过数据处理系统确定的对车道的指示，以经由车辆的显示装置来呈现。数据处理系统可以提供车道以及道路的一个或多个附加车道的道路概况标测图，以经由车辆的显示装置来呈现。

数据处理系统可以基于实时估计的道路概况与从标测图加载的车道的预定道路概况的相关性来确定纵向定位。数据处理系统可以检测实时估计的道路概况或预定道路概况的一个或多个不平整部，该一个或多个不平整部包括坑洞、检修孔或减速带中的至少一者。数据处理系统可以将该一个或多个不平整部分为一个或多个严重性级别。数据处理系统可以向车辆的用户呈现指示该一个或多个不平整部和对应的一个或多个严重性级别的警报，警报包括视觉警报、音频警报或触觉警报中的至少一者。

至少一个方面涉及一种执行车辆的定位的方法。该方法可以包括数据处理系统接收包括以下中的一者或多者的数据：来自一个或多个视觉传感器的原始图像、运动传感器数据或车道级标测图信息。该方法可以包括确定车辆位于其中的车道以及车辆的中心相对于车道的中心的横向位移。

该方法可以包括通过数据处理系统使用视觉检测技术来检测车道的标志物，视觉检测技术包括图像分割或深度学习中的至少一者。该方法可以包括通过数据处理系统来接收包括以下中的至少一者的运动传感器数据：在车辆的重心处测量的角速度和线性加速度；车速；或在车辆的一个或多个车轮处测量的加速度。

该方法可以包括通过数据处理系统来接收包括以下中的至少一者的车道级标测图信息：道路上的车道的数量，指示曲率或宽度的车道的中心线的几何形状，或指示以下中的至少一者的车道的标志物的样式：标志物的颜色、虚线标志物、实线标志物或标志物的宽度。该方法可以包括通过数据处理系统使用Kalman滤波器来融合接收到的数据以确定车道。该方法可以包括通过数据处理系统使用多传感器数据融合技术来融合接收到的数据以确定车道。

该方法可以包括通过数据处理系统提供通过数据处理系统确定的对车道的指示，以经由车辆的显示装置来呈现。该方法可以包括通过数据处理系统提供车道以及道路的一个或多个附加车道的道路概况标测图，以经由车辆的显示装置来呈现。

该方法可以包括通过数据处理系统基于实时估计的道路概况与从标测图加载的车道的预定道路概况的相关性来确定纵向定位。该方法可以包括通过数据处理系统来检测实时估计的道路概况或预定道路概况的一个或多个不平整部，该一个或多个不平整部包括坑洞、检修孔或减速带中的至少一者。该方法可以包括通过数据处理系统将该一个或多个不平整部分为一个或多个严重性级别。该方法可以包括通过数据处理系统向车辆的用户呈现指示该一个或多个不平整部和对应的一个或多个严重性级别的警报，警报包括视觉警报、音频警报或触觉警报中的至少一者。

这些和其他方面以及具体实施在以下详细讨论。前述信息和以下详细描述包括各个方面和具体实施的说明性示例，并且提供用于理解要求保护的方面和具体实施的性质和特征的概述或框架。附图提供对各个方面和具体实施的说明和进一步理解，并且并入并构成本说明书的一部分。

附图说明

附图不旨在按比例绘制。各个附图中相似的附图标记和名称表示相似的元件。为了清晰起见，并不是在每个附图中都可能标记每个部件。在附图中：

图1是根据具体实施的用于基于图像的定位的示例性系统的框图；

图2是根据具体实施的车辆在道路上的定位的示例性说明；

图3是根据具体实施的用于基于图像的定位的示例性方法的流程图；并且

图4是说明可以用于实现本文描述和说明的系统、方法和设备的要素的计算机系统的架构的框图，包括例如图1至图2中描绘的系统和设备以及图3中描绘的方法。

具体实施方式

以下是对与用于车辆定位的系统、方法和设备相关的各种概念及其具体实施的更详细描述。上面介绍的和下面更详细讨论的各种概念可以以多种方式中的任何一种来实现。

本公开涉及用于基于图像的定位的系统、方法和设备。该系统可以包括具有位置模块(例如，有时被称为定位模块或数据处理系统)的车辆，该定位模块包括一个或多个处理器以及存储器。车辆可以包括一个或多个传感器来收集输入数据，诸如来自视觉传感器的原始图像、运动传感器数据或车道级标测图信息。基于从传感器接收到的输入数据，位置模块可以确定至少道路上的车道的数量、车辆占用的车道以及车辆距相应车道的中心的相对横向位移。位置模块可以使用定位技术(诸如Kalman滤波器)或基于多传感器数据融合技术、方法或过程来定位车辆。

车辆可以包括一个或多个车载软件部件，以用于预览道路概况或突出显示车辆路径上的任何不平整部。道路概况可以为具有详细道路信息(诸如道路上的车道的数量、各个车道的宽度、车道标记、交通标志、特定道路的速度限制、道路的曲率、道路的平整度等等)的标测图的一部分。车辆(例如，位置模块)可以使用车辆的该一个或多个传感器来生成实时道路概况。位置模块可以使实时道路概况与预定或存储的道路概况相关来确定车辆的纵向位置。位置模块可以向驾驶员或乘客突出显示、警报或指示道路上的不平整部，包括不平整部的严重程度级别。因此，本技术方案的系统和方法可以改善车辆的横向和纵向定位，并且提供对道路上的不平整部的实时警报，从而改善驾驶员和乘客的安全性和驾驶体验。

现在参考图1，示出了用于基于图像的定位的示例性系统的框图。系统100可以包括车辆101、电连接到车辆的数据处理系统(“DPS”)102、网络103和服务器104。系统100可以包括电连接到车辆101和DPS102的多个传感器106和至少一个显示装置108。系统100可以包括电连接到车辆101和DPS102的多个车辆系统。在一些情况下，DPS102可以控制车辆101的一个或多个部件，诸如悬架系统、制动系统、转向系统以及其他系统，以在道路上辅助驾驶员。DPS102可以经由网络103连接到服务器104。与服务器的连接使得DPS102能够向服务器104上传数据(例如，数据包、信息和文件)以及从该服务器下载数据。在一些具体实施中或在一些情况下，DPS 102可以不连接到服务器104，例如以基于车辆101本地的信息进行车辆定位。

系统100的一个或多个部件(例如，车辆101、DPS102、网络103、服务器104、传感器106或显示装置108)可以为一个或多个单独的部件、单个部件或彼此的一部分。系统100的一个或多个部件可以由硬件、软件或者硬件和软件的一个或多个组合构成。与车辆101相关的系统100的一个或多个部件可以在不同于车辆101的一个或多个车辆中实现或连接到该一个或多个车辆。换句话说，一个或多个车辆可以包括与连接到车辆101的系统100的部件相似的部件。该一个或多个车辆可以与车辆101相似地操作。操作包括数据收集、处理、传输、接收等。该一个或多个车辆可以包括与车辆101不同的配置，诸如车辆101的品牌、型号、轨距或类型。来自车辆101的数据可以由DPS102或服务器104处理，以用于定位和不平整部检测。例如，车辆101可以收集和处理传感器数据。

车辆101可以装备有至少悬架系统、制动系统和转向系统，以在道路上辅助驾驶员。车辆101可以包括一个或多个传感器106，诸如至少一个测距传感器、加速度计、陀螺仪、距离传感器、倾斜传感器、速度传感器、定位传感器、惯性测量单元(“IMU”)、成像传感器(例如，视觉传感器)、红外传感器等等。传感器106可以用于收集车辆101内部或外部的数据。内部数据可以包括例如流体温度、发动机温度、废气排放、车辆运动(例如，速度、加速度、倾斜度、角速度或加速度、扭矩等等)、RPM等。外部数据可以包括例如道路的原始图像、车道信息、道路上的标志或标记、天气状况等。

传感器106可以安装或嵌入在车辆101的任何部分中。例如，视觉传感器或成像传感器可以安装在车辆的前部、后部或侧面(诸如靠近前灯、挡风玻璃或车辆的引擎盖、后备箱、车顶或后视镜)以及其他地方或位置。传感器106

车辆101可以包括至少一个显示装置108。显示装置108可以嵌入或安装在车辆101内部。显示装置108可以安装在仪表板或车辆101的驾驶员可接近的其他位置。衬垫(pad)或其他安装部件可以用于将显示装置108安装在车辆101中。驾驶员或操作者可以经由显示装置108操作和可视化收集到的传感器数据。显示装置108可以为具有供驾驶员操作的交互要素的触摸屏装置。响应于从DPS102接收到警报，显示装置108可以显示至少一个通知。警报可以包括针对驾驶员的不平整部检测或警告，诸如以帮助驾驶员在道路上行驶。在一些情况下，警报可以包括：对系统100的软件部件的更新，或将存储在车辆101的存储器中的收集到的数据上传到服务器104的请求。用户可以使用显示装置108从服务器104下载信息，诸如存储在服务器104上的标测图或道路概况。在一些情况下，显示装置108可以用于下载由其他车辆收集并由相应的车辆或服务器104处理的信息。在一些情况下，显示装置108可以用于从车辆101上传信息以用于云存储装置或在服务器104上进行处理。在这种情况下，车辆101可以从服务器104下载经处理的数据，以用于定位和不平整部检测以及其他特征或功能。

网络103可以包括计算机网络(诸如互联网、局域网、广域网、城域网或其他区域网络、内联网、卫星网络)、其他计算机网络(诸如语音或数据移动电话通信网络)以及它们的组合。网络103可以为可以在系统100的一个或多个部件(例如，DPS 102、车辆101或服务器104)之间中继信息的任何形式的计算机网络。网络103可以在DPS102与一个或多个信息源(诸如网络服务器或外部数据库等等)之间中继信息。在一些具体实施中，网络103可以包括互联网和/或其他类型的数据网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络、卫星网络或其他类型的数据网络。网络103还可以包括被配置为在网络103内接收和/或传输数据的任何数量的计算装置(例如，计算机、服务器、路由器、网络交换机等)。网络103可以进一步包括任何数量的硬连线和/或无线连接。DPS102可以经由网络103与服务器104无线通信(例如，经由WiFi、蜂窝、无线电等)。在一些情况下，DPS102可以经由网络103与其他车辆或DPS(以及其他装置)进行无线通信。

服务器104可以包括、可以为或可以被称为节点、远程装置、远程实体、应用程序服务器、云、远程数据处理系统或后端服务器端点。服务器104可以为系统100的网络103上的多个服务器中的一者。服务器104可以由硬件或软件部件或者硬件或软件部件两者的组合构成。服务器104可以与DPS102(例如，其可以为中介装置或部件以将收集的数据从传感器106传送到服务器104)通信。服务器104可以包括DPS102的一个或多个特征或功能，诸如以用于处理数据或向车辆101提供指令(例如，用于控制车辆101或者向驾驶员或乘客进行警报)。例如，服务器104可以从至少DPS102接收数据包或流量，诸如收集的传感器数据、生成的道路概况等。服务器104可以将数据存储在远程数据储存库中。在一些情况下，服务器104可以处理接收到的传感器数据以生成至少道路概况或车道级标测图信息、定位车辆、执行特征检测(例如，检测道路上的不平整部或障碍物)等等。例如，服务器104可以执行从DPS102委托的一个或多个任务或操作。

DPS102可以作为车辆101的一部分被包括在内，以用于处理数据和控制车辆内的系统，诸如悬架系统、制动系统和转向系统。在一些情况下，DPS102可以为车辆101外部的独立部件。DPS102可以包括一个或多个处理器以及存储器。DPS102可以执行基于图像的定位。DPS102可以包括或被称为定位模块、位置模块或处理装置。DPS102可以包括至少一个接口110、至少一个传感器数据收集器112、至少一个特征检测器114、至少一个定位器116、至少一个道路概况生成器118、至少一个警报生成器120、至少一个控制器122和至少一个数据储存库124。DPS102的该一个或多个部件(例如，接口110、传感器数据收集器112、特征检测器114、定位器116、道路概况生成器118、警报生成器120、控制器122或数据储存库124)可以由硬件、软件或硬件和软件部件的组合构成。DPS102的该一个或多个部件可以为独立部件或单个部件的一部分(例如，定位模块、电路或部件的一部分)。

接口110可以指网络接口卡(例如，物理或虚拟接口卡)。接口110可以与网络103、系统100内的装置(例如，服务器104或车辆101的部件)或DPS102的部件接合。接口110可以包括任何通信接口的特征和功能以与上述部件接合。例如，接口110可以包括标准电话线LAN或WAN链路(例如，802.11、T1、T3、千兆以太网、无限带宽)、宽带连接(例如，ISDN、帧中继、ATM、千兆以太网、SONET上以太网、ADSL、VDSL、BPON、GPON、光纤(包括FiOS))、无线连接或者上述中的任一者或全部的一些组合。可以使用多种通信协议(例如，TCP/IP、以太网、ARCNET、SONET、SDH、光纤分布式数据接口(FDDI)、IEEE 802.11a/b/g/n/ac CDMA、GSM、WiMax和直接异步连接)来建立连接。接口110可以包括至少内置网络适配器、网络接口卡、PCMCIA网卡、EXPRESSCARD网卡、卡总线网络适配器、无线网络适配器、USB网络适配器、调制解调器或者适用于将系统100内的一个或多个部件接合到能够进行通信的任何类型的网络的任何其他装置。DPS102可以经由接口110在系统100内的其他部件内部或外部接收、传输或以其他方式传达数据。

传感器数据收集器112可以从车辆的一个或多个传感器106接收数据。例如，传感器数据收集器112可以接收或收集来自一个或多个成像传感器(例如，视觉传感器)的原始图像数据、来自一个或多个运动传感器(例如，IMU、加速度计、陀螺仪传感器等)的运动传感器数据、以及车道级标测图信息。原始图像数据可以包括或对应于视觉传感器感测到的视频馈送的一个或多个帧。运动传感器数据可以包括至少角速度数据、在车辆的重心处测量的线性加速度数据、车速数据和车辆的车轮加速度数据。

传感器数据收集器112可以响应于处理来自视觉传感器的图像或视频馈送(例如，由特征检测器114处理)来收集车道级标测图信息。在一些情况下，传感器数据收集器112可以从服务器104或数据储存库124接收或检索车道级标测图信息。车道级标测图信息可以包括具有道路的车道信息的标测图。例如，车道级标测图信息可以包括道路上的车道的数量、车道中心线的几何形状(例如，曲率或宽度)、车道标志物的样式(例如，颜色、虚线或实线以及宽度)等。数据处理系统可以将数据和信息存储在数据存储装置内。传感器数据收集器112收集的数据可以存储在数据储存库124中。传感器数据可以由DPS102的一个或多个部件(例如，特征检测器114、定位器116、道路概况生成器118、警报生成器120、控制器122等)使用或处理。在一些情况下，传感器数据收集器112可以将传感器数据发送到服务器104进行处理。

特征检测器114可以处理传感器信息(诸如原始图像数据、运动传感器数据和车道级标测图信息)以确定道路上的特征、物品、物体或其他细节。例如，特征检测器114可以使用计算机视觉处理技术(例如，计算机视觉操作或功能)来处理原始图像数据。计算机视觉处理技术可以包括图像分割技术、深度学习技术以及用于处理图像数据的其他方法中的至少一者，以确定车辆所在的车道。在一些情况下，特征检测器114可以使用经配置用于物体识别的一种或多种机器学习技术，以处理视觉传感器数据并确定物体、符号、标志物以及道路上的其他指示。

在处理图像数据之后，特征检测器114可以识别道路上的车道标志物作为检测结果。例如，特征检测器114可以识别至少颜色(例如，黄色、橙色、白色等)、尺寸(例如，宽度、长度等)、质量(例如，坚硬的、有划痕的、褪色的、透明的等)、车道标志物的特性(例如，实线、虚线、双实线、虚线和实线的组合等)等。在一些情况下，特征检测器114可以使用计算机视觉处理技术来检测道路上的符号、指标或标志物(例如，涂在道路上或在道路旁边的标志)，诸如指示公交车道、停车指标、自行车道等的标志物。与道路上的车道相关联的信息可以与车道级标测图信息相关联或者为车道级标测图信息的一部分。

响应于识别道路上的车道标志物，特征检测器114可以确定车辆101所在的车道。例如，特征检测器114可以基于车道标志物而检测到道路上有三个车道。特征检测器114可以基于车辆101的中心与各种车道标志物的距离而确定车辆101在车道中的一者中。视觉传感器可以定位在车辆的中心处(例如，横向或纵向)，使得图像数据指示车辆101的中心。在一些情况下，视觉传感器可以不定位在车辆的中心处(例如，横向或纵向偏移)。在这种情况下，特征检测器114可以对图像数据应用偏移以确定与车道标志物的位置相比的车辆101的中心的位置。

在一些情况下，特征检测器114可以检测或识别道路上的一个或多个不平整部。特征检测器114可以使用计算机视觉处理技术或其他物体识别计算机视觉技术来识别不平整部、障碍物或危险物品。不平整部可以包括坑洞、检修孔、减速带、物体等。特征检测器114可以检测不平整部的尺寸、深度或特性(例如，形状、颜色等)。特征检测器114可以使用计算机视觉处理技术来识别不平整部的类型，诸如坑洞、检修孔、物体(例如，树枝、球、箱等)等等。特征检测器114可以基于物体的尺寸(例如，在长度、宽度、高度或直径方面具有大于6英寸的大小)、类型等中的至少一者来确定不平整部的严重性级别。严重性级别可以按字母顺序、按数字顺序、按符号顺序等进行排名。在一些情况下，基于至少物体的尺寸或类型，特征检测器114可以忽略不会影响车辆101的性能或健康的某些物体或不平整部或者可以不对其进行分类，诸如深度为4英寸或更小的坑洞、高度小于3英寸的颠簸部、纸袋、细碎的树枝(例如，直径小于3英寸)等。

特征检测器114可以识别至少不平整部所在的车道。例如，特征检测器114可以检测物体位于其之间的车道标记。在一些情况下，特征检测器114可以不对在道路上的车道中的一者之外的物体进行分类或归类。在一些其他情况下，特征检测器114可以对道路上的有交通危险的任何物体进行分类(例如，以通知驾驶员或道路管理人员)。不平整部的位置可以通过特征检测器114和定位器116基于车辆101的位置来确定。例如，特征检测器114可以识别不平整部距车辆101的距离，而定位器116确定车辆101在标测图上的横向和纵向位置。

定位器116(例如，定位模块、横向模块、纵向模块或车道检测器)可以处理来自特征检测器114的检测结果，包括例如对车道标志物的指示。定位器116可以使用至少一种定位技术(例如，定位操作、功能或过程)来处理检测结果。定位技术可以包括例如Kalman滤波器或其他多传感器数据融合技术。利用定位技术，定位器116可以确定车辆所在的车道以及道路上的其他车道，诸如由车道级标测图信息所指示的。定位器116可以基于通过特征检测器114检测到的车道级标测图信息(诸如道路上的车道的数量、车辆101距各个车道标志物的距离、车道中心线的几何形状(例如，曲率、宽度等)、车道标志物样式等)来确定车辆101占用的车道。定位器116可以基于最接近的车道标志物来确定车辆101占用的车道。

定位器116可以通过使用计算机视觉技术或定位技术处理前述数据来确定车辆101距车道中心的横向位移(例如，执行横向定位)。例如，如果视觉传感器被放置在车辆101的中心处(例如，与任一侧横向等距离)，则定位器116可以基于指示距左右车道标志物的距离的图像数据来测量横向位移。在一些情况下，视觉传感器可以不在车辆101的中心处。在这种情况下，定位器116可以分配距相对于车辆101的左右车道标志物的(例如，基于视觉传感器的位置预定的)偏移量。

除了车道或横向位移信息之外，定位器116还可以输出其他信息，如本文所讨论的。定位器116可以将关于车道的信息或车辆101的横向位移信息存储在数据储存库124中。在一些情况下，定位器116可以从数据储存库124检索某些车道级标测图信息，诸如基于车辆101的区域或位置的特定道路上的车道的数量、通过卫星成像或其他车辆捕获的车道标志物的样式等。

在一些情况下，定位器116可以执行车辆101的纵向定位，诸如检测车辆101沿道路、路径或路线的位置。例如，定位器116可以使实时道路概况与车辆101走过的道路上的特定车道的预定道路概况相关。实时道路概况与现有道路概况之间的相关性可以被称为该两个道路概况之间的比较、匹配或区分。实况道路概况可以指在车辆101走过道路时通过道路概况生成器118生成的道路概况。定位器116可以实时地或响应于接收到和处理来自一个或多个传感器106的传感器数据(诸如图像数据、加速度数据、振动数据、来自IMU的数据等)来接收实况道路概况。定位器116可以从车辆101本地的数据储存库124或从服务器104检索预定道路概况。定位器116可以基于车辆101的大致位置(诸如来自GPS的位置数据)、从起点走过的距离、地标(例如，街道名称、路线等)、标志等中的至少一者来加载或检索预定道路概况。

定位器116可以比较特定于占用车道的该两个道路概况(例如，实时道路概况和预定道路概况)，以确定用于加载现有道路概况的标测图上的车辆位置。定位器116可以识别或确定实时道路概况与预定道路概况之间的相似性或相同特征，诸如相似的地标、通过该一个或多个传感器106感测到的振动(例如，基于车辆101的悬架、型号、重量或其他规格)、道路上或道路附近的结构(例如，栏杆、轨道、建筑物等)等。一经确定实时概况匹配预定道路概况的一个或多个部分，定位器116即可以识别车辆101沿标测图的路线的纵向位置。在一些情况下，定位器116可以通过确定车辆101距某些地标或结构的距离来定位车辆101，这些地标或结构在实况道路概况与预定道路概况之间匹配(例如，相似性高于90％)。因此，定位器116(例如，横向和纵向模块、部件或电路)可以执行车辆101的横向和纵向定位，以确定至少车辆101所在的车道、距特定车道的横向位移以及沿路线的纵向位置。

在一些情况下，定位器116可以相对于车辆101定位道路上的任何不平整部的位置。例如，响应于确定车辆101的纵向和横向位移，定位器116可以确定不平整部距车辆101和所定位车道(或在车道之间)的距离。在一些情况下，定位器116可以将车辆101的位置存储上传到服务器104或本地存储在数据储存库124中。

道路概况生成器118可以基于来自一个或多个传感器106的传感器数据来生成道路概况。例如，道路概况生成器118可以基于图像数据、加速度数据(例如，指示道路的颠簸部或纹理的垂直加速度)或倾斜度数据(例如，指示道路的坡度)以及其他信息来生成道路概况。道路概况生成器118可以生成特定于车辆101占用的车道的道路概况。例如，三组道路概况可以与三车道道路相关联。对于相同的三车道道路，道路概况生成器118可以生成道路概况并基于占用车道将生成的道路概况与组中的一者相关联。在一些情况下，道路概况生成器118可以(例如，从本地存储或存储在服务器104上的标测图)检索现有或预定的道路概况，以基于当前生成的道路概况(例如，实况道路概况)来进行修改。在一些情况下，响应于确定车辆101的横向或纵向位置，道路概况生成器118可以将生成的道路概况与标测图上的相应横向或纵向位置相关联。在一些情况下，道路概况可以对应于标测图上的一条或多条路线的区段或部分。

在一些情况下，道路概况生成器118可以包括或对应于道路概况预览系统，该道路概况预览系统可以为车辆101的车载软件部件的一部分。例如，道路概况生成器118可以与车辆101的显示装置108通信，以向操作者或乘客显示或预览生成的道路概况。道路概况预览可以包括至少道路的概要(例如，车道标记、车道标记的类型、人行道、路缘等)、行人、其他车辆、地标、标志、交通灯等。

在一些情况下，道路概况生成器118可以生成包括在道路上(诸如在车辆101走过的车道中)检测到的任何不平整部的道路概况。在一些情况下，道路概况生成器118可以生成具有在道路上的其他车道上检测到的不平整部的道路概况。道路概况生成器118可以基于坑洞、物体等的尺寸来将不平整部记录或分类到特定严重性级别。例如，周长为1英尺的6英寸坑洞可以被分类为严重性级别1(例如，低严重性)。道路概况生成器118可以将周长为3英尺的1英尺坑洞分类为严重性级别2(例如，中等严重性)。道路概况生成器118可以将周长为6英尺的2英尺深坑洞分类为严重性级别3(例如，高严重性)。严重性级别可以反映不平整部可能对车辆101或其他车辆造成的影响。尽管以坑洞为例，但道路概况生成器118可以执行相似的操作以确定颠簸部、物体等的不平整部的严重性级别。在一些情况下，用于将不平整部分类到严重性桶的尺寸范围(例如，大小或尺寸值)可以由DPS102的管理员或车辆101的操作者预定。在一些情况下，道路概况生成器118可以基于由服务器104预定或从该服务器下载的策略或配置来对不平整部进行分类。

警报生成器120可以包括或对应于警报系统，该警报系统可以为车辆101的车载软件部件的一部分。警报生成器120可以经由显示装置108、方向盘(例如，振动、颠簸部等)、仪表板照明(例如，闪光、闪烁等)、音频系统以及车辆101的其他部件中的至少一者生成警报，以向驾驶员或乘客指示道路不平整部。例如，基于实况道路概况与预定道路概况之间的比较，警报生成器120可以确定车辆101正走向障碍物，诸如坑洞、颠簸部等。因此，警报生成器120可以通过视觉(例如，不平整部的显示位置和大小)、音频(例如，由制造商设定的默认声音或由操作者设定的个性化声音)或物理(例如，振动)指示来通知驾驶员或向驾驶员警报不平整部。通过在不平整部之前向操作者或乘客进行警报，警报生成器120可以通过避免危险来增强驾驶员和乘客的安全性，并通过防止损坏来延长车辆101的寿命。在一些情况下，警报生成器120可以基于驾驶期间的实时道路概况或实时物体识别来生成警报。

控制器122可以控制车辆101的一个或多个系统、装置或部件。控制器122可以响应于例如道路上的障碍物或不平整部来控制该一个或多个部件。障碍物可能在车辆101的车道中。例如，控制器122可以基于实时道路概况或实时道路概况与预定道路概况之间的相关性来辅助驾驶员转向远离通过特征检测器114检测到的物体、坑洞等。在一些情况下，控制器122可以增加车辆101的制动系数以增强制动性能。

数据储存库124可以对应于或被称为数据存储装置、存储器装置、集中式储存库或数据源。数据储存库124可以在车辆101或DPS102的本地。在一些情况下，数据储存库124可以为能够与DPS102解耦的独立装置。数据储存库124可以由DPS 102的一个或多个部件(例如，传感器数据收集器112、特征检测器114、定位器116、道路概况生成器118或警报生成器120)访问。在一些情况下，数据储存库124可以由连接到网络103的系统100的其他装置(例如，服务器104)访问。数据储存库124可以包括至少一个传感器数据存储装置126、至少一个道路概况存储装置128和至少一个标测图存储装置130。数据储存库124可以包括其他存储装置以存储本文讨论的信息，以用于车辆101的定位、检测不平整部、提供警报等。

传感器数据存储装置126可以包括、存储或保持从该一个或多个传感器106收集到的数据。在一些情况下，传感器数据存储装置126可以存储从服务器104检索到的传感器数据，诸如对应于车辆101在标测图上的横向或纵向位置的感测数据。传感器数据可以用于特征检测、定位、生成道路概况、道路概况之间的相关性等等。在一些情况下，存储的传感器数据可以被上传到服务器104。

道路概况存储装置128可以包括、存储或保持标测图的道路概况。可以从道路概况生成器118生成道路概况(例如，实况道路概况)。可以从服务器104、远程装置或其他车辆检索或获得道路概况(例如，预定或已知的道路概况)。各个道路概况可以特定于道路上的车道。在一些情况下，道路概况可以包括高度、重量、悬架或对应于标测图上的位置的车辆的其他信息。例如，可以基于车辆信息来对道路概况进行归一化，使得任何车辆都可以使预定道路概况与相应实时道路概况相关。道路概况可以从标测图加载，该标测图可以包括车辆101当前所在车道的数据(例如，对应于车道的实时道路概况)。

在一些情况下，可以在驾驶期间从服务器104加载道路概况(例如，预定道路概况)。例如，可以基于车辆101走过的路线或由操作者选择的导航路径来检索预定道路概况。在一些其他情况下，可以基于车辆101的位置来加载预定道路概况，例如，加载具有在车辆101周围5英里范围内的道路概况的标测图。在一些情况下，实时道路概况可以用于替换或更新特定的占用车道和车辆位置的现有(预定)道路概况。

标测图存储装置130可以包括、存储或保持至少一个标测图。标测图可以包括道路上的所有车道的各种道路概况。标测图可以本地存储在数据存储装置中或云(例如，服务器104)中，诸如远程数据存储装置中。标测图可以通过DPS102的一个或多个部件被加载，以检索包括现有道路概况的标测图信息。例如，可以基于通过特征检测器114检测到的特征使用通过道路概况生成器118生成的实况道路概况来更新标测图。

参考图2，示出了车辆206A-B在道路上的定位的示例性图示200。图示200包括三车道道路，诸如车道202A-C，其中车道202D对应于对向交通。线204A可以表示车道202A的中心，并且线204B可以表示车道202B的中心。点208A和点208B可以分别指示车辆206A和206B的中心。车辆206A-B可以包括与车辆101相似的一个或多个部件(例如，DPS102)，诸如结合图1。所示道路可以包括不平整部，诸如坑洞、颠簸部等，如不平整部214和216所示。

车辆206A的DPS102可以基于车辆206A的中心208A与车道202B的中心204B之间的增量或距离212来执行横向定位。中心208A可以位于沿车辆206B(例如，与车辆206A相似)的纵向轴线的任何点处。距车道202B的中心204B的距离212可以表示车辆206B的横向位置。DPS102可以基于针对车辆206B生成的实时道路概况与预定道路概况之间的相关性来确定车辆206B在道路上的纵向位置。因此，DPS102可以确定车辆206B的横向和纵向位置。

用于确定横向和纵向位置的相似过程可以通过车辆206A的DPS102来执行。在这种情况下，车辆206A的横向位置可以基于车道202A和距该车道的中心204A的距离210。在一些情况下，DPS102可以确定车辆206A在两条车道(例如，车道202A-B)之间。DPS102可以基于车辆206A占用的一条或多条车道来加载多个道路概况。例如，DPS102可以基于从车辆206A的中心208A到车道202B的中心204B的距离来确定车辆206A的横向位置。

DPS102可以向车辆206A-B警报任何即将来临的不平整部。例如，DPS102可以检测到车辆206B正在接近不平整部214。因此，DPS102可以(例如，经由方向盘振动、显示装置108上的通知等中的至少一者)向驾驶员或乘客警报不平整部214的类型和严重性级别。在一些情况下，DPS102可以向操作者警报一条或多条其他车道中的不平整部(例如，不平整部216)，以便操作者避开多个不平整部或障碍物。通过向操作者通知其他车道上的不平整部，操作者可以在避开第一不平整部的同时避免与第二不平整部发生撞击、碰撞或相互作用。在车辆206A的情况下，DPS102可以基于车辆101的角加速度或由操作者发起的转向信号来识别从车道202A到车道202B的车道改变。DPS102可以向操作者警报车道202B中的不平整部214。在一些其他情况下，DPS102可以基于一个或多个行人或车辆正处于车辆101的路径中、车辆101在没有闪光警戒灯的情况下偏离特定车道、车辆101试图移动到非现有车道(例如，移动到车道202A的右侧)等来向操作者进行警报。

参考图3，根据具体实施示出了用于基于图像的定位的示例性方法300的流程图。方法300可以使用例如至少在图1和图2中描绘的一个或多个部件来执行或操作。简要概述，在步骤302处，DPS可以接收数据。在步骤304处，DPS可以检测车道标志物。在步骤306处，DPS可以确定车道和横向位移。在步骤308处，DPS可以将实时道路概况与预定道路概况进行比较。在步骤310处，DPS可以确定实时道路概况是否与预定道路概况相关。在步骤312处，DPS可以确定纵向定位。在步骤314处，DPS可以确定是否检测到不平整部。在步骤316处，DPS可以对不平整部进行分类。在步骤318处，DPS可以呈现警报。

进一步详细地参考图8，在步骤302处，DPS(例如，定位模块、系统或部件)可以从车辆的一个或多个传感器接收数据。DPS可以从数据储存库(诸如本地数据存储装置或云上的远程数据存储装置)检索数据。数据可以包括至少以下中的一者或多者：来自一个或多个视觉传感器的原始图像；运动传感器数据；或车道级标测图信息。运动传感器数据可以包括以下中的至少一者：在车辆的重心处测量的角速度或线性加速度；车速；或在车辆的一个或多个车轮处测量的加速度等。车辆的重心可以基于车辆上的负载进行更改。例如，在一些情况下，重心可以指在没有负载的情况下的车辆上的位置。

车道级标测图信息可以包括关于道路上的车道的信息。例如，车道级信息可以包括以下中的至少一者：道路上的车道的数量、指示车道的曲率或宽度的车道的中心线(或边线)的几何形状、车道的标志物的样式等。标志物的样式可以包括或指示标志物的颜色、虚线标志物、实线标志物或标志物的宽度中的至少一者。

在步骤304处，DPS可以检测车道标志物，诸如基于来自视觉传感器的原始图像或车道级标测图信息。例如，DPS可以基于车道级标测图信息来确定车道的数量、车道的曲率和宽度或标志物的类型。DPS可以使用视觉检测技术来检测车道的标志物。视觉检测技术可以包括或对应于图像分割或深度学习技术中的至少一者。在一些情况下，DPS可以使用物体识别或图像处理技术来检测道路上的一个或多个特征，诸如车道标记。

在步骤306处，DPS可以基于接收到或获得的数据来确定车辆位于其中的车道以及车辆的中心相对于车道的中心的横向位移。车道的中心可以指距相应车道线横向等距离的点。在一些情况下，车道的至少一侧(例如，边缘)可以由路缘、栏杆等来表示或指示。

为了确定车道，DPS可以响应于识别道路上的车道标志物而使用Kalman滤波器来融合接收到的数据。例如，DPS可以使用Kalman滤波器来融合通过视觉传感器捕获的车道标志物信息、车道级信息和车辆信息(例如，高度、宽度等)中的一者或多者，以确定车辆占用的车道。在一些情况下，DPS可以使用多传感器数据融合技术来融合接收到的数据以确定车道。DPS可以提供对通过DPS确定的车道的指示，以经由车辆的显示装置呈现给驾驶员或乘客。例如，DPS可以生成具有在相对于一个或多个车道标志物的位置处的车辆的界面。在一些情况下，DPS可以生成具有与其他车道相关联的车道标志物的界面以进行呈现。

在步骤308处，DPS可以将实时道路概况与预定道路概况进行比较。实时道路概况可以包括或对应于通过DPS响应于从车辆的一个或多个传感器接收到传感器数据而生成的道路概况。道路概况可以包括道路或沿道路的其他结构的概要或视觉表示。道路概况可以包括特定于占用车道和路线上的位置的关联垂直加速度信息。DPS可以将生成的实时道路概况存储在本地或远程数据储存库中。在一些情况下，DPS可以基于实时道路概况来替换、更新或修改现有道路概况(例如，特定于标测图上的车道和位置的预定道路概况)。

DPS可以从数据储存库获得或检索预定道路概况。DPS可以从存储在数据储存库中的标测图来加载预定道路概况。例如，标测图可以包括与各个车道相关联以及沿标测图上的各种路线的各种道路概况。DPS可以基于车辆的导航信息或移动(例如，位置和方向)来确定以下中的至少一者：车辆的大致位置(例如，使用GPS或位置传感器)，以检索与该位置相关联的标测图；或车辆正采取的路线。在一些情况下，DPS可以针对车辆占用的车道或道路的一个或多个附加车道来提供一个或多个道路概况的标测图，以经由显示装置呈现给驾驶员或乘客。

在步骤310处，DPS可以确定实时道路概况是否与预定或现有的道路概况相关。如果道路概况不相关，则DPS可以恢复到步骤302来收集附加传感器数据，以生成实时道路概况。否则，DPS可以前进到步骤312。在一些情况下，DPS可以基于至少图像数据来搜索现有道路概况以与实时道路概况相关。例如，DPS可以识别一个或多个地标、车道标记样式、道路的曲率或其他显著指标(例如，建筑物结构、环境等)以与现有道路概况相关。

在步骤312处，DPS可以确定车辆的纵向定位。DPS可以响应于确定车辆占用的车道或在确定车辆占用的车道之后确定纵向定位。DPS可以在确定横向位移的同时确定纵向定位。在一些情况下，DPS可以响应于确定横向位移而确定纵向定位。纵向定位可以基于实时估计的道路概况与从标测图加载的车道的预定道路概况的相关性。例如，基于道路上的一个或多个要素、特征或信息的相关性(例如，匹配或相似性)，DPS可以基于预定道路概况或距某些指标(例如，建筑物、路缘、十字路口等)的距离和方向来确定车辆的纵向位置。DPS可以提供车辆在标测图上的纵向定位或横向定位中的至少一者以呈现在显示装置上。

在步骤314处，DPS可以检测实时估计的道路概况(例如，实时道路概况)或预定道路概况的一个或多个不平整部。该一个或多个不平整部可以包括坑洞、检修孔、减速带、障碍物等中的至少一者。例如，DPS可以使用实况道路概况来检测道路上的(诸如在道路上的占用车道或其他车道中的)该一个或多个不平整部。在这种情况下，DPS可以使用物体或图像识别处理技术来识别不平整部。因此，DPS可以前进到步骤316以确定不平整部的严重性级别，诸如车辆是否应该避开或者是否可以忽略不平整部。

在另一示例中，DPS可以识别预定道路概况中包括或指示的该一个或多个不平整部。例如，不平整部可以在车辆走过道路之前被其他车辆识别。因此，基于车辆的车道信息、横向位移和纵向定位中的至少一者，DPS可以确定该一个或多个不平整部中的至少一者在车辆路径中。在这种情况下，如果不平整部已被一个或多个其他车辆或装置分类，则DPS可以前进到步骤318。否则，DPS可以前进到步骤316。如果DPS未检测到不平整部，则DPS可以前进到步骤302以进行进一步的数据收集、定位或道路概况生成。

在步骤316处，DPS可以将该一个或多个不平整部分类为一个或多个严重性级别。严重性级别可以按字母顺序、按数字顺序等进行排名，诸如从1到10、从A到F、从低到中等到高等。为了提供示例的目的，可能存在三个严重性级别，诸如低严重性(例如，可能没有危险)、中等严重性(例如，在某些速度或角度下可能对一些车辆有危险)和高严重性(例如，对车辆有危险并且应该避开)。DPS可以使用图像处理技术或其他识别技术来确定不平整部的尺寸、形状或类型中的至少一者。

例如，DPS可以将短减速带(例如，小于3英寸)、小坑洞(例如，深度小于5英寸并且周长小于12英寸)、纸袋、空箱等分类为低严重性。DPS可以将中等减速带(例如，从3英寸到5英寸)、中型坑洞(例如，深度为从5到10英寸并且周长为从12到20英寸)、6英寸周长树枝、交通锥等分类为中等严重性。DPS可以将道路上的高减速带(例如，超过5英寸)、大型坑洞(例如，深度超过10英寸并且周长大于20英寸)、树干、金属梯子、松开的轮胎等分类为高严重性。DPS可以使用其他分类技术来对其他不平整部、物品或障碍物进行分类。在一些情况下，DPS可以基于由DPS的管理员以及其他DPS集中的规则或策略来对该一个或多个不平整部进行分类。DPS可以使用其他技术或级别标准来对严重性进行分类。

在步骤318处，DPS可以向车辆的用户(例如，操作者、驾驶员或乘客)呈现警报。警报可以指示该一个或多个不平整部以及对应的一个或多个严重性级别。警报可以包括视觉警报、音频警报或触觉警报等中的至少一者。视觉警报可以在车辆的显示装置上提供。例如，DPS可以生成用于在显示装置上呈现的预览或图形界面，显示至少不平整部的位置(例如，车道、横向位置或纵向位置)、距车辆的距离、不平整部的类型、不平整部的严重性级别等。在一些情况下，DPS可以提供增强或导航界面，该增强或导航界面建议避开不平整部，诸如建议移动到不同的车道、减速、谨慎前进、增加向左侧或右侧的横向位移等。

音频警报可以包括通知声音或语音消息中的至少一者。例如，通知声音可以基于不平整部的类型，诸如坑洞、检修孔、颠簸部等。在另一示例中，语音消息可以指示关于不平整部的信息(例如，类型或严重性级别)。触觉警报可以应用于用户的方向盘、座椅、踏板等中的至少一者。因此，通过向用户提供本文讨论的警报，DPS可以增强车辆的安全性、驾驶体验以及延长车辆的寿命。

图4是示例性计算机系统400的框图。计算机系统或计算装置400可以包括或用于实现系统100的一个或多个部件或执行方法300的一个或多个方面。例如，系统400可以实现系统100、DPS102、车辆101或服务器104的一个或多个部件或功能。计算系统400包括：至少一个总线405或用于传达信息的其他通信部件，以及用于处理信息的耦接到总线405的至少一个处理器410或处理电路。计算系统400还可以包括用于处理信息的耦接到总线的一个或多个处理器410或处理电路。计算系统400还包括用于存储信息和待由处理器410执行的指令的耦接到总线405的至少一个主存储器415，诸如随机存取存储器(RAM)或其他动态存储装置。主存储器415。主存储器415还可以用于存储推进器控制程序、油箱标测图、收集的数据、油箱检查过程、质量度量、诊断程序或其他信息中的一者或多者。计算系统400可以包括用于存储处理器410的静态信息和指令的耦接到总线405的至少一个只读存储器(ROM)420或其他静态存储装置。存储装置425(诸如固态装置、磁盘或光盘)可以耦接到总线405以持久地存储信息和指令。存储装置425可以包括数据储存库124或远程数据储存库，或者可以为该数据储存库或远程数据储存库的一部分。

计算系统400可以经由总线405耦接到显示器435(诸如液晶显示器或有源矩阵显示器)，以用于向车辆101的操作者显示信息。输入装置430(诸如键盘或语音接口)可以耦接到总线405，以用于将信息和命令传达到处理器410。输入装置430可以包括触摸屏显示器435。输入装置430还可以包括光标控制器(诸如鼠标、轨迹球或光标方向键)，以用于将方向信息和命令选择传达到处理器410并用于控制显示器435上的光标移动。显示器435(例如，在车辆仪表板上)可以例如为DPS102、车辆101或本文所述的其他部件的一部分。显示器可以对应于车辆101的显示装置108。

响应于处理器410执行主存储器415中包含的指令的布置，本文所述的过程、系统和方法可以通过计算系统400来实现。此类指令可以从另一计算机可读介质(诸如存储装置425)读入到主存储器415中。主存储器415中包含的指令的布置的执行致使计算系统400执行本文所述的说明性过程。多处理布置中的一个或多个处理器也可以用于执行主存储器415中包含的指令。硬连线电路系统可以代替软件指令或与软件指令相结合而与本文所述的系统和方法一起使用。本文所述的系统和方法不限于硬件电路系统和软件的任何特定组合。

尽管已在图4中描述了示例性计算系统，但包括本说明书中描述的操作的主题可以在其他类型的数字电子电路系统中、或者在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)、或者在它们中的一者或多者的组合中实现。

包括本说明书中描述的操作的主题可以在数字电子电路系统中、或者在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)、或者在它们中的一者或多者的组合中实现。

本文的一些描述强调系统部件(诸如数据处理系统的部件)方面的结构独立性，其说明这些系统部件的操作和职责的一个分组。执行相似总体操作的其他分组被理解为在本申请的范围内。模块可以在硬件中或作为非暂态计算机可读存储介质上的计算机指令实现，并且模块可以跨各种硬件或基于计算机的部件分布。

上述系统可以提供这些部件中的任何一者或每一者的多个部件，并且可以在独立式系统上或分布式系统中的多个实例化上提供这些部件。此外，上述系统和方法可以作为体现在一个或多个制造品上或者体现在一个或多个制造品中的一个或多个计算机可读程序或可执行指令来提供。制造品可以为云存储装置、硬盘、CD-ROM、闪存卡、PROM、RAM、ROM或磁带。一般而言，计算机可读程序可以用任何编程语言(诸如LISP、PERL、C、C++、C#、PROLOG)或者用任何字节代码语言(诸如JAVA)来实现。软件程序或可执行指令可以作为目标代码存储在一个或多个制造品上或者存储在一个或多个制造品中。

示例性和非限制性模块实现元件包括：提供本文确定的任何值的传感器、提供作为本文确定的值的前体的任何值的传感器、数据链路或网络硬件(包括通信芯片)、振荡晶体、通信链路、线缆、双绞布线、同轴布线、屏蔽布线、发射器、接收器或收发器、逻辑电路、硬连线逻辑电路、根据模块规格配置的处于特定非暂态状态的可重构逻辑电路、任何致动器(包括至少电气、液压或气动致动器)、螺线管、运算放大器、模拟控制元件(弹簧、滤波器、积分器、加法器、除法器、增益元件)或数字控制元件。

本说明书中描述的主题和操作可以在数字电子电路系统中、或者在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)、或者在它们中的一者或多者的组合中实现。本说明书中描述的主题可以作为一个或多个计算机程序(例如，计算机程序指令的一个或多个电路)来实现，该一个或多个计算机程序编码在一个或多个计算机存储介质上以供数据处理设备执行或以控制数据处理设备的操作。替代性地或附加地，可以在人工生成的传播信号(例如，机器生成的电信号、光信号或电磁信号)上对程序指令进行编码，该人工生成的传播信号被生成以对信息进行编码，以便传输到合适的接收器设备供数据处理设备执行。计算机存储介质可以为以下或被包括在以下中：计算机可读存储装置、计算机可读存储基板、随机或串行访问存储器阵列或装置、或者它们中的一者或多者的组合。虽然计算机存储介质不是传播信号，但计算机存储介质可以为编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以为或被包括在一个或多个单独的部件或介质中(例如，多个CD、盘或其他存储装置，包括云存储装置)。本说明书中描述的操作可以实现为通过数据处理设备对存储在一个或多个计算机可读存储装置上或从其他源接收到的数据执行的操作。

术语“计算装置”、“部件”或“数据处理系统”等涵盖用于处理数据的各种设备、装置和机器，以举例的方式包括可编程处理器、计算机、片上系统或上述中的多者或上述的组合。设备可以包括专用逻辑电路系统，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，设备还可以包括针对所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一者或多者的组合的代码。设备和执行环境可以实现各种不同的计算模型基础结构，诸如网络服务、分布式计算和网格计算基础结构。

计算机程序(也称为程序、软件、软件应用程序、应用程序、脚本或代码)可以用任何形式的编程语言来编写(包括编译或解译语言、声明性或过程式语言)，并且可以以任何形式来部署(包括作为独立式程序或作为模块、部件、子例程、对象或适用于在计算环境中使用的其他单元)。计算机程序可以对应于文件系统中的文件。计算机程序可以存储在保持其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)、存储在专用于所讨论的程序的单个文件中或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以经部署以在一台计算机上或者在位于一个站点处或跨多个站点分布并通过通信网络互连的多台计算机上执行。

本说明书中描述的过程和逻辑流程可以通过一个或多个可编程处理器来执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以通过专用逻辑电路系统(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且设备也可以实现为专用逻辑电路系统。适用于存储计算机程序指令和数据的装置可以包括非易失性存储器、介质和存储器装置，以举例的方式包括半导体存储器装置，例如，EPROM、EEPROM和闪存装置；磁盘，例如，内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以通过专用逻辑电路系统来补充或并入专用逻辑电路系统中。

本文所述的主题可以在计算系统中实现，该计算系统包括后端部件(例如，作为数据服务器)或者包括中间件部件(例如，应用程序服务器)或者包括前端部件(例如，具有图形用户界面或网络浏览器的客户端计算机，用户可以通过其与本说明书中描述的主题的具体实施进行交互)或者一个或多个此类后端部件、中间件部件或前端部件的组合。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)和对等网络(例如，自组织对等网络)。

虽然可以以特定次序描述或提及操作，但不需要以所示特定次序或以顺序次序执行此类操作，并且不需要执行所有图示操作。本文所述的动作可以以不同的次序执行。

现在已描述了一些说明性具体实施，显而易见的是，已通过举例的方式呈现的前述内容是说明性的而非限制性的。特别地，尽管本文呈现的许多示例涉及方法动作或系统要素的特定组合，但是那些动作和那些要素可以以其他方式组合以实现相同的目标。并不旨在在其他具体实施或具体实施中从相似作用排除结合一个具体实施所讨论的动作、要素和特征。

本文所使用的措辞和术语是出于说明的目的并且不应该被认为具有限制性。“包含”、“包括”、“具有”、“含有”、“涉及”、“其特征为”“其特征在于”和其变体在本文中的使用意在涵盖其后列出的项目、其等同物和附加项目，以及由其后专门列出的项目组成的替代性具体实施。在一个具体实施中，本文所述的系统和方法由所描述的要素、动作或部件中的一者、多于一者的每个组合或全部组成。

对本文以单数形式提及的系统和方法的具体实施或要素或动作的任何提及也可以涵盖包括多个这些要素的具体实施，并且以复数形式对本文中的任何具体实施或要素或动作的任何提及也可以涵盖包括仅单个要素的具体实施。以单数形式或复数形式提及并不旨在将当前公开的系统或方法、其部件、动作或要素限制为单个或多个配置。对基于任何信息、动作或要素的任何动作或要素的提及可以包括其中动作或要素至少部分地基于任何信息、动作或要素的具体实施。

本文公开的任何具体实施都可以与任何其他具体实施或实施方案相结合，并且对“具体实施”、“一些具体实施”、“一个具体实施”等的提及未必相互排斥，并且旨在指示结合具体实施描述的特定特征、结构或特性可以被包括在至少一个具体实施或实施方案中。如本文中所使用的此类术语未必全部都指相同的具体实施。任何具体实施都可以以与本文公开的方面和具体实施一致的任何方式与任何其他具体实施包含性地或排他性地相结合。

对“或”的提及可以被解释为包含性的，因此使用“或”描述的任何术语都可以表示所描述的术语中的单个、多于一个以及全部中的任何一者。例如，对“‘A’和‘B’中的至少一者”的提及可以包括仅‘A’、仅‘B’以及‘A’和‘B’两者。与“包括”或其他开放性术语结合使用的此类提及可以包括附加项目。

在附图、详细描述或任何权利要求中的技术特征后接附图标记的情况下，已将附图标记包括在内来增加对附图、详细描述和权利要求的理解。因此，附图标记或其缺失对任何权利要求要素的范围都不具有任何限制效应。

对所描述的要素和动作的修改(诸如在各种要素的大小、尺寸、结构、形状和比例、参数值、安装布置、材料用途、颜色、取向方面的变化)可以在实质上不脱离本文所公开的主题的教导和优点的情况下发生。例如，被示为一体形成的要素可以由多个部件或要素构成，要素的位置可以颠倒或以其他方式改变，并且可以更改或改变分立要素或位置的性质或数量。在不脱离本公开的范围的情况下，还可以在所公开的要素和操作的设计、操作条件和布置方面进行其他替换、修改、改变和省略。

在不脱离其特征的情况下，本文所述的系统和方法可以以其他特定形式来体现。因此，本文所述的系统和方法的范围由所附权利要求而非前述描述指示，并且在与权利要求等同的意义和范围内的变化被涵盖在其中。

Claims (20)

1.一种执行车辆的定位的系统，所述系统包括：

数据处理系统，所述数据处理系统包括一个或多个处理器以及存储器；

定位模块，所述定位模块由所述数据处理系统执行以：

接收包括以下中的一者或多者的数据：来自一个或多个视觉传感器的原始图像、运动传感器数据或车道级标测图信息；以及

基于所述数据来确定所述车辆位于其中的车道以及所述车辆的中心相对于所述车道的中心的横向位移。

2.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

使用视觉检测技术来检测所述车道的标志物，所述视觉检测技术包括图像分割或深度学习中的至少一者。

3.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

接收包括以下中的至少一者的所述运动传感器数据：

在所述车辆的重心处测量的角速度和线性加速度；

车速；或

在所述车辆的一个或多个车轮处测量的加速度。

4.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

接收包括以下中的至少一者的所述车道级标测图信息：

道路上的车道的数量，

指示曲率或宽度的所述车道的中心线的几何形状，或

指示以下中的至少一者的所述车道的标志物的样式：所述标志物的颜色、虚线标志物、实线标志物或所述标志物的宽度。

5.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

使用Kalman滤波器来融合接收到的数据以确定所述车道。

6.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

使用多传感器数据融合技术来融合接收到的数据以确定所述车道。

7.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

提供通过所述数据处理系统确定的对所述车道的指示，以经由所述车辆的显示装置来呈现。

8.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

提供所述车道以及道路的一个或多个附加车道的道路概况标测图，以经由所述车辆的显示装置来呈现。

9.根据权利要求1所述的系统，其中所述数据处理系统被进一步配置为：

基于实时估计的道路概况与从标测图加载的所述车道的预定道路概况的相关性来确定纵向定位。

10.根据权利要求9所述的系统，其中所述数据处理系统被进一步配置为：

检测所述实时估计的道路概况或所述预定道路概况的一个或多个不平整部，所述一个或多个不平整部包括坑洞、检修孔或减速带中的至少一者；

将所述一个或多个不平整部分为一个或多个严重性级别；以及

向所述车辆的用户呈现指示所述一个或多个不平整部和对应的一个或多个严重性级别的警报，所述警报包括视觉警报、音频警报或触觉警报中的至少一者。

11.一种执行车辆的定位的方法，所述方法包括：

通过数据处理系统来接收包括以下中的一者或多者的数据：来自一个或多个视觉传感器的原始图像、运动传感器数据或车道级标测图信息；以及

通过所述数据处理系统基于所述数据来确定所述车辆位于其中的车道以及所述车辆的中心相对于所述车道的中心的横向位移。

12.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统使用视觉检测技术来检测所述车道的标志物，所述视觉检测技术包括图像分割或深度学习中的至少一者。

13.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统来接收包括以下中的至少一者的所述运动传感器数据：

在所述车辆的重心处测量的角速度和线性加速度；

车速；或

在所述车辆的一个或多个车轮处测量的加速度。

14.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统来接收包括以下中的至少一者的所述车道级标测图信息：

道路上的车道的数量，

指示曲率或宽度的所述车道的中心线的几何形状，或

指示以下中的至少一者的所述车道的标志物的样式：所述标志物的颜色、虚线标志物、实线标志物或所述标志物的宽度。

15.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统使用Kalman滤波器来融合接收到的数据以确定所述车道。

16.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统使用多传感器数据融合技术来融合接收到的数据以确定所述车道。

17.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统提供通过所述数据处理系统确定的对所述车道的指示，以经由所述车辆的显示装置来呈现。

18.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统提供所述车道以及道路的一个或多个附加车道的道路概况标测图，以经由所述车辆的显示装置来呈现。

19.根据权利要求11所述的方法，所述方法包括：

通过所述数据处理系统基于实时估计的道路概况与从标测图加载的所述车道的预定道路概况的相关性来确定纵向定位。

20.根据权利要求19所述的方法，所述方法包括：

通过所述数据处理系统来检测所述实时估计的道路概况或所述预定道路概况的一个或多个不平整部，所述一个或多个不平整部包括坑洞、检修孔或减速带中的至少一者；

通过所述数据处理系统将所述一个或多个不平整部分为一个或多个严重性级别；以及

通过所述数据处理系统向所述车辆的用户呈现指示所述一个或多个不平整部和对应的一个或多个严重性级别的警报，所述警报包括视觉警报、音频警报或触觉警报中的至少一者。