CN111664854A - 物体位置指示器系统和方法 - Google Patents

Abstract

一种操作作为物体指示器模块的方法包括捕获至少一个图像，所述捕获的图像涵盖对象的环境的至少一部分，确定物体相对于对象的环境的位置，响应于确定物体的位置，确定对至少一个捕获的图像的修改以生成指示物体相对于环境的位置的经修改的图像，以及使经修改的图像呈现在至少一个显示器上。

Description

物体位置指示器系统和方法

相关申请的交叉引用

本申请要求于2019年3月8日提交的申请号为16/297,089 的美国专利申请的权益，该美国专利申请的全部公开内容藉此通过引用并 入本文。

技术领域

本说明书涉及运输运载工具的提供，并且更具体地，涉 及用于改进与运输运载工具系统的对象乘客的通信的技术。

背景技术

近年来，出行共享应用程序作为传统自有汽车、汽车租 赁、出租车、班车等的替代运输手段已变得流行。典型的出行共享应用 程序在运输对象(用户)的移动设备(诸如智能电话)上执行。这种出 行共享应用程序允许运输对象输入起点(通常是该对象当前所在的地方) 和目的地(用户寻求运输到的地方)。出行共享应用程序可以向用户提 供运载工具的估计到达时间。

某些程序共享应用程序在运载工具行驶到由对象用户指 示的起点时向用户提供运输运载工具的当前位置的指示。这样的指示通 常包括对象用户周围的区域的地图的表示以及覆盖在地图的表示上的运载 工具的当前位置的指示。

发明内容

本发明提出通过提供方法来解决上文提到的问题，该方 法包括以下步骤：

-接收至少一个捕获的图像，该至少一个捕获的图像包括对象(subject)的环境的至少一部分；

-确定物体(object)相对于对象的环境的位置；

-响应于确定物体的位置，确定对至少一个捕获的图像的修改以生成 指示物体相对于环境的位置的经修改的图像；以及

-使经修改的图像呈现在至少一个显示器上。

优选地该方法进一步包括以下步骤：

-物体和对象至少是以下各项中的至少一项：

-物体是运载工具并且对象是行人；

-物体是运输站点并且对象是行人；以及

-物体是运载工具并且对象是运输站点。

-确定对至少一个捕获的图像的修改以指示对象相对于经修改的图像 的位置。

-其中确定对至少一个捕获的图像的修改以指示物体在经修改的图像 中的位置包括以下各项中的至少一项：

o调整所显示的物体的颜色；

o突出显示所显示的物体；

o生成指向该物体的箭头；

o生成指示对象与物体之间的距离的距离指示器；以及

o生成指示从对象到物体的方向的罗盘指示器。

-确定物体的位置包括以下各项中的至少一项：

o接收物体的全球定位系统(GPS)数据；

o确定物体相对于至少一个捕获的图像中的地标的相对位置；

o接收物体相对于雷达单元的雷达数据；以及

o接收物体相对于激光雷达(lidar)单元的点云。

-至少一个捕获的图像中的第一图像包括对象和物体两者。

-对象存在于至少一个捕获的图像中的第一图像中，所述第一图像涵 盖(cover)环境的第一部分，物体存在于至少一个捕获的图像中的第二图 像中，所述第二图像涵盖环境的第二部分，该第二部分与该第一部分不同。

-确定对至少一个捕获的图像的修改包括组合第一图像和第二图像。

-该方法包括操作相机以捕获至少一个捕获的图像。

-相机处于以下各项中的一项：

o与对象的移动设备相关联；

o与物体相关联；以及

o不与对象的移动设备或物体相关联。

-确定物体与对象之间的距离正在增大；并且响应于确定距离正在增 大，确定对至少一个捕获的图像的修改以传达物体和对象正在进一步移动 分开的通知。

本发明提出通过还提供系统来解决上文提到的问题，该 系统包括：物体指示器模块，其接收至少一个包括对象的环境的至少一部 分的捕获的图像；确定物体相对于对象的环境的位置；响应于确定物体 的位置，确定对至少一个捕获的图像的修改以生成指示物体相对于环境的 位置的经修改的图像；并且使经修改的图像呈现在至少一个显示器上。

根据本发明的其他有利特征：

-该系统进一步包括提供至少一个捕获的图像的一个或多个感知传感 器。

-一个或多个感知传感器和显示器的实例是移动设备的一部分。

-一个或多个感知传感器包括：捕获包括对象的第一图像的第一感知 传感器；以及第二感知传感器，其捕获包括物体的第二图像，所述第二感 知传感器与所述第一感知传感器不同，并且经修改的图像是根据第一图像 和第二图像而被确定的。

-一个或多个感知传感器的至少一个实例包括相机。

-相机处于以下各项中的一项：与对象的移动设备相关联；与物体 相关联；以及不与对象的移动设备或物体相关联。

本发明提出通过还提供一种非有形的计算机可读存储介 质来解决以上提及的问题，该非有形计算机可读存储介质存储指令，该指 令被配置成用于使处理设备：接收至少一个捕获的图像，该至少一个捕获 的图像包括对象的环境的至少一部分；确定物体相对于对象的环境的位 置；响应于确定位置，修改至少一个捕获的图像以生成指示物体相对于环境的位置的经修改的图像；并且使经修改的图像显示在至少一个显示器 上。

可以将这些和其他方面、特征和实现表达为方法、装置、 系统、组件、程序产品、用于执行功能的装置或步骤、以及以其他方式表 达。

根据包括权利要求的以下描述，这些和其他方面、特征 和实现将变得显而易见。

附图说明

图1示出了具有自主能力的自主运载工具的示例。

图2示出了示例“云”计算环境。

图3示出了计算机系统。

图4示出了自主运载工具的示例架构。

图5示出了可以由感知模块使用的输入和输出的示例。

图6示出了LiDAR系统的示例。

图7示出了操作中的LiDAR系统。

图8更详细地示出了LiDAR系统的操作。

图9示出了规划模块的输入与输出之间的关系的框图。

图10示出了在路径规划中使用的有向图。

图11示出了控制模块的输入和输出的框图。

图12示出了控制器的输入、输出以及组件的框图。

图13示出了物体指示器模块。

图14示出了包括物体指示器模块的系统。

图15示出了对象的环境的俯视图。

图16A示出了环境的一部分的图像。

图16B示出了对显示在智能电话上的图16A的捕获图像 的修改。

图17A示出了环境的一部分的图像。

图17B示出了与图17A不同的环境的一部分的图像。

图17C示出了对智能电话上显示的图17A和图17B的捕 获图像的组合的修改。

图18示出了操作图13的物体指示器模块的方法。

具体实施方式

在以下描述中，出于解释的目的阐述了众多特定细节以 便提供对本发明的透彻理解。然而，将显而易见的是，可以在没有这些特 定细节的情况下实践本发明。在其他情况下，以框图形式示出了公知的结 构和设备，以便避免不必要地使本发明模糊。

在附图中，为了易于描述，示出了示意性要素的特定布 置或次序，示意性要素诸如表示设备、模块、指令块和数据要素的那些示 意性要素。然而，本领域技术人员应当理解，附图中的示意性要素的特定 次序或布置并非旨在暗示要求特定的处理次序或顺序、或过程的分离。此 外，在附图中包括示意性要素并不意味着暗示在所有实施例中都要求此类要素，或者在一些实施例中由此类要素表示的特征可以不被包括在其他要 素中或与其他要素组合。

此外，在附图中，在使用诸如实线或虚线或箭头的之类 连接要素来说明两个或更多个其他示意性要素之间的连接、关系或关联的 情况下，不存在任何此类连接要素并不意味着暗示没有连接、关系或关联 可以存在。换句话说，要素之间的一些连接、关系或关联未在附图中示出， 以免使本公开模糊。另外，为了易于说明，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，在连接要素表示信号、数据或指令 的通信的情况下，本领域技术人员应当理解，此类要素如可根据需要来表 示一个或多个信号路径(例如，总线)以影响通信。

现在将详细参照实施例，在附图中图示出这些实施例的 示例。在以下详细描述中，阐述了众多具体细节以便提供对各个所描述的 实施例的透彻理解。然而，对本领域的普通技术人员将显而易见的是，可 在没有这些特定细节的情况下实践各个所描述的实施例。在其他实例中， 并未对公知方法、程序、组件、电路以及网络进行详细描述，以免不必要地使实施例的各方面模糊。

以下描述了若干特征，这些特征各自可以彼此独立地使 用或者与其他特征的任何组合一起使用。然而，任何单独的特征可能无法 解决上面讨论的问题中的任一个，或者可能仅解决上面讨论的问题之一。 上面讨论的问题中的一些可能无法通过本文中所描述的特征中的任一特征 完全解决。尽管提供了标题，但是与特定标题有关但未在具有该标题的部 分中找到的信息可还在本说明书中的其他地方被找到。本文中根据以下大 纲来对实施例进行描述：

1.总体概述

2.硬件概述

3.自主运载工具架构

4.自主运载工具输入

5.自主运载工具规划

6.自主运载工具控制

7.物体指示器模块系统和方法

总体概述

在本文描述的是一种系统和方法，其捕获区域的图像， 确定物体相对于该区域的位置，确定对捕获的图像的修改以指示该物体相 对于该区域的位置，并使修改的图像呈现在显示器上。

硬件概述

图1示出了具有自主能力的自主运载工具100的示例。

如本文中所使用，术语“自主能力”指使得运载工具能够在 没有实时人类干预的情况下被部分地或完全地操作的功能、特征或设施， 包括但不限于完全自主的运载工具、高度自主的运载工具、以及有条件的 自主运载工具。

如本文中所使用，自主运载工具(AV)是具有自主能力 的运载工具。

如本文中所使用，“运载工具”包括运输货物或人的装置。 例如，汽车、公共汽车、火车、飞机、无人机、卡车、船只、船舶、潜水 器、飞船等。无人驾驶汽车是运载工具的示例。

如本文中所使用，“轨迹”指的是用于将AV从第一时空 位置导航至第二时空位置的路径或路线。在实施例中，第一时空位置被称 为初始或起始位置，且第二时空位置被称为目的地、最终位置、目标、目 标地点、或目标位置。在一些示例中，轨迹由一个或多个段(例如，道路 区段)组成，并且每段由一个或多个块(例如，车道或交叉口的部分)组 成。在实施例中，时空位置与现实世界位置相对应。例如，时空位置是用 于接载或卸放人或货物的接载或卸放位置。

如本文中所使用，“(多个)传感器”包括检测与传感器周 围的环境有关的信息的一个或多个硬件组件。硬件组件中的一些可包括感 测组件(例如，图像传感器、生物特征识别传感器)、发射和/或接收组件 (例如，激光或射频波发射器和接收器)、电子组件(诸如，模数转换器)、 数据存储设备(诸如，RAM和/或非易失性存储)、软件或固件组件以及数 据处理组件(诸如，ASIC(专用集成电路))、微处理器和/或微控制器。

如本文中所使用，“场景描述”是数据结构(例如，列 表或数据流)，该数据结构包括由AV运载工具上的一个或多个传感器检 测到的或由在AV外部的源提供的一个或多个经分类或经标记的物体。

如本文中所使用，“道路”是可由运载工具穿行的物理 区域，并且可以与经命名的通路(例如，城市街道、州际高速公路等)对 应，或可以与未经命名的通路(例如，住宅或办公建筑中的驾驶道、停车 场的一段、空地的一段、以及乡村区域的土路等)对应。由于一些运载工 具(例如，四轮驱动接载卡车、运动型多功能车等)能够穿行各种并非专 门针对运载工具行驶适配的物理区域，因此“道路”可以是并非由任何市 政当局或其他政府或行政主体正式定义为通路的物理区域。

如本文所使用，“车道”是可由运载工具穿行的道路的 一部分。车道有时是基于车道标记被标识的。例如，车道可与车道标记之 间绝大多数或所有空间对应，或可与车道标记之间仅一些(例如，少于50％) 空间对应。例如，具有分隔较远的车道标记的道路可在标记之间容纳两个 或更多个运载工具，使得一个运载工具可在不穿行车道标记的情况下经过 另一运载工具，并且可因此解释为具有比车道标记之间的空间更窄的车道， 或在车道标记之间具有两个车道。在没有车道标记的情况下，车道也可被 解释。例如，可以基于环境的物理特征来限定车道，例如，乡村区域中沿 着通路的岩石和树木，或例如在未开发区域中要被避开的自然障碍物。车 道也可独立于车道标记或物理特征被解释。例如，车道可基于在以其他方 式缺少将被解释为车道边界的特征的区域中的不存在障碍物的任意路径而被解释。在示例场景中，AV可解释穿过场地或空地的无障碍物部分的车道。 在另一示例场景中，AV可解释穿过不具有车道标记的宽阔(例如，足够宽 以容纳两个或更多个车道)道路的车道。在该场景中，AV可向其他AV传 送与车道有关的信息，使得其他AV可使用相同的车道信息来在它们之间 协调路径规划。

术语“空中(OTA)客户端”包括任何AV、或被嵌入至 AV中、被耦合至AV或与AV通信的任何电子设备(例如，计算机、控制 器、物联网(IoT)、电子控制单元(ECU))。

术语“空中(OTA)更新”意味着使用专有和/或标准化 无线通信技术被递送至OTA客户端的针对软件、固件、数据或配置设置的 任何更新、改变、删除或增添或其任何组合，该专有和/或标准化无线通信 技术包括但不限于：蜂窝移动通信(例如，2G、3G、4G、5G)、无线电 无线区域网络(例如，Wi-Fi)和/或卫星互联网。

术语“边缘节点”意味着耦合至网络的一个或多个边缘 设备，该一个或多个边缘设备提供用于与AV通信的端口，并且可以与其 他边缘节点以及基于云的计算平台通信，以用于调度OTA更新以及向OTA 客户端递送该OTA更新。

术语“边缘设备”指的是实现边缘节点并且提供进入企 业或服务提供商(例如，VERIZON、AT&T)核心网络的物理无线接入点 (AP)的设备。边缘设备的示例包括但不限于：计算机、控制器、发射器、 路由器、路由交换机、集成接入设备(IAD)、多路复用器、城域网(MAN) 以及广域网(WAN)接入设备。

“一个或多个”包括：由一个要素执行的功能；由多于一个 的要素例如以分布式方式执行的功能；由一个要素执行的若干功能；由若 干要素执行的若干功能；或上述的任何组合。

还将理解的是，虽然在一些实例中，术语第一、第二等 在本文中用于描述各种要素，但这些要素不应受这些术语的限制。这些术 语仅用于将一个要素与另一个区别开来。例如，第一接触件可被称为第二 接触件，并且类似地，第二接触件可被称为第一接触件，而没有背离各个 所描述的实施例的范围。第一接触件和第二接触件二者都是接触件，但它们并非相同的接触件。

在对本文中各种所描述的实施例的描述中使用的术语仅 出于描述特定实施例的目的，而不旨在是限制性的。如在对所描述的各实 施例和所附权利要求的描述中所使用的，单数形式“一(a、an)”、和“该 (the)”旨在也包括复数形式，除非上下文另外明确指出。还将理解的是， 本文所使用的术语“和/或”是指并且包含相关联的所列项目中的任一个以及 相关联的所列项目中的一个或更多个的所有可能的组合。将进一步理解的 是，术语“包含(includes、including)”和/或“包括(comprises、comprising)” 当在本申请文件中使用时，指明所陈述的特征、整数、步骤、操作、要素 和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、 要素、组件和/或其群组的存在或添加。

如本文中所使用的，取决于上下文，术语“如果(if)”可 选地被解释为表示“当…时或“在…后”或“响应于确定”或“响应于检测到”。 类似地，取决于上下文，短语“如果被确定”或“如果检测到(所陈述的状况 或事件)”被可选地解释为表示“在确定…后”或“响应于确定”或“在检测到 (所陈述的状况或事件)后”或“响应于检测到(所陈述的状况或事件)”。

如本文中所使用，AV系统指的是该AV以及支持该AV 的操作的硬件、软件、存储的数据以及实时生成的数据的阵列。在实施 例中，AV系统被包括在AV内。在实施例中，AV系统跨若干位置分布。 例如，AV系统的软件中的一些被实现在类似于下文关于图3描述的云计算 环境300的云计算环境上。

通常，本文档描述了适用于具有一种或多种自主驾驶能 力的任何运载工具的技术，具有一种或多种自主驾驶能力的任何运载工具 包括完全自主的运载工具、高度自主的运载工具和有条件自主的运载工具， 诸如分别称为5级、4级和3级运载工具(参见SAE国际标准J3016：有关 道路上机动车辆自动驾驶系统的术语的分类法和定义，其全文通过引用以 其整体被并入，以获取有关运载工具的自主性级别的分类的更多详细信息。 本文档中描述的技术还可以应用于部分自主的运载工具和驾驶员辅助的运 载工具，诸如所谓的2级和1级运载工具(参见SAE国际标准J3016：有 关道路上机动车辆自动驾驶系统的术语的分类法和定义。在实施例中，1 级、2级、3级、4级和5级运载工具系统中的一个或多个可以基于传感器 输入的处理在某些操作条件下使某些运载工具操作(例如，转向、制动和 使用地图)自动化。本文档描述的技术可以使从完全自主的运载工具到人 工操作的运载工具的范围内的任何级别的运载工具受益。

自主运载工具具有优于需要人类驾驶员的运载工具的优 点。一个优点在于安全性。例如，在2016年中，美国发生了600万起汽车 事故、240万人受伤、4万人死亡以及1300万辆运载工具损毁，估计社会 成本为9100余亿美元。美国每行驶1亿英里的交通死亡已经从1965年的6 人降至2015年的约1人，部分是由于运载工具中部署的额外安全性措施。 例如，警告碰撞将要发生的额外半秒据信减轻了60％的追尾碰撞。然而， 被动安全性特征(例如，安全带、气囊)可能在改善该数字方面已经达到 了极限。由此，主动安全性措施(诸如运载工具的自动控制)可能是改善 这些统计数据的下一步骤。因为据信人类驾驶员要对95％的碰撞中的危险 碰撞前事件负责，因此自动驾驶系统有可能实现更佳的安全性结果，例如，通过比人类更好地可靠地识别并且避免危险情况；比人类做出更好的决策、 遵守交通法、并且比人类更好地预测未来事件；以及比人类更好地可靠地 控制运载工具。

参考图1，AV系统120操作AV 100沿着轨迹198通过 环境190至目的地199(有时被称为最终位置)，同时避开物体(例如，自 然障碍191、运载工具193、行人192、骑行者以及其他障碍物)并遵守道 路规则(例如，操作规则或驾驶偏好)。

在实施例中，AV系统120包括设备101，该设备101被 装配成用于接收来自计算机处理器146的操作命令并根据该操作命令行动。 在实施例中，计算处理器146与下文参照图3描述的处理器304类似。设 备101的示例包括转向控制件102、制动器103、齿轮、加速器踏板或其他 加速控制机制、风挡雨刮器、侧门锁、窗户控制件或转向指示器。

在实施例中，AV系统120包括传感器121，用于测量或 推断AV 100的状态或状况的属性，诸如AV的位置、线速度和角速度和加 速度、以及航向(例如，AV 100前端的取向)。传感器121的示例为GPS、 测量运载工具线性加速度和角速率两者的惯性测量单元(IMU)、用于测 量或估计轮滑移率的轮速度传感器、轮制动压力或制动扭矩传感器、引擎 扭矩或轮扭矩传感器、以及转向角和角速率传感器。

在实施例中，传感器121还包括用于感测或测量AV的环 境的属性的传感器。例如，采用可见光、红外或热(或两者)光谱的单目 或立体视频相机122、LiDAR 123、雷达、超声传感器、飞行时间(TOF) 深度传感器、速度传感器、温度传感器、湿度传感器以及降水传感器。

在实施例中，AV系统120包括数据存储单元142以及存 储器144，用于存储与计算机处理器146相关联的机器指令或由传感器121 收集的数据。在实施例中，数据存储单元142与下文关于图3描述的的 ROM 308或存储设备310类似。在实施例中，存储器144与下文描述的主 存储器306类似。在实施例中，数据存储单元142和存储器144存储与环 境190相关的历史信息、实时信息和/或预测信息。在实施例中，所存储的 信息包括地图、驾驶性能、交通堵塞更新或天气状况。在实施例中，与环 境190相关的数据从远程定位的数据库134经由通信信道被传输到AV 100。

在实施例中，AV系统120包括通信设备140，以用于将 所测量或所推断的其他运载工具的状态和状况的属性(诸如位置、线速度 和角速度、线加速度和角加速度、以及线性航向和角航向)传送至AV 100。 这些设备包括运载工具到运载工具(V2V)和运载工具到基础设施(V2I)通信 设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的设备。在实施例中，通信设备140跨电磁频谱(包括无线电通信和光通信) 或其他介质(例如，空气和声学介质)进行通信。运载工具到运载工具(V2V) 通信和运载工具到基础设施(V2I)通信(以及在一些实施例中，一个或多 个其他类型的通信)的组合有时被称为运载工具到所有(V2X)通信。V2X 通信通常遵守与自主运载工具通信或在自主运载工具之间进行通信的一个 或多个通信标准。

在实施例中，通信设备140包括通信接口。例如，有线、 无线、WiMAX、Wi-Fi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接 口。通信接口将数据从远程定位的数据库134传输到AV系统120。在实 施例中，远程定位的数据库134被嵌入在如图2中所描述的云计算环境200中。通信接口140将从传感器121收集的数据或与AV 100的操作相关的其 他数据传输到远程定位的数据库134。在实施例中，通信接口140将与遥操 作相关的信息传输到AV 100。在一些实施例中，AV 100与其他远程(例 如，“云”)服务器136通信。

在实施例中，远程定位的数据库134还存储并传输数字 数据(例如，存储诸如道路和街道位置之类的数据)。此类数据被存储在 位于AV 100上的存储器144中，或经由通信信道从远程定位的数据库134 被传输到AV 100。

在实施例中，远程定位的数据库134存储并传输与运载 工具的驾驶属性有关的历史信息(例如，速度和加速度分布)，该运载工 具先前在一天中类似的时间处沿着轨迹198行驶。在一个实现中，此类数 据可被存储在位于AV 100上的存储器144中，或经由通信信道从远程定位 的数据库134被传输到AV 100。

位于AV 100上的计算设备146基于实时传感器数据和先 前信息两者通过算法方式生成控制动作，从而允许AV系统120执行其自 主驾驶能力。

在实施例中，AV系统120包括耦合至计算设备146的计 算机外围设备132，用于向AV 100的用户(例如，乘客或远程用户)提供 信息和警报以及接收来自该用户的输入。在实施例中，外围设备132与下 文参照图3所讨论的显示器312、输入设备314、以及光标控制器316类似。 耦合是无线的或有线的。可以将接口设备中的任何两个或更多个集成到单 个设备中。

图2示出了示例“云”计算环境。云计算是服务交付模 型，用于实现到可配置的计算资源(例如，网络、网络带宽、服务器、处 理、存储器、存储、应用、虚拟机以及服务)共享池的方便、按需的网络 访问。在典型的云计算系统中，一个或多个大型云数据中心容纳被用于交 付由云提供的服务的机器。现在参考图2，云计算环境200包括云数据中 心204a、204b以及204c，它们通过云202被互连。数据中心204a、204b 以及204c向被连接到云202的计算机系统206a、206b、206c、206d、206e 以及206f提供云计算服务。

云计算环境200包括一个或多个云数据中心。通常，云 数据中心(例如图2中所示的云数据中心204a)指的是组成云(例如，图 2中示出的云202)或云的特定部分的服务器的物理布置。例如，服务器在 云数据中心物理地布置为房间、群组、排以及机架。云数据中心具有一个 或多个区域，这一个或多个区域包括一个或多个服务器房间。每一个房间 具有一排或多排服务器，并且每一排包括一个或多个机架。每一个机架包 括一个或多个个体服务器节点。在一些实现中，基于数据中心设施的物理 基础设施要求(其包括功率、能量、热、热量和/或其他要求)将区域、房 间、机架和/或排中的服务器被布置成群组。在实施例中，服务器节点与 图3中所描述的计算机系统类似。数据中心204a具有通过许多机架而分布的许多计算系统。

云202包括云数据中心204a、204b和204c以及网络和联 网资源(例如，联网装备、节点、路由器、交换机以及联网电缆)，这些 网络和联网资源将云数据中心204a、204b以及204c互连，并帮助促进计 算系统206a-f对云计算服务的访问。在实施例中，网络表示使用有线或无 线链路耦合的一个或多个本地网络、广域网或互联网络的任何组合，该有 线和无线链路使用地面或卫星连接来部署。通过网络交换的数据使用任何 数量的网络层协议进行传递，这些网络层协议诸如网际协议(IP)、多协 议标签交换(MPLS)、异步传输模式(ATM)以及帧中继等。进一步地， 在其中网络表示多个子网的组合的实施例中，在底层子网中的每一个子网 处使用不同的网络层协议。在一些实施例中，网络表示一个或多个经互连的互联网络，诸如公共互联网。

计算系统206a-f或云计算设备消费方通过网络链路和网 络适配器被连接至云202。在实施例中，计算系统206a-f被实现为各种计 算设备，例如服务器、台式计算机、膝上型计算机、平板、智能手机、物 联网(IoT)设备、自主运载工具(包括，汽车、无人机、班车、火车、公 共汽车等)以及消费者电子产品。在实施例中，计算系统206a-f在其他系 统中实现或实现为其他系统的一部分。

图3示出了计算机系统300。在实现中，计算机系统300 是专用计算设备。专用计算机设备是硬接线的以执行该技术，或包括被永 久地编程以执行该技术的数字电子设备(诸如，一个或多个专用集成电路 (ASIC)或现场可编程门阵列(FPGA))，或可包括被编程以依照固件、 存储器、其他存储或其组合内的程序指令来执行该技术的一个或多个通用 硬件处理器。此类专用计算设备还可将定制的硬接线逻辑、ASIC、或FPGA 与定制的编程进行组合，以实现这些技术。在各种实施例中，专用计算设 备是台式计算机系统、便携式计算机系统、手持设备、网络设备或包含用 于实现这些技术的硬接线和/或程序逻辑的任何其他设备。

在实施例中，计算机系统300包括用于传送信息的总线 302或其他通信机制、以及与总线304耦合以用于处理信息的硬件处理器 302。硬件处理器304例如是通用微处理器。计算机系统300还包括主存储 器306(诸如，随机存取存储器(RAM)或其他动态存储设备)，该主存 储器被耦合至总线302，以用于存储信息以及用于由处理器304执行的指 令。在一个实现中，主存储器306被用来在用于处理器304执行的指令的 执行期间存储临时变量或其他中间信息。此类指令在被存储在对于处理器 304可访问的非瞬态存储介质中时将计算机系统300呈现为被定制成用于 执行这些指令中指定的操作的专用机器。

在实施例中，计算机系统300进一步包括耦合至总线302 的、用于存储用于处理器304的静态信息和指令的只读存储器(ROM)308 或其他静态存储设备。提供存储设备310，并且该存储设备310被耦合至总 线302以用于存储信息和指令，该存储设备310诸如，磁盘、光盘、固态 驱动器、或三维交叉点存储器。

在实施例中，计算机系统300经由总线302被耦合至显 示器312以供向计算机用户显示信息，该显示器312诸如，阴极射线管 (CRT)、液晶显示器(LCD)、等离子体显示器、发光二极管(LED) 显示器、或有机发光二极管(OLED)显示器。包括字母数字及其他键的输 入设备314被耦合至总线302，以用于将信息和命令选择传送到处理器304。 另一类型的用户输入设备是用于将方向信息和命令选择传送到处理器304 并用于控制显示器312上的光标移动的光标控制器316，诸如，鼠标、轨迹 球、启用触摸的显示器、或光标方向键。该输入设备典型地具有两个轴(第 一轴(例如，x轴)和第二轴(例如，y轴))上的两个自由度，这允许设备指定平面中的位置。

根据一个实施例，本文中的技术由计算机系统300响应 于处理器304执行主存储器306中所包含的一条或多条指令的一个或多个 序列而执行。此类指令从另一存储介质(诸如，存储设备310)被读取到主 存储器306中。对主存储器306中所包含的指令序列的执行使得处理器304 执行本文中所描述的过程步骤。在替代实施例中，使用硬接线电路系统代 替软件指令，或者与软件指令组合地使用硬接线电路系统。

本文中所使用的术语“存储介质”是指存储使得机器以特 定方式进行操作的数据和/或指令的任何非瞬态介质。此类存储介质包括非 易失性介质和/或易失性介质。非易失性介质包括例如，光盘、磁盘、固态 驱动器或三维交叉点存储器，诸如存储设备310。易失性介质包括动态存储 器，诸如主存储器306。常见形式的存储介质包括例如，软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质、CD-ROM、任何其他 光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、 闪存-EPROM、NV-RAM、或任何其他存储芯片或盒式存储器。

存储介质与传输介质不同，但可以与传输介质一同使用。 传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、 铜导线和光纤，包括含总线302的导线。传输介质还可以采取声波或光波 的形式，诸如那些在无线电波和红外数据通信期间生成的波。

在实施例中，各种形式的介质涉及将一条或多条指令的 一个或多个序列承载至处理器304以供执行。例如，指令最初被承载在远 程计算机的磁盘或固态驱动器上。远程计算机将这些指令加载到其动态存 储器中，并使用调制解调器通过电话线发送这些指令。计算机系统300本 地的调制解调器在电话线上接收数据，并使用红外发射器以将该数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路系 统将该数据置于总线302上。总线302将数据承载至主存储器306，处理器 304从该主存储器306检取指令并执行这些指令。由主存储器306接收的指 令可在由处理器304执行之前或之后可选地被存储在存储设备310上。

计算机系统300还包括耦合至总线302的通信接口318。 通信接口318提供到网络链路320的双向数据通信耦合，该网络链路320 被连接至本地网络322。例如，通信接口318是集成服务数字网络(ISDN) 卡、电缆调制解调器、卫星调制解调器、或用于提供到对应类型的电话线 的数据通信连接的调制解调器。作为另一示例，通信接口318是用于提供 到兼容的局域网(LAN)的数据通信连接的LAN卡。在一些实现中，还实 现了无线链路。在任何此类实现中，通信接口318发送和接收承载表示各 种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路320典型地提供通过一个或多个网络到其他数 据设备的数据通信。例如，网络链路320提供通过本地网络322到主机计 算机324或到由互联网服务提供商(ISP)326运营的云数据中心或装备的 连接。ISP 326进而通过世界范围的分组数据通信网络(现在通常被称为“互 联网”328)提供数据通信服务。本地网络322和互联网328两者均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网 络链路320上和通过通信接口318的信号是示例形式的传输介质，这些信 号承载去往和来自计算机系统300的数字数据。在实施例中，网络320包 含上文所述的云202或云202的部分。

计算机系统300通过(多个)网络、网络链路320和通 信接口318发送消息并接收包括程序代码的数据。在实施例中，计算机系 统300接收代码以用于处理。所接收的代码在其被接收时由处理器304执 行，和/或被存储在存储设备310和/或其他非易失性存储中以供稍后执行。

自主运载工具架构

图4示出了自主运载工具(例如，图1中所示的AV 100) 的示例架构400。架构400包括感知模块402(有时被称为感知电路)、规 划模块404(有时被称为规划电路)、控制模块406(有时被称为控制电路)、 定位模块408(有时被称为定位电路)、以及数据库模块410(有时被称为 数据库电路)。每一个模块都在AV 100的操作中发挥作用。模块402、 404、406、408以及410一起可以是图1中所示的AV系统120的一部分。 在一些实施例中，模块402、404、406、408以及410中的任一个是计算机 软件(例如，存储在计算机可读介质上的可执行代码)以及计算机硬件(例 如，一个或多个微处理器、微控制器、专用集成电路(ASIC)、硬件存储 器设备、其他类型的集成电路、其他类型的计算机硬件、或上述这些事物 中的任何事物的组合或所有事物)的组合。模块402、404、406、408以及 410中的每一个有时被称为处理电路(例如，计算机硬件、计算机软件、或 两者的组合)。模块402、404、406以及410中的任一个的组合或全部也 是处理电路的示例。

在使用中，规划模块404接收表示目的地412的数据， 并确定表示轨迹414(有时被称为路线)的数据，AV 100可沿该轨迹414 行驶以到达(例如，抵达)目的地412。为了使规划模块404确定表示轨迹 414的数据，规划模块404从感知模块402、定位模块408和数据库模块410 接收数据。

感知模块402使用一个或多个传感器121(例如，也如图 1中所示)标识附近的物理物体。物体被分类(例如，被编组为诸如行人、 自行车、机动车、交通标志等的类型)，并且包括经分类的物体416的场 景描述被提供给规划模块404。

规划模块404还接收来自定位模块408的表示AV位置 418的数据。定位模块408通过使用来自传感器121的数据以及来自数据库 模块410的数据(例如，地理数据)来计算位置从而确定AV位置。例如， 定位模块408使用来自GNSS(全球导航卫星系统)传感器的数据并使用地 理数据来计算AV的经度和纬度。在实施例中，由定位模块408使用的数 据包括：道路几何属性的高精度地图、描述道路网络连接性属性的地图、 描述道路物理属性(诸如交通速度、交通量、运载工具车道和自行车行车 道的数量、车道宽度、车道交通方向、或车道标记类型和位置、或它们的 组合)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型 的其他行驶信号)的空间位置的地图。在实施例中，通过自动或手动注释 向低精度地图添加数据来构建高精度地图。

控制模块406接收表示轨迹414的数据以及表示AV位置 418的数据，并以将使得AV100沿轨迹414行驶至目的地412的方式操作 AV的控制功能420a-c(例如，转向、油门、制动、点火)。例如，如果轨 迹414包括左转向，则控制模块406将以如下方式操作控制功能420a-c： 使得转向功能的转向角度将使得AV 100左转且油门和制动将使得AV 100 在作出转向前停下并等待通行的行人或运载工具。

自主运载工具输入

图5示出了由感知模块402(图4)所使用的输入502a-d (例如，图1所示的传感器121)以及输出504a-d(例如，传感器数据)的 示例。一个输入502a是LiDAR(光检测和测距)系统(例如，图1中所 示的LiDAR 123)。LiDAR是使用光(例如，诸如红外光之类的光的猝发)以获得与其视线内的物理物体有关的数据的技术。LiDAR系统产生LiDAR 数据作为输出504a。例如，LiDAR数据是被用于构建环境190的表示的3D 或2D点的集合(也称为点云)。

另一输入502b是雷达系统。雷达是使用无线电波以获得 与附近物理物体有关的数据的技术。雷达可获得与不在LiDAR系统视线内 的物体有关的数据。雷达系统502b生成雷达数据作为输出504b。例如，雷 达数据是被用于构建环境190的表示的一个或多个射频电磁信号。

另一输入502c是相机系统。相机系统使用一个或多个相 机(例如，使用诸如电荷耦合器件(CCD)之类的光传感器的数码相机) 以获得与附近物理物体有关的信息。相机系统产生相机数据作为输出504c。 相机数据通常采取图像数据的形式(例如，诸如RAW、JPEG、PNG等图 像数据格式的数据)。在一些示例中，相机系统具有例如用于立体观测(立 体视觉)的多个独立相机，这使得相机系统能够感知深度。尽管由相机系 统感知的对象在本文中被描述为“附近”，但这是相对于AV的。在使用中， 相机系统可被配置成用于“看见”远处的物体，例如，位于AV前方多达一 公里或更远的物体。相应地，相机系统可具有诸如被优化以用于感知远处 物体的传感器以及透镜之类的特征。

另一输入502d是交通灯检测(TLD)系统。TLD系统 使用一个或多个相机以获得与交通灯、街道标志以及提供视觉导航信息的 其他物理物体有关的信息。TLD系统产生TLD数据作为输出504d。TLD 数据通常采取图像数据的形式(例如，诸如RAW、JPEG、PNG等图像数据格式的数据)。TLD系统与结合了相机的系统的不同之处在于，TLD系 统使用具有广视场(例如，使用广角透镜或鱼眼透镜)的相机以便获得与 提供视觉导航信息的尽可能多的物理物体有关的信息，使得AV 100能够访 问由这些物体提供的所有相关的导航信息。例如，TLD系统的视角可以是 大约120度或更大。

在一些实施例中，输出504a-d是使用传感器融合技术被 组合的。因此，各个输出504a-d被提供给AV 100的其他系统(例如，被 提供给如图4中所示的规划模块404)，或者经组合的输出可以以如下的形 式被提供至其他系统：相同类型(例如，使用相同的组合技术，或组合相 同的输出，或这两者)或不同类型(例如，使用不同的相应组合技术，或 组合不同的相应输出，或这两者)的单个经组合的输出或多个经组合的输 出。在一些实施例中，使用早期融合技术。通过在一个或多个数据处理步 骤被应用到经组合的输出之前组合输出来表征早期融合技术。在一些实施 例中，使用后期融合技术。通过在一个或多个数据处理步骤被应用到各个 输出之后组合输出来表征后期融合技术。

图6示出了LiDAR系统602的示例(例如，图5所示的 输入502a)。LiDAR系统602从光发射器606(例如，激光发射器)发射 光线604a-c。由LiDAR系统发射的光线通常不在可视频谱内；例如，通常 使用红外光。发射的光线604b中的一些遇到物理物体608(例如，运载工具)并反射回到LiDAR系统602。(从LiDAR系统发射的光线通常不穿透 物理物体，例如，以固态存在的物理物体。)LiDAR系统602还具有一个 或多个光检测器610，其检测反射的光线。在实施例中，与LiDAR系统相 关联的一个或多个数据处理系统生成图像612，该图像612表示LiDAR系 统的视场614。图像612包括表示物理物体608的边界616的信息。以此方 式，图像612被用于确定AV附近的一个或多个物理物体的边界616。

图7示出了操作中的LiDAR系统602。在该图中示出的 场景中，AV 100接收图像702形式的相机系统输出504c以及LiDAR数据 点704形式的LiDAR系统输出504a。在使用中，AV100的数据处理系统 将图像702与数据点704相比较。具体而言，在图像702中被标识的物理物体706也在数据点704中被标识。以此方式，AV 100基于数据点704的 轮廓和密度来感知物理物体的边界。

图8更详细地示出了LiDAR系统602的操作。如上文所 述，AV 100基于由LiDAR系统602检测到的数据点的特性来检测物理物 体的边界。如图8中所示，平的物体(诸如，地面802)将以一致的方式 反射从LiDAR系统602发射的光线804a-d。换言之，由于LiDAR系统602使用一致的间隔发出光线，因此地面802将会以同样一致的间隔将光线反 射回至LiDAR系统602。当AV 100在地面802上行驶时，如果没有物体 阻碍道路，则LiDAR系统602将继续检测由下一有效地面点806反射的光 线。然而，如果物体808阻碍了道路，则由LiDAR系统602发射的光线804e-f 将以与所预期的一致方式不一致的方式从点810a-b被反射。从该信息中， AV 100可判定存在物体808。

路径规划

图9示出了规划模块404(例如，如图4中所示)的输入 与输出之间的关系的框图900。通常，规划模块404的输出是从起点904(例 如，源位置或初始位置)到终点906(例如，目的地或最终位置)的路线 902。路线902通常由一个或多个分段限定。例如，分段是指在街道、道路、 公路、驾驶道、或适合机动车行驶的其他物理区域的至少一部分上行驶的 距离。在一些示例中，例如，如果AV 100是具有越野能力的运载工具(诸 如，四轮驱动(4WD)或全轮驱动(AWD)汽车、SUV、接载卡车等)， 则路线902包括诸如未铺砌道路或开放空地之类的“越野”分段。

除路线902之外，规划模块还输出车道级路线规划数据 908。车道级路线规划数据908被用于基于分段在特定时间处的状况来遍历 路线902的分段。例如，如果路线902包括多车道公路，则车道级路线规 划数据908包括轨迹规划数据910，AV 100可使用该轨迹规划数据910， 例如基于是否正接近出口、车道中的一个或多个车道是否有其他运载工具、 或在几分钟或更短时间内变化的其他因素在多个车道中选择车道。相似地， 在一些实现中，车道级路线规划数据908包括特定于路线902的分段的速 度约束912。例如，如果分段包括行人或预期外的交通，则速度约束912 可将AV 100限制到低于预期速度(例如，基于用于该分段的速度限制数据 的速度)的行驶速度。

在实施例中，向规划模块404的输入包括数据库数据914 (例如，来自如图4中所示的数据库模块410)、当前位置数据916(例如， 图4中所示的AV位置418)、目的地数据918(例如，用于图4中所示的 目的地412)以及物体数据920(例如，由如图4中所示的感知模块402感 知的被分类的物体416)。在一些实施例中，数据库数据914包括规划中使 用的规则。规则使用正式语言来指定，例如，使用布尔逻辑来指定。在由 AV 100遇到的任何给定情况中，规则中的至少一些将应用于该情况。如果 规则具有基于可用于AV 100的信息(例如，与周围环境有关的信息)而被 满足的条件，则该规则应用于给定情况。规则可具有优先级。例如，规则 “如果道路为高速公路，则移动至最左侧车道”可具有比“如果一英里以 内正接近出口，则移动至最右侧车道”更低的优先级。

图10示出了例如由规划模块404(图4)在路径规划中 使用的有向图1000。总体上，像图10中所示的有向图那样的有向图1000 被用于确定任何起点1002与终点1004之间的路径。在现实世界中，分隔 起点1002与终点1004的距离可能相对大(例如，在两个不同的城市区域) 或可能相对小(例如，紧邻城市街区的两个交叉口或多车道道路的两个车 道)。

在实施例中，有向图1000具有节点1006a-d，节点1006a-d 表示可由AV 100占据的起点1002与终点1004之间的不同位置。在一些示 例中，例如，当起点1002和终点1004表示不同城市区域时，节点1006a-d 表示道路的区段。在一些示例中，例如，当起点1002和终点1004表示相 同道路上的不同位置时，节点1006a-d表示该道路上的不同位置。以此方式，有向图1000包括采用不同粒度级别的信息。在实施例中，具有高粒度的有 向图也是具有更大比例的另一有向图的子图。例如，在其中起点1002距终 点1004较远(例如，相距很多英里)的有向图的大多数信息具有低粒度并 且该有向图基于所存储的数据，但针对该图的、表示AV 100的视场内的物 理位置的部分，该有向图也包括一些高粒度信息。

节点1006a-d与物体1008a-b不同，物体1008a-b不能与 节点重叠。在实施例中，当粒度为低时，物体1008a-b表示不能被机动车穿 行的区域，例如，没有街道或道路的区域。当粒度为高时，物体1008a-b 表示AV 100的视场中的物理物体，例如，其他机动车、行人、或AV 100 无法与其共享物理空间的其他实体。在实施例中，物体1008a-b的一些或全 部为静态物体(例如，不改变位置的物体，诸如街灯或电线杆)或动态物 体(例如，能够改变位置的物体，诸如行人或其他运载工具)。

节点1006a-d由边缘1010a-c连接。如果两个节点1006a-b 由边缘1010a连接，则AV100在一个节点1006a与另一节点1006b之间行 驶是可能的，例如，不必在抵达另一节点1006b之前行驶至中间节点。(当 我们提到AV 100在节点之间行驶时，我们是指AV 100在由相应节点表示 的两个物理位置之间行驶。)在AV 100从第一节点行驶至第二节点或从第二节点行驶至第一节点的意义上，边缘1010a-c通常是双向的。在实施例中， 在AV 100可以从第一节点行驶至第二节点但AV 100无法从第二节点行驶 至第一节点的意义上，边缘1010a-c是单向的。当边缘1010a-c表示例如单 行道、街道、道路或公路的各个车道、或由于法律或物理约束仅能在一个 方向穿行的其他特征时，边缘1010a-c是单向的。

在实施例中，规划模块404使用有向图1000来标识由起 点1002与终点1004之间的节点和边缘组成的路径1012。

边缘1010a-c具有相关联的成本1014a-b。成本1014a-b 是表示如果AV 100选择该边缘则将被花费的资源的值。典型的资源为时 间。例如，如果一条边缘1010a表示另一边缘1010b两倍的物理距离，则 第一边缘1010a的相关联的成本1014a可以是第二边缘1010b的相关联的 成本1014b的两倍。影响时间的其他因素包括预期交通、交叉口的数量、 速度限制等。另一典型的资源为燃料经济性。两条边缘1010a-b可表示相 同的物理距离，但是一条边缘1010a可能比另一边缘1010b需要更多的燃 料，例如，由于道路状况、预期天气等。

当规划模块404标识起点1002与终点1004之间的路径 1012时，规划模块404通常选择针对成本优化的路径，例如，当各个边缘 的成本加在一起时具有最低总成本的路径。

自主运载工具控制

图11示出了控制模块406(例如，如图4中所示)的输 入与输出的框图1100。控制模块根据控制器1102操作，该控制器1102包 括例如与处理器304相似的一个或多个处理器(例如，一个或多个计算机 处理器，诸如，微处理器、或微控制器、或这两者)，与主存储器306、 ROM 308、以及存储设备210类似的短期和/或长期数据存储(例如，存储 器随机存取存储器、或闪存、或这两者)，以及存储在存储器内的指令， 当该指令(例如，由一个或多个处理器)执行时执行控制器1102的操作。

在实施例中，控制器1102接收表示期望输出1104的数 据。期望输出1104通常包括速度，例如，速率和航向。期望输出1104可 基于例如从(例如，如图4所示的)规划模块404接收的数据。根据期望 输出1104，控制器1102产生可用作油门输入1106以及转向输入1108的数 据。油门输入1106表示例如通过接合转向踏板、或接合另一油门控制件来 接合AV 100的油门(例如，加速控制件)以实现期望输出1104所按照的 幅度。在一些示例中，油门输入1106还包括可用于接合AV 100的制动器 (例如，减速控制件)的数据。转向输入1108表示转向角，例如，AV的 转向控制件(例如，方向盘、转向角致动器、或用于控制转向角的其他功能)为实现期望输出1104而应当被定位所处于的角度。

在实施例中，控制器1102接收反馈，该反馈被用于调整 被提供给油门和转向的输入。例如，如果AV 100遇到了扰动1110，诸如 山丘，则AV 100的测量速度1112降低至预期输出速度以下。在实施例中， 任何测量输出1114都被提供至控制器1102，使得例如基于测量速度与期望 输出之间的差异1113执行必要的调整。测量输出1114包括测量位置1116、 测量速度1118(包括速率和朝向)、测量加速度1120、以及可由AV 100 的传感器测量的其他输出。

在实施例中，与扰动1110有关的信息被事先检测(例如， 由诸如相机或LiDAR传感器之类的传感器检测)，并被提供至预测性反馈 模块1122。预测性反馈模块1122随后向控制器1102提供信息，控制器1102 可使用该信息以相应地调整。例如，如果AV 100的传感器检测到(“看见”) 山丘，则该信息可被控制器1102使用以准备在合适的时间处接合油门以避 免显著的减速。

图12示出了控制器1102的输入、输出以及组件的框图 1200。控制器1102具有速度分析器(profiler)1202，该速度分析器1202 影响油门/制动控制器1204的操作。例如，取决于例如由控制器1102接收 并由速度分析器1202处理的反馈，速度分析器1202指令油门/制动器控制 器1204以使用油门/制动器1206进行加速或进行减速。

控制器1102还具有侧向跟踪控制器1208，该侧向跟踪 控制器1208影响转向控制器1210的操作。例如，取决于例如由控制器1102 接收且由侧向跟踪控制器1208处理的反馈，侧向跟踪控制器1208指令转 向控制器1210以调整转向角致动器1212的位置。

控制器1102接收用于确定如何控制油门/制动器1206以 及转向角致动器1212的若干输入。规划模块404提供由控制器1102使用 的信息，该信息用于例如当AV 100开始操作时选择航向并且当AV 100到 达交叉口时确定要穿行哪个路段。定位模块408向控制器1102提供描述 AV 100的当前位置的信息，例如使得控制器1102可判定AV 100是否位于 基于油门/制动器1206以及转向角致动器1212正被控制所按照的方式而预 期的位置。在实施例中，控制器1102从其他输入1214接收信息，例如， 从数据库、计算机网络等接收的信息。

物体指示器模块系统和方法

图13示出了使经修改的图像被显示的物体指示器模块10 的一个非限制性示例。运输服务的潜在乘客或客户查看经修改的图像， 以确定例如运输运载工具或运输站点的位置。诸如Uber和Lyft之类的已 知出行共享应用程序提供地图的表示，作为对运输运载工具的当前位置的 指示。有些人可能难以确定他们自己的方位以基于来自地图的指示来了解运输运载工具的位置。本公开描述了用于如下的技术：例如通过向用 户提供可易于与用户的环境相关联的位置信息来改进在使用诸如出行共享 应用程序之类的服务时的用户体验。根据本文描述的各种技术，通过修 改捕获的用户环境的静止图像或视频图像，并利用物体的位置的至少一个 指示(诸如，接近的运输运载工具)来修改该捕获的图像，来向对象用户 提供位置信息。

物体指示器模块10修改捕获的图像以提供经修改的图 像，该经修改的图像指示物体38(例如，接近的运输运载工具)相对于环 境24的位置。捕获的图像和经修改的图像各自示出了客户的环境24(即， 周围环境)的至少一部分。捕获的图像和经修改的图像可以示出环境的 相同部分或不同部分。这些部分可以部分重叠，或者一个部分可以是另 一个部分的子集，或者可以不存在重叠。物体指示器模块10接收捕获的 图像。捕获的图像可以是单个静止图像的形式、一系列静止图像或一序 列静止图像的形式、或视频的形式。物体指示器模块10可以输出或提供 若干种形式中的一种或多种形式的经修改的图像，诸如，单个静止图像的 形式、一系列静止图像或一序列静止图像的形式、或视频的形式。捕获 的图像和经修改的图像可以具有相同或不同的形式。例如，捕获的图像 可以是视频，并且经修改的图像可以是单个静止图像。

物体指示器模块10使经修改的图像被呈现，该经修改的 图像优选地示出了靠近客户的环境24的视角(perspective)，该视角与客 户自己的对环境24的视角相对应。也就是说，不是像地图那样向客户显 示环境24的俯视图或鸟瞰图，经修改的图像有利地示出了环境24的视角， 该视角像由直接查看环境24的客户的眼睛所看到的视角。这样，客户可 以容易地理解在经修改的图像中描绘了客户的环境24的哪个部分。

最近捕获的图像示出了人在街上时也可以用他们自己的 眼睛在他们的前面直接看到的各种物体(例如建筑物、运载工具、其他人)。 这样，该人可以容易地理解在图像中描绘了他们的环境24的哪个部分。物 体指示器模块10修改捕获的图像以提供经修改的图像，该经修改的图像指 示物体38(例如，接近的运输运载工具)相对于环境24的位置。物体指示器模块10可以描绘经修改的图像内的物体38，或者指示物体38相对于 经修改的图像的边界的位置。如本文所使用的，术语“经修改的图像” 是指基于最近捕获的图像的图像或视频。物体指示器模块10接收在前几 秒内(优选地在前一分钟内)拍摄或捕获的最近捕获的图像。这样，经 修改的图像不仅仅基于相对长时间之前(例如，超过一小时之前)拍摄的 图像。

因为经修改的图像基于最近捕获的图像，所以经修改的 图像包括环境24中存在的至少一些瞬时物体。如本文所使用的，“瞬时 物体”是环境中的不是永久的物体的实例。瞬时物体是其位置可能在少 于一小时内发生变化的物体。瞬时物体的示例包括行人和移动的运载工 具。在一个示例中，经修改的图像示出了接近的运输运载工具。在该 示例中，接近的运输运载工具是瞬时物体。经修改的图像还包括相对永 久的物体，该物体的位置很可能会保持固定大于一个小时。相对永久的 物体的示例包括建筑物、交通信号灯、和街道标志。在一个示例中，经 修改的图像示出了一个运输站点，客户可以在该运输站点处登上接近的运 载工具。在该示例中，运输站点是永久物体。

物体指示器模块10对捕获的图像应用修改以指示物体38 相对于环境24的位置。通过修改捕获的图像，物体指示器模块10将物 体位置信息传达给运输运载工具或运输服务的客户(即潜在乘客)。如 本文所使用的，术语“物体”与物体的一个或多个实例相关联，所述物体 的一个或多个实例与向客户提供一个或多个运输选项相关联。例如，术 语物体可以指已经被派遣为客户提供运输的运输运载工具，或者客户可以 登上运输的位置，例如，在运输站点或运输站点处。作为特定的非限制 性示例，物体38可以包括按需自动机动性(AMOD)运载工具、利用出行 共享移动应用程序(诸如，Uber或Lyft)的人类操作的运输运载工具、或 客户可以进入以获得运输的运输站点。

物体指示器模块10还可对捕获的图像应用修改以指示对 象26相对于环境24的位置。在一个示例中，对象26是运输运载工具(物 体38)的客户。如果经修改的图像指示客户(对象26)和接近的运输运 载工具(物体38)两者的位置，则客户更容易理解物体38相对于环境24 的位置。在另一示例中，对象26是运输站点(例如，出租车站或公共汽 车站)，在该运输站点处客户可以去登上运输运载工具(物体38)。在 一些示例中，运输站点是对象26，并且在其他示例中，运输站点是物体38。 例如，如果客户正在餐厅中等待(可能在任何捕获的图像的视图之外)运 输运载工具到达餐厅附近的运输站点，则该运输站点是对象26。然而， 如果客户正试图找到他/她到达运输站点的方式，则该运输站点是物体38。

物体指示器模块10向捕获的图像应用修改以提供经修改 的图像。该修改被配置成吸引客户(多个)的眼睛(多个)对物体38和 /或对象26的描绘和/或指示的注意。该修改的非限制性示例包括突出显 示或在视觉上增强经修改的图像的区域和/或添加符号，以指示物体38在经 修改的图像内或相对于经修改的图像的位置，从而指示物体相对于环境的位置。如果在经修改的图像中存在物体38，则例如通过突出显示或在视 觉上增强物体38的描绘来指示物体38的位置。如果物体38位于经修改 的图像的边界之外，则物体38的位置例如由指向物体38的箭头指示。将 稍后在本说明书中呈现与该修改有关的更多细节。

物体指示器模块10还可导致声音将被发出，该声音指示 接近的运输运载工具的接近度(例如，距离和/或方向)。患有视力损伤 的人可能会发现声音比经修改的图像更优选，以用于估计运输运载工具的 到达时间。发出的声音与经修改的图像相对应。在一个示例中，发出 的声音是一系列的蜂鸣声。蜂鸣声的重复率和/或音调(即频率)可随着 对象26和物体38之间的距离变化而变化。作为非限制性示例，当接近 的运载工具在超过一公里之外时，重复率可以是每秒一声蜂鸣声，并且当 接近的运载工具在小于十米之外时，重复率随着接近的运载工具变得更靠 近而线性斜增到每秒十声蜂鸣声。

如本文所述的物体指示器模块10包括多个个体模块12、 14、16、18、20，其各自执行与物体指示器模块10的操作相关联的相应功 能或功用。可经由硬件、软件、固件等或其任何组合实现本文描述的相应 模块中的每一个。在描述的模块在软件和/或固件中被实现的情况中，本文 描述的相应模块可包括存储在有形介质(例如，短期存储器、长期存储等)并且可由一个或多个处理器执行以实现本文描述的功能的程序指令。根 据人物体指示器模块10的相应模块在软件中被实现的示例，相应模块可包 括单独的指令，该单独的指令可由单个处理器设备或多个离散的处理器设 备执行，该单个处理器设备或多个离散的处理器设备可驻留在单个位置(例 如，运输运载工具的电系统内)中，或驻留在经由网络彼此通信地耦合的 多个分布式的位置中。图1至图12以及上面提供的那些图的相关描述 是如何实现这种物体指示器模块10的操作的非限制性示例。

物体指示器模块10包括图像捕获模块12。在一示例中， 图像捕获模块12接收至少一个捕获的图像。图像捕获模块12可以接收 任何捕获的图像，包括一个或多个静止图像。例如，图像捕获模块12可 以接收单个快照或连拍快照(burst)，例如一序列多个快照。在其他示 例中，图像捕获模块12可以接收捕获的图像，该捕获的图像是视频图像。 在其他示例中，图像捕获模块12可以从雷达单元接收返回图。雷达单元 使用无线电波来确定返回地图。该返回图指示到雷达单元的视场中的一 个或多个物体的距离和方向。在其他示例中，图像捕获模块12可以从激 光雷达单元接收点云。激光雷达单元使用光束来确定点云。该点云指 示到激光雷达单元的视场中的一个或多个物体的距离和方向。在其他示 例中，图像捕获模块12从相机接收捕获的图像，该捕获的图像用来自雷达 单元或激光雷达单元的距离数据增强或注释。在其他示例中，图像捕获 模块12可以接收指示捕获的图像被拍摄的时刻的时间戳。

图像捕获模块12从诸如相机、雷达单元、激光雷达单元、 或其任何组合之类的一个或多个设备接收捕获的图像。先前描述的示例 包括图1、图4和图5中所示的传感器(121)、相机(122、502c)、LiDAR (123、502a)、和/或雷达(502b)。在一些示例中，设备独立地操作。 即，图像捕获模块12不确定或控制设备设置和/或捕获的图像被拍摄和/或 被发送到图像捕获模块12的时间瞬间。在其他示例中，图像捕获模块12 可以输出一个或多个控制信号，该一个或多个控制信号确定或影响向捕获 的图像贡献信息的相机、雷达单元和/或激光雷达单元的操作。例如，图 像捕获模块12可以输出一个或多个控制信号，该一个或多个控制信号指定 捕获的图像被拍摄的瞬间。在其他示例中，图像捕获模块12输出指定一个或多个设备设置的一个或多个控制信号。例如，一个或多个控制信号 可以指定以下各项中的一项或多项：相机镜头设置(例如，广角与远摄)、 瞄准相机的方向、雷达单元的最大测距限制设置、或激光雷达的光束扫描 区域。

图像捕获模块12接收涵盖或包括对象26的环境24的至 少一部分的一个或多个捕获的图像。在某些情况下，经修改的图像描绘 整个环境(即360度图像)不是必要的。例如，经修改的图像描绘客户 后方的建筑物不是必要的。在这种情况下，随之而来的是，对捕获的图 像中的一个或多个而言涵盖整个环境不是必要的。此外，该部分的大小 可能受到用于拍摄捕获的图像的设备(相机、雷达单元和/或激光雷达单元) 的视场能力的限制。如果期望比来自单个设备或单个图像可用的部分更 大的部分，则图像捕获模块12可以组合来自多个设备的多个图像。在一 个示例中，图像捕获模块12组合多个图像以提供涵盖环境24的整体的捕 获的图像。在此示例中，捕获的图像具有360度视场。在另一示例中， 图像捕获模块12从单个相机接收捕获的图像，该单个相机可具有有限角度 的视场，例如，90度的视场。在此示例中，捕获的图像所涵盖的环境的 部分等于或小于90度，即环境24的四分之一。其他视场值是可能的， 并且可能取决于例如对象26和物体38的相对位置而定。

图像捕获模块12从一个或多个设备(例如，一个或多个 相机、一个或多个雷达单元、和/或一个或多个激光雷达单元)接收捕获的 图像。先前描述的示例包括图1、图4和图5中所示的传感器(121)、 相机(122、502c)、LiDAR(123、502a)、和/或雷达(502b)。这些 设备可以位于环境24中的任何地方。一些或所有设备可以具有固定的位 置。具有固定位置的设备示例包括交通相机、安全相机、和安全系统运 动传感器。同样地，一些或所有设备可以是移动的。移动设备的示例 包括运载工具感知传感器、手机相机、和无人机安装的相机。感知传感 器可以包括但不限于一个或多个安装到运载工具的相机、雷达单元、和/或 激光雷达单元，如将由自动运载工具领域的技术人员认识到的。在一个 示例中，对象26是行人，环境24是行人周围的区域，并且捕获的图像22 是由行人操作的电话的相机捕获的快照。在另一示例中，对象26是行人 可以去那里获得运输(例如，招呼出租车)的运输站点，并且捕获的图像 是来自被定位用于查看运输站点和附近运载工具的相机的视频。在又另 一示例中，捕获的图像22是来自电话的相机、运输站点处的相机、以及安 装在接近的运载工具上的感知传感器的图像的组合。

物体指示器模块10包括物体检测器模块14。物体检测 器模块14操作以标识一个或多个捕获的图像中的物体。物体指示器模块 10使用物体的标识来确定要突出显示或以其他方式指示经修改的图像中的 哪些物体。物体检测器模块14使用已知的图像处理和分析技术来标识物 体。由物体检测器模块14确定的标识的示例包括行人、运载工具(例 如，汽车、公共汽车、火车)、建筑物或地标。在一个示例中，物体检 测器模块14将接近的运载工具标识为运载工具，将运输站点标识为地标或 建筑物，并且将以电子方式招呼运输的行人标识为行人。

物体指示器模块10包括物体定位器模块16。物体定位 器模块16操作以确定物体38的位置。在一些示例中，物体定位器模块 16确定物体的位置，该物体是运输运载工具。物体定位器模块16可以确 定其位置的运输运载工具的示例可以包括出租车、与出行共享应用程序相 关联的运载工具、或任何其他运载工具，包括自主运载工具、半自主运载 工具等，如参考图1和图4所描述的。在其他示例中，物体定位器模块 16确定物体的位置，该物体是运输站点，诸如限定的出行共享接载区域、 出租车站等。在一个示例中，物体38是接近的运载工具，并且对象26 是行人，该行人可能具有以电子方式招呼的运输，即被致电或以其他方式 请求的运输。在另一示例中，物体38是运输站点，并且对象26是行人， 因此该位置指示在哪里将找到运输站点。在又另一示例中，物体38是接 近的运载工具，并且对象26是运输站点。在该示例中，在运输站点处寻 求运输的行人可能正在附近的商业场所(例如，餐厅)中等待。

可以由例如来自全球导航卫星系统(GNSS)接收器的全 球位置系统(GPS)坐标或相对于对象26的相对位置(例如，距离和方向) 来表示物体38和/或对象26的位置。如果物体38是接近的运载工具， 则可以广播接近的运载工具的GPS坐标。如果接近的运载工具是自主运 载工具(例如，无人驾驶运载工具)，则专用的短程通信(DSRC)(诸如， 运载工具到所有(V2X)或运载工具到基础设施(V2I)通信)或蜂窝通信 (诸如，蜂窝运载工具到所有(C-V2X))可以广播GPS坐标。如果接 近的运载工具是人类操作的，则由操作运载工具的人类所携带/操作的智能 电话可以广播GPS坐标。在该示例中，物体定位器模块16接收那些广 播的GPS坐标。在另一示例中，物体定位器模块16基于距基础设施设 备(例如，相机、雷达单元、激光雷达单元、或其任何组合)的距离和方 向来确定物体38的GPS坐标。物体定位器模块16基于基础设施设备的 距离和方向信息与基础设施设备的已知GPS坐标相结合来确定物体的GPS 坐标。在另一示例中，从行人(对象26)到接近的运载工具(物体38) 的距离和方向是从使用由行人操作的电话照相机拍摄的捕获图像中确定 的。物体定位器模块16将该距离和方向信息与电话的GPS坐标结合使 用，以确定物体38的位置(即GPS坐标)。

物体指示器模块10包括图像修改器模块18。图像修改 器模块18确定对捕获的图像的修改以生成经修改的图像。物体定位器模 块16将该距离和方向信息与电话的GPS坐标结合使用，以确定物体38的 位置(即GPS坐标)。经修改的图像指示物体38相对于环境24的位置 (即，对经修改的图像中的物体38的描绘)。图像修改器模块18通过 修改捕获的图像来指示显示的物体的位置。图像修改器模块18修改捕获 的图像，使得查看经修改的图像的人可以容易地检测经修改的图像中的显 示的物体和/或显示的对象。

根据典型的出行共享应用程序，一旦客户已经“招呼” 运输运载工具到他们的位置，则向用户(客户)提供地图的图形指示，该 图形指示包括运输运载工具的当前位置的指示。该地图可以进一步基于 当前交通状况、要行驶的距离和其他因素来指示运输运载工具的估计到达 时间。虽然此类出行共享应用程序确实为用户提供了运输运载工具的位 置的相对模糊的指示，但是对于对象用户而言，有效地将基于地图的位置 与对象用户在其物理环境中的位置进行关联通常是具有挑战的。尽管地 图界面粗略地指示了运输运载工具的位置，但是对于用户来说，接载被预 期沿着街道哪里或者在街道的哪一侧上通常是不清楚的。在许多情况下， 这种基于地图的界面会由于如下原因而导致不必要的延迟：运输运载工具 驾驶员和对象客户需要相互彼此以标识适当的位置，或者甚至在该合适的 位置被标识的情况下对象客户要在他们的周围环境中找到该合适的位置。

本公开涉及用于通过向对象客户提供叠加或渲染到图像 中的指示来改进向对象客户提供出行共享服务的技术，客户可以容易地将 该指示与他们的周围环境相关联。根据这些技术，不再向客户提供运输 运载工具在地图上的粗略的大致位置，代之以向客户提供用户可以容易地 与客户可以看到的内容相关联的指示。通过这样做，客户可以容易地识别在他们的环境中的地标或其他特征，并容易地识别在何处会见运输运载 工具以用于接载。以这种方式，与如在以上描述的典型的出行共享应用 程序相比，对象客户对程序共享应用程序的体验可能更简单并且更高效。

在一个示例中，图像修改器模块18通过调整所显示的物 体的颜色来突出显示所显示的物体(和/或所显示的对象)。例如，所显 示的物体可被着色为红色或绿色，或者是与所显示的物体的周围环境(即， 经修改的图像的背景)形成对比(即与所显示的物体的周围环境不同)的 颜色。在其他示例中，图像修改器模块18以颜色来描绘所显示的物体， 并且以灰度来描绘周围环境或背景。在其他示例中，图像修改器模块18 改变经修改的图像的对比度，以使所显示的物体更加明显，例如，以高对 比度描绘所显示的物体，并且以低对比度描绘周围环境区域。。在又另 一示例中，图像修改器模块18将所显示的物体描绘成对焦并且将周围环境 区域描绘成离焦。图像修改器模块18可以循环这些修改中的任一个。 例如，图像修改器模块可以使物体的颜色在红色和绿色之间交替，或者使 背景在对焦和离焦之间交替。

在又另一示例中，图像修改器模块18用半透明的着色形 状或(即，图形覆盖)(例如，圆形或正方形)覆盖所显示的物体。该 形状可以是填充形状或该形状的着色轮廓。在另一示例中，图像修改器 模块18在经修改的图像中添加箭头。例如，如果接近的运载工具在经修 改的图像的边界之外，则箭头在接近的运载工具将可能会进入经修改的图 像的点处指向边界。如果接近的运载工具在经修改的图像的边界内，则 箭头指着接近的运载工具36(此后有时被称为运载工具36)处。图像修 改器模块18可以添加指着经修改的图像44A中描绘的对象26或物体38 的任何实例处的箭头或指向经修改的图像44A中描绘的对象26或物体38 的任何实例的箭头。在另一示例中，图像修改器模块18添加指示器，该 指示器指示对象26与物体38之间的距离或经修改的图像的边界与物体38 之间的距离。在另一示例中，指示器可以指示接近的运载工具到达例如 运输站点的估计到达时间(ETA)，和/或从对象26到物体38的方向的罗 盘指示器/朝向。

物体指示器模块10包括显示模块20。显示模块20使 经修改的图像呈现在至少一个显示器上。显示模块20可以通过例如互联 网连接或其他已知的有线和无线通信方式与显示器通信。在一个示例中， 显示器是由客户携带的智能电话。在其他示例中，显示器是位于运输站 点处的监视器或靠近运输站点的建筑物内部的监视器。在一个示例中， 显示模块20将经修改的图像传送(例如，传输)到显示器。在该示例中， 发送的经修改的图像包括由图像修改器模块18施加的所有修改、以及一个 或多个捕获的图像的选定部分。在另一示例中，显示模块20仅传送要被 应用于捕获的图像的修改，而不是完整的经修改的图像。在该示例中， 显示器或其他中间装备将修改添加或应用于捕获的图像以生成经修改的图像。例如，该修改可以仅指定大小、形状和捕获的图像上突出显示要被 添加或应用到捕获的图像的X-Y坐标、或者捕获的图像上其他先前提到的 图像修改技术要被应用的X-Y坐标。当通信带宽太受限制而不能快速传 送完整的经修改的图像时，使显示模块20仅发送该修改而不是完整的经修 改的图像可能是有利的。使显示模块20仅发送该修改可能对其中捕获的 图像是由智能手机的相机拍摄的示例情形特别有利，并且因为传输的数据 量被降低，因此经修改的图像被显示在该智能手机的显示器上。

图14示出了系统54的一个非限制性示例，该系统54包 括物体指示器模块10以及与物体指示器模块10通信的各种设备52、56A、 56B、56C、58。物体指示器模块10通过例如电线、光缆或无线通信与 设备52、56A、56B、56C、58通信。物体指示器模块10可以包括无线 收发器以实现无线通信。系统54包括与物体指示器模块10通信的一个 或多个感知传感器56A、56B。感知传感器56A、56B与图1和图4所示 的传感器121相当。感知传感器56A的示例包括用于交通控制、安全和/ 或人群检测的基础设施相机、雷达和/或激光雷达。感知传感器56B的示 例包括通常在运载工具上发现的用于运载工具安全系统和/或自动驾驶系统 的一个或多个相机、雷达单元和/或激光雷达单元。本文所述的相机、雷 达和/或激光雷达中的任一个或组合可以提供捕获的图像。

在一个示例中，相机56C的实例和显示器52A是移动设 备58的一部分。移动设备58的非限制性示例包括由潜在客户操作的智 能电话或平板电脑，或者由潜在客户佩戴的可穿戴设备(例如，智能手表、 增强现实眼镜)。在该示例中，物体指示模块10接收由相机56C拍摄的 图像。捕获的图像的全部或一部分来自相机56C，即移动设备58。如 果移动设备是由客户操作的，则当在显示器52A上查看时，客户可以容易 地理解经修改的图像的取向/视角。这样，即使物体在帧外，即在经修改 的图像的边界之外，客户也可以更容易地理解物体38所在的位置。在一 些示例中，物体指示器模块10更新经修改的图像。

在一个示例中，物体指示器模块10在周期性的基础上更 新经修改的图像。一种合适的更新速率是每秒一次，但是在某些情况下， 其他更新速率可能是优选的。在另一示例中，物体指示器模块10响应于 确定移动设备58已被移动而更新经修改的图像。物体指示器模块10可 以基于来自相机56C的捕获的图像的改变来确定移动设备已被移动。如 果客户寻找的接近的运载工具或运输站点(物体38)在帧外，则物体更新 的位置的指示器将帮助客户将相机56C指向物体。即，人可以平移(pan) 相机56C，使得物体38出现在捕获的图像中，并且由此可以出现在经修改 的图像中。在该示例中，更新速率可以更快，例如，每200毫秒一次， 或取决于客户平移相机56C有多快。

在另一示例中，物体指示器模块10使经修改的图像显示 在诸如平板电脑或公共监视器之类的专用显示器上。专用显示器可以位 于远离客户要登上运输运载工具的地方。这将允许客户停留在建筑物内， 直到运输运载工具到达或非常接近，例如，五秒钟的距离。

在一些示例中，物体指示器模块10包括存储器62和处 理器64。存储器62类似于关于图1描述的数据存储单元142和/或存储 器144和/或类似于关于图3描述的ROM 308和/或存储设备310。处理器 64类似于关于图1描述的计算机处理器146和关于图3描述的处理器304。

图15示出对象26的环境24的非限制性示例。在第一 场景中，对象26是行人26A(例如客户)，并且物体38是接近的运载工 具36。行人26A接合(即利用，例如启动电话28上的运输服务应用程 序)物体指示器模块10，以通过电子方式招呼(即，请求或订购)运输。在 一个示例中，物体指示器模块10指令行人26A(经由电话28上的运输服 务应用程序)瞄准电话28的相机，使得相机具有环境24的视野以拍摄捕 获的图像22。如果物体检测器模块14不能检测到一个或多个永久物体， 则物体指示器模块10可以指令行人26A将电话28移动到另一位置(例如， 将电话28保持在更高的位置、或者移近到更靠近路边)，使得相机的视场 不受例如诸如行人或公共汽车之类的瞬时物体的阻挡。

在一个示例中，响应于招呼，使接近的运载工具朝着行 人26A行驶。替代地，行人26A可以简单地搜索任何形式的附近运输， 并且接近的运载工具36恰好朝着行人26A前进。在任一情况下，对于该 示例场景，行人26A接合物体指示器模块10(即，使用运输服务应用程序) 以确定并指示接近的运载工具36的位置40。物体指示器模块10通过基 于捕获的图像22向行人26A呈现经修改的图像来指示接近的运载工具(在 该示例中为物体38)的位置40。在本公开的其他地方提供了如何修改捕 获的图像44以指示位置40的细节。

在第二场景中，对象26是行人26A，并且物体38是运输 站点26B。行人26A接合物体指示器模块10以确定运输站点26B的位 置40。类似于以上描述的第一场景，物体指示器模块10通过向行人26A 呈现基于捕获的图像22的经修改的图像来指示运输站点26B(在该示例中 为物体38)的位置40。在第三种场景中，对象26是运输站点26B，并 且物体38是接近的运载工具36。行人26A可以在与运输站点26B相邻 的建筑物内等待运输，并且该建筑物上的相机30监视运输站点26B并检测 接近的运输工具36何时到达运输站点26B。众多其他场景是可能的。

图16A示出了涵盖或示出对象26的环境24的一部分的 捕获的图像22的非限制性示例。如图15所描绘的，捕获的图像22的该 示例可以来自由行人26A持有的电话28中的相机。电话28类似于关于 图14描述的移动设备58的相机56C。捕获的图像22示出了诸如行人和 汽车之类的瞬时物体32。瞬时物体32将可能移动并且可能不存在于随后 的捕获的图像中。捕获的图像22还示出了相对永久的物体或地标，例如 停车设施72。物体指示器模块10接收捕获的图像22，并基于捕获的图 像22提供经修改的图像。

图16B示出了经修改的图像44A的非限制性示例。经 修改的图像44A是图16A的捕获的图像22的修改。在该示例中，经修 改的图像44A示出与捕获的图像22大致相同的场。物体指示器模块10 (即，图像修改器模块18)可以改变经修改的图像44A的视场。例如， 如果到运输站点26B的距离大于阈值，则物体指示器模块10可以减小经修 改的图像44A的视场，使得运输站点26B在经修改的图像44A中看起来更 大。作为另一示例，如果经修改的图像中的永久物体的数量少于阈值(例 如，2)，或者正好在捕获的图像22的视场外存在突出的地标(例如，雕 塑)，则物体指示器模块10可增大或增宽经修改的图像44A的视场，使得 客户可以更容易地为他们自己定向。物体指示器模块10可以从例如谷歌 地图收集具有增宽的视场的经修改的图像的附加图像信息。

物体指示器模块10(即显示模块20)使经修改的图像44A 显示在电话28的显示器52上。图16B的经修改的图像44A示出了应用 于捕获的图像22以产生经修改的图像44A的若干修改48、50、68、70、 74。并非所有修改都总是必需的或总是显示的。即，经修改的图像通常将仅示出图16B所示的修改中的一些(例如，一个或两个)。图16B 仅出于讨论目的和旨在减少附图的数量而示出了所有修改。现在将讨论 在各种情况下哪些修改将被显示的各种示例。

在一个示例中，物体指示器模块10提供仅示出箭头48 的经修改的图像44A的版本。箭头48也可以被称为罗盘指示器48。这 对于行人26A来说可能是足够的信息，以了解在哪里寻找接近的运载工具 36(在此示例中为物体38)和/或在哪个方向上平移电话28的相机。在 另一示例中，物体指示器模块10提供经修改的图像44A的版本，该版本包 括距离指示器50，该距离指示器50指示接近的运载工具36有多远(以米 为单位)。替代地，距离指示器50的数值指示接近的运载工具36的估 计到达时间(ETA，以秒和/或分钟为单位)。

在另一示例中，物体指示器模块10提供经修改的图像44A的版本，该经修改的图像44A的版本仅示出覆盖显示的物体46A的突 出显示74，即，经修改的图像44A中的物体38的描绘。对于该示例， 物体38是运输站点26B。突出显示74可以是前面提到的将行人26A的 眼睛吸引到显示器52中的某物的方式中的任一个。突出显示74的示例 包括但不限于将突出显示74的区域涂上独特的颜色(例如，红色或绿色)， 或改变突出显示74的区域的对比度。

在另一示例中，物体指示器模块10提供经修改的图像 44A的版本，该版本包括供行人26A跟随到运输站点26B的建议路径70。 如果运输站点26B隐藏在视图之外，例如，运输站点在停车设施后面，则 物体指示器模块10提供仅显示建议路径70的经修改的图像44A的版本。

在以上示例中的任一个中，物体指示器模块10可以将指 示对象26的位置66的符号68添加到经修改的图像44A。当捕获的图像 22来自电话28的相机时，行人26A可能在捕获的图像中未被描绘。对 于图16B所示的经修改的图像44A的示例，对象26是行人26A。物体指示器模块10可以提供包括符号68的经修改的图像44A的版本。经修 改的图像44A中的符号68的位置指示人在环境24中的位置66。可以以 与在智能电话上操纵图片的方式相同的方式来扩展(缩放)、挤压(pinch) 或滚动经修改的图像44A。符号68的存在可以帮助用户操纵图像以更好 地理解物体38在环境24中的位置。

电话28的一些示例在电话28的相对侧上具有相机。这 样，如果物体指示器模块10从电话28的两个相机接收图像，则捕获的图 像22可以包括行人26A。在这种情况下，可以将来自电话28的两个相 机的图像进行组合，使得行人26A被显示在经修改的图像44A中，而不是 用符号68的实例来指示。

图17A示出了环境24的一部分的第一图像22A。在一 个示例中，物体指示器模块10从交通相机42A(图15)接收第一图像22A。 在另一示例中，第一图像22A基于捕获的图像的组合。例如，第一图像 22A可以基于由电话28的相对侧(即，正面侧或显示侧、以及背面侧)上 的相机拍摄的图像的组合。

图17B示出了环境24的与第一图像22A中所描绘的部分 不同的一部分的第二图像22B。第二图像来自基础设施设备42(图15)。 在该示例中，第一图像22A和第二图像22B没有重叠。在其他示例中， 两个图像可能存在重叠，或者可能会发生重叠，因为物体指示器模块10从 多于两个的源(例如，多于两个相机)接收图像。

图17C示出了显示在智能电话上的经修改的图像44B的 非限制性示例。物体指示器模块10确定环境24的被第一图像22A和第 二图像22B涵盖的部分的范围。物体指示器模块10可以基于用于捕获第 一图像22A和第二图像22B的设备的GPS坐标来确定该范围。物体指示 器模块10可以进一步基于与设备的每一个有关的信息来确定该范围。例 如，该信息可以指定用于捕获图像的相机或其他设备(例如，雷达单元或 激光雷达单元)的查看角度。

对于图17A-图17C的示例，第一图像22A和第二图像22B 没有重叠。物体指示器模块10可以指示空虚区域60，在该空虚区域60 中环境24没有被用于经修改的图像44B的任何捕获的图像涵盖。在该示 例中，空虚区域60由虚线描绘，该虚线与道路的路边或边界相对应。在 另一示例(未示出)中，在经修改的图像44B中，空虚区域60是空白的。 在另一示例(未示出)中，物体指示器模块10基于从例如谷歌地图检取到 的图像将细节添加到空虚区域60。

现在回到图14，参考下面指示的各种附图描述系统54。 在一示例中，物体指示器模块10与一个或多个感知传感器56A、56B通信。 在一个示例中，一个或多个感知传感器56A、56B包括第一感知传感器， 例如，交通相机42A(图15)，以及第二感知传感器56B，例如，基础设 施设备42。与先前的示例相比，对于该示例，电话28(图15)没有提供 捕获的图像。第一感知传感器56A捕获第一图像22A。第一图像22A 包括或描绘对象26。第二感知传感器56B捕获第二图像22B。第二图 像22B包括或描绘物体38。在该示例中，物体指示器模块10基于第一 图像22A和第二图像22B提供或确定经修改的图像44B(图17C)。两 个感知传感器可以是两个不同的相机。然而，第一图像22A和第二图像22B两者可以来自具有扫描特征(例如，旋转镜)的单个相机。这两个 图像可以部分重叠，或可能根本不重叠。对象26可以仅存在于第一图像 22A中，并且物体38可以仅存在于第二图像22B中，或者对象26或物体 38中的一个或两个可以存在于第一图像22A和第二图像22B两者中。当 对象26重新瞄准电话28的相机时，物体指示器模块10可以实时更新经修 改的图像44B，使得物体38的位置在相机的视场内，即，使得物体38变 得存在于第一图像22A中。物体指示器模块10可以将各种图像“缝合在 一起”以形成合成图像。将图像缝合在一起可以包括：将第一图像22A 和第二图像22B的内容进行比较、以及标识重叠的区域、或者向经修改的 图像44B添加空虚区域60。替代地或附加地，可以基于先前存储的环境 24的3D模型来确定空虚区域60，并随后根据3D模型合成经修改的图像 44A的部分。

相机可用于捕获经修改的图像44A或44B的任何图像(例 如22、22A、22B)。相机可以处于以下各项中的一项：与对象26的移 动设备58相关联，例如，对象26的智能电话或平板电脑、或由对象26穿 戴的可穿戴设备。相机还可以与物体38相关联，例如，接近的运载工具 36的感知传感器34的部分。相机还可以是：“智能城市”相机；交通观 察相机；通用安全/监控相机；运输中心处的专门用于生成经修改的图像的 相机；与环境中或环境附近的除了对象之外的人相关联，因此不与移动设 备58或物体38相关联的相机。

图18示出了用于指示物体38的位置40的方法1800的 非限制性示例。在一个示例中，本文所述的物体指示器模块10执行方法 1800。如图18所示的，方法1800包括接收至少一个捕获的图像22，该 至少一个捕获的图像22包括对象26的环境24的至少一部分(步骤1810)。 捕获的图像22可以是单个快照、例如3帧之类的短猝发、或来自相机的视 频、来自雷达单元的返回图、来自激光雷达单元的点云、或其任何组合/融 合。在一个示例中，环境24的该部分是相机的视场，例如360度环境24 的90度视场。如本文所使用的，环境24是对象26周围或附近的区域， 即对象可查看的区域。环境24包括但不限于：街道、建筑物、标志、运载工具、行人等。在一个示例场景中，物体38是等待或接近的运载工 具，并且对象26是通过电子方式招呼或正在寻找运输的行人。在另一示 例场景中，物体38是运输站点或运输亭，并且对象是行人。在另一示例 场景中，物体38是等待或接近的运载工具，并且对象26是运输站点。

如图18所示，方法1800包括确定物体相对于对象的环 境的位置(步骤1820)。可以参照GPS坐标或距对象或某个参考物体(例 如，地标/建筑物)的距离/方向来表示位置40。GPS坐标可以由物体38 报告/广播，或者基于距具有已知GPS坐标的参考点的距离和方向来计算。 距离的值和方向可以根据物体的图像被测得，和/或根据雷达回波或激光雷 达点云而被确定。

如图18所示，方法1800包括：响应于确定物体38的位 置40，确定捕获的图像22的修改，该修改可以用于生成指示物体38相对 于环境24的位置40的经修改的图像(步骤1830)。在一个示例中，确 定该修改包括：执行捕获的图像22的视角转换，使得经修改的图像44A具 有与查看环境24的人的视角相对应的环境24的视角。例如，如果捕获 的图像22来自安装在地面上方5米(即，在人的眼睛上方约3米)的相机， 则捕获的图像22的视角将被转变成使得经修改的图像看起来是从大约在地 面上方两米拍摄的。上面在图像修改器模块18的描述中描述了其他可能 的修改。

如本文所使用的，物体38和对象26的示例场景包括但 不限于如下的场景：物体38是运载工具并且对象26是行人；物体38是 运输站点并且对象26是行人；以及物体38是运载工具并且对象26是运输 站点。

如图18所示，方法1800包括使经修改的图像被呈现在 至少一个显示器上(步骤1840)。在一个示例中，显示模块20将经修改 的图像输出或传输到显示器52。在另一示例中，显示模块20仅传输该修 改，并且显示器52将该修改和捕获的图像22进行组合以提供经修改的图 像44A。显示器52可以是智能电话、手表或平板电脑的显示器，或者是 位于运输站点处的计算机或电视监视器。

方法1800的另一示例包括确定对捕获的图像22的修改 以指示对象26相对于经修改的图像44A的位置66(图16B和图17C)。 在一个示例中，经修改的图像44A示出了对象26的图像，参见图17C。在 另一个示例中，经修改的图像44A示出了符号68，该符号68与对象26在经修改的图像44A内的位置相对应，参见图16B。在另一示例中，如果对 象26在帧外，则经修改的图像44A示出指示器(在图中未被示出，但是与 图16B中的箭头48相当)，以指示到对象26的方向和/或距离。在其中物 体38是运输站点26B的场景的另一示例中，经修改的图像包括用于行人/ 客户跟随到运输站点26B的建议路径70(图16B)

方法1800的另一示例包括确定对捕获的图像22的修改 以指示物体38在经修改的图像44A中的位置40和/或对象26在经修改的 图像44A中的位置66。该修改的示例包括但不限于：调整显示的物体 46A和/或显示的对象46B的颜色，例如，将物体/对象着色为红色；突出 显示所显示的物体46A和/或所显示的对象46B，例如，用经着色的形状(例 如，圆形或正方形)覆盖物体/对象，形状可被填充或仅是轮廓；改变或更 改物体/对象相对于经修改的图像44A的剩余部分的对比度，将物体/对象显 示成对焦并且将经修改的图像44A的剩余部分显示成离焦；生成一个或多 个图形覆盖，该一个或多个图形覆盖指示物体/对象的位置；生成指向物体/ 对象的箭头；生成距离指示器，该距离指示器指示对象与物体之间的距离；显示指示器，该指示器指示AMOD到达接载位置(例如，运输站点26B) 的ETA；以及生成指示从对象到物体(或从物体到对象)的方向的罗盘指 示器48。

方法1800的另一示例包括确定物体38的位置40。确 定位置40的示例包括但不限于：接收物体38的全球定位系统(GPS)数 据；确定物体相对于至少一个捕获的图像中的地标72(例如，可识别的建 筑物)的相对位置；接收物体38相对于雷达单元的雷达数据(未被示出， 指示到目标的距离和方向)；以及接收物体38相对于激光雷达单元的点云 (未被示出，指示到目标的距离和方向)。

在方法1800的另一示例中，对象26存在于至少一个捕 获的图像的第一图像22A中，并且物体38存在于至少一个不同的捕获的图 像的第二图像22B中。第一图像22A涵盖环境24的第一部分76，并且第 二图像22B涵盖环境24的与第一部分76不同的第二部分78。第一图像22A 和第二图像22B可以来自相同的相机或来自不同的相机。在该示例中，第 一图像22A和第二图像22B不重叠。但是，在其他示例中，图像可以部分 重叠。如图17A和图17B中所示，对象26仅存在于第一图像22A中，并 且物体38仅存在于第二图像22B中。

对于该示例，确定对捕获的图像的修改包括将第一图像22A和第二图像22B进行组合以生成经修改的图像44A。组合可以仅仅是 将图像缝合在一起，这可以包括将第一图像22A和第二图像22B的内容进 行比较以及标识第一环境与第二环境之间的重叠。或者，如图17A-17C中 所示的，由于第一图像22A和第二图像22B之间存在分离，即不存在重叠， 所以确定该修改包括向经修改的图像44A添加空虚区域60。在另一示例中， 空虚区域60是由谷歌地图图像和/或环境24的3D模型合成的。

在一个示例中，图像捕获模块12仅接收捕获的图像。在 另一示例中，图像捕获模块12操作相机中的一个或多个。相机的每个实 例可以与对象26的移动设备58(例如，行人26A的智能手机或平板电脑、 或由行人26A穿戴的可穿戴设备)相关联；或与物体38(物体38是机动 运载工具，并且相机是运载工具的感知传感器34的部分)相关联；或不与 移动设备58或物体38相关联(例如“智能城市”相机、交通观察相机、 通用安全/监控相机、运输中心处的专用于生成经修改的图像的相机，与环 境中或环境附近的除了对象26之外的人相关联的相机)。

在另一示例中，方法1800包括确定物体38与对象26之 间的距离正在增大，例如，接近的运载工具36已经转弯并且正远离行人26A 行驶，或者行人26A在错误方向上行走，即正远离运输站点26B行走。响 应于确定距离正增大，方法1800包括确定对捕获的图像22的修改以传达 物体38和对象26正进一步移动分开的通知(例如，以及经修改的图像44A 上的添加的符号、或文本消息、或者在电话28上激活声音)。在一个示 例中，箭头48或建议路径70从绿色变为红色、和/或闪烁。

本文描述的是一种非有形的计算机可读存储介质62，其 存储被配置成使处理设备64执行以下操作的指令(图18的步骤110-140)： 接收(步骤1810)包括对象26的环境24的至少一部分的至少一个捕获的 图像22，确定物体38相对于对象26的环境24的位置40，响应于确定位 置40，修改捕获的图像22以生成指示物体38相对于环境24的位置40的 经修改的图像44A，以及使经修改的图像44A在至少一个显示器52上显示。 在先前的描述中，已参照许多特定的细节来描述本发明的实施例，这些特 定细节可因实现方式而异。因此，说明书和附图应被认为是说明性而非限 制性意义的。本发明范围的唯一且排他的指示符，以及申请人期望是本发 明的范围的内容是以发布此类权利要求的特定的形式从本申请发布的权利 要求书的字面和等效范围，包括任何后续校正。本文中明确阐述的用于被 包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求中 所使用的意义为准。此外，当我们在先前的说明书或所附权利要求中使用 术语“进一步包括”时，该短语的下文可以是额外步骤或实体，或先前所 述的步骤或实体的子步骤/子实体。

Claims (18)

1.一种方法，其包括：

接收至少一个捕获的图像，所述至少一个捕获的图像包括对象的环境的至少一部分；

确定物体相对于所述对象的所述环境的位置；

响应于确定所述物体的所述位置，确定对所述至少一个捕获的图像的修改以生成指示所述物体相对于所述环境的所述位置的经修改的图像；以及

使所述经修改的图像呈现在至少一个显示器上。

2.如权利要求1所述的方法，其特征在于，所述物体和所述对象是以下各项中的至少一项：

所述物体是运载工具，并且所述对象是行人；

所述物体是运输站点，并且所述对象是行人；以及

所述物体是运载工具，并且所述对象是运输站点。

3.如权利要求1所述的方法，其特征在于，所述方法包括

确定对所述至少一个捕获的图像的修改以指示所述对象相对于所述经修改的图像的位置。

4.如权利要求1所述的方法，其特征在于，确定对所述至少一个捕获的图像的修改以指示所述物体在所述经修改的图像中的所述位置包括以下各项中的至少一项：

调整显示的物体的颜色；

突出显示所述显示的物体；

生成指向所述物体的箭头；

生成距离指示器，所述距离指示器指示所述对象与所述物体之间的距离；以及

生成罗盘指示器，所述罗盘指示器指示从所述对象到所述物体的方向。

5.如权利要求1所述的方法，其特征在于，确定所述物体的所述位置包括以下各项中的至少一项：

接收所述物体的全球定位系统(GPS)数据；

确定所述物体相对于所述至少一个捕获的图像中的地标的相对位置；

接收所述物体相对于雷达单元的雷达数据；以及

接收所述物体相对于激光雷达单元的点云。

6.如权利要求1所述的方法，其特征在于，所述至少一个捕获的图像中的第一图像包括所述对象和所述物体两者。

7.如权利要求1所述的方法，其特征在于，所述对象存在于所述至少一个捕获的图像中的第一图像中，所述第一图像涵盖所述环境的第一部分，所述物体存在于所述至少一个捕获的图像中的第二图像中，所述第二图像涵盖所述环境的与所述第一部分不同的第二部分。

8.如权利要求7所述的方法，其特征在于，确定对所述至少一个捕获的图像的修改包括将所述第一图像和所述第二图像进行组合。

9.如权利要求1所述的方法，其特征在于，所述方法包括操作相机以捕获所述至少一个捕获的图像。

10.如权利要求9所述的方法，其特征在于，所述相机处于以下各项中的一项：

与所述对象的移动设备相关联；

与所述物体相关联；以及

不与所述对象的所述移动设备或所述物体相关联。

11.根据权利要求1所述的方法，进一步包括：

确定所述物体与所述对象之间的距离正增大；以及

响应于确定所述距离正增大，确定对所述至少一个捕获的图像的修改以传达所述物体和所述对象正进一步移动分开的通知。

12.一种系统，其包括：

物体指示器模块，所述物体指示器模块用于

接收至少一个捕获的图像，所述至少一个捕获的图像包括对象的环境的至少一部分；

确定物体相对于所述对象的所述环境的位置；

响应于确定所述物体的所述位置，确定对所述至少一个捕获的图像的修改以生成指示所述物体相对于所述环境的所述位置的经修改的图像；以及

使所述经修改的图像呈现在至少一个显示器上。

13.如权利要求12所述的系统，其特征在于，所述系统进一步包括：

一个或多个感知传感器，所述一个或多个感知传感器提供所述至少一个捕获的图像。

14.如权利要求13所述的系统，其特征在于，所述一个或多个感知传感器和所述显示器的实例是移动设备的一部分。

15.如权利要求13所述的系统，其特征在于，所述一个或多个感知传感器包括：第一感知传感器，所述第一感知传感器捕获包括所述对象的第一图像；以及第二感知传感器，所述第二感知传感器捕获包括所述物体的第二图像，所述第二感知传感器与所述第一感知传感器不同，并且所述经修改的图像是根据所述第一图像和所述第二图像确定的。

16.如权利要求13所述的系统，其特征在于，所述一个或多个感知传感器的至少一个实例包括相机。

17.如权利要求16所述的系统，其特征在于，所述相机处于以下各项中的一项：

与所述对象的移动设备相关联；

与所述物体相关联；以及

不与所述对象的所述移动设备或所述物体相关联。

18.一种非有形计算机可读存储介质，其存储被配置成使处理设备执行以下操作的指令：

接收至少一个捕获的图像，所述至少一个捕获的图像包括对象的环境的至少一部分；

确定物体相对于所述对象的所述环境的位置；

响应于确定所述位置，修改所述至少一个捕获的图像以生成指示所述物体相对于所述环境的所述位置的经修改的图像；以及

使所述经修改的图像显示在至少一个显示器上。

Images