CN113302621A - 将运载工具中捕获的乘客关注数据用于定位和基于地点的服务 - Google Patents

将运载工具中捕获的乘客关注数据用于定位和基于地点的服务 Download PDF

Info

Publication number
CN113302621A
CN113302621A CN202080007727.6A CN202080007727A CN113302621A CN 113302621 A CN113302621 A CN 113302621A CN 202080007727 A CN202080007727 A CN 202080007727A CN 113302621 A CN113302621 A CN 113302621A
Authority
CN
China
Prior art keywords
passenger
data
content
physical
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080007727.6A
Other languages
English (en)
Inventor
T·M·博纳尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN113302621A publication Critical patent/CN113302621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B60K35/28—
    • B60K35/29—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G06Q30/0266—Vehicular advertisement based on the position of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B60K2360/48—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

公开了用于将在运载工具中捕获的乘客关注数据用于运载工具定位和基于地点的服务的技术。在实施例中，方法包括：从在环境中操作的自主运载工具的一个或多个传感器接收传感器数据；使用传感器数据生成用于自主运载工具的乘客的乘客关注数据。处理电路基于乘客关注数据来确定环境中的一个或多个物理特征。处理电路获得与(一个或多个)物理特征相关联的物理特征数据并且至少部分地基于物理特征数据发起对AV的一个或多个动作。动作包括但不限于请求针对(一个或多个)物理特征的内容以及辅助自主运载工具的定位。

Description

将运载工具中捕获的乘客关注数据用于定位和基于地点的 服务
优先权
本申请要求2019年1月15日提交的美国申请序列号62/792,869的优先权和权益。
技术领域
本说明书涉及运载工具定位和基于地点的服务，并且更具体地涉及利用运载工具中捕获的乘客关注数据来进行定位和基于地点的服务。
背景技术
已经开发了用于分析驾驶员眼睛注视方向和头部/躯干姿势的自主平台以预测驾驶员转弯和改变车道的意图。这些平台使用自动、快速且人不变的现有技术的基于视觉的头部/躯干姿势算法。测量驾驶员的头部/躯干姿势的常用方法使用多个照相机以及投影和拟合在图像上的基于知识的三维模型或利用神经网络的机器学习。因此，这些当前现有技术的算法可以确定自主运载工具中的一个或多个乘客的关注。
发明内容
公开了用于将运载工具中捕获的乘客关注数据用于运载工具定位和基于地点的服务的技术。在实施例中，方法包括：从在环境中操作的自主运载工具的一个或多个传感器接收传感器数据；以及使用所述传感器数据来生成用于自主运载工具的一个或多个乘客的乘客关注数据。处理电路基于乘客关注数据来确定环境中的一个或多个物理特征。处理电路获得用于一个或多个物理特征的物理特征数据，并且至少部分地基于物理特征数据发起一个或多个动作。
在实施例中，动作包括使用自主运载工具的定位电路至少部分地基于物理特征数据来定位自主运载工具。
在实施例中，动作包括获得乘客偏好数据、选择与物理特征数据和乘客偏好数据相关联的内容(例如，广告、个性化视频或幻灯片展示、音频展示、虚拟现实或增强现实主题表示)、并且将该内容发送到自主运载工具以在该自主运载工具的输出装置或乘客移动装置上进行回放。
在自主运载工具包括两个或更多个乘客的实施例中，处理电路接收来自自主运载工具中的第一乘客的第一乘客偏好数据以及自主运载工具的第二乘客的第二乘客偏好数据。处理电路基于第一乘客偏好数据和第二乘客偏好数据来选择与该物理特征有关的内容，并且将该内容发送到自主运载工具和/或自主运载工具中的乘客移动装置。
在实施例中，处理电路确定自主运载工具中的乘客的座位地点，并且基于座位地点来过滤乘客关注数据。
在实施例中，乘客关注数据包括由自主运载工具中的乘客做出的指示物理特征的评论或话语的音频样本。
在实施例中，确定物理特征并获得该物理特征数据包括使用自主运载工具的定位电路来确定自主运载工具在环境中的地点。乘客眼睛注视和/或头部/躯干姿势由传感器捕获并且用于构建从自主运载工具中的乘客座位位置到物理特征的视线(LOS)矢量，并且处理电路使用LOS矢量以及环境的二维(2D)或三维(3D)地图或3D建筑物模型来确定物理特征。
在实施例中，处理电路生成或获得与物理特征数据有关的内容然后利用该内容来增强环境的2D或3D数字地图或3D建筑物模型。在实施例中，内容是包括物理特征数据的至少一部分的虚拟旅程媒体(通用的或个性化的)。
在实施例中，处理电路基于乘客关注数据来确定乘客的关注时间跨度并且基于该关注时间跨度来过滤乘客关注数据。
这些和其它方面、特征和实现方式可以被表达为用于进行功能的方法、设备、系统、组件、程序产品、部件或步骤以及其它方式。
这些和其它方面、特征和实现将从以下描述(包括权利要求书)变得清楚。
附图说明
图1例示根据实施例的具有自主能力的自主运载工具的示例。
图2例示根据实施例的示例“云”计算环境。
图3例示根据实施例的计算机系统。
图4示出根据实施例的自主运载工具的示例架构。
图5示出根据实施例的可以由感知模块使用的输入和输出的示例。
图6示出根据实施例的LiDAR系统的示例。
图7示出根据实施例的操作中的LiDAR系统。
图8更详细地示出根据实施例的LiDAR系统的操作。
图9示出根据实施例的规划模块的输入和输出之间的关系的框图。
图10示出根据实施例的在路径规划中使用的有向图。
图11示出根据实施例的控制模块的输入和输出的框图。
图12示出根据实施例的控制器的输入、输出和组件的框图。
图13是根据实施例的示例乘客关注系统。
图14是例示根据实施例的使用乘客关注数据以选择/生成用于递送至自主运载工具的内容的内容递送系统的框图。
图15是例示根据实施例的使用乘客关注数据以辅助定位自主运载工具的定位系统的图。
图16是根据实施例的使用乘客注意数据以用于内容递送和定位的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，本发明可以在没有这些具体细节的情况下实施将是明显的。在其它实例中，众所周知的构造和装置是以框图形式示出的，以避免不必要地使本发明模糊。
在附图中，为了便于描述，示出了示意要素(诸如表示装置、模块、指令块和数据要素的那些要素)的具体排列或次序。然而，本领域技术人员应当理解，附图中示意要素的具体次序或排列并不意在意味着要求特定的处理次序或序列、或处理过程的分离。此外，在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外，在附图中，连接要素、诸如实线或虚线或箭头用于例示两个或更多个其它示意要素之间的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，一些要素之间的连接、关系或关联未在附图中示出，以便不使本公开内容模糊。此外，为了便于例示，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令的通信，本领域技术人员应理解，这种要素表示影响通信可能需要的一个或多个信号路径(例如，总线)。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，没有详细描述众所周知的方法、程序、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
下面描述的若干特征各自可以彼此独立地使用，也可以与其它特征的任何组合一起使用。然而，任何个别特征可能不能解决以上所讨论的任何问题，或者只能解决以上所讨论的问题之一。以上所讨论的一些问题可能不能通过本文所描述的任何一个特征得到充分解决。虽然提供了标题，但在本说明书的其它地方也可以找到与具体标题有关但在具有该标题的部分中未找到的信息。本文根据以下概要描述实施例:
1.总体概述
2.系统概述
3.自主运载工具架构
4.自主运载工具输入
5.自主运载工具规划
6.自主运载工具控制
7.使用乘客关注数据的内容递送
8.使用乘客关注数据的定位
总体概述
完全自主运载工具的益处是乘客不负担驾驶任务并且可以将其关注转移到更宽泛的环境以发现信息并享受其周围环境。此外，已经开发了现有技术的基于视觉的眼睛注视和头部/躯干姿势算法，其使用多个照相机以及投影和拟合在照相机图像上的基于知识的3D模型或使用神经网络的机器学习来确定乘客的眼睛注视方向或头部/躯干姿势。
乘客关注检测技术已经成功地用于手动驾驶的运载工具中以确定驾驶员是警惕的还是困倦的，其目的是提供警告以唤醒驾驶员并避免事故。该技术还用于在完全自主驾驶不再可能(例如，传感器故障)的情况下，确定完全自主运载工具中的乘客是否处于手动驾驶AV的合适状态。在以下描述中，乘客关注数据用于生成或选择基于地点的内容以递送至自主运载工具的乘客。乘客关注数据还用于识别地标和用于辅助自主运载工具的定位的其它物理特征。
在实施例中，放置在自主运载工具的乘客舱中的传感器(例如，3D图像传感器、飞行时间(TOF)传感器、麦克风)用于捕获该自主运载工具的一个或多个乘客的乘客关注数据。乘客关注数据(例如，头部/躯干姿势、眼睛注视方向、乘客评论/话语的音频样本)指示已经吸引在自主运载工具中乘坐的一个或多个乘客的关注的环境的物理特征(例如，地标、景观)。乘客关注数据用于发起对自主运载工具的一个或多个动作，诸如辅助自主运载工具定位或请求将与物理特征数据有关的内容(例如，视频、幻灯片、广告)递送至自主运载工具输出装置和/或乘客的个人装置(例如，智能电话、平板计算机、可穿戴装置)。
在实施例中，乘客关注数据包括但不限于跟踪自主运载工具中的一个或多个乘客的头部/躯干姿势(头部定向)。例如，头部/躯干姿势角度可以相对于附加到自主运载工具的局部参考坐标系来测量并用于构建乘客LOS矢量，该乘客LOS矢量从乘客在运载工具中的就座位置并在物理特征的方向上延伸。乘客LOS矢量可以与2D或3D数字地图和/或3D建筑物模型一起使用，以构建LOS矢量周围的视椎体，称为乘客视场(PFOV)。
在实施例中，乘客LOS矢量和自主运载工具的地点(在下文中称为“PFOV数据”)被发送至基于网络的计算平台，其中，PFOV数据与2D/3D数字地图和/或3D建筑物模型一起使用，以确定落在PFOV内的环境中的物理特征(例如，地标、建筑物、纪念碑、自然结构)。在替代实施例中，自主运载工具的计算机系统(例如，计算机系统300)使用局部数字地图和/或建筑物模型来确定PFOV内的物理特征。
在实施例中，PFOV数据被过滤以去除离群乘客关注数据并被添加到存储在基于网络的计算平台上的众包PFOV数据的数据库中。众包PFOV数据用于确定PFOV中的多个物理特征中的哪个物理特征最有可能吸引乘客的注意。例如，将被确定为在PFOV中的物理特征的列表及其描述(例如，名称、图像)发送至自主运载工具，其中，这些描述被显示在自主运载工具的输出装置(例如，显示器)和/或乘客的个人装置(例如，智能电话、平板计算机、可穿戴装置)上。要求乘客通过操纵图形用户界面(GUI)上的可供件(例如，复选框或按钮)确认其看到所描述的(一个或多个)物理特征。还要求乘客通过GUI可供件指示其想要接收内容的物理特征(在下文中，“主要感兴趣特征”或“PFOI”)。
乘客的响应被发送回基于网络的计算平台，在该计算平台中，该响应被添加到众包PFOV数据。基于接收到的乘客响应，内容数据库用于生成或选择与PFOI有关的要递送至乘客的内容。例如，PFOI内容被聚集到PFOI的定制视频或幻灯片中。在实施例中，内容数据库是具有叠加的兴趣点(POI)的地图数据库，这些兴趣点已经由企业主、政府实体、旅行代理和/或一般公众(例如，
Figure BDA0003142202560000061
Maps,
Figure BDA0003142202560000062
)注释。在实施例中，PFOI用于(例如，基于受欢迎度)向乘客推荐内容并且允许广告商将广告更好地定向到运载工具中的乘客。
在实施例中，PFOV数据与其它信息一起使用，以生成或选择用于递送至乘客的内容。例如，季节、(例如，来自无线天气预报服务的)天气状况、一天中的时间、(例如，由乘客在选择加入之后提供的)用户偏好和人口统计、(例如，从运载工具的信息娱乐系统导出的)乘客音乐品味、(例如，由导航系统提供的)出发和目的地地点以及所选择的路线、以及可用的或导出的以针对乘客生成和/或选择针对性内容的任何其它信息。
在实施例中，PFOV数据包括所记录的乘客舱中的乘客交谈的音频，诸如可以用作用于确定在自主运载工具的当前地点中哪个物理特征吸引了乘客的兴趣的提示的与物理特征有关的乘客评论或话语。在实施例中，在被记录以保护乘客的隐私之前，要求乘客通过麦克风口头地或通过触摸显示器“选择加入”。
在实施例中，在PFOV中存在多个物理特征的情况下，根据乘客的先前指定或学习的偏好来过滤所识别出的物理特征。例如，如果乘客简档指示对与历史地标有关的内容的偏好，则向乘客提供请求内容的历史地标的列表。环境的物理特征可以包括但不限于：地标、建筑物、自然地理地点、景观、餐厅、休息站、或可以吸引乘客注意的任何其它事物。在实施例中，物理特征是暂时的，诸如可以从PFOV数据中识别并且由乘客验证的交通事故、道路状况(例如，大的坑洼)、损坏的行车道基础设施(例如，标志、交通灯、桥梁)等。在实施例中，经验证的PFOV用于向第一响应者或其它政府服务警告事故。
在实施例中，发送到乘客的内容呈现在自主运载工具中的合适的输出装置上或通过该输出装置播放。例如，自主运载工具在平视显示器上、在屏幕(例如，触摸屏)上显示内容或通过自主运载工具中的扬声器播放内容。内容还可以通过自主运载工具中的移动Wi-Fi路由器或通过蜂窝网络连接被发送到乘客移动装置(例如，智能电话、平板计算机、可穿戴装置)。
在自主运载工具中存在两个或更多个乘客的实施例中，针对每个乘客获得第一乘客偏好数据。单独内容针对每个个体乘客在相应的PFOV(其可能通过自主运载工具的面向环境中的不同方向的不同窗户)中看到的物理特征而被生成或选择。在实施例中，组合每个乘客的个人偏好以生成自主运载工具中的所有乘客感兴趣的内容。例如，如果乘客简档指示牛排和海产品餐厅的偏好，则可以将牛排和海产品餐厅的列表连同其相应的菜单、众包用户评论和营业时间显示给自主运载工具中的乘客。在实施例中，乘客可以使用语音命令来呼叫餐厅进行预订和/或自主运载工具的规划模块可以生成从自主运载工具的当前地点到餐厅的轨迹。
在实施例中，基于乘客座位地点来过滤内容。例如，来自自主运载工具左侧的乘客的乘客关注数据和乘客偏好数据可以优先于来自运载工具右侧的乘客的数据，或反之亦然。这可以在运载工具的特定侧不存在感兴趣物理特征的情形下发生。对于仍需要驾驶员的半自主运载工具，该“驾驶员”座位可以优先于其它乘客座位地点。例如，“驾驶员”座位可以保持在比后方座位更高的重要程度，这是因为“驾驶员”座位中的乘客对运载工具前往的地方具有更多的控制或输入。
在实施例中，乘客标识信息和偏好与座位分配相关联并且用于选择或过滤内容。例如，在具有4个乘客座位的运载工具中，该运载工具知道Bob在座位1中，Sue在座位2中，Rob在座位3并且Mary在座位4中。利用该知识，可以创建针对每个乘客的个人偏好定制的多个内容流。座位分配还消除了对用于识别运载工具中的乘客的面部检测算法的需要。然而，在一些实施例中，乘客舱中的传感器(例如，图像传感器)用于面部检测以识别乘客舱中的每个个体，并且使用该数据来从运载工具或个人乘客装置中的数据库或从通过基于网络的计算平台的数据库接入中获得其相应的偏好数据。
在实施例中，基于从乘客关注数据确定的乘客的关注时间跨度生成/选择内容。例如，如果乘客在物理特征上花费的关注时间跨度大于N秒(例如，10秒)，则生成/选择乘客关注数据，因为小于N秒的任何时间跨度都被认为是对乘客几乎不重要。即，时间稳定的PFOV用于生成或选择内容。在实施例中，通过对PFOV中的物理特征进行计数或跟踪来确定时间稳定性。例如，乘客看了一眼博物馆，并且转而对博物馆的街道上的地标关注超过三秒，因此处理电路将基于地标而非博物馆来选择内容且将内容发送到乘客。
在实施例中，动作包括至少部分地基于物理特征数据来辅助定位电路定位自主运载工具(例如，地标定位)。如果外部3D传感器是可用的(例如，LiDAR、RADAR)，则除了取决于GNSS卫星的可见性、多路径信号(例如，密集城市环境)等的GNSS之外或者代替无线网络定位，视觉里程法可用于定位AV。如果3D传感器不可用，则可以使用PFOV数据和几何原理来实现地标定位。
系统概述
图1示出具有自主能力的自主运载工具100的示例。
如本文所使用的，术语“自主能力”是指一种功能、特征或设施，该功能、特征或设施使运载工具能够部分地或完全地操作，而无需实时的人类干预，包括但不限于完全自主运载工具、高度自主运载工具和有条件自主运载工具。
如本文所使用的，自主运载工具(AV)是一种具有自主能力的运载工具。
如本文所使用的，“运载工具”包括货物或人员的运输方式。例如，小汽车、公共汽车、火车、飞机、无人机、卡车、船只、舰艇、潜水器、飞船等。无人驾驶的小汽车是运载工具的示例。
如本文所使用的，“轨迹”是指将AV从第一时空地点导航到第二时空地点的路径或路线。在实施例中，第一时空地点被称为初始地点或起始地点，第二时空地点被称为目的地、最终地点、目标、目标位置或目标地点。在一些示例中，轨迹由一个或多个路段(例如，道路的数段)组成，并且各路段由一个或多个块(例如，车道或交叉口的一部分)组成。在实施例中，时空地点对应于真实世界地点。例如，时空地点是上车或下车地点，以使人员或货物上车或下车。
如本文所使用的，“(一个或多个)传感器”包括一个或多个硬件组件，用于检测与传感器周围环境有关的信息。一些硬件组件可包括感测组件(例如，图像传感器、生物特征传感器)、传输和/或接收组件(例如，激光或射频波发射器和接收器)、电子组件(诸如，模数转换器)、数据存储装置(诸如，RAM和/或非易失性存储器)、软件或固件组件和数据处理组件(诸如，专用集成电路)、微处理器和/或微控制器。
如本文所使用的，“场景描述”是一种数据结构(例如，列表)或数据流，其包括由AV运载工具上的一个或多个传感器检测到的一个或多个经分类或加标签的对象，或由AV外部的源提供的一个或多个经分类或加标签的对象。
如本文所使用的，“道路”是一个可以被运载工具穿过的物理区域，并且可以对应于已命名的通道(例如，城市街道、州际高速公路等)或可对应于未命名的通道(例如，房屋或办公楼内的行车道、停车场的一段、空置停车场的一段、乡村区域的污物通道等)。因为有些运载工具(例如，四轮驱动的小卡车、越野车(SUV)等)能够穿过各种不特别适合运载工具行驶的物理区域，因此“道路”可以是任何市政当局或其它政府或行政机构没有正式定义为一条通道的物理区域。
如本文所使用的，“车道”是道路的可被运载工具穿过的部分。车道有时基于车道标记来识别。例如，车道可以对应于车道标记之间的大部分或全部空间，或仅对应于车道标记之间的一些空间(例如，小于50％)。例如，具有相距远的车道标记的道路可能在标记之间容纳两个或更多个运载工具，使得一个运载工具可以在不穿过车道标记的情况下超过另一个运载工具，并且因此可被解释为具有比车道标记之间的空间窄的车道，或在车道标记之间具有两个车道。在没有车道标记的情况下，也可以对车道进行解释。例如，车道可以基于环境的物理特征(例如乡村区域沿着通道的岩石和树木，或者例如未开发区域中要避开的自然障碍物)来定义。车道还可以独立于车道标记或物理特征来解释。例如，车道可以基于另外缺少将被解释为车道边界的特征的区域中没有障碍物的任意路径来解释。在示例场景中，AV可以通过广场或空停车场的无障碍物部分来解释车道。在另一示例场景中，AV可以通过不具有车道标记的宽(例如，对于两个或更多个车道足够宽)道路解释车道。在这种场景下，AV可将与车道有关的信息通信至其它AV，使得其它AV可以使用相同的车道信息来协调它们自身之间的路径规划。
术语“空中(OTA)客户端”包括嵌入在AV中、耦接到AV或与AV通信的任何AV或任何电子装置(例如，计算机、控制器、IoT装置、电子控制单元(ECU))。
术语“空中(OTA)更新”意指对使用专有和/或标准化无线通信技术(包括但不限于：蜂窝移动通信(例如，2G、3G、4G、5G)、无线电无线区域网(例如，WiFi)和/或卫星互联网)递送到OTA客户端的软件、固件、数据或配置设置或其任何组合的任何更新、改变、删除或添加。
术语“边缘节点”意指耦接至网络的一个或多个边缘装置，该一个或多个边缘装置提供用于与AV通信的门户并且可以与其它边缘节点和基于云的计算平台通信，以调度OTA更新并将其递送至OTA客户端。
术语“边缘装置”意指实现边缘节点并且将物理无线接入点(AP)提供到企业或服务提供商(例如，VERIZON、AT&T)核心网络中的装置。边缘装置的示例包括但不限于：计算机、控制器、发送器、路由器、路由交换机、集成接入装置(IAD)、复用器、城域网(MAN)和广域网(WAN)接入装置。
“一个或多个”包括由一个要素执行的功能、由多个要素例如以分布式的方式执行的功能、由一个要素执行的若干功能、由若干要素执行的若干功能、或上述的任何组合。
还将理解的是，尽管在一些情况下，术语“第一”、“第二”等在本文中是用来描述各种要素的，但这些要素不应受到这些术语的限制。这些术语仅用于区分一个要素与另一个要素。例如，在未背离各种所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点两者都是触点，但它们不是相同触点。
在本文所描述的各种实施例的说明书中使用的术语仅用于描述特定实施例的目的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，除非上下文另有明确说明。还将理解的是，如本文所使用的“和/或”是指并且包括一个或多个相关清单项目的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、要素、组件、和/或其群组。
如本文所使用的，取决于上下文，术语“如果”可选地被理解为意指“当”或“在当时”或“响应于确定为”或“响应于检测到”。类似地，取决于上下文，短语“如果已确定”或“如果[所陈述的条件或事件]已被检测到”可选地被理解为意指“在确定时”或“响应于确定为“或”在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
如本文所使用的，AV系统是指AV以及支持AV操作的硬件、软件、存储的数据和实时生成的数据的阵列。在实施例中，AV系统并入在AV内。在实施例中，AV系统跨若干地点分布。例如，AV系统的一些软件是在类似于下面关于图2描述的云计算环境200的云计算环境中实现的。
一般而言，本文件描述了适用于任何具有一种或多种自主能力的运载工具的技术，包括完全自主运载工具、高度自主运载工具和有条件自主运载工具，诸如分别为所谓的第5级、第4级和第3级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关术语的分类和定义，通过引用将其全部内容并入本文件，用于了解运载工具自主权等级的更多详细信息)。本文件所描述的技术也适用于部分自主运载工具和驾驶员辅助运载工具，诸如所谓的第2级和第1级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关术语的分类和定义)。在实施例中，一个或多个第1级、第2级、第3级、第4级和第5级运载工具系统可基于对传感器输入的处理，在某些操作条件下自动执行某些运载工具操作(例如，转向、制动和使用地图)。本文件中所描述的技术可以使从完全自主运载工具到人类操作的运载工具范围内的任何级别的运载工具受益。
自主运载工具具有优于需要人类驾驶员的运载工具的优点。一个优点是安全性。例如，在2016年，美国经历了6百万次汽车事故、2.4百万次损伤、40，000次死亡、以及1300万次运载工具碰撞，估计社会成本为$910十亿。从1965年至2015年，每行驶1000万英里的美国交通死亡率已经从约六减少至约一，部分是由于运载工具中部署的附加安全措施。例如，碰撞将要发生的警告的附加半秒被认为减轻了60％的追尾碰撞。然而，被动安全特征(例如，安全带、气囊)在改善该数量方面可能达到其极限。因此，诸如运载工具的自动控制等的主动安全措施是改善这些统计资料的可能的下一步骤。由于认为人类驾驶员负责95％碰撞中的关键预碰撞事件，因此自动驾驶系统可能例如通过比人类更好地可靠地识别和避免关键情况；做出更好的决策，遵守交通法规，并比人类更好地预测未来事件；以及比人类更好地可靠地控制运载工具来实现更好的安全结果。
参考图1，AV系统120使AV 100沿着轨迹198操作，穿过环境190至目的地199(有时称为最终地点)，同时避开对象(例如，自然障碍物191、运载工具193、行人192、骑车者和其它障碍物)和遵守道路规则(例如，操作规则或驾驶偏好)。
在实施例中，AV系统120包括被装备以从计算机处理器146接收操作命令并对其进行操作的装置101。在实施例中，计算处理器146与下面参考图3描述的处理器304类似。装置101的示例包括转向控制器102、制动器103、挡位、加速踏板或其它加速控制机构、挡风玻璃雨刮器、侧门锁、窗控器和转向指示器。
在实施例中，AV系统120包括用于测量或推断AV 100的状态或条件的属性的传感器121，这些属性诸如是AV的位置、线速度和角速度及线加速度和角加速度、以及航向(例如，AV 100的前端的方向)。传感器121的示例是GPS、测量运载工具线加速度和角速率两者的惯性测量单元(IMU)、用于测量或估计轮滑移率的轮速率传感器、轮制动压力或制动扭矩传感器、引擎扭矩或轮扭矩传感器以及转向角度和角速率传感器。
在实施例中，传感器121还包括用于感测或测量AV的环境的属性的传感器。例如，可见光、红外或热(或两者兼有)光谱的单目或立体摄像机122、LiDAR 123、RADAR、超声波传感器、飞行时间(TOF)深度传感器、速率传感器、温度传感器、湿度传感器和降水传感器。
在实施例中，AV系统120包括数据存储单元142和存储器144，用于存储与计算机处理器146相关联的机器指令或由传感器121收集的数据。在实施例中，数据存储单元142与以下关于图3描述的ROM 308或存储装置310类似。在实施例中，存储器144与下面描述的主存储器306类似。在实施例中，数据存储单元142和存储器144存储有关环境190的历史、实时和/或预测性信息。在实施例中，存储的信息包括地图、驾驶性能、交通拥堵更新或天气条件。在实施例中，与环境190有关的数据从远程数据库134通过通信信道传输到AV 100。
在实施例中，AV系统120包括通信装置140，用于将对其它运载工具的状态和条件(诸如位置、线速度和角速度、线加速度和角加速度、以及线航向和角航向)测量或推断的属性传送到AV 100。这些装置包括运载工具到运载工具(V2V)和运载工具到基础设施(V2I)通信装置以及用于通过点对点或自组织(ad hoc)网络或两者进行无线通信的装置。在实施例中，通信装置140跨电磁频谱(包括无线电和光通信)或其它介质(例如，空气和声介质)进行通信。运载工具对运载工具(V2V)、运载工具对基础设施(V2I)通信(以及在一些实施例中为一种或多种其它类型的通信)的组合有时被称为运载工具对所有事物(V2X)通信。V2X通信通常符合一个或多个通信标准，用于与自主运载工具进行的和在自主运载工具之间的通信。
在实施例中，通信装置140包括通信接口。例如，有线、无线、WiMAX、WiFi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数据从远程数据库134传输到AV系统120。在实施例中，远程数据库134嵌入在如图2中所描述的云计算环境200中。通信接口140将从传感器121收集的数据或与AV 100操作有关的其它数据传输到远程数据库134。在实施例中，通信接口140向AV 100传输与遥操作有关的信息。在一些实施例中，AV 100与其它远程(例如，“云”)服务器136通信。
在实施例中，远程数据库134还存储和传输数字数据(例如，存储诸如道路和街道地点的数据)。这些数据存储在AV 100上的存储器144中，或者通过通信信道从远程数据库134传输到AV 100。
在实施例中，远程数据库134存储和传输与以前在一天中类似时间沿着轨迹198行驶的运载工具的驾驶属性有关的历史信息(例如，速率和加速度分布)。在一个实现中，这种数据可以存储在AV 100上的存储器144中，或者通过通信信道从远程数据库134传输到AV100。
位于AV 100上的计算装置146基于实时传感器数据和先验信息两者以算法方式生成控制动作，允许AV系统120执行其自主驾驶能力。
在实施例中，AV系统120包括耦接到计算装置146的计算机外围设备132，用于向AV100的用户(例如，乘员或远程用户)提供信息和提醒并接收来自该用户的输入。在实施例中，外围设备132类似于下面参考图3讨论的显示器312、输入装置314和光标控制器316。耦接是无线的或有线的。任意两个或更多个的接口装置可以集成到单个装置中。
图2例示示例“云”计算环境。云计算是一种服务交付模式，用于使得能够方便、按需地在网络上访问可配置计算资源(例如网络、网络带宽、服务器、处理、内存、存储、应用程序、虚拟机和服务)的共享池。在典型的云计算系统中，一个或多个大型云数据中心容纳用于交付云所提供的服务的机器。现在参考图2，云计算环境200包括通过云202互连的云数据中心204a、204b和204c。数据中心204a、204b和204c为连接到云202的计算机系统206a、206b、206c、206d、206e和206f提供云计算服务。
云计算环境200包括一个或多个云数据中心。一般而言，云数据中心(例如图2中所示的云数据中心204a)是指构成云(例如图2中所示的云202或云的特定部分)的服务器的物理排列。例如，服务器在云数据中心中物理排列成房间、组、行和机架。云数据中心有一个或多个区域，其中包括一个或多个服务器房间。每个房间有一行或多行服务器，并且每行包括一个或多个机架。每个机架包括一个或多个单独的服务器节点。在一些实现中，区域、房间、机架和/或行中的服务器基于数据中心设施的物理基础设施要求(包括电力、能源、热力、热源和/或其它要求)被排列成若干组。在实施例中，服务器节点类似于图3中描述的计算机系统。数据中心204a具有许多分布在多个机架上的计算系统。
云202包括云数据中心204a、204b和204c以及用于连接云数据中心204a、204b和204c并有助于促进计算系统206a-f对云计算服务的访问的网络和网络资源(例如，网络设备、节点、路由器、交换机和网络电缆)。在实施例中，该网络表示一个或多个本地网络、广域网或通过使用地面或卫星连接部署的有线或无线链路耦接的网际网络的任意组合。通过网络交换的数据使用多种网络层协议(诸如，因特网协议(IP)、多协议标签交换(MPLS)、异步传输模式(ATM)、帧中继(Frame Relay)等)进行传输。此外，在网络表示多个子网络的组合的实施例中，在每个底层子网络上使用不同的网络层协议。在一些实施例中，网络表示一个或多个互连网际网络(诸如公共因特网等)。
计算系统206a-f或云计算服务消费者通过网络链路和网络适配器连接到云202。在实施例中，计算系统206a-f被实现为各种计算装置，例如服务器、台式机、膝上型计算机、平板电脑、智能手机、物联网(IoT)装置、自主运载工具(包括小汽车、无人机、航天飞机、火车、公共汽车等)和消费电子产品。在实施例中，计算系统206a-f在其它系统中实现或作为其它系统的一部分实现。
图3例示计算机系统300。在实现中，计算机系统300是一种专用计算装置。专用计算装置被硬连线以执行这些技术，或包括诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)的被持久编程为执行上述技术的数字电子装置，或可包括一个或多个通用硬件处理器，这些硬件处理器经编程以根据固件、存储器、其它存储器、或者组合中的程序指令执行这些技术。这种专用的计算装置还可以将定制的硬线逻辑、ASIC或FPGA与定制的编程相结合来完成这些技术。在各种实施例中，专用计算装置是台式计算机系统、便携式计算机系统、手持装置、网络装置或包含硬线和/或程序逻辑以实现这些技术的任何其它设备。
在实施例中，计算机系统300包括总线302或用于传达信息的其它通信机制、以及与总线302耦接以处理信息的硬件处理器304。硬件处理器304是例如通用微处理器。计算机系统300还包括主存储器306，诸如随机存取存储器(RAM)或其它动态存储装置，该主存储器306耦接到总线302以存储信息和指令，该信息和指令由处理器304执行。在一个实现中，主存储器306用于在执行要由处理器304执行的指令期间存储临时变量或其它中间信息。当这些指令存储在处理器304可访问的非暂时性存储介质中时，使计算机系统300变成一个专用机器，该机器被定制以执行指令中指定的操作。
在实施例中，计算机系统300还包括只读存储器(ROM)308或耦接到总线302的其它静态存储装置，用于存储处理器304的静态信息和指令。提供诸如磁盘、光盘、固态驱动器或三维交叉点存储器的存储装置310，并且该存储装置310耦接到总线302以存储信息和指令。
在实施例中，计算机系统300通过总线302耦接到诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、发光二极管(LED)显示器或用于向计算机用户显示信息的有机发光二极管(OLED)显示器的显示器312。包括字母数字键和其它键的输入装置314耦接到总线302，用于向处理器304传送信息和命令选择。另一种类型的用户输入装置是光标控制器316，诸如鼠标、轨迹球、触控显示器或光标方向键，用于将方向信息和命令选择传送到处理器304，并用于控制光标在显示器312上的移动。这种输入装置通常具有两个轴(第一轴(例如，x轴)和第二轴(例如，y轴))上的两个自由度，这两个轴允许装置指定平面上的位置。
根据一个实施例，本文的技术由计算机系统300响应于处理器304执行主存储器306中包含的一个或多个指令的一个或多个序列而执行。这些指令从诸如存储装置310的另一存储介质读入主存储器306。执行主存储器306中包含的指令序列使处理器304执行本文所描述的过程步骤。在替代实施例中，使用硬连线电路代替或与软件指令结合使用。
如本文所使用的术语“存储介质”是指存储数据和/或指令的任何非暂时性介质，这些数据和/或指令使机器以特定方式操作。这种存储介质包括非易失性介质和/或易失性介质。非易失性介质例如包括诸如存储装置310的光盘、磁盘、固态驱动器或三维交叉点存储器。易失性介质包括动态存储器，诸如主存储器306。存储介质的常见形式包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其它磁数据存储介质、CD-ROM、任何其它光数据存储介质、任何具有孔型的物理介质、RAM、PROM和EPROM、FLASH-EPROM、NV-RAM、或任何其它存储芯片或存储盒。
存储介质有别于传输介质，但可以与传输介质相结合使用。传输介质参与存储介质之间的信息传输。例如，传输介质包括同轴电缆、铜线和光纤，其包括具备总线302的电线。传输介质也可以采取声波或光波的形式，诸如在无线电波和红外数据通信过程中产生的声波或光波。
在实施例中，各种形式的介质涉及将一个或多个指令的一个或多个序列承载到处理器304以供执行。例如，这些指令最初是在远程计算机的磁盘或固态驱动器上执行的。远程计算机将指令加载到其动态存储器中，并使用调制解调器通过电话线路发送指令。计算机系统300的本地调制解调器接收电话线路上的数据，并使用红外发射器将数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将数据放置在总线302上。总线302将数据承载到主存储器306，处理器304从主存储器306检索并执行指令。主存储器306接收的指令可以可选地在处理器304执行之前或之后存储在存储装置310上。
计算机系统300还包括耦接到总线302的通信接口318。通信接口318提供耦接到连接至本地网络322的网络链路320的双向数据通信。例如，通信接口318是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或用以提供与相应类型电话线路的数据通信连接的调制解调器。作为另一示例，通信接口318是局域网(LAN)卡，用于提供与兼容LAN的数据通信连接。在一些实现中，无线链路也被实现。在任何这种实现中，通信接口318发送和接收承载表示各种类型的信息的数字数据流的电、电磁或光信号。
网络链路320通常通过一个或多个网络向其它数据装置提供数据通信。例如，网络链路320通过本地网络322提供与主计算机324或与由因特网服务提供商(ISP)326运营的云数据中心或设备的连接。ISP 326又通过现在通常称为“因特网”328的世界范围分组数据通信网络来提供数据通信服务。本地网络322和因特网328两者都使用承载数字数据流的电、电磁或光信号。通过各种网络的信号以及网络链路320上并通过通信接口318的信号是传输介质的示例形式，其中这些信号承载了进出计算机系统300的数字数据。在实施例中，网络320包含上述云202或云202的一部分。
计算机系统300通过(一个或多个)网络、网络链路320和通信接口318发送消息和接收包括程序代码的数据。在实施例中，计算机系统300接收用于处理的代码。接收到的代码在接收到时由处理器304执行，和/或存储在存储装置310中，或存储在其它非易失性存储装置中以便以后执行。
自主运载工具架构
图4示出用于自主运载工具(例如，图1所示的AV 100)的示例架构400。架构400包括感知模块402(有时称为感知电路)、规划模块404(有时称为规划电路)、控制模块406(有时称为控制电路)、定位模块408(有时称为定位电路)和数据库模块410(有时称为数据库电路)。各模块在AV 100的操作中发挥作用。共同地，模块402、404、406、408和410可以是图1所示的AV系统120的一部分。在一些实施例中，模块402、404、406、408和410中的任何模块是计算机软件(例如，计算机可读介质上所存储的可执行代码)和计算机硬件(例如，一个或多个微处理器、微控制器、专用集成电路[ASIC]、硬件存储器装置、其它类型的集成电路、其它类型的计算机硬件、或者这些硬件中的任何或所有的组合)的组合。模块402、404、406、408和410各自有时被称为处理电路(例如，计算机硬件、计算机软件或这两者的组合)。模块402、404、406、408和410中的任何或所有模块的组合也是处理电路的示例。
在使用中，规划模块404接收表示目的地412的数据，并且确定表示AV100为了到达(例如，抵达)目的地412而可以行驶的轨迹414(有时称为路线)的数据。为了使规划模块404确定表示轨迹414的数据，规划模块404从感知模块402、定位模块408和数据库模块410接收数据。
感知模块402使用例如也如图1所示的一个或多个传感器121来识别附近的物理对象。将对象分类(例如，分组成诸如行人、自行车、汽车、交通标志等的类型)，并且将包括经分类的对象416的场景描述提供至规划模块404。
规划模块404还从定位模块408接收表示AV位置418的数据。定位模块408通过使用来自传感器121的数据和来自数据库模块410的数据(例如，地理数据)以计算位置来确定AV位置。例如，定位模块408使用来自GNSS(全球导航卫星系统)传感器的数据和地理数据来计算AV的经度和纬度。在实施例中，定位模块408所使用的数据包括具有行车道几何属性的高精度地图、描述道路网络连接属性的地图、描述行车道物理属性(诸如交通速率、交通量、运载工具和自行车车道的数量、车道宽度、车道交通方向、或车道标记类型和地点，或者它们的组合)的地图、以及描述道路特征(诸如十字路口、交通标志或各种类型的其它行驶信号等)的空间地点的地图。在实施例中，通过将数据自动或手动注释添加到低精度地图来构建高精度地图。
控制模块406接收表示轨迹414的数据和表示AV位置418的数据，并且以将使得AV100行驶轨迹414到达目的地412的方式来操作AV的控制功能420a～420c(例如，转向、油门、制动、点火)。例如，如果轨迹414包括左转，则控制模块406将以如下方式操作控制功能420a～420c：转向功能的转向角度将使得AV 100左转，并且油门和制动将使得AV 100在进行转弯之前暂停并等待经过的行人或运载工具。
自主运载工具输入
图5示出感知模块402(图4)所使用的输入502a-502d(例如，图1中所示的传感器121)和输出504a-504d(例如，传感器数据)的示例。一个输入502a是LiDAR(光检测和测距)系统(例如，图1所示的LiDAR 123)。LiDAR是使用光(例如，诸如红外光等的一道光)来获得与其视线中的物理对象有关的数据的技术。LiDAR系统产生LiDAR数据作为输出504a。例如，LiDAR数据是用于构造环境190的表示的3D或2D点(也称为点云)的集合。
另一输入502b是RADAR(雷达)系统。RADAR是使用无线电波来获得与附近的物理对象有关的数据的技术。RADAR可以获得与不在LiDAR系统的视线内的对象有关的数据。RADAR系统502b产生RADAR数据作为输出504b。例如，RADAR数据是用于构造环境190的表示的一个或多个射频电磁信号。
另一输入502c是照相机系统。照相机系统使用一个或多个照相机(例如，使用诸如电荷耦合器件[CCD]等的光传感器的数字照相机)来获取与附近的物理对象有关的信息。照相机系统产生照相机数据作为输出504c。照相机数据通常采用图像数据(例如，诸如RAW、JPEG、PNG等的图像数据格式的数据)的形式。在一些示例中，照相机系统具有例如为了立体影像(立体视觉)的目的的多个独立照相机，这使得照相机系统能够感知深度。尽管照相机系统所感知的对象在这里被描述为“附近”，但这是相对于AV而言的。在使用中，照相机系统可被配置为“看见”远处的(例如，AV前方的远至1公里或更远的)对象。因此，照相机系统可以具有为了感知遥远的对象而优化的诸如传感器和镜头等的特征。
另一输入502d是交通灯检测(TLD)系统。TLD系统使用一个或多个照相机来获得与交通灯、街道标志和提供视觉导航信息的其它物理对象有关的信息。TLD系统产生TLD数据作为输出504d。TLD数据经常采用图像数据(例如，诸如RAW、JPEG、PNG等的图像数据格式的数据)的形式。TLD系统与包含照相机的系统的不同之处在于：TLD系统使用具有宽视场(例如，使用广角镜头或鱼眼镜头)的照相机，以获得与尽可能多的提供视觉导航信息的物理对象有关的信息，使得AV 100能够访问这些对象所提供的所有相关导航信息。例如，TLD系统的视角可以为约120度或更大。
在一些实施例中，使用传感器融合技术来组合输出504a-504d。因而，将个体输出504a-504d提供至AV 100的其它系统(例如，提供至如图4所示的规划模块404)，或者可以采用相同类型的单个组合输出或多个组合输出(例如，使用相同组合技术或组合相同输出或者这两者)或不同类型的单个组合输出或多个组合输出(例如，使用不同的各个组合技术或组合不同的各个输出或者这两者)的形式，将组合输出提供至其它系统。在一些实施例中，使用早期融合技术。早期融合技术的特征在于：在将一个或多个数据处理步骤应用到组合输出之前，将输出组合。在一些实施例中，使用后期融合技术。后期融合技术的特征在于：在将一个或多个数据处理步骤应用到个体输出之后，将输出组合。
图6示出LiDAR系统602的示例(例如，图5所示的输入502a)。LiDAR系统602从发光器606(例如，激光发射器)发射光604a-604c。LiDAR系统所发射的光通常不在可见光谱中；例如，经常使用红外光。所发射的光604b中的一些光遇到物理对象608(例如，运载工具)并且反射回到LiDAR系统602。(从LiDAR系统发射的光通常不会穿透物理对象，例如，实心形式的物理对象。)LiDAR系统602还具有用于检测反射光的一个或多个光检测器610。在实施例中，与LiDAR系统相关联的一个或多个数据处理系统生成表示LiDAR系统的视场614的图像612。图像612包括表示物理对象608的边界616的信息。这样，图像612用于确定AV附近的一个或多个物理对象的边界616。
图7示出操作中的LiDAR系统602。在该图所示的情境中，AV 100接收采用图像702的形式的照相机系统输出504c和采用LiDAR数据点704的形式的LiDAR系统输出504a两者。在使用中，AV 100的数据处理系统将图像702与数据点704进行比较。特别地，在数据点704中也识别在图像702中识别出的物理对象706。这样，AV 100基于数据点704的轮廓和密度来感知物理对象的边界。
图8示出LiDAR系统602的操作的附加细节。如上所述，AV 100基于LiDAR系统602所检测到的数据点的特性来检测物理对象的边界。如图8所示，诸如地面802等的平坦对象将以一致的方式反射从LiDAR系统602发射的光804a-804d。换句话说，由于LiDAR系统602使用一致的间隔发射光，因此地面802将以相同的一致间隔将光反射回到LiDAR系统602。在AV100在地面802上行驶时，在没有东西阻挡道路的情况下，LiDAR系统602将继续检测到由下一个有效地面点806反射的光。然而，如果对象808阻挡道路，则LiDAR系统602所发射的光804e-804f将以与预期一致方式不一致的方式从点810a-810b反射。根据该信息，AV 100可以确定存在对象808。
路径规划
图9示出(例如，如图4所示的)规划模块404的输入和输出之间的关系的框图900。一般而言，规划模块404的输出是从起点904(例如，源地点或初始地点)到终点906(例如，目的地或最终地点)的路线902。路线902通常由一个或多个路段定义。例如，路段是指要在街道、道路、公路、行车道或适合汽车行驶的其它物理区域的至少一部分上行驶的距离。在一些示例中，例如，如果AV 100是诸如四轮驱动(4WD)或全轮驱动(AWD)小汽车、SUV或小卡车等的能够越野的运载工具，则路线902包括诸如未铺面路径或开阔田野等的“越野”路段。
除路线902之外，规划模块还输出车道级路线规划数据908。车道级路线规划数据908用于在特定时间基于路线902的路段的条件来驶过这些路段。例如，如果路线902包括多车道公路，则车道级路线规划数据908包括轨迹规划数据910，其中AV 100可以使用该轨迹规划数据910以例如基于出口是否临近、多个车道中的一个或多个车道是否存在其它运载工具、或者在几分钟或更少时间的过程中变化的其它因素来从这多个车道中选择某车道。类似地，在一些实现中，车道级路线规划数据908包括路线902的某路段特有的速率约束912。例如，如果该路段包括行人或非预期交通，则速率约束912可以将AV 100限制到比预期速率慢的行驶速率，例如基于该路段的限速数据的速率。
在实施例中，向规划模块404的输入包括(例如，来自图4所示的数据库模块410的)数据库数据914、当前地点数据916(例如，图4所示的AV位置418)、(例如，用于图4所示的目的地412的)目的地数据918和对象数据920(例如，如图4所示的感知模块402所感知的经分类的对象416)。在一些实施例中，数据库数据914包括规划时所使用的规则。规则是使用形式语言(例如，使用布尔逻辑)指定的。在AV 100所遇到的任何给定情形中，这些规则中的至少一些规则将适用于该情形。如果规则具有基于AV 100可用的信息(例如，与周围环境有关的信息)所满足的条件，则该规则适用于给定情形。规则可以具有优先级。例如，“如果公路是高速公路，则移动到最左侧车道”这一规则与“如果出口在一英里内临近，则移动到最右侧车道”相比可以具有更低的优先级。
图10示出在路径规划中(例如，由规划模块404(图4))使用的有向图1000。一般而言，如图10所示的有向图那样的有向图1000用于确定任何起点1002和终点1004之间的路径。在现实世界中，分隔起点1002和终点1004的距离可能相对较大(例如，在两个不同的都市区域中)，或者可能相对较小(例如，毗邻城市街区的两个十字路口或多车道道路的两条车道)。
在实施例中，有向图1000具有表示起点1002和终点1004之间的AV 100可能占用的不同地点的节点1006a-1006d。在一些示例中，例如，在起点1002和终点1004表示不同的都市区域时，节点1006a-1006d表示道路的路段。在一些示例中，例如，在起点1002和终点1004表示相同道路上的不同地点时，节点1006a-1006d表示该道路上的不同位置。这样，有向图1000包括不同粒度级别的信息。在实施例中，具有高粒度的有向图也是具有更大规模的另一有向图的子图。例如，起点1002和终点1004相距远(例如，相距许多英里)的有向图的大部分信息处于低粒度，并且该有向图是基于所存储的数据，但该有向图还包括用于该有向图中的表示AV 100的视场中的物理地点的一部分的一些高粒度信息。
节点1006a-1006d不同于无法与节点重叠的对象1008a-1008b。在实施例中，在粒度低时，对象1008a-1008b表示汽车不能穿过的地区，例如无街道或道路的区域。在粒度高时，对象1008a-1008b表示AV 100的视场中的物理对象，例如其它汽车、行人、或AV 100不能与之共用物理空间的其它实体。在实施例中，对象1008a-1008b的一部分或全部是静态对象(例如，不改变位置的对象，诸如街灯或电线杆等)或动态对象(例如，能够改变位置的对象，诸如行人或其它小汽车等)。
节点1006a-1006d通过边缘1010a-1010c连接。如果两个节点1006a-1006b通过边缘1010a连接，则AV 100可以在一个节点1006a和另一节点1006b之间行驶，例如，而不必在到达另一节点1006b之前行驶到中间节点。(当提到AV 100在节点之间行驶时，意味着AV100在由相应节点表示的两个物理位置之间行驶。)边缘1010a-1010c通常是双向的，从某种意义上，AV 100从第一节点行驶到第二节点，或者从第二节点行驶到第一节点。在实施例中，边缘1010a-1010c是单向的，从某种意义上，AV 100可以从第一节点行驶到第二节点，然而AV 100不能从第二节点行驶到第一节点。在边缘1010a-1010c表示例如单向街道，街道、道路或公路的单独车道，或者由于法律或物理约束因而仅能沿一个方向穿过的其它特征的情况下，边缘1010a-1010c是单向的。
在实施例中，规划模块404使用有向图1000来识别由起点1002和终点1004之间的节点和边缘组成的路径1012。
边缘1010a-1010c具有关联成本1014a-1014b。成本1014a-1014b是表示在AV 100选择该边缘的情况下将花费的资源的值。典型的资源是时间。例如，如果一个边缘1010a所表示的物理距离是另一边缘1010b所表示的物理距离的两倍，则第一边缘1010a的关联成本1014a可以是第二边缘1010b的关联成本1014b的两倍。影响时间的其它因素包括预期交通、十字路口的数量、限速等。另一典型的资源是燃料经济性。两个边缘1010a-1010b可以表示相同的物理距离，但例如由于道路条件、预期天气等，因此一个边缘1010a与另一边缘1010b相比需要更多的燃料。
在规划模块404识别起点1002和终点1004之间的路径1012时，规划模块404通常选择针对成本优化的路径，例如，在将边缘的个体成本相加到一起时具有最小总成本的路径。
自主运载工具控制
图11示出(例如，如图4所示的)控制模块406的输入和输出的框图1100。控制模块根据控制器1102而操作，该控制器1102例如包括：与处理器304类似的一个或多个处理器(例如，诸如微处理器或微控制器或这两者等的一个或多个计算机处理器)；与主存储器306、ROM 308和存储装置310类似的短期和/或长期数据存储装置(例如，存储器，随机存取存储器或闪速存储器或这两者)；以及存储器中所存储的指令，这些指令在(例如，由一个或多个处理器)执行时执行控制器1102的操作。
在实施例中，控制器1102接收表示期望输出1104的数据。期望输出1104通常包括速度，例如速率和航向。期望输出1104例如可以基于从(例如，如图4所示的)规划模块404接收到的数据。根据期望输出1104，控制器1102产生可用作油门输入1106和转向输入1108的数据。油门输入1106表示例如通过接合转向踏板或接合另一油门控件来接合AV 100的油门(例如，加速控制)以实现期望输出1104的大小。在一些示例中，油门输入1106还包括可用于接合AV 100的制动器(例如，减速控制)的数据。转向输入1108表示转向角度，例如AV的转向控制(例如，方向盘、转向角致动器或用于控制转向角度的其它功能)应被定位成实现期望输出1104的角度。
在实施例中，控制器1102接收在调整提供至油门和转向的输入时使用的反馈。例如，如果AV 100遇到诸如山丘等的干扰1110，则AV 100的测量速率1112降至低于期望输出速率。在实施例中，任何测量输出1114均被提供至控制器1102，使得例如基于测量速率和期望输出之间的差分1113来进行所需的调整。测量输出1114包括测量位置1116、测量速度1118(包括速率和航向)、测量加速度1120和AV 100的传感器可测量的其它输出。
在实施例中，例如通过诸如照相机或LiDAR传感器等的传感器预先检测与干扰1110有关的信息，并且该信息被提供至预测性反馈模块1122。然后，预测性反馈模块1122将控制器1102可用于相应地调整的信息提供至控制器1102。例如，如果AV 100的传感器检测到(“看见”)山丘，则控制器1102可以使用该信息来准备在适当时间接合油门，以避免显著减速。
图12示出控制器1102的输入、输出和组件的框图1200。控制器1102具有影响油门/制动器控制器1204的操作的速率分析器1202。例如，速率分析器1202根据例如由控制器1102接收到并由速率分析器1202处理后的反馈，来指示油门/制动器控制器1204使用油门/制动器1206进行加速或进行减速。
控制器1102还具有影响方向盘控制器1210的操作的横向跟踪控制器1208。例如，横向跟踪控制器1208根据例如由控制器1102接收到并由横向跟踪控制器1208处理后的反馈，来指示方向盘控制器1210调整转向角致动器1212的位置。
控制器1102接收用于确定如何控制油门/制动器1206和转向角致动器1212的若干输入。规划模块404提供控制器1102例如选择AV 100开始操作时的航向并确定在AV 100到达十字交叉路口时穿过哪个道路路段所使用的信息。定位模块408例如将描述AV 100的当前地点的信息提供至控制器1102，使得控制器1102可以确定AV 100是否处于基于正控制油门/制动器1206和转向角致动器1212的方式而预期的地点。在实施例中，控制器1102接收来自其它输入1214的信息，例如从数据库、计算机网络等接收到的信息。
使用乘客关注数据的内容递送
图13例示根据实施例的乘客关注系统1300。系统1300包括多个AV 1300a…1300n，各自具有至少一个乘客1301a-1301n、网络1312、地图/POI数据库1313、服务器1314、内容数据库1315和接入点(AP)1316。在实施例中，AV 1300a…1300n上的无线收发器通过AP 1316(例如，蜂窝塔、Wi-Fi接入点、蓝牙发射器等)与服务器1314通信。网络1312可以是互联网、蜂窝移动通信网络、无线电无线区域网、和/或卫星互联网。服务器1314可以是塔服务器、服务器机房中的机架服务器和/或刀片服务器。服务器1314可以是分布式网络中的多个服务器。地图数据库1313包含2D和/或3D数字地图、3D建筑物模型和POI(例如，地标、企业、政府建筑物、纪念碑、公园和AV的乘客可能感兴趣的任何其它物理特征)。内容数据库1315包含乘客偏好数据和物理特征数据，诸如企业信息(例如，企业名称、地址、营业时间、顾客评论)、物理特征的地理位置(例如，纬度、经度、海拔)、包括乘客偏好数据的乘客简档、与物理特征有关的各种媒体(例如，图像、视频、幻灯片、音频)、以及众包或以其它方式从AV1300a…1300n的乘客获得的物理特征数据。
在所示的示例中，每个运载工具1300a……1300n中的至少一个乘客1301a……1301n正在从AV的窗户向外看。每个乘客1301a……1301n具有其自己的视椎体或透视投影，该视椎体或透视投影定义包括一个或多个物理特征(诸如示例PFOV 1317中所示的物理特征A-J)的PFOV。乘客的视椎体以及因此PFOV是根据从乘客的就座位置沿特定物理特征或物理特征群集的方向(例如，指向群集的质心)延伸的乘客LOS矢量确定的。在实施例中，不受阻碍的乘客视椎体将跨越约210度的水平视觉和约150度的垂直视觉。因此，每个乘客1301a-1301n具有其自己的PFOV，该PFOV包括该乘客在AV 1300a-1300n的当前地点处在其视椎体中看到的一个或多个物理特征。PFOV的大小可能受到窗框和/或其它物理障碍物的大小的限制。在实施例中，多个乘客从相同的窗户向外看或共享相同的窗框并且具有独立的视椎体。
在实施例中，一个或多个传感器被包括在AV 1300a…1300n的乘客舱中，用于捕获乘客关注数据。传感器的一些示例包括捕获图像和深度的3D图像传感器、红外传感器、眼球运动和跟踪传感器。传感器耦接到处理电路(例如，传感器中的ASIC或单独的计算机)，处理电路使用图像和深度数据来确定乘客相对于局部参考坐标系的眼睛注视方向和/或头部/躯干姿势。头部/躯干姿势(例如，乘客的头部和/或躯干的角度取向)、AV的已知物理布局(例如，座位和窗户的地点)以及AV的地点和航向可以一起用于确定局部参考坐标系中的乘客LOS矢量。
一旦确定，使用乘客LOS矢量来确定PFOV中所包括的(一个或多个)物理特征。例如，头部/躯干姿势可以由以AV的重心或乘客的座位位置为中心的局部参考坐标系中的偏航角度和俯仰角度来定义。偏航角度和俯仰角度用于构建局部参考坐标系中的乘客LOS矢量。然后，可以使用坐标变换以将乘客LOS矢量变换成大地坐标系或用于定义数字地图或模型数据的环境的局部水平坐标系(诸如北西向上(NWU)参考坐标系等)。局部水平参考坐标系中的乘客LOS与存储在数据库1313中的2D/3D数字地图和/或3D建筑物模型一起使用，以确定PFOV中的一个或多个物理特征。在一些情况下，LOS矢量被进一步变换以使得该矢量处于与数字地图或建筑物模型数据相同的参考坐标系中。在实施例中，光线跟踪技术可以用于确定环境中的与乘客LOS矢量相交或落在LOS矢量周围的指定角距离内的物理特征(如果有的话)和/或PFOV的任何部分是否被阻挡。
在识别出PFOV中的一个或多个物理特征之后，基于存储在内容数据库1315中的乘客简档中的乘客偏好数据从内容数据库1315检索与所识别出的一个或多个物理特征相关联的物理特征数据或将其聚集成乘客定制的新内容。响应于来自乘客的请求，内容被递送到AV和/或乘客的个人装置(例如，智能电话、平板计算机、可穿戴装置)，如参考图14所述。在实施例中，从各种在线源实时地生成与所识别出的物理特征相关联的物理特征数据。在实施例中，内容被递送到内置于AV的侧窗/视窗或前挡风玻璃/遮风玻璃或后挡风玻璃/遮风玻璃中的显示装置或平视显示单元。
在实施例中，乘客关注数据包括由乘客1301a…1301n做出的与物理特征有关的评论或话语的音频记录。例如，在PFOV 1317中的多个物理特征(特征A-J)中，乘客的关注可能集中于特定物理特征，诸如自由女神(特征A)等，这是因为乘客的评论(或另一乘客的评论)指示乘客的关注在自由女神上。例如，乘客1301a说“看自由女神”，这提供了乘客的关注集中于自由女神而不是PFOV 1317中的其它特征(特征B-J)之一的提示。在实施例中，音频记录被语音识别引擎采样和处理以识别可被映射到地图/POI数据库1313中的物理特征描述的关键字。在实施例中，在被记录以保护乘客的隐私之前，要求乘客通过麦克风口头地或通过触摸显示器“选择加入”。
在实施例中，确定物理特征包括使用AV中的定位电路来确定AV 1300a…1300n在环境中的地点。例如，AV 1300a可以使用GNSS位置估计、蜂窝塔三角测量或无线网络定位(例如，Wi-Fi方法)中的一个或多个来定位。在实施例中，AV 1300a的速度用于确定特定PFOV何时由于AV相对于物理特征的运动而改变或将要改变。例如，随着AV 1300a移动，物理特征将进入和离开PFOV。根据PFOV的预测变化率，可以调整传感器的数据率和向服务器1314发送和接收通信的数据率，以确保当相应的物理特征仍在PFOV中时将当前相关的内容递送至乘客。另外，可以调整所递送和/或聚集的内容量以确保以及时方式递送相关内容。
在实施例中，从乘坐AV 1300a……1300n的乘客1301a-1301n获得的乘客关注数据可以用于增强地图/POI数据库1313中的物理特征数据以及内容数据库1315中的内容。例如，物理特征数据(诸如受许多乘客欢迎的未绘制成图的景点)可被添加到环境的数字地图，并且可以成为在相同地点旅行的未来乘客的建议停靠地方。
在实施例中，PFOV数据与其它信息一起使用，以生成或选择用于递送至乘客的内容。例如，季节、(例如，来自无线天气预报服务的)天气状况、一天中的时间、(例如，由乘客在选择加入之后提供的)用户偏好和人口统计、(例如，从运载工具的信息娱乐系统导出的)乘客音乐品味、(例如，由导航系统提供的)出发和目的地地点以及所选择的路线、以及可用的或能够被导出以针对乘客生成和/或选择针对性内容的任何其它信息。
在实施例中，内容包括与PFOV中的物理特征有关的视听信息、虚拟现实(VR)或增强现实(AR)信息(包括与物理特征有关的旅程和3D视图)、以及与位于物理特征处或周围或附近的企业有关的广告。在实施例中，PFOV、VR或AR内容包括可以由乘客玩的交互式游戏。在实施例中，如果PFOV数据指示乘客不再观察身体特征或看向运载工具外部，则向乘客显示交互式游戏。
在实施例中，内容包括如从乘客的PFOV确定的当前观察到的环境或物理特征的主题VR和AR表示。在实施例中，将主题AR和VR表示投影到内置于AV的窗户或挡风玻璃中的显示装置上。例如，主题VR和AR表示可以包括朋克主题、西方或美国前沿主题、或科幻主题等。主题表示还可以包括在晴天记录的环境的表示、来自一天中的当物理特征出现“醒目”或“美观”时的时间的表示、或来自增强乘客的观看体验的其它有利点的表示。在实施例中，当物理特征不是清楚可见时(例如，在诸如雾、烟雾、雪、雹、雨等的恶劣天气期间、一天中的临时障碍物或存在太多游客期间)，主题表示被用来增强乘客的观看体验。
在实施例中，当在PFOV中存在已经被识别为乘客感兴趣的多个物理特征时，根据该乘客的先前指定或学习的偏好过滤所识别的物理特征。例如，乘客可以具有指示对与历史地标有关的内容的偏好的用户简档。该偏好将用于滤除所识别出的物理特征。环境的物理特征可以包括但不限于：地标、建筑物、自然地理地点、景观、餐厅、休息站、或可以吸引乘客注意的任何其它事物。在实施例中，物理特征是暂时的，诸如可以从PFOV数据识别并由乘客验证的交通事故、道路状况(例如，大的坑洼)或损坏行车道基础设施(例如，标志、交通灯、桥梁)等。在实施例中，如果必要的话，经验证的PFOV用于警告第一响应者或其它政府服务。
在实施例中，发送到乘客的内容呈现在自主运载工具中的合适的输出装置上或通过该输出装置播放。例如，自主运载工具可以在平视显示器上、在屏幕(例如，触摸屏)上显示内容或通过自主运载工具中的扬声器播放内容。内容还可以通过自主运载工具中的移动Wi-Fi路由器或通过蜂窝网络连接被发送至乘客移动装置(例如，智能电话、平板计算机、可穿戴装置)。
在自主运载工具中存在两个或更多个乘客的实施例中，针对每个乘客获得乘客偏好数据。可以针对每个个体乘客在相应PFOV(其可能通过自主运载工具的面向环境中的不同方向的不同窗户)中看到的物理特征生成或选择单独的内容。每个乘客的个人偏好可以组合以生成自主运载工具中的所有乘客感兴趣的内容。例如，如果乘客简档指示对牛排和海产品餐厅的偏好，则可以将牛排和海产品餐厅的列表连同其相应菜单、众包用户评论和营业时间显示给自主运载工具中的乘客。在实施例中，乘客可以使用语音命令来呼叫餐厅进行预订和/或自主运载工具的规划模块可以生成从自主运载工具的当前地点到餐厅的轨迹。
在实施例中，基于乘客座位地点来过滤内容。例如，来自自主运载工具左侧的乘客的乘客关注数据和乘客偏好数据可优先于来自运载工具右侧的乘客的数据，或反之亦然。这可以在运载工具的特定侧不存在感兴趣的物理特征的情形下发生。对于仍需要驾驶员的半自主运载工具，该“驾驶员”座位可以优先于其它乘客座位地点。例如，“驾驶员”座位可以保持在比后方座位更高的重要程度，这是因为“驾驶员”座位中的乘客具有对半自主运载工具前往哪里的更多控制或输入。
在实施例中，乘客标识信息和偏好与座位分配相关联并且用于选择或过滤内容。例如，在具有4个乘客座位的运载工具中，运载工具知道Bob在座位1中，Sue在座位2中，Rob在座位3中并且Mary在座位4中。利用该知识，可以创建针对每个乘客的个人偏好定制的多个内容流。座位分配还消除了对用以识别运载工具中的乘客的面部检测算法的需要。然而，在一些实施例中，乘客舱中的传感器(例如，图像传感器)用于面部检测以识别乘客舱中的每个个体，并且使用该数据来从运载工具或个人乘客装置中的数据库或从通过基于网络的计算平台的数据库接入中获得其相应的偏好数据。
在实施例中，基于从乘客关注数据确定的乘客的关注时间跨度生成/选择内容。例如，仅当乘客在物理特征上花费的关注时间跨度大于N秒(例如，10秒)时，才考虑乘客关注数据，这是因为小于N秒的任何时间跨度都被认为对乘客几乎不重要。即，仅时间稳定的PFOV用于生成或选择内容。在实施例中，通过对PFOV中的物理特征进行计数或跟踪来确定时间稳定性。例如，乘客看了一眼博物馆，并且改为对博物馆的街道上的地标关注超过三秒。在该场景下，处理电路将基于地标而非博物馆来选择内容且将内容发送到乘客。
图14是例示根据实施例的基于乘客关注数据的内容递送系统1400的框图。系统1400包括AV 1300a、乘客1301a、地图/POI数据库1313、内容数据库1315、内部和外部传感器1401、PFOV生成器1402、搜索引擎1403、PFOV分析器1404、内容生成器1407、PFOV数据库1408、音频子系统1409、内部麦克风1410(例如，麦克风阵列)和AV 1413的输出装置。图14中的虚线将系统1400的客户端侧(虚线左边)与系统1400的服务器侧(虚线右边)分开。先前参考图13描述了AV 1300a、乘客1301a、地图数据库1313和内容数据库1315。
参考系统1400的客户端侧，一个或多个内部传感器1401(其可以包括图像传感器、眼球跟踪传感器和红外扫描仪等)捕获AV 1300a的乘客舱中的一个或多个乘客1301a的乘客数据。内部传感器1401可以为3D图像传感器，诸如立体摄像机等。所捕获的乘客数据由处理电路处理以生成眼睛注视方向数据和/或头部/躯干姿势数据，其统称为乘客关注数据。乘客关注数据被输入到PFOV生成器1402中。在实施例中，AV 1300a中的乘客1301a的音频评论/话语由乘客舱中的一个或多个麦克风1410捕获并且由音频子系统1409处理。音频子系统1409包括音频放大器和电路，以将模拟音频信号滤波和转换成音频样本。音频样本被输入到PFOV生成器1402中。
PFOV生成器1402使用头部/躯干姿势(例如，乘客的头部和/或躯干在局部参考坐标系中的角度取向)、AV的已知物理布局(例如，座位和窗户的地点)以及AV的地点和航向一起确定局部参考坐标系中的从乘客到环境的LOS矢量。例如，由局部参考坐标系中的偏航和俯仰定义的头部/躯干姿势定义局部参考坐标系中的乘客LOS矢量。然后坐标变换将乘客LOS矢量变换为局部水平坐标系，诸如NWU参考坐标系等。局部水平参考坐标系中的乘客LOS矢量与(例如，从数据库1313获得的)2D/3D数字地图和/或3D建筑物模型一起使用，以确定PFOV中的一个或多个物理特征。在一些情况下，LOS矢量将需要再次变换成与2D/3D数字地图或3D建筑物模型处于相同的参考坐标系中。在实施例中，光线跟踪由PFOV生成器1402用来确定环境中的哪些物理特征与乘客LOS矢量相交或落在LOS矢量周围的指定角距离内，以及PFOV的任何部分是否被物理地阻挡。
在实施例中，PFOV生成器1402向可以在乘客LOS矢量的方向上转向的外部万向节式传感器1401提供反馈。例如，外部传感器1401的视轴可以与乘客LOS矢量对齐，使得传感器1401的FOV与PFOV同延。然后外部传感器1401可以捕获作为PFOV的代理的图像。所捕获的图像可以与机器学习和数据库图像数据一起使用，以确定PFOV中的物理特征。
由以上描述的外部传感器1401捕获的数学构造的PFOV和/或代理PFOV图像被发送到基于网络的计算平台以供进一步处理。在实施例中，PFOV生成器1402在基于网络的计算平台上而不是在AV 100上实现，或者在AV 100和基于网络的计算机平台这两者上实现。如果在基于网络的计算平台上实现，则原始传感器数据、AV地点和航向以及任何音频样本通过无线通信链路(例如，蜂窝、Wi-Fi)被发送到基于网络的计算平台，如参考图13所描述的。
参考系统1400的服务器侧，搜索引擎1403使用PFOV来检索PFOV中所识别出的物理特征的物理特征数据。如果接收到代理图像，则搜索引擎1403可以使用机器学习算法或其它模式匹配技术来进行用于匹配物理特征的图像的图像搜索。如果接收到原始传感器数据，则搜索引擎1403可以进行与上述PFOV生成器1402相同的数学功能。
将物理特征数据发送到耦接至PFOV数据库1408的PFOV分析器模块1404中。PFOV分析器模块1404存储在该地点处从多个AV获取的众包PFOV数据，以生成识别(一个或多个)物理特征(例如，列表)连同物理特征数据(诸如(一个或多个)物理特征的名称和地址以及(一个或多个)物理特征的概要描述等)的数据结构1405。在实施例中，数据结构1405中的(一个或多个)物理特征根据如由PFOV数据库1408中的众包PFOV数据确定的物理特征的受欢迎度来排序，和/或可以基于AV1300a中的一个或多个乘客的个人偏好来过滤。例如，PFOV数据库1408可以维持来自地点处的AV乘客对特定物理特征的内容请求的频率，然后将该频率用作受欢迎度的量度。数据结构1405可以在数据结构1405中的更突出的位置或以更突出的字体包括最受欢迎的(一个或多个)物理特征，并且提供推荐、评论等。
数据结构1405被发送到AV 1300a，在AV 1300a中，数据结构1405被显示在AV输出装置1413(例如，AV中的计算机显示屏)和/或个人乘客装置(例如，智能电话、平板计算机、可穿戴装置)上。在AV 1300a处，要求乘客1301a选择其想要接收内容的物理特征中的一个或多个。例如，可以提示乘客1301a复选框、按下按钮或以其它方式通过触摸屏或通过语音查询来指示请求内容。在所示的示例中，乘客1301a选择接收地标A(自由女神)的内容。乘客响应在数据结构1406中被发送到基于网络的计算平台，在该基于网络的计算平台处乘客响应被存储在PFOV数据库1408中并且还被输入到内容生成器1407中。
内容生成器1407检索与由乘客1301a选择的物理特征有关的内容，并且将内容发送到AV 1300a，在AV 1300a处由输出装置1413(例如，计算机显示器)播放内容(例如，视频、A/V、仅音频)或以其它方式呈现内容。在实施例中，内容生成器1407聚集内容并且从所聚集的内容创建新内容(例如，个性化视频或幻灯片)，该新内容针对物理特征数据和乘客偏好数据(如果可用)而定制。
使用乘客关注数据的定位
图15是例示根据实施例的定位系统1500的图。AV定位通常使用GNSS或无线网络发射器来定位(例如，蜂窝、Wi-Fi)。然而，在一些实例中，GNSS和无线网络可能不可用于定位。如果3D传感器可用于捕获PFOV(包括深度/距离数据)，则所捕获的图像和深度/距离数据用于使用已知技术(诸如三边测量法或视觉里程法)来定位AV。如果图像和深度/距离数据不可用，则指向地标的乘客LOS矢量以及地标的已知地点用于辅助使用定位系统1500来定位AV。
系统1500包括AV100、环境的第一物理特征1501a、环境的第二物理特征1501b、环境的第三物理特征1501c、源自AV 100并在第一物理特征1501a处结束且与眼平呈角度θ1的第一LOS矢量、源自AV 100并在第二物理特征1501b处结束且与眼平呈角度θ2的第二LOS矢量、源自AV 100并在第三物理特征1501c处结束且与眼平呈角度θ3的第三LOS矢量、从AV100到第一物理特征1501a的距离D1、从AV 100到第二物理特征1501b的距离D2、从AV 100到第三物理特征1501c的距离D3、第一物理特征1501a与第二物理特征1501b之间的距离S12、第二物理特征1501b与第三物理特征1501c之间的距离S23、第一物理特征1501a与第三物理特征1501c之间的距离S13、D1与S12之间的角度θ4、D1与S13之间的角度θ5、S12与D2之间的角度θ6、D2与S23之间的角度θ7、S23与S13之间的角度θ8、D3与S13之间的角度θ9。
在实施例中，具有边D1、D2和S12的三角形以角度(θ1-θ2)、θ5和θ6来定义。具有边D2、D3和S23的三角形以角度(θ2-θ3)、θ7和θ8来定义。具有边D1、D3和S13的三角形以角度(θ1-θ3)、θ5和θ9来定义。
在实施例中，第一物理特征1501a、第二物理特征1502b和第三物理特征1501c的位置坐标是从它们的物理特征数据中获得的。例如，物理特征数据包括从数据库(例如，内容数据库1315和/或地图数据库1313)获得的位置坐标。在实施例中，距离S12、S23和S13被计算为第一物理特征1501a、第二物理特征1501b和第三物理特征1501c的位置坐标之间的距离。距离S12、S23和S13以及角度θ4、θ5、θ6、θ7、θ8和θ9从数字地图获得。
在实施例中，使用第一LOS矢量、第二LOS矢量和第三LOS矢量来测量角度θ1、θ2和θ3，这些LOS矢量如参考图13和图14所描述地确定。使用由等式[1]-[3]给出的正弦定律来确定距离D1、D2和D3：
Figure BDA0003142202560000361
Figure BDA0003142202560000362
Figure BDA0003142202560000363
其中，求解具有9个未知变量(D1、D2、D3、θ4、θ5、θ6、θ7、θ8和θ9)的九个等式组以找到D1、D2和D3。一旦确定了距离D1、D2和D3，就是用三边测量法来定位AV 100。重要的是要注意，至少需要AV地点的行程估计来确定PFOV中的LOS矢量。在实施例中，从惯性数据(例如，加速度计和陀螺仪数据)和航位推算算法或通过将由外部AV照相机捕获的图像与数据库中的图像相匹配来获得行程AV地点估计。
在替代实施例中，使用乘客LOS矢量定位AV 100是如在IEEE Transactions onRobotics and Automation 13(2)：251-263(1997年5月)的Margrit Betke等人的“MobileRobot Localization Using Landmarks.”(该出版物通过引用以其全部内容结合在此)中描述的那样来实现的。
图16是根据实施例的使用乘客关注数据以用于内容递送和/或定位的处理1600的流程图。可以使用例如分别参考图14和15描述的内容递送和定位系统1400、1500来实现处理1600。
处理1600通过从在环境中操作的自主运载工具(AV)的一个或多个传感器接收传感器数据(1601)、并且针对AV的乘客根据传感器数据生成乘客关注数据(1602)而开始。例如，AV的乘客舱中的一个或多个3D图像传感器可以生成图像，该图像被处理电路分析以检测眼睛注视方向和/或头部/躯干姿势。眼睛注视方向和/或头部/躯干姿势可以用于生成固定到AV的局部参考坐标系中的乘客LOS矢量。
处理1600通过使用处理电路基于环境中的乘客关注数据确定环境的物理特征(1603)而继续。例如，将乘客LOS矢量变换成2D/3D数字地图或3D建筑物模型的参考局部水平坐标系，并且在乘客LOS矢量周围生成PFOV。使用2D/3D数字地图或3D建筑物模型来确定一个或多个物理特征(例如，地标、建筑物、纪念碑、桥梁、博物馆、场景覆盖、自然构造)落在PFOV内。在实施例中，基于乘客偏好、AV中的座位位置和关注跨度来过滤物理特征，如参考图13和14所述。
处理1600通过使用处理电路获得物理特征数据(1604)而继续。例如，可以从数据库(例如，地图/POI数据库1313、内容数据库1315)针对PFOV中的每个物理特征收集物理特征数据。
处理1600通过使用AV的处理电路至少部分地基于物理特征数据发起对AV的动作(1605)而继续。例如，可以要求AV中的每个乘客从该乘客期望接收内容的物理特征的列表中选择。内容可以基于个体乘客偏好和座位指派来聚集和过滤。在实施例中，针对AV中的每个乘客根据与该乘客的个体PFOV相关联的物理特征数据来创建个性化内容(例如，虚拟旅程媒体、幻灯片、音频旅程)。例如，每个乘客可以从AV的不同窗户和在不同的方向上向外看。因此，每个乘客PFOV可以包括不同的物理特征。在实施例中，动作利用(例如，用于新POI的)物理特征数据或内容来增强数字地图或模型。
在实施例中，使用乘客关注数据(例如，LOS矢量和PFOV)和三个或更多个物理特征的物理特征数据(例如，位置坐标)来定位AV。使用几何原理(例如，正弦定律)来计算从AV到每个物理特征的距离，并且使用三边测量法来改进或校正AV的位置估计。
在先前描述中，已经参考许多具体细节描述了本发明的实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (17)

1.一种方法，包括：
从在环境中操作的自主运载工具即AV的一个或多个传感器接收传感器数据；
使用处理电路基于所述传感器数据来生成乘客关注数据；
使用处理电路基于所述乘客关注数据来确定所述环境中的物理特征；
使用处理电路获得与所述物理特征相关联的物理特征数据；以及
使用所述AV的处理电路至少部分地基于所述物理特征数据发起对所述AV的动作。
2.根据权利要求1所述的方法，其中，所述动作包括：
使用定位电路至少部分地基于所述物理特征数据来定位所述AV。
3.根据权利要求1或2所述的方法，其中，所述动作包括：
使用处理电路获得乘客偏好数据；
使用处理电路基于所述物理特征数据和所述乘客偏好数据来选择内容；以及
使用处理电路将所述内容发送到所述AV以在所述AV的输出装置上进行回放。
4.权利要求1至3中任一项所述的方法，其中，所述动作包括：
使用处理电路将所述内容发送到所述AV中的乘客移动装置。
5.根据权利要求1至4中任一项所述的方法，其中，所述内容是与所述物理特征相关联的广告。
6.根据权利要求1至5中任一项所述的方法，其中，所述内容被提供为虚拟现实或增强现实。
7.根据权利要求1至6中任一项所述的方法，其中，所述虚拟现实或增强现实的内容包括主题表示。
8.根据权利要求1至7中任一项所述的方法，其中，所述传感器包括指示所述乘客正在看的方向的图像数据。
9.根据权利要求1至8中任一项所述的方法，其中，所述AV包括两个或更多个乘客，并且所述动作包括：
使用处理电路接收来自所述AV中的第一乘客的第一乘客偏好数据以及来自所述AV中的第二乘客的第二乘客偏好数据；
使用处理电路基于所述第一乘客偏好数据和所述第二乘客偏好数据来选择与所述物理特征有关的内容；以及
使用处理电路将所述内容发送到所述AV或所述AV中的乘客移动装置。
10.根据权利要求1至9中任一项所述的方法，还包括：
使用处理电路确定所述AV中的第一乘客和第二乘客的座位地点；以及
使用处理电路基于所述座位地点来过滤所述乘客关注数据或内容中的至少一个。
11.根据权利要求1至10中任一项所述的方法，其中，所述乘客关注数据包括由所述AV中的乘客做出的指示所述物理特征的评论或话语的音频样本。
12.根据权利要求1至11中任一项所述的方法，其中，确定所述物理特征还包括：
使用所述AV的定位电路确定所述AV在所述环境中的地点；
根据所述传感器数据确定从所述AV的所述地点延伸到所述物理特征的方向中的视线矢量即LOS矢量；以及
使用处理电路利用所述视线矢量和所述环境的三维地图或模型即3D地图或模型来确定所述物理特征。
13.根据权利要求1至12中任一项所述的方法，其中，所述动作包括：
使用处理电路生成或获得与所述物理特征数据有关的内容；以及
使用处理电路利用所述内容来增强所述环境的数字地图。
14.根据权利要求1至13中任一项所述的方法，其中，所述内容是包括所述物理特征数据的至少一部分的虚拟旅程媒体。
15.根据权利要求1至14中任一项所述的方法，还包括：
使用处理电路基于所述乘客关注数据来确定所述乘客的关注时间跨度；以及
使用处理电路基于所述关注时间跨度来过滤所述乘客关注数据。
16.一种非暂时性计算机可读存储介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时，使得所述一个或多个处理器进行根据前述权利要求1至15中任一项所述的方法。
17.一种自主运载工具即AV，包括：
一个或多个传感器；
处理器电路，所述处理器电路能够操作以：
从所述一个或多个传感器接收传感器数据；
使用所述传感器数据生成乘客关注数据；
基于所述乘客关注数据来确定所述AV的环境中的物理特征；
获得与所述环境的所述物理特征相关联的物理特征数据；以及
控制器电路，其被配置为至少部分地基于所述物理特征数据来发起对所述AV的动作。
CN202080007727.6A 2019-01-15 2020-01-15 将运载工具中捕获的乘客关注数据用于定位和基于地点的服务 Pending CN113302621A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962792869P 2019-01-15 2019-01-15
US62/792,869 2019-01-15
PCT/IB2020/050313 WO2020148680A1 (en) 2019-01-15 2020-01-15 Utilizing passenger attention data captured in vehicles for localization and location-based services

Publications (1)

Publication Number Publication Date
CN113302621A true CN113302621A (zh) 2021-08-24

Family

ID=69374330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007727.6A Pending CN113302621A (zh) 2019-01-15 2020-01-15 将运载工具中捕获的乘客关注数据用于定位和基于地点的服务

Country Status (6)

Country Link
US (1) US11155268B2 (zh)
KR (2) KR20220161564A (zh)
CN (1) CN113302621A (zh)
DE (1) DE112020000110T5 (zh)
GB (1) GB2587741B (zh)
WO (1) WO2020148680A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
US11151883B2 (en) * 2017-11-03 2021-10-19 International Business Machines Corporation Empathic autonomous vehicle
US10845197B2 (en) * 2018-11-27 2020-11-24 Aptiv Technologies Limited Dead-reckoning guidance system and method with cardinal-direction based coordinate-corrections
US20210224855A1 (en) * 2020-01-21 2021-07-22 Joubert Joseph FOCO Device
DE102020119774A1 (de) * 2020-07-27 2022-01-27 Harman Becker Automotive Systems Gmbh System und Verfahren zum Übertragen unterschiedlicher Einstellungen zwischen Fahrzeugen unterschiedlicher Typen
US11513488B2 (en) 2020-09-10 2022-11-29 Motional Ad Llc Controlling power of electronic devices on a vehicle
US20220358687A1 (en) * 2021-05-10 2022-11-10 Cerence Operating Company Touring circuitry for an immersive tour through a touring theater
CN113298314B (zh) * 2021-06-10 2023-09-01 重庆大学 一种考虑动态时空相关性的轨道交通客流预测方法
WO2023282570A1 (ko) * 2021-07-05 2023-01-12 주식회사 애니랙티브 Ar을 이용한 광고판 관리 및 거래 플랫폼
US20230059417A1 (en) * 2021-08-23 2023-02-23 Waymo Llc Multi-Screen User Experience for Autonomous Vehicles
EP4160551A1 (en) * 2021-09-29 2023-04-05 Société BIC Methods and systems for vehicle-assisted feature capture
US20230150551A1 (en) * 2021-11-12 2023-05-18 Here Global B.V. Systems and methods for determining an attention level of an occupant of a vehicle
DE102022114783A1 (de) 2022-06-13 2023-12-14 Audi Aktiengesellschaft Verfahren zum Bereitstellen einer Benutzerinformation über einen Benutzer eines Kraftfahrzeugs
US20240020928A1 (en) * 2022-07-08 2024-01-18 Qualcomm Incorporated Techniques to facilitate a cloud-based vehicle xr experience

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006278A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Apparatus and method for detecting a driver's interest in an advertisement by tracking driver eye gaze
US20160018889A1 (en) * 2014-07-21 2016-01-21 Tobii Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
US20170010106A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Crowd sourcing data for autonomous vehicle navigation
WO2017079222A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Software application to request and control an autonomous vehicle service
US20170132334A1 (en) * 2015-11-05 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
US20170213308A1 (en) * 2016-01-26 2017-07-27 GM Global Technology Operations LLC Arbitration of passenger pickup and drop-off and vehicle routing in an autonomous vehicle based transportation system
CN107458325A (zh) * 2016-06-02 2017-12-12 通用汽车环球科技运作有限责任公司 用于在自主驾驶运载工具处提供积极信息娱乐的系统
CN107483528A (zh) * 2016-05-12 2017-12-15 通用汽车环球科技运作有限责任公司 完全自主共享或出租车服务车辆的乘客的端对端调适功能
US20180040163A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
US20180040162A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
US20180089900A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Augmented virtual display

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161949A1 (en) * 2015-12-08 2017-06-08 GM Global Technology Operations LLC Holographic waveguide hud side view display
JP6236691B1 (ja) * 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10296794B2 (en) * 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
US10242457B1 (en) * 2017-03-20 2019-03-26 Zoox, Inc. Augmented reality passenger experience
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
US10899364B2 (en) * 2018-07-02 2021-01-26 International Business Machines Corporation Autonomous vehicle system
US10867061B2 (en) * 2018-09-28 2020-12-15 Todd R. Collart System for authorizing rendering of objects in three-dimensional spaces
US11144052B2 (en) * 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006278A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Apparatus and method for detecting a driver's interest in an advertisement by tracking driver eye gaze
US20160018889A1 (en) * 2014-07-21 2016-01-21 Tobii Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
US20170010106A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Crowd sourcing data for autonomous vehicle navigation
WO2017079222A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Software application to request and control an autonomous vehicle service
US20170132334A1 (en) * 2015-11-05 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
US20170213308A1 (en) * 2016-01-26 2017-07-27 GM Global Technology Operations LLC Arbitration of passenger pickup and drop-off and vehicle routing in an autonomous vehicle based transportation system
CN107483528A (zh) * 2016-05-12 2017-12-15 通用汽车环球科技运作有限责任公司 完全自主共享或出租车服务车辆的乘客的端对端调适功能
CN107458325A (zh) * 2016-06-02 2017-12-12 通用汽车环球科技运作有限责任公司 用于在自主驾驶运载工具处提供积极信息娱乐的系统
US20180040163A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
US20180040162A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
US20180089900A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Augmented virtual display

Also Published As

Publication number Publication date
KR20220161564A (ko) 2022-12-06
GB2587741A (en) 2021-04-07
US20200223444A1 (en) 2020-07-16
KR102470217B1 (ko) 2022-11-23
KR20210019499A (ko) 2021-02-22
US11155268B2 (en) 2021-10-26
WO2020148680A1 (en) 2020-07-23
DE112020000110T5 (de) 2021-08-05
GB2587741B (en) 2023-12-27
GB202020093D0 (en) 2021-02-03

Similar Documents

Publication Publication Date Title
KR102470217B1 (ko) 로컬화 및 위치 기반 서비스를 위해 차량에서 캡처된 승객 주의 데이터의 활용
CN111915917B (zh) 计算机实现的方法、存储介质和运载工具
CN110850865B (zh) 自主运载工具的远程操作
CN111664854B (zh) 物体位置指示器系统和方法
CN113196291A (zh) 自动选择用于注释的数据样本
CN111190418A (zh) 使用多维包络调整运载工具的横向间隙
CN112446989A (zh) 用于自主运载工具的乘员认证和门操作的方法
CN111857905A (zh) 自主运载工具行为的显示所用的图形用户界面
CN112986979A (zh) 使用融合的照相机/LiDAR数据点的自动对象标注
CN113195333A (zh) 使用线性时间逻辑的自主运载工具操作
CN112634633A (zh) 利用自主运载工具对多路停车交叉口进行导航
CN115328110A (zh) 用于自主运载工具的系统和方法以及存储介质
CN111611842A (zh) 运输系统和方法
CN114387322A (zh) 用于运载工具的方法、运载工具和存储介质
CN112394384A (zh) 基于环境的预定义特征的定位
CN114510020A (zh) 用于运载工具的方法、自主运载工具和存储介质
CN114120687A (zh) 条件运动预测
CN112486163A (zh) 基于导航信息的可用性的自主运载工具的操作
CN114625118A (zh) 运载工具、用于运载工具的方法以及存储介质
CN115079687A (zh) 用于自主运载工具的系统、方法和存储介质
CN113970924A (zh) 用于运载工具的方法和系统
CN113126612A (zh) 支持自主运载工具导航的对象跟踪
CN113196356A (zh) 交通灯估计
CN114514515A (zh) 区块链账本验证和服务
CN115220439A (zh) 用于运载工具的系统和方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination