CN107415938B

CN107415938B - 基于乘员位置和注意力控制自主车辆功能和输出

Info

Publication number: CN107415938B
Application number: CN201710338437.XA
Authority: CN
Inventors: G.卡姆希; R.J.马蒂厄
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-05-13
Filing date: 2017-05-15
Publication date: 2021-04-20
Anticipated expiration: 2037-05-15
Also published as: US20170329329A1; DE102017110283A1; CN107415938A; US10317900B2

Abstract

本发明涉及基于乘员位置和注意力控制自主车辆功能和输出，公开了用于与自主车辆一起使用的系统。在各种实施例中，系统包括非暂时性存储装置，其包括自主车辆背景模块，在车辆的自主操作期间，当由基于硬件的处理单元执行时，其确定推荐或要求车辆的手动操作。存储装置还包括自主车辆驾驶员模块，当被执行时，其基于指示车辆乘员的位置的乘员位置数据和指示车辆乘员的凝视的乘员凝视数据中的一者或两者确定车辆乘员未准备好对所述自主车辆进行手动控制。系统可以响应地告知用户需要采取恰当的位置以承担对车辆的手动控制。该系统还可以调整当前的自主驾驶，诸如以减慢车辆，或者将车辆靠边以停车。

Description

基于乘员位置和注意力控制自主车辆功能和输出

技术领域

本公开总体上涉及用于控制车辆功能的系统，且更具体地涉及用于在车辆操作期间基于乘员位置和/或乘员注意力控制包括自主车辆的车辆的功能和输出的系统、算法和过程。

背景技术

本章节提供与本公开相关的背景信息，其不必然是现有技术。

制造商正越来越多地生产具有更高水平的驾驶自动化的车辆。诸如自适应巡航控制和横向定位等特征已经变得普及，并且是更多地采用具有完全自主驾驶能力的车辆的前兆。

尽管具有自主驾驶能力的车辆的可用性正在上升，但是用户对自主驾驶功能的熟悉度和舒适感将不必然保持一致。用户对自动化的舒适感是整体技术采用和用户体验中的重要方面。

使用自主功能的驾驶员或其他车辆乘员可能不习惯作为乘客或自主车辆的各种方面，从而降低对乘用体验的满意度。

使用自主功能的驾驶员也可能不习惯接管回车辆的控制，这可能是有压力的。

发明内容

在一个方面，本公开涉及用于与自主车辆一起使用的系统，其包括非暂时性存储装置，包括自主车辆背景模块，在车辆的自主操作期间，当由基于硬件的处理单元执行时，其确定推荐或要求车辆的手动操作。存储装置也包括自主车辆驾驶员模块，其在被执行时基于指示车辆乘员的位置的乘员位置数据和指示车辆乘员的凝视（gaze）的乘员凝视数据中的一者或两者确定车辆乘员没有准备好对自主车辆进行手动控制。系统可以响应地告知用户需要采取恰当的位置以承担对车辆的手动控制。该系统还可以调整当前自主驾驶，诸如减慢车辆，或者使车辆靠边停车。

在另一方面，本公开涉及一种用于促进交通运输自主驾驶车辆中的驾驶员准备的过程。该过程包括：（i）由自主车辆的乘客位置传感器感测定位在自主车辆中的乘员的位置，从而生成乘员位置数据；和/或（ii）由自主车辆的乘员凝视传感器感测乘员的凝视，从而生成乘员凝视数据。

乘员位置能够包括位置的各种方面，诸如乘员大体的位置、姿态和取向，或乘员的任何一个或多个部分，诸如他们的头部或面部的位置、姿态和取向。

在各种实施例中，过程还包括在车辆的自主操作期间，通过基于硬件的处理单元执行自主驾驶背景模块来确定推荐或要求车辆的手动操作。

该过程还包括通过基于硬件的处理单元执行自主车辆驾驶员模块，基于乘员位置数据和/或乘员凝视数据确定乘员没有准备好对自主车辆进行手动控制。

该过程还包括响应于确定乘员没有准备好对自主车辆进行手动控制，通过基于硬件的处理单元执行活动模块，确定动作和发起动作的执行。

在各种实施例中，该动作包括与乘员通信以激励乘员采取位置以对自主车辆进行手动控制。

该动作可以包括经由自主车辆的人机接口（HMI）传达警报，以便由乘员接收从而激励乘员采取位置和/或注意力以对自主车辆进行手动控制。

动作可以包括调整车辆的自主驾驶操作，诸如通过调整自主驾驶致动器。在各种实施例中，自主驾驶致动器包括选自由转向部件、制动部件和节气部件组成的组中的至少一个致动部件。

确定推荐或要求车辆的手动操作的动作可以包括确定出于安全原因推荐或要求手动操作；或者基于预先建立的设定或用户偏好确定推荐或要求手动操作。

在各种实施例中，感测定位在自主车辆中的乘员的位置包括感测车辆中的多个乘员中的每一个的相应位置，生成乘员位置数据；并且确定乘员没有准备好对自主车辆进行手动控制包括确定乘员中没有一个准备好对车辆进行控制。

在一些实施方式中，该过程包括确定哪个乘员处于对自主车辆进行手动控制的最佳位置。

在各种实施例中，该过程包括基于乘员凝视数据和车辆位置数据确定乘员凝视，并且基于所述乘员凝视确定乘员没有准备好对自主车辆进行手动控制。

虽然在各种实施例中使用一个或多个车辆传感器确定乘员凝视，但在另一方面，该技术涉及一种用于监测佩戴智能眼镜或保持移动通信装置（例如平板计算机）的自主车辆乘员的注意力，并选择性地与该乘员互动的过程。该过程包括在自主驾驶期间从包括乘员凝视传感器的乘员眼镜接收指示自主车辆中的自主车辆乘员的凝视的自主车辆注视数据。

该过程包括通过基于硬件的处理单元执行自主车辆乘员，确定乘员的眼睛在参考系中的取向，从而生成自主车辆乘员取向数据。

该过程还包括：通过基于硬件的处理单元执行活动模块，基于自主车辆凝视数据和自主车辆乘员取向数据确定动作；并发起该动作的执行。

在各种实施例中，该动作包括以下项中的一个或多个：（a）借助于乘员眼镜提供通信，以告知乘员处于自主车辆乘员的视野内的物体；（b）借助于车辆的人机接口（HMI）提供通信，以告知乘员处于自主车辆乘员的视野内的物体；以及（c）提供通知，以告知乘员处于自主车辆乘员的视野内的物体。

物体可以包括以下项中的任何一个：（I）由乘员行程指示的乘员目的地；和（II）车辆外部的广告。在一个实施例中，该过程包括响应于确定乘员正观看广告而发起将积分（credit）应用于对应账户的广告子过程。

在各种实施方式中，该过程包括通过基于硬件的处理单元执行活动模块，基于自主车辆凝视数据和自主车辆乘员取向数据，确定乘员查看广告。该动作可以再次包括发起广告子过程，由其对应地向观看广告的乘员应用积分。

本公开还包括包含用于执行上文所描述的操作中的任何操作的所描述的部件（例如基于硬件的处理装置、模块等）中的任何部件的系统。

并且本公开包括被配置为执行上文所描述的操作中的任何操作的计算机可读存储装置，例如用于由基于硬件的处理单元执行的定制模块。

本发明还涉及以下技术方案：

方案1. 一种用于与自主车辆一起使用的系统，包括：

非暂时性存储装置，包括：

自主车辆背景模块，在所述车辆的自主操作期间，当由基于硬件的处理单元执行时，其确定推荐或要求所述车辆的手动操作；和

自主车辆驾驶员模块，当由所述基于硬件的处理单元执行时，其基于从乘员位置传感器接收到的乘员位置数据，确定车辆乘员未准备好对所述自主车辆进行手动控制。

方案2. 根据方案1所述的系统，其中：

所述乘员位置数据指示所述车辆的多个车辆乘员的位置；和

当由所述基于硬件的处理单元执行时，所述自主车辆驾驶员模块基于从乘员位置传感器接收到的所述乘员位置数据，确定所述车辆乘员中没有人准备好对所述自主车辆进行手动控制。

方案3. 根据方案2所述的系统，其中，当由所述基于硬件的处理单元执行时，所述自主车辆驾驶员模块确定所述多个车辆乘员中的哪一个处于最佳位置以对所述自主车辆进行手动控制。

方案4. 根据方案1所述的系统，其中，所述非暂时性存储模块包括活动模块，当由所述基于硬件的处理单元执行时，所述活动模块确定响应于确定所述乘员未准备好对所述自主车辆进行手动控制而采取的动作。

方案5. 根据方案4所述的系统，其中，所述动作包括提供乘员通信，所述乘员通信被配置为激励所述乘员采取位置来承担所述自主车辆的手动控制。

方案6. 根据方案5所述的系统，还包括输出模块，当由所述处理单元执行时，所述输出模块发起经由所述自主车辆的人机接口（HMI）传送所述乘员通信。

方案7. 根据方案5所述的系统，还包括输出模块，当由所述处理单元执行时，所述输出模块发起经由便携式乘员通信装置传送所述乘员通信。

方案8. 根据方案4所述的系统，其中，所述动作包括调整所述车辆的自主驾驶操作。

方案9. 根据方案8所述的系统，还包括输出模块，当由所述处理单元执行时，所述输出模块发起调整至少一个自主驾驶部件以改变所述车辆的自主驾驶操作。

方案10. 根据方案1所述的系统，其中，当在所述车辆的自主操作期间被执行以确定推荐或要求所述车辆的手动操作时，所述自主车辆背景模块确定出于安全原因推荐或要求手动操作。

方案11. 根据方案1所述的系统，其中，当在所述车辆的自主操作期间被执行以确定推荐或要求所述车辆的手动操作时，所述自主车辆背景模块基于预先建立的乘员偏好设定确定推荐或要求手动操作。

方案12. 根据方案1所述的系统，其中，所述乘员位置传感器是所述车辆的一部分。

方案13. 根据方案1所述的系统，其中，所述乘员位置传感器是便携式乘员装置的一部分。

方案14. 一种用于与自主车辆一起使用的系统，包括：

非暂时性存储装置，包括：

自主车辆驾驶员模块，当由所述基于硬件的处理单元执行时，其基于指示车辆乘员的凝视的乘员凝视数据，确定车辆乘客未准备好对所述自主车辆进行手动控制。

方案15. 根据方案14所述的系统，其中，从乘员手持装置或乘员可穿戴装置接收所述乘员凝视数据。

方案16. 根据方案15所述的系统，包括输出模块，当由所述基于硬件的处理单元执行时，其发起向所述乘员手持装置或所述乘员可穿戴装置发送环境背景数据，以便在所述乘员手持装置或所述可穿戴装置处提供显示时使用。

方案17. 根据方案14所述的系统，其中，当由基于硬件的处理单元执行时，所述自主车辆驾驶员模块基于所述乘员凝视数据和指示当前车辆驾驶环境的特性的环境数据确定车辆乘员未准备好对所述自主车辆进行手动控制。

方案18. 根据方案14所述的系统，其中，所述环境数据包括将（i）车辆位置、姿态或取向以及（ii）在其中使用所述自主车辆的环境的一个或多个特征相关联的车辆姿态数据。

方案19. 一种用于与自主车辆一起使用的系统，包括：

非暂时性存储装置，包括：

自主车辆驾驶员模块，当由所述基于硬件的处理单元执行时，其基于指示所述车辆乘员的位置的乘员位置数据和指示所述车辆乘员的凝视的乘员凝视数据中的一者或两者确定车辆乘员未准备好对所述自主车辆进行手动控制。

方案20. 根据方案19所述的系统，包括输出模块，当由所述基于硬件的处理单元执行时，所述输出模块发起向乘员手持装置或乘员可穿戴装置发送环境背景数据，以便在所述乘员手持装置或所述可穿戴装置处提供显示时使用。

本技术的其他方面将部分地显而易见到，且部分地在下文中指出。

附图说明

图1示意性地示出根据本技术的实施例的具有本地和远程个人计算装置的示例交通运输车辆。

图2示意性地示出与本地和远程计算装置通信的图1的示例车辆计算机的更多细节。

图3示出车辆的另一视图，其强调示例存储器部件。

图4示出图3的各种部件之间的、包括与外部系统的互动。

附图不必然按比例绘制，且一些特征可被夸大或者最小化，以便示出具体部件的细节。

附图示出示例性实施例，并且因此该技术不限于所示的示例。

具体实施方式

如所要求的那样，本文中公开本公开的详细实施例。所公开的实施例仅仅是示例，其可以以各种形式和替代性形式及其组合实现。如本文中所使用的那样，例如，示例性的和类似的术语广泛地指代用作图示、标本、模型或样式的实施例。

在一些情况中，未详细地描述公知的部件、系统、材料或过程，以避免模糊本公开。本文所公开的具体结构和功能细节因此不被解释为是限制性的，而仅仅是针对权利要求的基础，以及是针对教导本领域技术人员采用本公开的代表性基础。

I. 技术介绍

本公开通过各种实施例描述了用于控制车辆功能的系统，并且更具体地，涉及用于在自主驾驶期间基于乘员位置和/或乘员注意力控制自主车辆的功能和输出的系统、算法和过程。

功能能够包括向乘员提供通信，诸如告知乘员他们应该或需要对车辆进行控制的警报或消息。另一示例通信告知乘员车辆正从自主驾驶转向手动驾驶。

另一示例功能是将乘员的凝视引至目标物体。确定凝视处于其他地方由一个或多个车辆传感器执行，或使用诸如智能眼镜或者诸如平板电脑或电话的移动通信装置的乘员装置执行。

虽然本技术的选定示例描述交通运输车辆或行进模式，且具体地描述机动车，但本技术不由该关注点限制。本构思能够延伸至多种多样的系统和装置，诸如包括飞机、船舶、卡车、公交车等等的其他交通运输工具或运动运载工具。

虽然本技术的选定示例描述自主车辆，但是该技术不限于在自主车辆（完全自主或部分自主）中使用，也不限于在能够自主的车辆被自主驾驶的时间内使用。

比如，本文对乘员的特性，以及提供以便由乘员接收的通信的引用，应当被视为公开了关于在手动车辆操作期间车辆驾驶员的类似实施方式。在完全自主驾驶期间，“驾驶员”被视为乘员或乘客，并且术语乘员和乘客在本文中有时可以互换地使用，除非在权利要求中或以其它方式陈述区别。

II. 主车辆（Host Vehicle）-图1

现在转向附图，且更具体地第一附图，图1示出呈车辆的形式的示例主结构或设备10。

车辆10包括基于硬件的控制器或控制器系统20。基于硬件的控制器系统20包括通信子系统30以便与移动计算装置或本地计算装置34和/或外部网络40通信。

通过外部网络40（诸如因特网、局域网、蜂窝或卫星网络、车辆至车辆、行人至车辆或其他基础设施通信等），车辆10能够与移动或本地系统34或远程系统50（诸如远程服务器）取得联系。

示例移动或本地装置34包括乘客智能手机31、乘客可穿戴装置32和平板计算机33，且不限于这些示例。示例可穿戴装置32包括智能手表、眼镜，以及智能珠宝，诸如耳环、项链、挂绳等。

另一示例移动或本地装置是车载装置（OBD），诸如车轮传感器、制动传感器、加速度计、转子磨损传感器、节气门位置传感器、转向角度传感器、每分钟转数（RPM）指示器、制动力传感器、用于车辆的其他车辆状态或关于动态的传感器，在制造之后，用这些车载装置（OBD）改造车辆。（多个）OBD能够包括以下由附图标记60引用的传感器子系统，或是其一部分。

传感器60包括关注车辆内的传感器60₁、60₂，诸如被配置为感测人的存在、人的活动或者其他车舱活动或特性的麦克风和摄像机。传感器的这种子集在下文更多地描述。

车辆控制器系统20（其在预想实施例中包括一个或多个微控制器）能够经由控制器区域网络（CAN）与OBD通信。CAN基于消息的协议通常被设计为用于与机动车的多路电气布线，且CAN基础设施可包括CAN总线。OBD也能够被称为车辆CAN接口（VCI）部件或产品，且由CAN传递的信号可以被称为CAN信号。（多个）OBD和主控制器或微控制器20之间的通信在其他实施例中经由类似的或其他基于消息的协议执行。

车辆10还具有各种安装结构35。安装结构35包括中央控制台、仪表盘（dashboard）和仪表板（instrument panel）。安装结构35包括插入端口36-比如USB端口，和视觉显示器37，诸如触敏、输入/输出、人机接口（HMI）。

车辆10还具有传感器子系统60，其包括向控制器系统20提供信息的传感器。输入到控制器20的传感器示意性地在图2的右侧处，在车罩下方示出。还示出具有底数60（601、602等）的示例传感器。

传感器数据涉及诸如车辆操作、车辆位置，和车辆姿态、乘客特性（诸如生物计量或生理测量），和涉及车辆10的车辆内部和外侧的环境特性。

示例传感器包括定位在车辆10的后视镜中的摄像机60₁、定位在车辆的顶盖中的圆顶或顶篷摄像机60₂、面向世界的摄像机60₃（面向背离车辆10的方向）和面向世界的距离传感器60₄。

面向世界的传感器60₃、60₄感测关于包括比如广告牌、建筑物、其他车辆、交通标志、交通灯、行人、传感器视界中的物体等的环境11的特性。

在各种实施例中，所提到的OBD能够被视为本地装置、子系统60的传感器，或两者。

本地装置34（例如乘客电话、乘客可穿戴装置，或乘客插入式装置）也能够被视为传感器60，诸如在车辆10使用由本地装置基于（多个）本地装置传感器的输出提供的数据的实施例中。车辆系统能够使用来自比如用户智能手机的指示由电话的生物计量传感器感测到的乘客生理数据的数据。

车辆10还包括车舱输出部件70，诸如声音扬声器，仪表板。输出部件还可以包括仪表盘或中心堆叠的显示屏幕、后视镜屏幕（以便显示来自车辆尾部/倒车摄像机的成像）和任何车辆视觉显示装置37。

III. 车载计算架构-图2

图2更详细地示出图1的基于硬件的计算或控制器系统20。控制器系统20能够由诸如计算装备、控制器、控制器装备，或这种描述性术语的其他术语指代，并且能够是或包括一个或多个微控制器，如上文所述。

在各种实施例中，控制器系统20是所提及的更大的系统10（诸如车辆）的一部分。

控制器系统20包括基于硬件的计算机可读存储介质或数据存储装置104和基于硬件的处理单元106。处理单元106借助于通信链路108（诸如计算机总线或无线部件）连接或能够连接到计算机可读存储装置104。

处理单元106能够由诸如处理器、处理硬件单元等等的其他名称引用。

处理单元106能够包括或者是多个处理器，其能够包括在单个机器或多个机器中的分布式处理器或并行处理器。处理单元106能够被用于支持虚拟处理环境。

处理单元106能够包括比如状态机、专用集成电路（ASIC），或包括场PGA的可编程门阵列（PGA）。本文对于处理单元执行代码或指令以执行操作、动作、任务、功能、步骤等的引用能够包括处理单元直接执行操作和/或促进、指导或与另一装置或部件协作以执行操作。

在各种实施例中，数据存储装置104是易失性介质、非易失性介质、可移除介质和不可移除介质中的任何介质。

如在说明书和权利要求中所使用的那样，术语计算机可读介质及其变型指代有形存储介质。介质能够是图2更详细地示出图1的基于硬件的计算或控制器系统20。控制器系统20能够由诸如计算设备、控制器、控制器设备或这种描述性术语的其它术语指代，并且能够是或包括一个或多个微控制器，如上文所述。

控制器系统20包括基于硬件的计算机可读存储介质、或数据存储装置104和基于硬件的处理单元106。处理单元106借助于通信链路108（诸如计算机总线或无线部件），连接或可连接到计算机可读存储装置104。

处理单元106能够包括或是多个处理器，其能够包括在单个机器或多个机器中的分布式处理器或并行处理器。处理单元106能够被用于支持虚拟处理环境。

处理单元106可包括状态机、专用集成电路（ASIC），或包括比如场PGA的可编程门阵列（PGA）。本文中对处理单元执行代码或指令以执行操作、动作、任务、功能、步骤等的参考可包括处理单元直接执行操作，和/或促进、引导或与另一装置或部件协作以执行操作。

在各种实施例中，数据存储装置104是易失介质、非易失介质、可移除介质和非可移除介质中的任何介质

术语计算机可读介质和其变型，如在说明书和权利要求中所使用的那样，指代有形存储介质。该介质能够是装置，且能够是非瞬态的。

在各种实施例中，存储介质包括易失和/或非易失、可移除、和/或非可移除介质，诸如例如，随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、固态存储器或其他存储器技术、CD ROM、DVD、蓝光光碟，或其他光盘存储装置、磁带、磁盘存储装置或其他磁性存储装置。

数据存储装置104包括一个或多个存储模块110，其存储能够由处理单元106执行以执行本文中所述的控制器系统20的功能的计算机可读代码或指令。在下文中结合图3进一步描述模块和功能。

在各种实施例中，数据存储装置104还包括辅助或支持部件112，诸如本公开的过程的额外软件和/或数据支持性能，诸如一个或多个乘客配置文件或者默认和/或乘客设定偏好的组。

如所提供的那样，控制器系统20还包括通信子系统30，其用于与本地装置和外部装置及网络34、40、50通信。在各种实施例中，通信子系统30包括基于线的输入/输出（i/o）116、至少一个长距离无线收发器118以及一个或多个短距离和/或中距离无线收发器120中的任何项。部件122以举例的方式示出，以强调系统能够配置成适应一种或多种其他类型的有线或无线通信。

在各种实施例中，长距离收发器118配置成促进控制器系统20和卫星和/或蜂窝电信网络之间的通信，所述卫星和/或蜂窝电信网络也能够被视为由附图标记40示意性地指示。

短距离或中距离收发器120被配置成促进短距离或中距离通信，诸如与其他车辆的通信、车辆至车辆（V2V）通信中的通信，和与运输系统基础设施（V2I）的通信。宽泛地，车辆至实体（V2X）能够指代与任何类型的外部实体（例如，与行人或骑自行车的人等相关联的装置）的短距离通信。

为了V2V通信、V2I通信，或与其他额外车辆装置（诸如本地通信路由器等）通信，短距离或中距离通信收发器120可配置成借助于一个或多个短距离或中距离通信协议进行通信。示例协议包括专用短距离通信（DSRC）、WI-FI^®、BLUETOOTH^®、红外线、红外线数据标准协会（IRDA）、近场通信（NFC）等，或者其改进（WI-FI是德克萨斯州奥斯汀（Austin）的WI-FI联盟（WI-FI Alliance）的注册商标；BLUETOOTH是华盛顿州贝尔维尤（Bellevue）的BluetoothSIG Inc.的注册商标）。

通过短距离、中距离和/或长距离无线通信，控制器系统20能够通过处理器106的操作向（多个）通信网络40发送消息和从（多个）通信网络40接收消息，所述消息诸如呈消息或封包数据的形式。

在各种实施例中，子系统30与其通信的远程装置50处于车辆10附近、远离车辆，或两者。

远程装置50能够配置有用于执行本文所描述的操作的任何合适的结构。示例结构包括类似结合车辆计算装置20描述的那些结构的任何或所有结构。远程装置50包括比如处理单元、包括模块的存储介质、通信总线，和输入/输出通信结构。这些特征被视为由图1和由本段落提供的交叉引用针对远程装置50示出。

虽然本地装置34被示出为处于图1和2中的车辆10内，但是它们中的任何装置均可以在车辆外部且与车辆通信。

示例远程系统50包括远程服务器（例如，应用服务器），或远程数据、客户服务，和/或控制中心。诸如智能手机的乘客计算或电子装置34也能够远离车辆10且与子系统30通信，诸如借助于因特网或其他通信网络40。

示例控制中心是OnStar^®控制中心，其具有用于借助于车辆或以其他方式（例如，移动电话）借助于远程的通信（诸如卫星或蜂窝通信）与车辆和乘客互动的设施。ONSTAR是OnStar Corporation的注册商标，OnStar Corporation是通用汽车公司（General MotorsCompany）的子公司。

如所提及的，车辆10还包括包含传感器的传感器子系统60，所述传感器向控制器系统20提供关于诸如车辆操作、车辆位置、车辆姿态、乘客特性（诸如生物计量或生理测量）和/或围绕车辆10的环境的事项的信息。该布置能够配置成使得控制器系统20经由有线或短距离无线通信链路116、120与传感器子系统60的传感器通信，或者至少从所述传感器接收信号。

在各种实施例中，传感器子系统60包括至少一个摄像机和诸如雷达或声纳的至少一个距离传感器60₄，其指向背离车辆的方向，诸如以便支持自主驾驶。

指向背离车辆10的方向的可见光（Visual-light）摄像机60₃可包括单目前视摄像机，诸如在车道偏离警告（LDW）系统中所使用的那些。实施例可包括其他摄像机技术，诸如立体摄像机或三焦距摄像机。

在不脱离本公开的范围的情况下，配置成感测外部条件的传感器可以沿多种方向中的任何方向布置或取向。例如，摄像机60₃和距离传感器60₄可以以以下位置中的每一个位置，或选定位置取向：（i）从车辆10的前方中心点面向前，（ii）从车辆10的后方中心点面向后，（iii）从车辆10的侧部位置面向车辆的侧向，和/或（iv）在这些方向之间，且例如每一个处于或朝向任何高度。

距离传感器60₄可包括例如短距离雷达（SRR）、超声波传感器、长距离雷达（诸如在自主或自适应巡航控制（ACC）系统中所使用的那些）、声纳，或光检测和测距（LiDAR）传感器。

其他示例传感器子系统60包括车舱传感器60₁、60₂，其被配置和布置（例如定位和配合在车辆中）成感测活动、人、车舱环境条件，或与车辆的内部有关的其他特征。示例车舱传感器60₁、60₂包括麦克风、车辆中可见光摄像机、座椅重量传感器、用户盐度（salinity）、视网膜或其他用户特性、生物计量，或生理测量和/或关于车辆10的环境的传感器。

车辆传感器60的车舱传感器（601、602等）可以包括一个或多个温度敏感的摄像机或传感器。如所提及的，示例热传感器是布置在车辆10中以感测车辆内的热条件，特别是乘员热条件的热成像摄像机或者热成像或红外摄像机。在各种实施例中，热摄像机优选地定位在车辆10中的高位置处。示例位置包括后视镜上和顶篷隔室中。

更高的定位减少来自侧向障碍物（诸如阻挡第二或第三排乘客，或阻挡多于那些乘客的事物的前排座椅靠背）的干扰。更高地定位的热摄像机，或任何类型的摄像机，将很可能能够感测每个乘客的身体的更多处（例如躯干、腿、脚）的温度。

其他示例传感器子系统60包括动态车辆传感器134，诸如具有一个或多个加速度计的惯性动量单元（IMU）、车轮传感器，或与车辆10的转向系统（例如，方向盘）相关联的传感器。

传感器60能够包括用于测量车辆姿态或其他动态（诸如位置、速度、加速度，或高度）的任何传感器，例如车辆高度传感器。

传感器60能够包括用于测量车辆的环境的任何已知的传感器，包括上文提及的那些，和诸如用于检测是否降雨或降雪以及降雨或降雪有多少的降水传感器的其他传感器、温度传感器，和任何其他传感器。

用于感测用户特性的传感器包括任何生物计量传感器，诸如用于视网膜或其他眼部特征辨识、面部辨识或指纹辨识的摄像机，热传感器，用于语音或其他用户辨识的麦克风，其它类型的基于用户识别摄像机的系统，重量传感器、盐度传感器、呼吸品质传感器（例如，呼吸分析器）、用户温度传感器、心电图（ECG）传感器、皮电活动（EDA）或皮肤电反应（GSR）传感器、血容量脉冲（BVP）传感器、心率（HR）传感器、脑电图（EEG）传感器、肌电图（EMG），和用户温度、测量盐度水平的传感器等，或其他传感器。

用户-车辆接口，诸如触敏显示器37、按钮、旋钮等，或其他也能够被视为传感器子系统60的部分。

图2还示出上文提及的车舱输出部件70。在各种实施例中，输出部件包括用于与车辆乘员通信的机构。部件包括但不限于扬声器140、视觉显示器142，诸如仪表板、中心堆叠显示屏幕和后视镜屏幕，和触觉输出144，诸如方向盘或座椅振动致动器。在该部段70中设置第四元件146，以强调车辆能够包括输出部件中的多种多样的其他部件中的任何部件，诸如向车舱中提供香气或光的部件。

IV. 额外车辆部件–图3

图3示出图1和2的车辆10的替代性视图，其强调示例存储器部件，并且示出相关联的装置。

如所提及的那样，数据存储装置104包括用于本公开的过程的执行的一个或多个模块110。并且，装置104可以包括辅助部件112，诸如支持本公开的过程的执行的额外软件和/或数据。辅助部件112能够包括例如支持本公开的过程的执行的额外软件和/或数据，诸如一个或多个用户配置文件或默认和/或用户设定偏好的组。

所描述的代码或指令中的任何代码或指令能够是多于一个模块的部分。并且，虽然功能可以借助于主示例主要结合一个模块描述，但是本文所描述的任何功能均能够通过执行一个或多个模块中的指令来执行。模块中的每一个均能够由多个名称中的任一项指代（诸如由指示其功能的术语或短语指代）。

子模块能够引起正在处理的基于硬件的单元106执行模块功能的具体操作或例程。每一个子模块均能够由多个名称中的任何名称指代，诸如由指示其功能的术语或短语指代。

所示的示例模块110包括：

-输入接口模块302；

-数据库模块304；

-自主车辆乘客注意力模块306；

-自主车辆乘客位置模块308；

-物体位置模块310；

-自主车辆驾驶员模块312；

-自主驾驶背景模块314；

-活动模块316；和

-输出接口模块318。

图3中所示的其他车辆部件包括车辆通信子系统30和车辆传感器子系统60。这些子系统至少部分地作用为通向模块110的输入源，并且具体地通向输入接口模块302的输入源。来自通信子系统30的示例输入包括来自移动装置的识别信号，其能够被用于识别或注册移动装置，并且因此识别或注册对应于车辆10的用户，或者至少初步地注册装置/用户，继之以更高水平的注册（诸如生物计量或密码注册）。

来自车辆传感器子系统60的示例输入包括并且不限于：

- 生物计量传感器，其提供关于车辆乘员的生物计量数据（诸如针对每个乘客的皮肤温度或体温）；

- 车辆乘员输入装置（人机接口（HMI），诸如触敏屏幕、按钮、旋钮、麦克风等）；

- 车舱传感器，其提供关于车辆内的特性（诸如用户位置、取向或凝视，车辆内部温度）的数据、座椅中重量传感器和运动检测传感器；

- 环境传感器，其提供关于有关车辆的条件的数据，诸如来自外部摄像机和距离传感器（例如，LiDAR，雷达）；和

- 与车辆10分开的源，诸如本地装置34、行人穿戴的装置、其他车辆内系统（诸如用户便携式装置）、本地基础设施（本地信标、蜂窝塔等）、卫星系统，和远程系统34/50，这些源提供诸如用户识别数据、用户历史数据、用户选择或用户偏好、背景数据（天气、路况、导航），程序或系统更新等多种多样的数据中的任何数据，-远程系统能够包括比如对应于在车辆10处以及任何相关用户装置34处操作的（多个）应用的应用服务器，用户或监督者（父母、工作监督者）的计算机，车辆经营者服务器，客户控制中心系统（诸如所提及的OnStar®控制中心的系统），或车辆经营者系统，诸如经营车辆10所属的车队的出租车公司或乘用共享服务的经营者的车辆经营者系统。

该视图还示出示例车辆输出70，和可以定位在车辆10中的用户装置34。输出70包括并且不限于：

- 车辆动力学致动器，诸如影响自主驾驶（车辆制动器、节气门、转向等）的那些；

- 车辆气候致动器，诸如控制HVAC系统温度、湿度、区域输出、和（多个）风扇速度等的那些；和

- 本地装置34及远程系统34/50，系统可以向其提供多种多样的信息，诸如用户识别数据，用户生物计量数据，用户历史数据，背景数据（天气、路况等），用于向用户或相关实体（诸如当局、第一响应者、父母、主体车辆10的经营者或所有者，或客户服务中心系统（诸如OnStar®控制中心的客户服务中心系统））提供通知、警报或消息的指示或数据，发起向第一响应者、父母、经营者、车主等的通信（诸如呼叫或短信/SMS）。

下文更多地描述模块、子模块及其功能。

V. 算法和过程-图4

V. A. 对算法的介绍

图4示出根据本技术的实施例的示例算法，其由过程流或算法400示意性地代表。虽然为了简单起见示出单个过程流，但是功能或操作中的任何功能或操作均能够由一个或多个装置或系统在一个或多个算法的一个或多个过程、例程或子例程中执行。

应当理解的是，过程或算法400的步骤、操作或功能不必然以任何特定顺序呈现，且一些或所有操作以替代性顺序执行也是可能和预想到的。过程也能被组合或重叠，诸如过程中的一个的一个或多个操作在其他过程中执行。

为了易于描述和说明，以演示顺序呈现操作。在不脱离所附权利要求的范围的情况下，能够增加、省略和/或同时执行操作。还应当理解的是，所示过程400能够在任何时刻终止。

在某些实施例中，过程400中的一些或所有操作和/或大致等价的操作由计算机处理器，诸如基于硬件的处理单元106执行，从而执行存储在非瞬态计算机可读存储装置（诸如比如上文所描述的数据存储装置104，或移动装置中的任何装置）上的计算机可执行指令。

V. B. 系统部件和功能

图4示出图3的部件，其根据各种示例性过程流和算法400互动。

由诸如基于硬件的处理单元106的处理器执行的输入接口模块302接收包括来自先前章节（IV.）中所描述的源的多种多样的输入数据或信号中的任何数据或信号。

输入源包括车辆传感器60以及经由车辆通信子系统30的本地或远程装置34、50。输入还经由数据库模块304包括车辆数据库。

在任何格式化、转换或输入接口模块302处的其他处理之后，输入数据被传递至活动模块316，或首先传递至其他模块。

在各种实施方式中，活动模块316请求（拉，由活动模块）、在不请求的情况下接收（推，从数据库模块），或以其他方式从数据库模块304获得相关数据。数据库模块304可以包括车辆10的存储部分（诸如存储所提及的辅助数据的部分），或是该存储部分的一部分，或与该存储部分通信。如所提及的那样，辅助数据可以包括一个或多个用户配置文件。作为示例，配置文件能够由系统处理器预先生成，或从诸如服务器50或远程用户计算机的远程源接收。

每一个用户的配置文件均能够包括由用户传达至系统（诸如经由触屏或麦克风接口）的用户特定偏好。

偏好包括影响系统与用户互动或者与诸如服务器或用户装置的非车辆系统互动（共享数据）的方式的任何设定。示例偏好包括，仅作为几个示例，针对媒体输送的音量、音调或其他声音偏好，向用户提供的通知的类型或音量。

来自数据库模块304的数据还能够包括比如表示系统和用户之间、在系统和其他用户之间，或其他系统和这些或其他用户之间的过去的活动的历史数据。仅作为示例，如果以重复的状况，响应于某种状况（例如，在桥上驾驶），用户以常见方式反应（凝视下方的水或道路），则能够结合用户存储活动，并且该活动可以被用于确定如何或何时向用户呈示（诸如经由车辆平视显示器）信息，接收某通知，用户调低其声学区中的音量，则系统能够为该用户生成要求系统针对该通知使用更低的音量的历史或习得的数据。

用户偏好能够包括比如针对如何提供消息的用户偏好，例如HUD相对中心堆叠屏幕，以及有或者没有音频，以及如果有音频，则音频的优选类型。

能够从远程或非车辆配置文件接收偏好，这种配置文件存储在用户移动装置34或远程服务器50处，并且本地和远程配置文件特征能够在车辆10和远程源之间同步或共享。

自主车辆乘客注意力模块306至少基于指示乘客的一个或两个眼球指向的方向的传感器数据确定一个或多个乘客的凝视。

该确定能够基于多种多样的其他条件中的任何条件，诸如乘客的头部的取向或姿态、乘客在车辆10中的位置、乘客在其中乘用的车辆10的取向、车辆10的姿态，以及车辆10的位置。该模块可以确定比如乘客头部从前排乘客座椅直接笔直地面向前方，乘客眼睛指向右侧30度和竖直地乘客眼睛水平上方10度。

能够对多个乘客中的每一个执行确定乘客注意力或凝视。

自主车辆乘客位置模块308能够被用于确定车辆中的乘客位置或姿态。能够对多个乘客中的每一个执行确定乘客姿态和/或位置。

位置确定能够基于一个或多个车舱摄像机和一个或多个其它车舱传感器，诸如温度传感器、短距离雷达等。

在各种实施例中，乘客位置或姿态数据代替地或者也基于移动装置34（诸如平板电脑33或智能眼镜32）的测量。

用于该功能的移动装置部件包括前方、面向用户的摄像机，后方、面向世界的摄像机，距离传感器，具有一个或多个加速度计的惯性动量单元（IMU），仅作为几个示例。能够大体地在同一时间或顺序地对多个乘客执行确定。

物体位置模块310确定车辆10外部的物体的位置。在各种实施例中，该确定基于从一个或多个面向世界的摄像机60₃和/或一个或多个面向世界的距离传感器60₄接收的实时动态数据。

在各种实施例中，能够代替地或者也从地图或导航数据库或程序接收物体位置数据。

自主车辆驾驶员模块312确定是否存在担保乘客对车辆进行手动控制的条件。基于系统编程，该条件可以要求推荐乘客在一些状况中进行控制，并且在其他状况中，更果断地要求进行手动控制，或者甚至更果断地告知用户必须将车辆更改为手动模式或将其靠边并停泊。

自主驾驶背景模块314生成或获得将由活动模块316在确定行动方式时所使用的指示其他相关情况的数据。

作为示例，背景可以包括乘客安排或行程。比如，行程可以指示用户被安排在本地剧院参加活动，并且具体地，具有在预售部（will call）处等候他们的预约的票据。背景数据可以包括这些事实，以及预售部的位置。或者系统（例如，背景模块314）能够基于这些事实获得预售部的位置，诸如通过从远程服务器50取回位置。

基于各种输入，活动模块316执行一个或多个人潜在的所得操作，其在本文中被明确地描述并以其它方式提及或建议。

在各种实施例中，活动模块316操作包括以下项中的一个或多个：

- 确定通信以向乘客提供，包括由车辆HUD、车辆扬声器、车灯或屏幕，或移动装置输出接口提供。该通信能够包括呈示虚拟或增强现实视图，诸如通过由（多个）车辆传感器实时地动态地感测到的行人或其他物体（基于所确定的乘客的凝视，他们显然未注意到这些）。通信能够被配置为告知乘客推荐或要求车辆的手动操作。推荐或要求手动操作的确定可以基于预先建立的设定或用户偏好。能够响应于基于任何所提及的车辆和/或移动装置传感器确定（多个）乘客不具有指示他们已准备好进行手动控制的位置、姿态和/或眼睛凝视生成通信。在各种实施方式中，通信包括关于由乘客或由乘客行程指示的目的地的信息。模块314可以确定在车辆正自主驾驶到其的本地剧院处的预售部窗口的HUD突出位置上呈示通知，因此当车辆停止并且乘客下车时乘客确切地知道去往何处。

- 确定调整车辆自主驾驶的方式，诸如通过调整车辆节气门、制动器或转向机构（steering gear）。

- 响应于向乘客提供通信以将乘客注意力吸引至广告物体（例如，广告牌、店面等），确定向广告账户添加积分，或向远程系统（例如，广告服务器）发送消息。并且检测乘客实际上改变了凝视以关注物体。广告布置可以包括与支付所报告的广告视界（view）的广告实体互动。

- 确定与乘客通信，以激励乘客采取对自主车辆进行手动控制的位置。该通信能够经由自主车辆的人机界面（HMI）提供用于由乘客接收的警报，以激励乘客采取对自主车辆进行手动控制的位置。

- 响应于乘客凝视广告物体（例如广告牌或店面）（或者响应于完全去往该处的凝视，或者响应于系统提示去往该处，或者停留在物体上超过阈值的时间量的凝视），确定传送进一步广告，以便由用户接收，或（多个）购买选项、通信；和

- 将乘客的可视性与乘客的凝视相比较或相关联，并且使用比较或关联的结果，（诸如在确定经由HUD或移动装置34呈示增强现实或虚拟现实数据的方式时），

仅作为几个示例。

输出接口模块318在将活动模块316的输出传送到各种输出部件以便实现之前，格式化、转换或以其他方式处理活动模块316的输出。

如图所示，示例系统输出部件包括车辆扬声器、屏幕或其它车辆输出70。

示例系统输出部件还能够包括远程系统50，诸如远程服务器和用户计算机系统（例如家用计算机）。能够在这些系统处接收和处理输出，诸如以用确定的偏好、关于用户进行的活动等更新用户配置文件等。

对于其中乘客佩戴或具有移动或便携式装置34（诸如平板电脑33或眼镜32）的实施例，输出通信能够由移动装置提供-例如，在移动装置屏幕上以虚拟现实/增强现实呈现的方式突出远程物体，和/或提供音频输出（乐音、合成语音通信等）。因此，相同的移动装置既能够被用作输入源，用于例如乘客眼睛凝视确定、乘客姿态或位置确定等，也能够被用作输出目的地或航路点，诸如如果用户电话向另一个系统（诸如远程服务器50）进一步提供输出的情况。

示例系统输出部件还能够包括车辆数据库。比如，输出数据能够被提供给数据库模块304，其能够在系统学习中被使用，并且被存储到辅助数据112的适当用户账户。

VI. 额外结构、算法特征和操作

与本文所描述的其它实施例中的任何实施例组合，或代替任何实施例，本技术能够包括如下的任何结构或执行如下的任何功能：

i. 在各种实施例中，该技术包括系统和方法，其被配置成利用嵌入式外部和内部感测技术（尤其是但不限于，自主车辆中的应用程序），将乘客注意力与驾驶或通勤场景中的兴趣点（例如，广告牌、行人、旅游景点）相关联。

ii. 在各种实施例中，该技术包括系统和方法，其被配置成在驾驶或通勤场景中，基于诸如乘客凝视、乘客姿态、位置、车辆取向、车辆位置和（多个）物体位置的各种因素中的任何因素执行车辆外侧的兴趣点或物体（乘客的注意力正在或者最近集中在其上）的自动监测。

iii. 该技术能够包括基于广告的布置，由此响应于用户注意力处于或者被引至广告物体应用积分。

iv. 该技术能够被用在旅游或观光应用程序中。

v. 在各种实施例中，如果乘客凝视处于或也许非常接近物体，则系统将不与用户通信以突出或调出（call out）物体，以便不压倒乘客的感受。

vi. 该技术可以包括系统，其能够自动监测哪些物体或兴趣点（例如在车舱外的环境中）获得了乘客/驾驶员注意力，并且在各种实施例中，何点或物体在何情况下获得注意力-例如，相比于乘员坐在前排或后排乘客座椅中，当乘员坐在驾驶员座椅中时远为更多地注意到广告牌。该系统被配置为基于背景，以及在一些实施方式中为了安全性向乘客提供适当的警报或通信。

vii. 该技术利用已经在许多（如果不是大多数）自主车辆中设置的外部先进传感器来实时地动态地确定驾驶员或乘员的感兴趣的物体（例如，他们的目光在何处或最近去往何处），并且还动态地将乘客注意力和系统中的物体相关联，诸如以便后续使用，像针对观看广告奖励用户账户积分，或者确定输出动作，诸如突出物体或呈示关于物体的信息，诸如在车窗、智能眼镜或其他用户装置上以虚拟现实的方式、以全息图等呈示。

viii. 在各种实施例中，该技术使用三种规格（form factor）或设置中的一种，其中系统确定乘客位置/姿态/取向中的任何特征，并且在一些情况中使用以下项中的一者或多者主动地监测它们：

1. 手持式装置-例如平板电脑或智能手机。如上所述，手持装置也可以是输出。

2. 穿戴的装置，诸如可穿戴的眼镜装置。如上所述，眼镜也可以是输出。

3. 嵌在车舱中的眼睛跟踪器，其面向用户。

ix. 此外，关于平板电脑或其他手持装置规格，大多数平板电脑具有“面向世界”（例如，面向后方）的摄像机（例如，RGB或RGB-D）。此外，它们具有面向用户（例如，前侧）摄像机。摄像机可以是比如RGB-D摄像机。其他平板电脑传感器能够布置在平板电脑处以沿相同方向或其它方向感测。在一些自主驾驶系统中，系统被编程为根据各种级别的自动化的布置起作用，诸如由此在第一级别下执行的自主驾驶仅包括轻自动化功能，诸如自动巡航控制/自动跟车距离维持。比如，更高级别（例如5级或6级）可能涉及完全自动化。在中间级别的自动化下，诸如当车辆在3级下驾驶时，乘客经常，但不总是双手自由，或双手脱离方向盘的。尽管如此，即使是偶尔的，双手脱离的能力也能够是有用的，因为乘员能够保持诸如平板电脑的用户装置，并且给予其注意力。车辆将告知用户他们是否应当接管方向盘。平板电脑使用在主动安全性和高级驾驶员辅助系统（ADAS）的背景中可以具有若干益处，诸如通过系统为乘客提供与乘客在通过指定的路线中看到的事物相关的信息（例如经由平板电脑）。一方面，如果乘客保持平板电脑使得其指向与用户凝视大体相同的方向和/或指向大体相同的凝视点，则平板电脑可以使用面向后方的摄像机提供乘客的视角。另一方面，系统能够注释（例如，通过平视显示器（HUD）突出或调出）与乘客视角一致的相关信息。

x. 此外，关于车辆规格，在各种实施例中，系统能够创建增强现实的宽屏幕HUD，并且使用面向乘客的前置3D摄像机或可以被配置和布置成用作眼睛跟踪器的其他车辆内传感器。经由嵌在车辆中的传感器，系统能够检测乘客的视角中的感兴趣的物体。并且系统能够通过计算用户的实时凝视或凝视到场景中的物体的投射来监测乘客看到的物体。

xi. 一次能够使用两种或三种规格-例如，输入能够包括车辆传感器和平板电脑传感器，并且能够向车辆输出（屏幕、HUD、扬声器等）和/或智能眼镜提供输出以便显示。

xii. 在各种实施例中，该系统能够取决于面向用户的平板电脑上的传感器，监测乘客凝视。

xiii. 此外，关于眼镜的规格，系统可以使用眼镜的增强现实功能。该规格是有用的，比如在车辆驾驶期间在场景中注释路线或物体。注释可以因此经由使用乘客佩戴的AR眼镜以沉浸式方式完成。在AR眼镜具有眼睛跟踪器的情况中，系统能够观察从乘客视角实际可见何物，以及他实际上正在看何物，这可能不必然相同。因此，除了平板电脑的面向后方的摄像机之外，该系统还能够利用面向用户的3D摄像机以便实现平板电脑上的眼睛跟踪器，以关于乘客的背景/参考系/现实中的视角注释/表达相关的虚拟物件，或向乘客呈示信息。因此，除了面向世界的后方3D摄像机的输出之外，系统还能够利用可穿戴眼镜的现有的眼睛跟踪器源（例如，在智能眼镜中）以向乘客准确地表达/注释相关信息。无论如何，系统均能够被配置为将乘客实际上看到的事物和在乘客的视点或视角中可见的事物相关联，诸如经由与嵌入车辆中的传感器同步。

xiv. 考虑到乘客（包括半自主驾驶或完全自主驾驶期间的驾驶员）在自主驾驶相对手动驾驶中将以完全不同的方式观察他的/她的环境，原因在于自动化将使乘客（包括驾驶员）能够关注驾驶之外的其他活动，因此设想到该技术的各种实施例。

xv. 在各种实施例中，系统从确定的信息获益，所述信息指示在通勤场景（车舱外部）中，哪些物体具有、最近具有或者吸引了乘客的注意力。

xvi. 此外，关于主动-安全性使用，系统被配置为经由增强现实技术突出诸如行人或进入街道的球的物体。在各种实施例中，这尤其关于显然尚未不具有乘员（例如，驾驶员或乘客的）注意力的物体执行，以使物体受到乘员注意。

xvii. 在各种实施例中，该系统被配置为确定不突出已经具有或显然具有乘员（例如，完全地或部分地手动驾驶的驾驶员）的注意力的物体。再次地，注意力能够基于乘员位置、用户凝视、乘员姿态（例如，头部姿态）等（仅作为几个示例）中的任何特征。因此，有目的地限制乘员的认知要求，从而允许乘员关注其他事物。

xviii. 该系统能够被用在观光或旅游状况中，诸如通过突出（诸如在HUD或用户平板电脑上）推荐乘客在旅行期间观察的兴趣点（POI），诸如在车辆前方、邻近车辆或车辆周围的区域，或者在车辆前方、邻近车辆或车辆周围的物体（例如，自主驾驶旅行中的历史建筑物），或其他当地旅游景点。如果乘客没有注意到感兴趣的区域或物体，则系统可以提供及时的通知，诸如经由比如文本到语音，或视觉注释，以将乘客的注意力吸引到感兴趣的区域、物体或兴趣点（POI）。该系统可以被配置为响应于确定乘客已经看着物体、区域或POI，提供关于该物体、区域或POI的信息，或者乘员响应于系统提示乘员（经由，比如HUD突出、其他AR显示、语音通知等）看着其而将凝视改变到该物体、区域或POI。

xix. 在一些情况中，该系统被配置为连同或代替一个或多个合适的车辆传感器，使用乘客平板电脑、智能眼镜或其他合适的用户装置作为输入和/或输出源，如所提及的那样。使用便携式装置可以向用户提供更大的灵活性或以其他方式提供更好的使用体验，诸如在使用平板电脑或智能眼镜时，具有大的或竞争（compete）自由度的乘客以不与驾驶方向一致的取向观看或保持平板电脑，或在任何时候沿任何期望的方向观看或保持平板电脑。在各种实施方式中，系统将嵌入车辆的传感器的世界轴或参考系与输出的参考系相关联，或反之。

xx. 在各种实施例中，诸如结合平板电脑和/或智能眼镜的使用的系统利用即时定位与地图构建技术。在系统包括或使用眼睛跟踪技术的情况中，比如，系统能够获得关于条件的准确信息，所述条件诸如在包含感测到的或以其他方式已知的（比如根据地图数据）物体、区域或POI的背景中乘客头部和凝视的取向。SLAM技术还能够在乘员正在使用平板电脑的实施例中产生帮助，诸如通过使用SLAM技术来对齐或关联（i）平板电脑看到的世界与（ii）如车辆所看到的那样的世界。关联能够被用于确保或更好地确保向用户提供的输出，诸如AR呈示，是以乘员或以人为中心的。

VII. 选择优势

上文中描述了本技术的许多益处和优势。当前章节重述了那些益处和优势中的一些并提到一些其他的益处和优势。所描述的益处不是本技术的益处的穷尽。

由于当需要时，系统通知自主车辆乘客对于进入恰当位置和/或集中其凝视以便手动驾驶的需要，因此安全性得到改善。

通过向乘客提供关于感兴趣的物体（诸如穿过街道的行人）的动态的实时的通信，也促进了安全性。在一些情况中，如果系统确定乘客并未在看该物体，则执行该功能。

系统可以提供赚钱的兴趣物（interest），诸如使用所描述的广告系统。

我们提出的技术方案的另一附带益处在于，通过（i）将乘客的视野与乘客看到的事物相关联，和/或（ii）将车辆与便携式用户装置的视口相关联，系统确保输出是以人为中心的。实现（archive）该益处的一种方式是将增强与用户/乘客注意力一致-即，使具有相关的虚拟物件的乘客的视角与乘客注意力一致。

操作中的技术通过调整诸如车辆驾驶风格参数的多种多样的车辆和/或非车辆特性中的任何特性，以使用自动驾驶来增强驾驶员和/或乘客满意度（包括舒适性）。

该技术将增加自动驾驶系统的使用，因为当用户变得了解促进和/或改善了自主驾驶体验的特征时，并且尤其地如果他们使用了所述特征，用户更有可能使用或认识车辆的更先进的自主驾驶能力。

以相同的空间（vain），能够改善（多个）用户和主体车辆之间的“关系”，用户将更多地将车辆视为信任的工具、助理或朋友。因此，通过增加用户或潜在用户对自主驾驶系统的信任，该技术也能够影响采用的水平并且相关地影响能够自主驾驶的车辆的营销和销售。并且在这些情况下，人们更有可能使用或购买能够自主驾驶的车辆，购买另一辆，或者推荐，或者向其他人模拟一辆这种车的使用。

系统使用的另一个益处在于，用户将不需要在设定或校准一些、大多数或大体所有自动化驾驶员风格参数中投入精力，或者至少能够投入更少的精力，因为这些参数由系统自动地设定或调整，诸如通过使用中学习乘员的行为、偏好等。这使用户压力最小化，并且从而增加用户对自主驾驶车辆和其功能的满意度和舒适度。

VIII. 结论

本文中公开了本公开的各种实施例。所公开的实施例仅仅是示例，其可以以各种形式和替代性形式及其组合实现。

上文描述的实施例仅仅是为了清楚地理解本公开的原理所阐述的实施方式的示例性说明。

在本文中对如何布置特征的参考能够指代但不限于如何相对于其他特征定位该特征。本文中对如何配置特征的参考能够指代但不限于如何确定特征的大小、如何确定特征的形状和/或特征的材料。为了简单起见，术语配置能够被用于指代在本段落的上文中描述的配置和布置两者。

方向性参考在本文中主要为了易于描述和为了示例附图的简化描述提供，且所描述的热管理系统能够以多种多样的取向中的任何取向实现。本文中指示方向的参考不以限制性意义做出。例如，对上部、下部、顶部、底部或侧向的参考不被设置成限制能够实现本公开的技术的方式。例如，虽然参考上部表面，但是所参考的表面能够，但不必须在设计、制造或操作参考系中竖直向上，或者在顶部。比如，在各种实施例中，该表面能够在一侧，或者代替地低于系统的其他部件。

附图中描述或示出为单个事物的任何部件均能够由配置成执行所描述的单个事物的功能的多个这种事物替代。同样地，任何多个事物能够由配置成执行所描述的多个事物的功能的单个事物替代。

在不脱离权利要求的范围的情况下，可对上文描述的实施例做出变型、改型和组合。通过本公开和所附权利要求的范围，所有这种变型、改型和组合都被包括在本文中。

Claims

1.一种用于与自主车辆一起使用的系统，包括：

非暂时性存储装置，包括：

自主车辆背景模块，在所述自主车辆的自主操作期间，当由基于硬件的处理单元执行时，其确定推荐或要求所述自主车辆的手动操作；

自主车辆驾驶员模块，当由所述基于硬件的处理单元执行时，其基于从乘员位置传感器接收到的乘员位置数据，确定车辆乘员未准备好对所述自主车辆进行手动控制，其中所述乘员位置传感器是便携式乘员装置的一部分；和

活动模块，基于各种输入，所述活动模块执行一个或多个人潜在的所得操作，活动模块操作包括以下项中的一个或多个：

- 确定通信以向乘客提供，包括由车辆HUD、车辆扬声器、车灯或屏幕或移动装置输出接口提供；

- 确定调整车辆自主驾驶的方式，包括通过调整车辆节气门、制动器或转向机构；

- 响应于向乘客提供通信以将乘客注意力吸引至广告物体，确定向广告账户添加积分，或向远程系统发送消息；

- 确定与乘客通信，以激励乘客采取对自主车辆进行手动控制的位置；

- 响应于乘客凝视广告物体，确定传送由用户接收的进一步广告，或购买选项、通信；和

- 将乘客的可视性与乘客的凝视相比较或相关联，并且使用比较或关联的结果。

2.根据权利要求1所述的系统，其中：

所述乘员位置数据指示所述自主车辆的多个车辆乘员的位置；和

当由所述基于硬件的处理单元执行时，所述自主车辆驾驶员模块基于从乘员位置传感器接收到的所述乘员位置数据，确定所述自主车辆乘员中没有人准备好对所述自主车辆进行手动控制。

3.根据权利要求2所述的系统，其中，当由所述基于硬件的处理单元执行时，所述自主车辆驾驶员模块确定所述多个车辆乘员中的哪一个处于最佳位置以对所述自主车辆进行手动控制。

4.根据权利要求1所述的系统，还包括输出模块，当由所述处理单元执行时，所述输出模块发起经由所述自主车辆的人机接口HMI传送所述乘员通信。

5.根据权利要求1所述的系统，还包括输出模块，当由所述处理单元执行时，所述输出模块发起经由便携式乘员通信装置传送所述乘员通信。

6.根据权利要求1所述的系统，还包括输出模块，当由所述处理单元执行时，所述输出模块发起调整至少一个自主驾驶部件以改变所述自主车辆的自主驾驶操作。

7.根据权利要求1所述的系统，其中，当在所述自主车辆的自主操作期间被执行以确定推荐或要求所述自主车辆的手动操作时，所述自主车辆背景模块确定出于安全原因推荐或要求手动操作。

8.根据权利要求1所述的系统，其中，当在所述自主车辆的自主操作期间被执行以确定推荐或要求所述自主车辆的手动操作时，所述自主车辆背景模块基于预先建立的乘员偏好设定确定推荐或要求手动操作。

9.一种用于与自主车辆一起使用的系统，包括：

非暂时性存储装置，包括：

自主车辆驾驶员模块，当由所述基于硬件的处理单元执行时，其基于指示车辆乘员的凝视的乘员凝视数据，确定车辆乘客未准备好对所述自主车辆进行手动控制，其中从乘员手持装置或乘员可穿戴装置接收所述乘员凝视数据；和

10.根据权利要求9所述的系统，包括输出模块，当由所述基于硬件的处理单元执行时，其发起向所述乘员手持装置或所述乘员可穿戴装置发送环境背景数据，以便在所述乘员手持装置或所述可穿戴装置处提供显示时使用。

11.根据权利要求9所述的系统，其中，当由基于硬件的处理单元执行时，所述自主车辆驾驶员模块基于所述乘员凝视数据和指示当前车辆驾驶环境的特性的环境数据确定车辆乘员未准备好对所述自主车辆进行手动控制。

12.根据权利要求11所述的系统，其中，所述环境数据包括将（i）车辆位置、姿态或取向以及（ii）所述自主车辆所处的环境的一个或多个特征相关联的车辆姿态数据。