CN115042803A - 利用驾驶员作为传感器以最小化自动驾驶脱离的驾驶员辅助自动驾驶系统 - Google Patents

Abstract

自动驾驶系统包括感测模块、干预模块和交通工具控制模块。感测模块检测将由交通工具经历的即将到来的情况。干预模块：确定存在有低置信度水平，用于将对于即将到来的情况作出的驾驶决策；实现自主驾驶模式的干预，并且经由界面向交通工具的驾驶员指示与即将到来的情况有关的信息；基于即将到来的情况，通过(i)经由界面指示对于情况的可用选项或者(ii)向驾驶员请求信息以帮助作出驾驶决策，向驾驶员请求辅助；以及确定是否已经经由界面从驾驶员接收输入，所述输入指示(i)可用选项中的选定一个或(ii)所请求信息。交通工具控制模块基于是否已经接收输入而自主地驾驶交通工具。

Description

利用驾驶员作为传感器以最小化自动驾驶脱离的驾驶员辅助 自动驾驶系统

技术领域

在此部分中提供的信息是为了总体上呈现本公开的语境的目的。当前提名的发明人的工作（在此部分中描述其的程度上）以及在提交时可不以其它方式被认可为现有技术的本描述的方面既不明确也不隐含地被承认为抵抗本公开的现有技术。

本公开涉及与部分和条件性自动化水平相关联的驾驶员辅助系统。

背景技术

汽车工程师协会(SAE) J3016标准是美国运输部(DoT)的官方参考，用于限定交通工具自主性水平。存在有六个水平（即，0-5），其中，水平0是指不具有自动化的交通工具，水平1是指具有驾驶员辅助的交通工具，水平2是指具有部分自动化的交通工具，水平3是指具有条件性自动化的交通工具，水平4是指具有高度自动化的交通工具，并且水平5是指具有完全自动化的交通工具。在水平0-1下，驾驶控制由驾驶员主导。在水平2-3下，驾驶控制优选地由交通工具中的控制系统执行，但是在显著多种情况下被移交到驾驶员。在水平2或3的交通工具的驾驶员与交通工具中的控制系统之间发生很少或不发生交互。在水平4-5下，驾驶控制由交通工具中的控制系统主导，其中，优选是无人驾驶。

发明内容

提供了自动驾驶系统，并且所述自动驾驶系统包括感测模块、干预模块和交通工具控制模块。感测模块被配置成检测将由交通工具经历的即将到来的情况。干预模块被配置成：确定存在有低置信度水平，用于将对于即将到来的情况作出的驾驶决策；实现自主驾驶模式的干预，并且经由界面向交通工具的驾驶员指示与即将到来的情况有关的信息；基于即将到来的情况，通过(i)经由界面指示对于情况的可用选项或者(ii)向驾驶员请求信息以帮助作出驾驶决策中的至少一个，向驾驶员请求辅助；以及确定是否已经经由界面从驾驶员接收输入，所述输入指示(i)可用选项中的选定一个或(ii)所请求信息中的至少一个。交通工具控制模块被配置成基于是否已经接收输入而自主地驾驶交通工具。

在其它特征中，界面包括触摸屏、显示器、扬声器或麦克风中的至少一个。

在其它特征中，交通工具控制模块被配置成，响应于从驾驶员接收输入，基于输入而自主地驾驶交通工具。

在其它特征中，干预模块被配置成将默认选项显示为可用选项中的一个。交通工具控制模块被配置成，在从当请求辅助时的设定时间周期内，当未经由界面接收来自驾驶员的输入时，基于默认选项而自主地驾驶交通工具。默认选项是可用选项中的最保守选项。

在其它特征中，干预模块被配置成将通过驾驶员的干预限于提供驾驶员输入的受限角色，而不允许驾驶员控制交通工具的致动器。

在其它特征中，可用选项中的选定一个是驾驶决策。

在其它特征中，交通工具控制模块被配置成基于输入而作出驾驶决策，并且基于驾驶决策而自主地驾驶交通工具。

在其它特征中，干预模块被配置成，当一组选项可用于特定场景时，允许由驾驶员直接干预自主驾驶模式。

在其它特征中，干预模块被配置成：确定存在有低置信度水平，用于由感测模块获得的感测结果；允许由驾驶员间接干预自主驾驶模式，以向驾驶员请求与感测结果有关的信息；以及基于如从驾驶员接收的所请求信息而修改感测结果。

在其它特征中，干预模块被配置成在经由界面向驾驶员指示情况时向驾驶员征求输入。

在其它特征中，交通工具控制模块被配置成，对于直接干预，强制执行由驾驶员选择的可用选项中的选定一个。

在其它特征中，交通工具控制模块被配置成，对于间接干预，基于经由界面从驾驶员接收的所请求信息而修改感测结果。

在其它特征中，提供了操作自动驾驶系统的方法，并且所述方法包括：检测将由交通工具经历的即将到来的情况；确定存在有低置信度水平，用于将对于即将到来的情况作出的驾驶决策；实现自主驾驶模式的干预，并且经由界面向交通工具的驾驶员指示与即将到来的情况有关的信息；基于即将到来的情况，通过(i)经由界面指示对于情况的可用选项或者(ii)向驾驶员请求信息以帮助作出驾驶决策中的至少一个，向驾驶员请求辅助；确定是否已经经由界面从驾驶员接收输入，所述输入指示(i)可用选项中的选定一个或(ii)所请求信息中的至少一个；以及基于是否已经接收输入而自主地驾驶交通工具。

在其它特征中，方法进一步包括：响应于从驾驶员接收输入，基于输入而自主地驾驶交通工具。

在其它特征中，方法进一步包括：将默认选项显示为可用选项中的一个；以及在从当请求辅助时的设定时间周期内，当未经由界面接收来自驾驶员的输入时，基于默认选项而自主地驾驶交通工具。默认选项是可用选项中的最保守选项。

在其它特征中，方法进一步包括：将通过驾驶员的干预限于提供驾驶员输入的受限角色，而不允许驾驶员控制交通工具的致动器。

在其它特征中，方法进一步包括：对于直接干预，强制执行可用选项中的选定一个作为驾驶决策；以及对于间接干预，基于输入而作出驾驶决策，并且基于驾驶决策而自主地驾驶交通工具。

在其它特征中，方法进一步包括：当一组选项可用于特定场景时，允许由驾驶员直接干预自主驾驶模式；确定存在有低置信度水平，用于所获得的感测结果；允许由驾驶员间接干预自主驾驶模式，以向驾驶员请求与感测结果有关的信息；以及基于如从驾驶员接收的所请求信息而修改感测结果。

在其它特征中，方法进一步包括：在经由界面向驾驶员指示情况时向驾驶员征求输入。

在其它特征中，方法进一步包括：对于直接干预，强制执行由驾驶员选择的可用选项中的选定一个；以及对于间接干预，基于经由界面从驾驶员接收的所请求信息而修改感测结果。

根据详细描述、权利要求和附图，本公开的其它适用领域将变得显而易见。详细描述和特定示例仅旨在用于说明目的，并且不旨在限制本公开的范围。

附图说明

根据详细描述和所附附图，将更全面地理解本公开，其中：

图1是根据本公开的包括干预模块的自动驾驶系统的示例的功能性框图；

图2是根据本公开的人机界面(HMI)的示例的正视图；

图3示出了根据本公开的驾驶员交互和辅助自动驾驶方法；

图4示出了图3的方法的第一示例实施方案，用于第一示例场景；

图5是图3的方法的第二示例实施方案，用于第二示例场景；

图6是图3的方法的第三示例实施方案，用于第三示例场景；以及

图7是根据本公开的第三场景的示例透视图。

在附图中，可重复使用附图标记，以标识类似和/或相同的元件。

具体实施方式

SAE J3016标准的水平2-3（被称为L2和L3）具有显著量的空间，用于减少其中需要将驾驶控制移交到人类驾驶员的情况。本文阐述的示例涉及减少其中将驾驶控制移交到人类驾驶员的情况的数量。公开了交通工具中的系统，其使用人类驾驶员（在下文被称为“驾驶员”）作为传感器，并且不作为致动器。换句话说，当出现某些情况时，系统向驾驶员请求输入，并且基于驾驶员输入而作出决策，所述决策影响如何控制致动器（转向致动器、加速致动器、减速致动器等等）。系统（而不是驾驶员）控制致动器。系统包括干预模块，所述干预模块与驾驶员交互，包括向驾驶员提供不同选项以从其选择和/或请求某些信息。然后，驾驶员作出选择和/或提供所请求信息。系统基于由驾驶员提供的反馈而执行驾驶操作。这在不脱离自动驾驶并且驾驶员不接管驾驶控制的情况下完成。

所公开的系统有助于驾驶员在某些驾驶情况（被称为场景）下提供辅助。这在执行有效机器学习和训练操作时（或并行）完成，其基于驾驶员决策，用于由系统作出的改善的当前和未来决策。驾驶员辅助减少了对于脱离自动（或自主）驾驶模式的需要。自动驾驶模式是指当系统自主地控制驾驶操作（例如，转向、加速、减速等等）时。当脱离时，驾驶员获取控制，并且驾驶交通工具。

所公开的系统执行成本有效的方法，以改善对于自动驾驶交通工具的用户体验，其中，重点在于补充与SAE J3016水平L2和L3相关联的系统能力。这通过对于由系统作出的驾驶决策向驾驶员请求辅助而完成。系统使驾驶员得知路径规划、运动控制以及某些信息和/或可作出的可能决策的置信度水平。然后，对于其中置信度水平低的信息和/或驾驶决策，系统可向驾驶员请求反馈。系统例如经由HMI（例如，信息娱乐系统和/或一个或多个其它显示器）传达各种信息，以允许驾驶员可视化所提供信息。驾驶员可在适当的情况下决定是否干预。HMI可将从驾驶员收集的干预信息传达到交通工具的干预模块和/或其它模块。如果请求信息，并且驾驶员决定不干预和/或不提供输入，则系统保守地（即，按安全方式）操作，并且选择对于交通工具、交通工具乘员和周围对象安全的默认选项。

所公开的示例包括接收驾驶员辅助的系统，这不同于传统自动驾驶交通工具，所述传统自动驾驶交通工具通常具有的重点在于辅助驾驶员的交通工具中的系统。因此，所公开的示例补充了现有SAE J3016 L2和L3操作方案。

本文公开的系统作出自动驾驶决策，所述自动驾驶决策对于道路情况（尤其是对于其中系统在作出驾驶决策时具有对应低置信度水平的场景）具有改善的适应性。由系统实施的方法减少了对于脱离自动驾驶用于某些情况的需要，这在传统上将要求驾驶员接管驾驶控制。这允许了系统在更长更连续的时间周期内维持自动驾驶控制。减少的脱离数量导致了驾驶体验的显著改善，用于L2和L3自动驾驶交通工具和/或在优选是驾驶控制由交通工具中的系统并且不是由人类驾驶员实施的情况下操作的其它交通工具。系统基于存在有人类驾驶员的假设而操作。所公开的示例适用于客运交通工具和其它运输形式。

所公开的交通工具中的系统包括用于L2和L3交通工具中的路径规划和交通工具运动控制以及在传统上不执行的干预操作。例如，驾驶员干预经由HMI传达，并且被利用作为有效来源，用于具有自动特征的驾驶决策。这通过减少脱离频率而改善驾驶体验。当发生脱离时，由于交通工具中的系统脱离，因此由驾驶员作出并且强制执行驾驶决策。通过具有更少的脱离发生，由交通工具中的系统更连续地作出并且强制执行驾驶决策。

如本文使用的，术语“场景”可指道路情况的抽象表示，尤其是对于其中难以使自动驾驶系统以高置信度水平作出及时决策的道路情况。如下文进一步描述的，术语“场景”可指“场景推断”或“场景特定的事件征求”。如本文使用的，术语“事件”可指驾驶员的干预，并且对应于对于由自动驾驶系统处理可行的有限数量类型的场景中的一个。如本文使用的，短语“事件处理”可指监测驾驶员的干预事件，并且基于从驾驶员接收的输入而修改感测结果和/或驾驶决策。在以下描述中，在处理操作的意义上进一步限定了这些术语和短语。作为几个示例，短语“驾驶决策”可指交通工具的机载模块对于当前特定任务从多个选项中选择一个和/或基于从驾驶员请求和接收的信息而执行操作（例如，转向、加速、减速、向前移动、向后移动和/或保持静止操作）。

图1显示了自动驾驶系统100，所述自动驾驶系统100在交通工具102内实施，并且可被称为交通工具中的系统和/或高级驾驶辅助系统。如本文描述和公开的，交通工具102可为被配置成执行自动驾驶操作的L2或L3级交通工具。自动驾驶系统100包括交通工具控制模块104，所述交通工具控制模块104可与交通工具102的各种模块和系统通信和/或控制交通工具102的各种模块和系统的操作。

交通工具控制模块104可包括一个或多个模块，例如，感测模块105，用于检测交通工具102当前正遇到和/或即将遇到的环境和情况。如本文公开的，一个或多个模块还可包括干预模块106，用于实施驾驶员干预。这包括帮助和增强自动驾驶决策和相关联操作。一个或多个模块可为软件模块，所述软件模块包括可执行代码，用于处理场景、事件和事件处理相关联操作的流程。这些操作中的一些在图3-图7中绘示。利用对应控制回路的不可察觉的延迟时间而有效地改善了驾驶决策。交通工具控制模块104可执行基于机器学习的功能，以减少对于重复干预的需要。交通工具控制模块104可包括其它模块108。

自动驾驶系统100包括存储器110和传感器112。存储器110可存储参数114、数据116和算法118（例如，自动驾驶算法、机器学习算法等等）。存储器110可存储分别用于有限数量的场景的多组选项119和/或向驾驶员请求用于对应场景的信息。传感器112可位于遍布于交通工具102，并且包括摄像头120、红外(IR)传感器122、其它对象检测传感器（例如，雷达和激光雷达传感器）124和/或其它传感器126。其它传感器126可包括偏航率传感器、加速度计、全球定位系统(GPS)传感器、空气流动传感器、温度传感器、压力传感器、交通工具速度传感器、马达速度传感器等等。

交通工具控制模块104和传感器112可与彼此直接通信，可经由控制器局域网(CAN)总线130和/或经由以太网交换机132与彼此通信。在所显示的示例中，传感器112经由以太网交换机132连接到交通工具控制模块104，但是还可或者可选地直接连接到交通工具控制模块104和/或CAN总线130。

交通工具102可进一步包括其它控制模块，例如，控制扭矩源的底盘控制模块140，所述扭矩源包括一个或多个电动马达142和一个或多个发动机（显示了一个发动机144）。底盘控制模块140可控制输出扭矩经由扭矩源到交通工具102的轮轴的分配。底盘控制模块140可控制推进系统146的操作，所述推进系统146包括（多个）电动马达142和（多个）发动机144。发动机中的每个可包括起动马达150、燃料系统152、点火系统154和节气门系统156。

在一个实施方案中，交通工具控制模块104是主体控制模块(BCM)，所述主体控制模块(BCM)与远程信息处理模块161、转向系统162、制动系统163、导航系统164、信息娱乐系统166、其它致动器172和装置174以及其它交通工具系统和模块176通信和/或控制其操作。导航系统164可包括GPS 178。其它致动器172可包括转向致动器和/或其它致动器。模块和系统104、140、161、162、164、166、176可经由CAN总线130与彼此通信。电源180可被包括，并且向交通工具控制模块104和其它系统、模块、控制器、存储器、装置和/或部件供电。电源180可包括一个或多个电池和/或其它电源。交通工具控制模块104可基于交通工具102的规划轨迹、所检测的对象、所检测的对象的位置和/或其它相关操作和/或参数而执行对策和/或自主交通工具操作。这可包括控制所述扭矩源和致动器以及经由信息娱乐系统166提供图像、指示和/或指令。

远程信息处理模块161可包括收发器182和远程信息处理控制模块184，其可用于与其它交通工具、网络、基础设施装置（例如，交通工具、交通标志、建筑物、基站处等等）、边缘计算装置和/或基于云的装置通信。交通工具控制模块104可控制模块和系统140、161、162、163、164、166、176以及其它致动器、装置和系统（例如，致动器172和装置174）。此控制可基于来自传感器112的数据。

感测模块105可基于从传感器112、远程信息处理模块161、导航系统164和/或本文提及的其它装置、模块和/或系统接收的信息而确定交通工具周围环境、相对于对象的位置、即将到来的情况等等。

干预模块106使用HMI而执行干预操作，所述HMI可包括信息娱乐系统166、麦克风190和其它输入装置192（例如，按钮、拨盘、开关等等）和/或输出装置（例如，扬声器、显示器、灯等等）。信息娱乐系统166可包括扬声器194和显示器196。显示器可包括触摸屏、仪表盘显示器、中控台显示器、平视显示器(HUD)等等。相对于图2显示和描述了其它示例，其显示了示例HMI 200。

HMI 200具有对应用户界面(UI)布局，用于执行交互操作。可使用其它用户界面布局。HMI 200可包括仪表盘202、方向盘204和HUD（其可视图像由框206表示，并且可在对应交通工具的挡风玻璃上）。仪表盘202可包括各种显示器208、210、212，其可为触摸屏，用于从驾驶员接收输入。显示器212可包括内置麦克风。仪表盘202可进一步包括各种其它输入装置，例如，按钮、开关、拨盘等等（例如，按钮216、218、220、221）。HMI 200可包括除了显示器206、208、210、212以外的输出装置，例如，一个或多个扬声器（例如，图1的扬声器221或扬声器194）。方向盘204可包括发光显示(LED)条222，其包括LED。按钮220或其它输入装置可专用于实现通过驾驶员的驾驶员辅助（或干预）。HMI 200可用于实施自动驾驶系统功能，包括接受来自驾驶员的辅助，其中，按钮220是用于此功能的专用部件。

干预模块106可经由显示器206、208、210、212、扬声器和/或LED条222提供信息请求。干预模块106可经由显示器206、208、210、212、按钮216、218、220、221、显示器212的麦克风或图1的麦克风190和/或其它输入装置从驾驶员接收输入。

图3显示了驾驶员交互和辅助自动驾驶方法。操作可由交通工具控制模块104、干预模块106、HMI 200和/或本文提及的其它装置、模块和系统实施。可迭代地执行操作。

方法可在300处开始。在302处，交通工具控制模块104可从传感器112收集传感器数据。在304处，交通工具控制模块104可识别环境情况（或场景）。这可为道路情况的抽象表示。在306处，感测模块105可执行交通工具感测操作，包括在可能的情况下基于环境条件而执行操作。这可包括基于所接收的一个或多个驾驶员输入而执行重新决策操作。在306A处，感测模块105和/或干预模块106可根据默认操作（如果未接收用户输入）或者基于从驾驶员接收的改善的决策输入而执行操作。

在308处，干预模块106可执行场景推断操作，以向驾驶员指示环境情况。这可包括指示对于其将作出近期决策的情况和/或条件。相关通知信息可经由HMI 200和/或本文提及的其它输出装置传达到驾驶员。负责感测、决策和HMI交互的自动驾驶系统100经由干预模块106确定的是，对于当前场景难以作出高置信度并且及时的驾驶决策。场景和/或其方面可被显示成经由HMI 200由驾驶员可视化。这可包括文本、颜色指示、图像显示等等，并且还可伴随声音通知。

在310处，干预模块106可执行场景特定的事件征求操作，以从驾驶员获得输入。可在执行操作308时执行操作310或其部分。可在操作308之后在逻辑上发生操作310。干预模块106可向驾驶员指示存在有情况，同时向驾驶员请求反馈和/或信息。

在312处，干预模块106可执行事件操作，以获得驾驶员输入。在312A处，干预模块106使用用户界面（例如，HMI 200）而将事件处理限制为有限类型。

如由框A表示的，使驾驶员得知场景和/或情况。驾驶员输入被称为对于近期路径规划和/或运动控制的干预。驾驶员可决定选择哪个选项、将执行什么修改和/或将提供什么信息，并且可经由语音命令和/或触摸动作（其由干预模块106作为输入接收）传达此干预指示。虽然驾驶员可输入默认选项的选择，但是当驾驶员决定以默认选项行进时，驾驶员可不执行任何动作。如果不由驾驶员采取动作，则不接收输入，并且自动选择默认选项。

通过基于事件而提供输入和/或信息辅助，驾驶员执行受限角色。驾驶员可经由HMI 200提供输入，而不触摸交通工具的方向盘、加速器踏板和/或减速器（例如，制动）踏板。驾驶员的角色可基于事件和/或场景而变化。驾驶员的角色类似于传感器，但是具有轻量级推理能力。驾驶员不作用为致动器，并且例如不转动方向盘和/或下压加速器踏板或减速器踏板。这由框B表示。驾驶员提供观察和指导，但是不操作（或致动）交通工具的转向、加速和/或减速控制。这由框C表示。

在312B处，干预模块106接收直接干预输入。在直接干预的情况下，干预模块106可经由HMI 200呈现一组决策选项，驾驶员可从其中选择。选项可包括默认选项。默认选项可为可用选项中的最保守（或最安全）选项。不要求驾驶员明确地选择默认选项，而是可基于通过驾驶员未选择选项中的任何而强制执行。所述一组选项可在有限时间量内保持可用于选择，并且之后，如果驾驶员不选择任何选项，则强制执行默认选项。驾驶员可经由HMI 200经由语音和/或触摸输入提供输入，用于选择场景特定的选项。可向驾驶员提供一组有限选项，并且驾驶员可选择所提供的所述一组有限选项中的一个。可防止驾驶员选择或输入不在所述一组有限选项中的选项。作为示例，所述一组有限选项可包括对于特定场景的“等待”、“转弯”、“加速”选项，并且可防止驾驶员例如请求进行“U形”转弯。

在312C处，干预模块106接收间接干预输入。间接干预基于感测结果而发生，这导致驾驶决策。这适用于具有高延迟时间容忍度的场景。在间接干预的情况下，干预模块106提示对于感测结果的适用修改，用于使驾驶员执行。作为示例，干预模块106可向驾驶员请求某些信息。图6提供了示例，其中，请求驾驶员选择和/或指示交通工具的路径的边界。用于使驾驶员选择选项、接受选项和/或提供所请求信息的时间窗可被配置用于每个特定场景。

在314处，干预模块106执行事件处理操作，以强制执行从驾驶员接收的输入响应和/或获得附加驾驶员输入。在对于驾驶决策直接干预的情况下，立即强制执行取代决策，并且这导致重新得出后续近期驾驶决策（如果存在）。在对于感测结果间接干预的情况下，可由驾驶员执行进一步动作，包括提供附加输入，以便由感测模块105产生改善的感测结果。驾驶决策在基于改善的感测结果而重新得出之后被强制执行。

图3显示了其中在作出驾驶决策时涉及人类干预以及相关限制的处理流程。操作306、308、310、312、314是控制回路的部分，其可被修改，以通过将适用的干预限制为对于由一组预加载（但可升级）事件处理方法处理可行的那些而考虑驾驶决策的延迟时间约束。所述一组事件处理方法可由一个或多个模块（例如，交通工具控制模块104和/或干预模块106）实施，并且被存储在图1的存储器110中。当包括多个协调软件互连模块以实施事件处理方法时，模块可被存储在存储器110中。作为示例，可包括模块，以执行操作306、308、310、312、314中的每个。

在图3的方法的一个实施方案中，使用了图2的显示器212、扬声器221和麦克风（例如，显示器212的麦克风或图1的麦克风190）。在此实施方案中，可不使用HUD 206、LED条222和按钮218。可使用传感器，例如，摄像头、雷达传感器、激光雷达传感器和GPS传感器，用于检测对象、测绘周围环境，并且确定对应交通工具相对于其它对象的位置。还可使用交通工具到外界(V2X)机载单元，例如，图1的远程信息处理模块161。

在操作308期间，HUD 206、LED条222、扬声器221和显示器212用于向驾驶员提供通知。在操作310期间，显示器212用于显示例如从其中选择的选项，其中，突出显示默认选项。然后，可遵循、执行和/或实施选定选项。

在操作312期间，干预模块106可从驾驶员接收输入。驾驶员可使用各种方法而将选定选项传达到交通工具中的系统。作为示例，可通过使驾驶员下压一个或多个按钮、触摸显示器212和/或提供语音命令而传达选定选项。可顺序地或同时下压按钮的组合，和/或可提供语音命令。驾驶员可向下保持或下压按钮或图标一次，这取决于用户配置和/或预期干预类型（例如，语音或触摸控制）。这可包括触摸显示器212上显示的选项和/或图标。

在选项314期间，干预模块106可在显示器212上显示与驾驶员的交互会话的各种细节，以允许驾驶员可视化对应情况的方面。这可包括使干预模块106显示自动驾驶决策，其已经涉及驾驶员交互和驾驶员输入。这可与在显示器212上显示被强制执行的所导致的驾驶员决策（或选定选项和/或所提供信息）并行地实施。

以下图4-图6可经由图1的自动驾驶系统100和图2的HMI 200实施。图4显示了图3的方法的第一示例实施方案，用于第一示例场景。方法可在400处开始。在402处，交通工具控制模块104可从传感器112收集传感器数据。在404处，交通工具控制模块104可识别环境情况（或场景）。这可为道路情况的抽象表示。

在406处，干预模块106传达的通知是，系统具有与关于近期驾驶情况作出决策相关联的低置信度水平。作为示例，近期驾驶情况可包括确定是否在即将到来的或当前红灯处进行右转。此场景的挑战来自于干预模块106和/或感测模块105难以在特定时间窗（例如，若干秒）期间确定转向到目标方向上的预期行道中（存在有潜在冲突的交通）是否安全。对于此场景，应用了对于驾驶决策的直接干预。通知可经由HMI 200传达到驾驶员。当交通工具即将在红灯时执行右转（沿着目标方向具有显著交通）时，可在HMI 200上传达“优选是具有低置信度的近期驾驶决策”的指示，其中，向驾驶员指示可视化情况，以准备干预。

在408处，干预模块106对于驾驶情况向驾驶员提供选项。选项可包括：“等待”（默认），意味着交通工具（被称为主交通工具）将等待，直到没有交通工具被检测为沿着目标方向的路径驾驶或者交通灯对于当前方向变成绿色；“转弯”，意味着交通工具以默认速度和加速度行进，并且然后右转；以及“加速”，意味着主交通工具对于当前正在其上行进的道路以速度限制下的速度行进，服从安全约束，并且然后右转。

在410处，干预模块106基于驾驶员对于附近交通的观察和通过驾驶员的选定选项的及时传达而接收选定驾驶员输入。此操作依赖于驾驶员对于附近交通的观察和选定选项的及时传达，这对于经验中等和经验丰富的驾驶员是可行的。

在412处，交通工具控制模块104强制执行由驾驶员作出的选定选项（被称为驾驶决策），并且基于驾驶决策而自主地驾驶交通工具。驾驶决策可为由驾驶员选择的选项，并且被强制执行。方法可在414处结束。

图5显示了图3的方法的第二示例实施方案，用于第二示例场景。此场景的挑战来自于自动驾驶系统难以确定当感测某个临时道路情况时交通工具将变更到其的确切行道。可由自动驾驶系统基于所收集的传感器数据和/或基于经由相关V2X消息从交通工具外部的装置接收的信息而感测所述情况。例如，在接收相关V2X消息的情况下，干预模块106能够检测在前方一定距离处存在有临时道路情况（例如，道路施工或交通事故）。由于由V2X标准化（例如，消息主要旨在用于通知人类驾驶员）和解决方案部署（缺少交通工具方面和/或基础设施方面能力，用于及时反映精确道路情况）两者导致的技术限制，因此V2X消息可能不包括行道关闭和/或关闭时间周期的精确指示。为了此原因，V2X消息不足以用于直接得出对于所述场景的驾驶决策。类似地，感测模块105也难以推断哪些确切行道被关闭，作为临时道路情况的推断。

方法可在500处开始。在502处，交通工具控制模块104可从传感器112收集传感器数据。在504处，交通工具控制模块104可识别环境情况（或场景）。这可为道路情况的抽象表示。

在506处，干预模块106传达的通知是，自动驾驶系统不确定交通工具应该朝向哪个交通行道。提前指示行道变更指示，其由所检测的临时道路情况触发。当感测模块105和/或干预模块106在前方一定距离处感测某个临时道路情况时，在HMI 200上传达“不确定将朝向哪个行道”的指示，其中，向驾驶员指示可视化情况以及其它形式的通知，以准备干预。

在508处，干预模块106对于当前驾驶情况经由HMI 200向驾驶员提供行道选项。选项可包括：“保持”，保持在当前行道上驾驶，默认选项；“左1”，服从安全保证，变更到左侧第一行道；“左2”，服从安全保证，变更到左侧第二行道；“右1”，服从安全保证，变更到右侧第一行道；以及“右2”，服从安全保证，变更到右侧第二行道等等。例如，可显示这些选项，用于查看和选择。

在510处，干预模块106经由HMI 200接收指示由驾驶员作出选择的驾驶员输入。这基于驾驶员对于附近交通的观察和选定选项的及时传达。这依赖于驾驶员通过观察领先交通工具的动作并且及时传达选定选项而确定交通工具将变更到哪个行道。这对于经验中等和经验丰富的驾驶员是可行的。

在512处，交通工具控制模块104强制执行由驾驶员作出的驾驶决策（其是被传达到驾驶员的选项中的一个），并且基于驾驶决策而自主地驾驶交通工具。方法可在514处结束。

图6显示了图3的方法的第三示例实施方案，用于第三示例场景。感测模块105可感测狭窄驾驶道700，其具有L形前方转弯和不平滑拐角，如图7中显示的。图7显示了交通工具102进行右转，由箭头702表示。驾驶道700在建筑物结构704（例如，企业、住宅等等）附近。示例场景包括交通工具102在具有2.5米的示例宽度的狭窄驾驶道上执行右转，其中，障碍物在驾驶道附近。这可为乡村居民区域中的道路情况。

此场景的挑战来自于感测模块105难以检测确切驾驶道边界，尤其是在具有不规则驾驶道外观和拓扑结构的一些乡村区域中。由于导致高延迟时间容忍度的此场景的低速度特性，因此对于此场景应用对于感测结果的间接干预。

方法可在600处开始。在602处，交通工具控制模块104可从传感器112收集传感器数据。在604处，交通工具控制模块104可识别环境情况（或场景）。这可为道路情况的抽象表示。

在606处，干预模块106经由HMI 200传达的通知是，自动驾驶系统100具有与确定驾驶道（或路径）边界相关联的低置信度水平。

在608处，干预模块106经由HMI 200向驾驶员提供边界选项，或者请求驾驶员指示和/或绘制边界。这可例如经由显示器212完成，所述显示器212可为触摸屏。驾驶员可经由驾驶员的手指在显示器212上显示的环境图像之上绘制显示器212的边界。当感测模块105对于所确定的驾驶道边界具有低置信度水平时，除了通知驾驶员以准备干预以外，还在HMI200上传达“对于驾驶道边界检测的低置信度”的指示。交通工具控制模块104可调节交通工具102的速度，以确保足够安全。提示驾驶员，以例如经由HMI 200通过触摸控制勾画驾驶道边界，以修改原始感测结果。如果不足以安全向前移动，则交通工具102可自动减速（例如，施加制动）。

在610处，干预模块106接收关于边界的驾驶员输入。驾驶员提供对于驾驶道边界的所要求轮廓，并且确认轮廓。

在612处，交通工具控制模块104和/或干预模块106将驾驶道边界轮廓作为改善的感测结果，基于其而作出驾驶决策。将由驾驶员提供的驾驶道边界轮廓作为改善的感测结果，此后，（重新）得出并且强制执行驾驶决策。例如，在由驾驶员识别边界之后，交通工具控制模块104控制转向、加速和减速致动器，以向前驱动交通工具，并且基于所指示的边界而进行右转，如图7中示出的。

如果未接收驾驶员输入，则交通工具控制模块104可执行默认安全选项，所述默认安全选项可包括保持静止或在向前方向上缓慢移动。交通工具控制模块104执行被确定为安全选项的选项。方法可在614处结束。

所公开的示例包括执行方法，以基于由驾驶员对于某些情况提供的辅助而有助于自动驾驶决策的优选性。经由HMI提供驾驶员反馈，所述HMI处理来自驾驶员的干预（例如，语音和/或触摸输入）。所公开的系统减轻了与交通工具中的高级驾驶员辅助系统有关的优选性和稳健性欠缺。所公开的系统还最小化了对于执行感测和驾驶决策操作的模块所需的硬件复杂性。

虽然相对于一定数量的示例场景而描述了上文描述的方法中的一些，但是本文公开的方法适用于其它场景。本文公开的系统适用于对于各种场景和事件执行处理操作。所公开的系统能够接收软件升级，以辨识附加场景，并且对于附加场景执行类似操作。

示例减少了对于重复干预的需要。示例可包括对于可在不同地理区域中出现的相应场景存储多组选项。例如，这可由于国家和地区交通法规、当地驾驶文化和个人驾驶习惯。这些选项可在制造期间被预先配置和/或在首次使用时被提示配置。选项可作为输入，用于作出驾驶决策，特别是用于确定将若干可能选项之中的哪一个作为默认选项呈现到驾驶员，如适用于特定场景的。

此外，对于来自于非常具有挑战性的场景并且不可通过配置偏好选项而解决的决策困难，可执行基于机器学习的功能，以学习驾驶员如何干预或采取交通工具的直接控制（前提是满足最小安全条件）。此情况使得自动驾驶系统能够基于与某一具有挑战性（但不经常遇到）的场景有关的足够量的所累积数据而为驾驶决策呈现更好“默认选项”。

自动驾驶系统可被配置成在本地处理所累积数据，或者将其上传到云服务器，用于作为训练数据处理，并且软件模块的空中(OTA)更新可用于部署适于大规模部署（即，与个人驾驶习惯无关）的训练结果。

前述描述在本质上仅是说明性的，并且不以任何方式旨在限制本公开、其应用或使用。本公开的广泛教导可以各种形式实施。因此，虽然本公开包括特定示例，但是本公开的真实范围不应如此受限，因为在研究附图、说明书和所附权利要求时，其它修改将变得显而易见。应理解的是，方法内的一个或多个步骤可按不同次序（或同时）执行，而不改变本公开的原理。此外，虽然上文将实施例中的每个描述为具有某些特征，但是相对于本公开的任何实施例描述的那些特征中的任何一个或多个可在其它实施例中的任何的特征中实施和/或与其组合，即使该组合未被明确描述。换句话说，所描述的实施例不是互相排斥的，并且一个或多个实施例与彼此的置换保持在本公开的范围内。

使用了各种术语（包括“连接”、“接合”、“联接”、“相邻”、“紧邻”、“顶部上”、“上方”、“下方”和“设置”）而描述元件之间（例如，模块、电路元件、半导体层等等之间）的空间和功能关系。除非明确描述为“直接”，否则当在上文的公开中描述第一与第二元件之间的关系时，该关系可为其中在第一与第二元件之间不存在有其它中间元件的直接关系，但是也可为其中在第一与第二元件之间存在有（在空间上或功能上）一个或多个中间元件的间接关系。如本文使用的，短语A、B和C中的至少一个应该使用非排他性逻辑而被解释为意味着逻辑（A或B或C），并且不应解释为意味着“A中的至少一个、B中的至少一个和C中的至少一个”。

在附图中，箭头的方向（如由箭头指示的）总体上表示图示所关注的信息流（例如，数据或指令）。例如，当元件A和元件B交换各种信息但是从元件A传输到元件B的信息与图示相关时，箭头可从元件A指向元件B。此单向箭头不暗示没有其它信息从元件B传输到元件A。此外，对于从元件A发送到元件B的信息，元件B可将对于信息的请求或信息接收确认发送到元件A。

在本申请中（包括下文的定义），可利用术语“电路”替代术语“模块”或术语“控制器”。术语“模块”可指以下、可为以下的部分或可包括以下：专用集成电路(ASIC)；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器电路（共享、专用或群组）；存储由处理器电路执行的代码的存储器电路（共享、专用或群组）；提供所描述功能的其它合适的硬件部件；或上文中的一些或全部的组合，例如，在片上系统中。

模块可包括一个或多个接口电路。在一些示例中，接口电路可包括连接到局域网(LAN)、因特网、广域网(WAN)或其组合的有线或无线接口。本公开的任何给定模块的功能可分布在经由接口电路连接的多个模块之中。例如，多个模块可允许负载平衡。在另一示例中，服务器（也被已知为远程或云）模块可代表客户端模块完成一些功能。

如上文使用的，术语代码可包括软件、固件和/或微代码，并且可指程序、例程、功能、级别、数据结构和/或对象。术语共享处理器电路涵盖执行来自多个模块的一些或全部代码的单个处理器电路。术语群组处理器电路涵盖以下处理器电路：其与附加处理器电路组合而执行来自一个或多个模块的一些或全部代码。对于多个处理器电路的参考涵盖分立裸片上的多个处理器电路、单个裸片上的多个处理器电路、单个处理器电路的多个内核、单个处理器电路的多个线程或上文的组合。术语共享存储器电路涵盖存储来自多个模块的一些或全部代码的单个存储器电路。术语群组存储器电路涵盖以下存储器电路：其与附加存储器组合而存储来自一个或多个模块的一些或全部代码。

术语存储器电路是术语计算机可读介质的子集。如本文使用的，术语计算机可读介质不涵盖通过介质（例如，在载波上）传播的暂时性电信号或电磁信号；术语计算机可读介质因此可被视为是有形和非暂时性的。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器电路（例如，闪速存储器电路、可擦除可编程只读存储器电路或掩码只读存储器电路）、易失性存储器电路（例如，静态随机存取存储器电路或动态随机存取存储器电路）、磁性存储介质（例如，模拟或数字磁带或硬盘驱动器）以及光学存储介质（例如，CD、DVD或蓝光光盘）。

在本申请中描述的设备和方法可由专用计算机部分或完全实施，通过将通用计算机配置成执行计算机程序中实施的一个或多个特定功能而形成所述专用计算机。上文描述的功能块、流程图部件和其它元件作用为软件规范，其可通过技术人员或程序员的例行工作而转换成计算机程序。

计算机程序包括被存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可包括或依赖于所存储数据。计算机程序可涵盖与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定装置交互的装置驱动器、一个或多个操作系统、用户应用、后台服务、后台应用等等。

计算机程序可包括：(i)待解析描述性文本，例如，HTML（超文本标记语言）、XML（可扩展标记语言）或JSON（JavaScript对象注释），(ii)汇编代码，(iii)由编译器从源代码生成的目标代码，(iv)用于由解释器执行的源代码，(v)用于由即时编译器编译和执行的源代码等等。仅作为示例，可使用来自包括以下的语言的语法而编写源代码：C、C++、C#、Objective-C、Swift、Haskell、Go、SQL、R、Lisp、Java®、Fortran、Perl、Pascal、Curl、OCaml、Javascript®、HTML5（超文本标记语言、第5版）、Ada、ASP（活动服务器页面）、PHP（PHP：超文本预处理器）、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash®、Visual Basic®、Lua、MATLAB、SIMULINK以及Python®。

Claims (10)

1.自动驾驶系统，包括：

感测模块，被配置成检测将由交通工具经历的即将到来的情况；

干预模块，被配置成：

确定存在有低置信度水平，用于将对于所述即将到来的情况作出的驾驶决策，

实现自主驾驶模式的干预，并且经由界面向所述交通工具的驾驶员指示与所述即将到来的情况有关的信息，

基于所述即将到来的情况，通过(i) 经由所述界面指示对于所述情况的可用选项或者(ii) 向驾驶员请求信息以帮助作出所述驾驶决策中的至少一个，向驾驶员请求辅助，以及

确定是否已经经由所述界面从驾驶员接收输入，所述输入指示(i) 所述可用选项中的选定一个或(ii) 所请求信息中的至少一个；以及

交通工具控制模块，被配置成基于是否已经接收所述输入而自主地驾驶所述交通工具。

2.根据权利要求1所述的自动驾驶系统，其中：

所述干预模块被配置成将默认选项显示为所述可用选项中的一个；

所述交通工具控制模块被配置成，在从当请求所述辅助时的设定时间周期内，当未经由所述界面接收来自驾驶员的输入时，基于所述默认选项而自主地驾驶所述交通工具；以及

所述默认选项是所述可用选项中的最保守选项。

3.根据权利要求1所述的自动驾驶系统，其中，所述干预模块被配置成将通过驾驶员的所述干预限于提供驾驶员输入的受限角色，而不允许驾驶员控制所述交通工具的致动器。

4.根据权利要求1所述的自动驾驶系统，其中，所述可用选项中的所述选定一个是所述驾驶决策。

5.根据权利要求1所述的自动驾驶系统，其中，所述交通工具控制模块被配置成基于所述输入而作出所述驾驶决策，并且基于所述驾驶决策而自主地驾驶所述交通工具。

6.根据权利要求1所述的自动驾驶系统，其中，所述干预模块被配置成，当一组选项可用于特定场景时，允许由驾驶员直接干预所述自主驾驶模式。

7.根据权利要求1所述的自动驾驶系统，其中，所述干预模块被配置成：

确定存在有低置信度水平，用于由所述感测模块获得的感测结果；

允许由驾驶员间接干预所述自主驾驶模式，以向驾驶员请求与所述感测结果有关的信息；以及

基于如从驾驶员接收的所述所请求信息而修改所述感测结果。

8.根据权利要求1所述的自动驾驶系统，其中，所述干预模块被配置成在经由所述界面向驾驶员指示所述情况时向驾驶员征求所述输入。

9.根据权利要求1所述的自动驾驶系统，其中，所述交通工具控制模块被配置成，对于直接干预，强制执行由驾驶员选择的所述可用选项中的选定一个。

10.根据权利要求1所述的自动驾驶系统，其中，所述交通工具控制模块被配置成，对于间接干预，基于经由所述界面从驾驶员接收的所述所请求信息而修改感测结果。

Images