CN112937602A - 用于通过语音结束自动驾驶模式的驾驶系统和方法 - Google Patents

用于通过语音结束自动驾驶模式的驾驶系统和方法 Download PDF

Info

Publication number
CN112937602A
CN112937602A CN202011362103.4A CN202011362103A CN112937602A CN 112937602 A CN112937602 A CN 112937602A CN 202011362103 A CN202011362103 A CN 202011362103A CN 112937602 A CN112937602 A CN 112937602A
Authority
CN
China
Prior art keywords
vehicle
acoustic signal
driving mode
driver
driving system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011362103.4A
Other languages
English (en)
Inventor
B·德林克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN112937602A publication Critical patent/CN112937602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0054—Selection of occupant to assume driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的各实施例涉及用于通过语音结束自动驾驶模式的驾驶系统和方法。描述了一种用于在自动驾驶模式下驾驶车辆的驾驶系统。驾驶系统被设置为：从自动驾驶模式开始，确定应当结束自动驾驶模式。此外，驾驶系统被设置为：响应于确定应当结束自动驾驶模式，向车辆驾驶员通知声学信号，该声学信号应当由驾驶员口头复述以作为对接管意愿的确认。此外，驾驶系统被设置为：响应于向车辆驾驶员通知声学信号，检验是否通过对声学信号的口头复述确认了车辆驾驶员对于至少部分地手动驾驶所述车辆的接管意愿。此外，驾驶系统被设置为：如果确定通过对声学信号的口头复述确认了接管意愿，则结束自动驾驶模式。

Description

用于通过语音结束自动驾驶模式的驾驶系统和方法
技术领域
本发明涉及一种被设计用于自动的纵向和横向引导的车辆。本发明特别是涉及一种驾驶系统和相应的方法，该驾驶系统和该方法被设计为以安全且可靠的方式结束车辆的自动的纵向和横向引导。
背景技术
车辆可以被设计用于高度自动驾驶(HAF)，这使得车辆的驾驶员能够在行驶期间回避驾驶任务并且做其他事情。在此，车辆应被设计为使得驾驶员根据需要或意愿在任何时候都可以接管驾驶任务。此外，在驾驶任务从车辆移交给驾驶员时，应确保驾驶员实际上已经准备好接管驾驶任务和/或实际上打算接管驾驶任务。
发明内容
本文件所涉及的技术目的在于，使得车辆驾驶员能够安全、可靠且直观地接管车辆的纵向和/或横向引导。在此，本文件特别是涉及由车辆驾驶员发起对车辆的纵向和/或横向引导的接管的情况。此外，本文件涉及由车辆发起对车辆的纵向和/或横向引导的接管的情况(例如，通过向车辆驾驶员发出接管请求)。
上述目的通过独立权利要求来实现。尤其是在从属权利要求中描述了有利的实施方式。需要指出的是，从属于独立权利要求的权利要求的附加特征可以在没有独立权利要求的特征的情况下，或在仅与独立权利要求的特征的子集相组合的情况下形成自己的且独立于独立权利要求的所有特征的组合的发明，该发明可以作为独立权利要求、分案申请或后续申请的主题。这以同样的方式适用于说明书中所描述的可以形成独立于独立权利要求的特征的发明的技术教导。
根据一个方面，描述了一种用于在自动驾驶模式下驾驶车辆(特别是(多车道(mehrspurig))机动车)的车辆引导系统或驾驶系统。换言之，描述了一种用于在具有自动车辆引导的自动驾驶模式下自动驾驶车辆的驾驶系统。车辆引导系统或驾驶系统可以被设计为：在根据SAE 3级或更高级别、特别是根据SAE 3级或SAE 4级的自动驾驶模式下，自动地纵向引导和横向引导车辆。
驾驶系统可以被设置为：(在车辆运行在自动驾驶模式下期间)检测车辆驾驶员的第一(操作)动作，其中该第一动作旨在结束自动驾驶模式。换言之，(从车辆运行在自动驾驶模式下开始)可以检测驾驶员采取或执行了旨在结束自动驾驶模式的动作。该动作例如可以包括操作特定的控制元件、和/或可选地，手动干预车辆的纵向和/或横向引导。
第一动作可以特别是旨在结束自动驾驶模式，使得车辆驾驶员可以或必须至少部分地或完全地手动驾驶车辆。备选地或附加地，第一动作可以旨在结束自动驾驶模式，使得车辆在具有降低的自动化程度的驾驶模式中特别是由驾驶员至少部分地或完全地手动驾驶(例如，根据SAE 2级或更低)。
第一动作可能是由车辆驾驶员无意地引起的。例如，在车辆在自动驾驶模式下运行期间，驾驶员可能会无意中碰到用于结束自动驾驶模式的驾驶模式控制元件。备选地或附加地，在车辆在自动驾驶模式下运行期间，驾驶员可能会无意中碰到车辆的手动控制装置(例如，方向盘或者加速踏板或油门踏板)。
因此，第一动作例如可以包括操作驾驶模式控制元件和/或操作车辆控制装置。
在优选的示例中，第一动作包括或者对应于对声学信号的口头复述(mündlicheWiedergabe)、特别是对(说出的)语音信号或语音指令或单词序列和/或声音的口头复述。例如，驾驶员可以说出旨在结束自动驾驶模式的语音指令。示例性的语音指令为“结束自动驾驶模式”。
备选地或附加地，驾驶系统可以被设置为：求取与车辆所位于的交通情况和/或车辆正在接近的交通情况有关的情况数据。例如，可以基于车辆的一个或多个环境传感器的传感器数据和/或基于与车辆所行驶的道路网络有关的数字地图，来求取情况数据。例如，情况数据可以指示车辆将离开道路网络的如下区域，在该区域中可以利用自动驾驶模式运行车辆。备选地或附加地，驾驶系统可以被设置为求取关于车辆状态(例如，燃油箱中的油位)的车辆状态数据。然后，可以基于情况数据和/或基于车辆状态数据来确定应当结束自动驾驶模式。
因此，驾驶系统可以被设置为：(例如，基于所检测的第一动作和/或基于情况数据)确定(可能)应当结束自动驾驶模式。
驾驶系统可以被设置为：检验和/或确定是否通过对(可选地，另外的)声学信号的口头复述(特别是通过对单词序列或语音信号或声音的口头复述)确认了车辆驾驶员对于至少部分地手动驾驶车辆的接管意愿
Figure BDA0002804278340000031
特别地，可以检验：从识别出应当结束自动驾驶模式起(例如，从检测到第一动作起)是否在预定义的确认时间段内(例如，在10秒或更短的时间内)由驾驶员通过对预定义的和/或预设的和/或驾驶系统所预期的声学信号的口头复述确认了驾驶员已准备好至少部分(或完全)地手动驾驶车辆。然后，可以将对声学信号(特别是语音信号和/或单词序列)的(预定义的和/或驾驶系统所预期的)口头复述视为驾驶员的第二动作，通过该第二动作确认了驾驶员的第一动作。备选地或附加地，可以将预定义的声学信号称为和/或视为(由驾驶系统)预设的声学信号和/或(驾驶系统)所预期的声学信号。
预定义的声学信号通常是驾驶系统已知的声学信号和/或由驾驶系统作为对车辆驾驶员接管意愿的确认所预期的声学信号。在此，预定义的声学信号优选地仅对于特定的接管程序是“预定义的”，并且通常随着不同的接管程序而变化。在此，可选地，可以为接管程序随机地求取或选择预定义的声学信号。驾驶系统可以被设计为：专门为特定的接管程序求取预定义的声学信号，并将其通知车辆驾驶员，使得该声学信号在驾驶员进行口头复述时是“预定义的”。
通过检验是否发生了对预定义的和/或驾驶系统所预期的声学信号的确认性口头复述，可以检验用于结束自动驾驶模式的第一动作是由车辆驾驶员有意地还是无意地引起的。特别地，从没有出现对预定义的声学信号的确认性口头复述可以推断出，车辆驾驶员无意地执行了第一动作并且实际上想要继续保持在自动驾驶模式中。另一方面，在存在对预定义的声学信号的确认性口头复述的情况下，可以推断出车辆驾驶员实际上想要结束自动驾驶模式。
此外，驾驶系统被设置为：如果确定通过对预定义的声学信号的口头复述确认了驾驶员的接管意愿，则结束自动驾驶模式。驾驶系统特别是可以被设置为：如果确定在确认时间段内通过对预定义的声学信号的口头复述确认了接管意愿，则结束自动驾驶模式。可选地，还可以要求在结束自动驾驶模式之前还必须满足一个或多个其他条件。
在结束自动驾驶模式之后，可以根据SAE 2级或更低级别或者根据SAE 1级或更低级别(至少部分地手动地)驾驶车辆。在一个优选的示例中，在接管程序之后进行纯手动驾驶(根据SAE 0级)。
此外，驾驶系统可以被设置为：如果确定没有(在确认时间段内)通过对预定义的声学信号的口头复述确认接管意愿，则不会结束自动驾驶模式和/或继续在自动驾驶模式下运行车辆。可选地，驾驶系统可以被设置为：仅当确定(在确认时间段内)通过对预定义的声学信号的口头复述确认了接管意愿时，才结束自动驾驶模式。
通过所描述的驾驶系统可以以高效且对于驾驶员舒适的方式避免意外地结束自动驾驶模式。还可以使得车辆驾驶员能够以直观且舒适的方式结束自动驾驶模式。此外，通过所描述的驾驶系统可以实现从自动驾驶模式到具有降低的自动化程度的驾驶模式(例如，手动驾驶模式)的安全过渡。
驾驶系统可以被设置为：响应于已经确定应当结束自动驾驶模式，特别是响应于已经检测到第一动作，通过车辆的用户接口发出如下提示：为了结束自动驾驶模式，需要口头复述预定义的声学信号作为对接管意愿的确认。因此，可以在结束自动驾驶功能时提高车辆驾驶员的舒适性。
此外，驾驶系统可以被设置为：响应于已经确定应当结束自动驾驶模式(例如，响应于所检测到的第一动作)，通过车辆的用户接口向用户、特别是车辆的驾驶员通知预定义的(即，待复述的)声学信号，由用户(特别是驾驶员)口头复述该预定义的声学信号作为对接管意愿的确认。在此，待复述的声学信号特别是可以显示在用户接口的屏幕上(例如，在TFT屏幕上或在平视显示器上)，并且可以由车辆驾驶员读取。例如，可以在屏幕上向用户显示应当作为声学信号口头复述的一个或多个单词。
备选地或附加地，驾驶系统可以被设置为通过扬声器复述待复述的声学信号。例如，可以由驾驶系统向车辆驾驶员念出待复述的声学信号。因此，使得车辆驾驶员能够注意到待复述的声学信号，而在此不必将视线从交通上移开。
因此，驾驶系统可以被设置为通过车辆的用户接口以图像的方式和/或以声学的方式发出待复述的声学信号。
因此，可以为车辆驾驶员预设必须口头复述哪种声学信号来确认接管意愿。然后，(例如通过语音分析或语音识别的方法)可以检验是否实际上口头复述了所预设的声学信号。因此，可以可靠地确定车辆驾驶员实际上已经准备好至少部分地手动接管车辆的驾驶任务。
驾驶系统可以被设置为：从不同的预定义声学信号的列表中选择待复述的声学信号。备选地或附加地，驾驶系统可以被设计为：借助于随机发生器生成和/或选择待复述的声学信号。备选地或附加地，驾驶系统可以被设计为：借助于人工智能来求取适配于驾驶员的、特别是适配于驾驶员状态的待复述的声学信号。通过这些措施可以实现：在从自动驾驶模式到具有降低的自动化程度的驾驶模式的不同过渡中，必须分别口头复述不同的预定义声学信号。因此，可以以提高的可靠性检验驾驶员是否实际上准备好(至少部分地)接管驾驶任务。
在优选的示例中，预定义的和/或驾驶系统所预期的声学信号包括语音信号或者是语音信号。预定义的和/或驾驶系统所预期的声学信号特别优选地包括多个不同单词的序列。备选地或附加地，驾驶系统可以被设计为：通过机器学习来预设适配于车辆驾驶员的声学信号(特别是单词序列)。因此，使得驾驶员能够以舒适且可靠的方式指示其接管意愿。
车辆可以包括一个或多个麦克风(例如，麦克风阵列)，这些麦克风被设置为获取与经口头复述的声学信号(特别是语音信号)有关的音频数据。可以对音频数据进行分析，以便检验由该音频数据指示的声学信号是否对应于预定义的声学信号。在此，可以使用语音分析方法。通过对音频数据的分析或评估，可以以可靠且鲁棒的方式来检验是否进行了对预定义的声学信号的口头复述。
驾驶系统可以被设置为：基于音频数据求取已经复述声学信号的说话者的位置。特别是当通过麦克风阵列获取音频数据时，可以以精确的方式求取说话者的位置。根据所求取的位置可以确定是否结束自动驾驶模式和/或是否将对预定义声学信号的口头复述接受为对接管意愿的确认。通过考虑预定义声学信号的说话者位置，可以以提高的可靠性识别出：声学信号确实是已经由车辆驾驶员复述的和/或车辆驾驶员确实处于接管驾驶任务的位置。因此，可以使得能够安全地结束自动驾驶模式。
驾驶系统特别是可以被设置为基于所求取的位置来确定说话者是否位于车辆的驾驶员位置。当确定说话者位于车辆的驾驶员位置时(可选地，仅当确定说话者位于车辆的驾驶员位置时)，可以结束自动驾驶模式，和/或可以将对预定义声学信号的口头复述接受为对接管意愿的确认。因此，可以使得能够安全地结束自动驾驶模式。
备选地或附加地，驾驶系统可以被设置为：基于音频数据来求取与已经复述声学信号的说话者的身份有关的身份信息。特别地，可以通过语音分析来检验：预定义的声学信号是否已经被特定的人(例如，预先已知的驾驶员)复述。然后，根据所求取的身份信息可以确定：是否结束自动驾驶模式，和/或是否将对预定义声学信号的口头复述接受为对接管意愿的确认。
特别地，可以基于第一音频数据(对于作为用于结束自动驾驶模式的第一动作而已经被复述的第一声学信号)并且基于与用于确认接管意愿的经口头复述的声学信号有关的音频数据，来确定(用于结束自动驾驶模式的)语音指令和(用于指示接管意愿的)预定义的声学信号是否由同一说话者复述。当确定用于结束自动驾驶模式的语音指令和预定义的声学信号已经由同一说话者复述时(可选地，仅当确定用于结束自动驾驶模式的语音指令和预定义的声学信号已经由同一说话者复述时)，可以结束自动驾驶模式和/或可以将对预定义声学信号的口头复述接受为对接管意愿的确认。因此，可以使得能够安全地结束自动驾驶模式。
备选地或附加地，驾驶系统可以被设置为：基于关于预定义声学信号的音频数据，求取与已经复述预定义声学信号的说话者的状态有关的状态信息、特别是与该说话者的紧张有关的状态信息。例如，状态信息可以指示说话者听起来有多清醒和/或有多专注。然后，根据所求取的状态信息可以确定是否结束自动驾驶模式和/或是否将对预定义声学信号的口头复述接受为对接管意愿的确认。因此，可以使得能够安全地结束自动驾驶模式。
驾驶系统可以被设计为：向车辆驾驶员通知单独的至少两个声学信号。此外，驾驶系统可以被设计为检验是否进行了对该至少两个声学信号的口头复述，以确认车辆驾驶员对于至少部分地手动驾驶车辆的接管意愿。特别地，可以依次地分别通知待复述的声学信号，并且然后可以检验是否口头复述了所分别通知的声学信号。因此，对待复述的声学信号的预设以及对是否口头复述了所分别预设的声学信号的检验可以重复多次(特别是两次)，以便以特别高的可靠性识别出：车辆驾驶员是否准备好接管以至少部分地手动驾驶车辆。
根据另一方面，描述了一种(道路)机动车(特别是乘用车、卡车或公共汽车)，该(道路)机动车包括在本文件中所描述的控制单元和/或在本文件中所描述的驾驶系统。
根据另一方面，描述了一种用于结束车辆的自动驾驶模式(特别是根据SAE 3级或更高级别的驾驶模式)的(计算机实现的)方法，特别是用于将车辆转换为具有降低的自动化程度的驾驶模式(例如，根据SAE 2级或更低级别的驾驶模式)。
该方法包括确定应当结束自动驾驶模式。此外，该方法包括检验和/或确定是否(在确认时间段内)通过对预定义声学信号的口头复述确认了驾驶员对于至少部分地手动驾驶车辆的接管意愿。在此，可以(可选地，通过车辆的用户接口)预先向车辆驾驶员通知(预定义的)声学信号。此外，该方法包括：当确定通过对预定义声学信号的口头复述确认了接管意愿时(可选地，仅当确定通过对预定义声学信号的口头复述确认了接管意愿时)，结束自动驾驶模式。
根据另一方面，描述了一种软件(SW)程序。该SW程序可以被设置为在处理器(例如，车辆的控制单元)上被运行，从而执行在本文件中所描述的方法。
根据另一方面，描述了一种存储介质。该存储介质可以包括一种软件程序，该软件程序被设置为在处理器上被运行，从而执行在本文件中所描述的方法。
在本文件的范畴中，术语“自动驾驶”可以理解为具有自动纵向引导或自动横向引导的驾驶或者具有自动纵向引导和自动横向引导的自主驾驶。自动驾驶例如可以是在高速公路上的较长时间的驾驶，或者自动驾驶是在泊车或调整车辆的情况中的时间受限的驾驶。术语“自动驾驶”包括具有任何自动化程度的自动驾驶。示例性的自动化程度是辅助驾驶、部分自动驾驶、高度自动驾驶或全自动驾驶。这些自动化程度由联邦公路研究所(BASt)定义(参见BASt出版物“Forschung kompakt”，版本11/2012)。在辅助驾驶中，驾驶员持续地执行纵向或横向引导，而系统在一定的限度内接管相应的其他功能。在部分自动驾驶(TAF)中，系统在一定时间段内和/或在特定情况下接管纵向和横向引导，其中驾驶员必须像在辅助驾驶中一样持续地监控系统。在高度自动驾驶(HAF)中，系统在一定时间段内接管纵向和横向引导，而驾驶员不必持续地监控系统；但是驾驶员必须在一定时间内能够接管车辆引导。在全自动驾驶(VAF)中，对于特定的应用场景，系统可以在所有情况下自动进行驾驶；对于该应用场景不再需要驾驶员。上面所提到的四个自动化程度对应于SAE J3016标准(SAE-汽车工程学会)的SAE 1级至4级。例如，高度自动驾驶(HAF)对应于SAE J3016标准的3级。在SAE J3016中还规定了SAE 5级作为最高的自动化程度，该最高的自动化程度未包含在BASt的定义中。SAE 5级对应于无人驾驶，其中系统可以在整个行驶期间像人类驾驶员一样自动处理所有情况；通常不再需要驾驶员。在本文件中所描述的各方面特别是涉及一种可以在根据SAE 3级或更高级别的自动驾驶模式下运行的车辆。
应当注意的是，在本文件中所描述的方法、装置和系统不仅可以单独使用，而且可以与在本文件中所描述的其他方法、装置和系统结合使用。此外，在本文件中所描述的方法、装置和系统的任何方面均可以以多种方式相互组合。特别地，权利要求的特征可以以多种方式相互组合。
附图说明
下面借助于实施例更详细地描述本发明。其中：
图1a示出了车辆的示例性部件；
图1b示出了车辆的示例性驾驶员位置；并且
图2示出了用于由车辆驾驶员接管驾驶任务的示例性方法的流程图。
具体实施方式
如上文所述，本文涉及由车辆驾驶员安全且可靠地接管驾驶任务。在该上下文中，图1a示出了车辆100的、特别是机动车的示例性部件。车辆100包括一个或多个环境传感器102，这些环境传感器102被设置为获取与车辆100的环境有关的传感器数据(在本文中也称为环境数据)。示例性的环境传感器102为摄像机、雷达传感器、激光雷达传感器、超声波传感器等。
此外，车辆100还包括一个或多个纵向和/或横向引导执行器103(例如，驱动发动机、制动装置、转向装置等)，这些纵向和/或横向引导执行器103被设置为自动地或自动化地纵向和/或横向引导车辆100。车辆100的控制单元101(或驾驶系统)可以被设置为根据环境数据来运行车辆的一个或多个纵向和/或横向引导执行器103，以便自动地纵向和/或横向引导车辆100(特别是根据SAE 3级或更高级别)。
车辆100包括一个或多个手动控制装置105，这些手动控制装置105使得车辆100的驾驶员能够进行与车辆100的纵向和/或横向引导有关的手动控制输入。示例性的控制装置105是：转向装置，特别是方向盘；制动踏板；和/或加速踏板。控制单元101可以被设置为：(特别是当车辆100在手动驾驶模式下运行时)检测在车辆100的手动控制装置105处的手动控制输入。此外，控制单元101可以被设置为：根据手动控制输入来运行车辆100的一个或多个纵向和/或横向引导执行器103，以便特别是使得车辆100的驾驶员能够手动地纵向和/或横向引导车辆100。
可选地，可以通过操作控制装置105直接干预车辆100的纵向和/或横向引导。例如，对转向装置的操作、特别是对方向盘的操作通常会直接导致车辆100的转向角的变化。此外，对制动踏板的操作通常会直接导致对车辆100的制动。
车辆100可以包括实现车辆100与车辆100的驾驶员之间的交互的用户接口106。用户接口106可以包括一个或多个控制元件(例如，按钮、旋钮等)和/或一个或多个输出元件(例如，屏幕、发光元件、扬声器等)。控制单元101可以被设置为通过用户接口106向车辆100的驾驶员发出视觉提示、触觉提示和/或听觉提示。
此外，车辆100可以包括控制元件107(例如，按钮)，该控制元件107使得车辆100的驾驶员能够通过操作控制元件107来激活自动驾驶模式，其中车辆100被设置为在自动驾驶模式下以高度自动化的方式(特别是根据SAE 3级或更高级别)行驶。在本文件中，控制元件107也被称为驾驶模式控制元件107。
车辆100的控制单元101可以被设计为：在操作驾驶模式控制元件107时，
·激活自动驾驶模式(如果在操作驾驶模式控制元件107时车辆100处于手动驾驶模式或具有降低的自动化程度的驾驶模式(例如，根据SAE 2级或更低级别))；和/或
·发起对自动驾驶模式的结束(如果在操作驾驶模式控制元件107时车辆100处于自动驾驶模式)。
此外，车辆100可以包括一个或多个麦克风108，这些麦克风108被设置为获取关于声学信号的音频数据、特别是关于语音信号的音频数据(该信号例如由车辆100的乘员或驾驶员产生或说出)。利用一个或多个麦克风108例如可以获取与由车辆100的驾驶员向车辆100说出的语音指令有关的音频数据。音频数据可以由车辆100的控制单元101评估，以便识别驾驶员的语音指令。然后，车辆100可以根据语音指令来运行。特别地，可以使得车辆100的驾驶员能够借助于语音指令来激活和/或停用自动驾驶模式。特别地，可以可选地借助于语音指令来发起对自动驾驶模式的结束。
如上文所述，当车辆100在自动驾驶模式下运行时，通常使得车辆100的驾驶员能够将其注意力从驾驶任务上移开。在此，可以考虑到的是，在车辆100在自动驾驶模式下运行期间，车辆100的驾驶员意外地碰到了驾驶模式控制元件107，并且因此发起了对自动驾驶模式的结束，而驾驶员并未准备好(至少部分地)接管驾驶任务和/或驾驶员并不打算(至少部分地)接管驾驶任务。以相应的方式，可能会通过语音指令会意外地发起对自动驾驶模式的结束。
控制单元101可以被设置为：检测对自动驾驶模式的结束是通过驾驶员的第一(操作)动作(例如，通过操作驾驶模式控制元件107和/或通过语音指令)触发的。此外，控制单元101可以被设置为：响应于检测到对自动驾驶模式的结束是通过驾驶员的第一(操作)动作(例如，通过操作驾驶模式控制元件107和/或通过语音指令)触发的，来检验第一动作是否被另一动作确认。特别地，可以检验：驾驶员的第一动作是否由驾驶员通过对预定义声学信号的口头复述被确认。特别地，可以在从识别出第一动作起的特定的确认时间段内检验驾驶员是否进行了对预定义声学信号的确认性口头复述。通过识别车辆100的驾驶员对预定义声学信号的口头复述，还可以识别出车辆100的驾驶员是否准备好至少部分地接管车辆100的驾驶任务。
如果检测到对所定义的声学信号的确认性口头复述，则可以由控制单元101结束自动驾驶模式，并且可以将驾驶任务移交给车辆100的驾驶员。另一方面，如果没有检测到对所定义的声学信号的口头复述，则控制单元101可以使自动驾驶模式继续运行和/或重新中断已发起的对自动驾驶模式的结束。在此，只要没有检测到对所定义的声学信号的口头复述，车辆100就可以在自动驾驶模式下运行。
通过用于结束自动驾驶模式的这种两阶段过程可以使得将驾驶任务可靠且安全地移交给车辆100的驾驶员。特别地，通过这样的两阶段过程可以确保车辆100的驾驶员实际上确实打算离开自动驾驶模式。
图1b示出了车辆100的在车辆100的驾驶员位置处的示例性部件。图1b特别地示出了方向盘110作为示例性手动控制装置105，该方向盘110使得车辆100的驾驶员能够手动进行对车辆100的转向。此外，图1b示出了屏幕116和扬声器117作为用户接口106的示例性部件。此外，在图1b中示出了一个或多个麦克风108，这些麦克风108用于获取与(由车辆100的驾驶员产生或说出的)声学信号有关的音频数据。
可选地，可以借助于由车辆100的用户或驾驶员复述的语音命令(例如，一个或多个所说出的单词的序列)来激活自动驾驶模式。此外，可以使得驾驶员能够通过复述语音命令或语音指令来发起对自动驾驶模式的结束。
响应于此，控制单元101可以被设置为：通过用户接口106(例如，通过发出视觉提示和/或听觉提示)请求用户来做出至少一个另外的(可选地，至少两个另外的)明确的接管动作。在一个优选示例中，在用户接口106的屏幕上向车辆100的用户显示至少一个例如随机选择的待被复述的语音序列。在此，请求用户复述语音序列。然后，可以通过一个或多个麦克风108获取和评估与由用户复述的语音序列有关的音频数据。因此，可以可靠地检验：车辆100的用户是否进行了对预定义声学信号的口头复述。所获取的语音序列可以被视为明确的接管动作的一部分。
备选地或附加地，可以由驾驶员借助于对由车辆显示的多个不同语音序列的复述来进行对已成功接管车辆引导的依次确认。
在车辆100中优选地使用足够不同的和/或不同定位的多个麦克风108，以确保与语音控制的功能安全性有关的要求。此外，可以借助于满足关于功能安全性的特定要求(例如，ASIL D)的信号处理来进行所显示的语音序列与所复述的序列的比较。
因此，当车辆100处于自动驾驶模式时，可以使得驾驶员能够将其接管意愿口头告知车辆100。备选地或附加地，车辆100可以被设计为：通知驾驶员自动驾驶模式将在即将到来的时间间隔内(例如，在接下来的5秒至10秒内)结束和/或车辆100将转换为安全状态(例如，由于车辆100将离开自动驾驶模式的允许范围)。因此，车辆100可以识别出应当结束自动驾驶模式。
此外，车辆100可以被设计为：(在车辆100仍继续处于自动驾驶模式期间)请求驾驶员在预定时间内复述由车辆100建议的至少一个或两个或更多个语音序列。可选地，可以请求车辆100的驾驶员同时执行手动操作动作。备选地，可以请求车辆100的驾驶员执行两个独立的手动操作动作。在另一示例中，可以请求车辆100的驾驶员依次复述两个独立的语音序列。在此，待复述的一个或多个语音序列优选地使得一个或多个语音序列满足或指示驾驶员对接管动作的意识(Bewusstsein)的明确性。
一个或多个第二语音序列应当(足够明显地)不同于第一序列(该第一序列用于发起对自动驾驶模式的结束)，以便可以确保驾驶员意识到在复述一个或多个第二语音序列的情况下将停用自动驾驶模式。
还可以通过一个或多个以下措施来附加地确保对自动驾驶模式的停用的安全性。特别地，通过一个或多个以下措施可以降低用户误用(Missbrauch)车辆100的风险。
·可以对语音序列的说话者进行定位。特别地，可以基于音频数据来检验说话者是否实际上位于车辆100的驾驶员位置。此外，可以将说话者的位置与座椅传感器的传感器数据、安全带带扣的传感器数据和/或驾驶员摄像机的图像数据进行比较。
·可以在(用于发起对自动驾驶模式的结束的)第一语音序列的说话者与(用于确认驾驶员的接管意愿的)第二语音序列的说话者之间进行声音特征(Stimmprofile)的比较。
·可以特别是在紧张和/或兴奋方面对一个或多个语音参数进行测量或分析。
图2示出了用于结束车辆100的自动驾驶模式(特别是根据SAE3级或更高级别的驾驶模式)的示例性(计算机实现的)方法200的流程图。方法200可以由车辆100的控制单元或驾驶系统101执行。
方法200包括：(从车辆100在自动驾驶模式下运行开始)确定201应当结束自动驾驶模式。特别地，可以检测车辆100的驾驶员的第一动作，其中第一动作旨在结束自动驾驶模式。第一动作例如可以包括：操作驾驶模式控制元件107和/或复述用于结束自动驾驶模式的语音命令。
此外，方法200包括：检验202是否(可选地，在确认时间段内)由车辆100的驾驶员通过口头复述(预定义的)声学信号(特别是语音信号)确认了驾驶员的接管意愿。换言之，可以检验车辆100的驾驶员是否准备好至少部分地手动(例如，根据SAE 2级或更低级别)驾驶车辆100。在此，车辆100的驾驶员可以通过对(预定义的)声学信号的口头复述来指示接管意愿。在此，待复述的声学信号可以由车辆100预设。
此外，方法200包括：当确定通过对(预定义的)声学信号的口头复述确认了驾驶员的接管意愿时(特别是仅当确定通过对(预定义的)声学信号的口头复述确认了驾驶员的接管意愿时)，结束203自动驾驶模式。另一方面，可选地，可以继续运行自动驾驶模式。
通过在本文件中所描述的措施可以实现自动驾驶模式的安全运行以及安全且舒适地(由车辆100的驾驶员发起地)过渡到具有降低的自动化程度的驾驶模式。
本发明不限于所示的实施例。特别应当注意的是，说明书和附图仅旨在示例性地说明所提出的方法、装置和系统的原理。

Claims (19)

1.一种用于在自动驾驶模式下自动驾驶车辆(100)的驾驶系统(101)；其中所述驾驶系统(101)被设置为：
-从在所述自动驾驶模式下运行开始，确定应当结束所述自动驾驶模式；
-响应于确定应当结束所述自动驾驶模式，向所述车辆(100)的驾驶员通知声学信号，所述声学信号应当由所述驾驶员口头复述以作为对接管意愿的确认；
-响应于向所述车辆(100)的驾驶员通知声学信号，检验是否进行了对所述声学信号的口头复述，以便确认所述车辆(100)的驾驶员对于至少部分地手动驾驶所述车辆(100)的接管意愿；并且
-如果确定通过对所述声学信号的口头复述确认了所述接管意愿，则结束所述自动驾驶模式。
2.根据权利要求1所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-如果确定没有通过对所述声学信号的口头复述确认所述接管意愿，则所述车辆(100)继续在所述自动驾驶模式下运行；
-仅当确定通过对所述声学信号的口头复述确认了所述接管意愿时，才结束所述自动驾驶模式。
3.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设计为：
-在屏幕上显示待复述的所述声学信号；和/或
-通过扬声器复述待复述的所述声学信号；和/或
-通过所述车辆(100)的用户接口(106)以图像的方式和/或以声学的方式发出待复述的声学信号。
4.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-从不同的预定义的声学信号的列表中选择待复述的所述声学信号；和/或
-借助于随机发生器来生成待复述的所述声学信号；和/或
-借助于人工智能来求取适配于所述驾驶员的待复述的声学信号、特别是适配于所述驾驶员的状态的待复述的声学信号。
5.根据前述权利要求中任一项所述的驾驶系统(101)，其中，
-所述声学信号包括语音信号，特别地所述声学信号是语音信号；和/或
-所述声学信号包括分别具有多个不同单词的一个或多个序列。
6.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-求取与经口头复述的所述声学信号有关的音频数据；
-基于所述音频数据，求取已经复述所述声学信号的说话者的位置；并且
-根据所求取的位置来确定：是否结束所述自动驾驶模式，和/或是否将对所述声学信号的口头复述接受为对所述接管意愿的确认。
7.根据权利要求6所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-基于所求取的位置，确定所述说话者是否位于所述车辆(100)的驾驶员位置；并且
-如果确定所述说话者位于所述车辆(100)的所述驾驶员位置，则结束所述自动驾驶模式，和/或将对所述声学信号的口头复述接受为对所述接管意愿的确认。
8.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-求取与经口头复述的所述声学信号有关的音频数据；
-基于所述音频数据，求取与已经复述所述声学信号的说话者的身份有关的身份信息；并且
-根据所求取的身份信息来确定：是否结束所述自动驾驶模式，和/或是否将对所述声学信号的口头复述接受为对所述接管意愿的确认。
9.根据权利要求8所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-求取与旨在结束所述自动驾驶模式的语音指令有关的第一音频数据；
-基于所述第一音频数据，确定应当结束所述自动驾驶模式；
-基于所述第一音频数据并且基于与经口头复述的所述声学信号有关的音频数据，确定所述语音指令和所述声学信号是否已经由同一说话者复述；并且
-如果确定所述语音指令和所述声学信号已经由同一说话者复述，则结束所述自动驾驶模式，和/或将对所述声学信号的口头复述接受为对所述接管意愿的确认。
10.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-求取与经口头复述的所述声学信号有关的音频数据；
-基于所述音频数据，求取与已经复述所述声学信号的说话者有关的状态信息、特别是与所述说话者的紧张有关的状态信息；并且
-根据所求取的所述状态信息确定：是否结束所述自动驾驶模式，和/或是否将对所述声学信号的口头复述接受为对所述接管意愿的确认。
11.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-检测所述车辆(100)的所述驾驶员的第一动作，其中所述第一动作旨在结束所述自动驾驶模式；并且
-响应于所检测的所述第一动作，确定应当结束所述自动驾驶模式。
12.根据权利要求11所述的驾驶系统(101)，其中所述第一动作包括操作驾驶模式控制元件(107)，所述驾驶模式控制元件(107)还用于激活所述自动驾驶模式。
13.根据权利要求12所述的驾驶系统(101)，其中，
-所述驾驶模式控制元件(107)包括按钮，特别地所述驾驶模式控制元件(107)是按钮；和/或
-所述驾驶模式控制元件(107)被布置在所述车辆(100)的驾驶员位置和/或仪表盘处。
14.根据权利要求11至13中任一项所述的驾驶系统(101)，其中，
-所述第一动作包括操作所述车辆(100)的加速踏板和/或油门踏板；和/或
-所述第一动作包括对用于结束所述自动驾驶模式的语音指令的口头复述。
15.根据权利要求11至14中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：响应于已经检测到所述第一动作，通过所述车辆(100)的用户接口(106)发出如下提示：为了结束所述自动驾驶模式，需要口头复述所预设的声学信号作为对所述接管意愿的确认。
16.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设置为：
-求取与所述车辆(100)所位于的交通情况和/或所述车辆(100)正在接近的交通情况有关的情况数据；并且
-基于所述情况数据，确定应当结束所述自动驾驶模式。
17.根据前述权利要求中任一项所述的驾驶系统(101)，其中，
-所述驾驶系统(101)被设计为：在根据SAE 3级或更高级别的自动驾驶模式下自动地纵向引导和横向引导所述车辆(100)；和/或
-至少部分地手动驾驶所述车辆(100)对应于根据SAE 2级或更低级别或者根据SAE 1级或更低级别来运行所述车辆(100)。
18.根据前述权利要求中任一项所述的驾驶系统(101)，其中所述驾驶系统(101)被设计为：
-向所述车辆(100)的所述驾驶员通知单独的至少两个声学信号；并且
-检验是否进行了对所述至少两个声学信号的口头复述，以便确认所述车辆(100)的所述驾驶员对于至少部分地手动驾驶所述车辆(100)的所述接管意愿。
19.一种用于结束车辆(100)的自动驾驶模式的方法(200)；其中所述方法(200)包括：
-从在所述自动驾驶模式下运行开始，确定(201)应当结束所述自动驾驶模式；
-响应于确定应当结束所述自动驾驶模式，发出声学信号，所述声学信号应当由所述车辆的驾驶员口头复述以作为对接管意愿的确认；
-响应于发出声学信号，检验(202)是否通过对所述声学信号的口头复述确认了所述车辆(100)的所述驾驶员对于至少部分地手动驾驶所述车辆(100)的接管意愿；并且
-如果确定通过对所述声学信号的口头复述确认了所述接管意愿，则结束(203)所述自动驾驶模式。
CN202011362103.4A 2019-12-10 2020-11-27 用于通过语音结束自动驾驶模式的驾驶系统和方法 Pending CN112937602A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019133780.1 2019-12-10
DE102019133780.1A DE102019133780A1 (de) 2019-12-10 2019-12-10 Fahrsystem und Verfahren zum Beenden eines automatisierten Fahrmodus durch Sprache

Publications (1)

Publication Number Publication Date
CN112937602A true CN112937602A (zh) 2021-06-11

Family

ID=75962478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011362103.4A Pending CN112937602A (zh) 2019-12-10 2020-11-27 用于通过语音结束自动驾驶模式的驾驶系统和方法

Country Status (2)

Country Link
CN (1) CN112937602A (zh)
DE (1) DE102019133780A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023031746A (ja) * 2021-08-25 2023-03-09 株式会社デンソー アクセルペダルシステム
CN114103973B (zh) * 2021-11-12 2024-05-28 上汽通用五菱汽车股份有限公司 车辆控制方法、装置、车辆及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013018783A1 (de) * 2013-11-08 2015-05-13 Audi Ag Verfahren zum Betrieb eines Unterhaltungssystems in einem Kraftfahrzeug und Kraftfahrzeug
MX358325B (es) * 2014-03-26 2018-08-15 Nissan Motor Aparato de presentacion de informacion y metodo de presentacion de informacion.
DE102015209137A1 (de) * 2015-05-19 2016-11-24 Robert Bosch Gmbh Verfahren und System zur Steuerung einer Fahrfunktion eines Fahrzeuges
US11130494B2 (en) * 2017-10-30 2021-09-28 Steering Solutions Ip Holding Corporation Transition governance system and method for autonomous vehicle
DE102018001970A1 (de) * 2018-03-12 2019-09-12 Daimler Ag Verfahren zum Betreiben eines Regelsystems zur automatisierten Fahrzeugführung
DE102018207675A1 (de) * 2018-05-16 2019-11-21 Robert Bosch Gmbh Verfahren zum Umschalten zwischen unterschiedlichen Automatisierungsstufen eines Fahrzeugs

Also Published As

Publication number Publication date
DE102019133780A1 (de) 2021-06-10

Similar Documents

Publication Publication Date Title
US11814061B2 (en) Driving system with different driving functions for an automated drive and a common input component, and method for activating a driving function via the common input component
US8290665B2 (en) Method for driver support
US20180319408A1 (en) Method for operating a vehicle
JP2016001461A (ja) ドライバ支援システムの制御方法
US20050203685A1 (en) Driver assistance system for a road vehicle
JP2018005886A (ja) 車両を運転する際に運転者を支援する方法及びシステム、並びにそのようなシステムが搭載された車両
JP2008195338A (ja) 車両用運転支援装置
CN110901649B (zh) 用于自主车辆中驾驶员对操纵的可听确认的设备和方法
CN112937602A (zh) 用于通过语音结束自动驾驶模式的驾驶系统和方法
CN109849920B (zh) 用于控制自动驾驶车辆的驾驶模式的方法和装置
US20180348751A1 (en) Partially Autonomous Vehicle Passenger Control in Difficult Scenario
WO2020035897A1 (ja) 車両の走行制御方法及び走行制御装置
US20230373467A1 (en) Setting change assist apparatus
JP2020001504A (ja) 駐車支援装置
KR102331882B1 (ko) 음성 인식 기반의 차량 제어 방법 및 장치
CN114728659A (zh) 车辆引导系统和用于结束自动化的车辆引导的方法
CN110979329A (zh) 在配备有驾驶自动化的车辆中提供动觉提示的装置和方法
JP2018122647A (ja) 車両用警報装置
JP2014041450A (ja) 運転支援装置
CN114253392A (zh) 用于控制多个车载智能虚拟助手的虚拟对话代理
JP2019074498A (ja) 運転支援装置
WO2018168020A1 (ja) 故障判定装置、方法およびプログラム
JP6465131B2 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP2019048486A (ja) 自動運転装置、方法及びプログラム、並びに、自動運転車両
WO2022258150A1 (en) Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination