CN114126943A - 应用于自主车辆中的方法和设备 - Google Patents

应用于自主车辆中的方法和设备 Download PDF

Info

Publication number
CN114126943A
CN114126943A CN201980098253.8A CN201980098253A CN114126943A CN 114126943 A CN114126943 A CN 114126943A CN 201980098253 A CN201980098253 A CN 201980098253A CN 114126943 A CN114126943 A CN 114126943A
Authority
CN
China
Prior art keywords
driver
vehicle
data
sensors
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980098253.8A
Other languages
English (en)
Inventor
C·戈塞尔斯贝格尔
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN114126943A publication Critical patent/CN114126943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style

Abstract

一种应用于自主车辆中的方法(200)和设备(100)。应用于自主车辆中的方法(200)包括：接收来自车辆上的多个环境感知传感器的数据和来自车辆上的多个车辆运动传感器的数据；至少基于所接收的数据，生成用于包括加速装置、制动装置和转向装置的控制装置的控制参数；以及将所接收的数据和所生成的控制参数输出给驾驶员。

Description

应用于自主车辆中的方法和设备
技术领域
本公开总体上涉及应用于自主车辆中的方法和设备。
背景技术
具有完全自主驾驶功能的自主车辆(也被称为无人驾驶车辆)近年来发展迅速。预计自主车辆将提供更好的安全性和更好的驾驶体验。还预计在未来几年内，具有完全自主驾驶功能的自主车辆将投入实际使用。
对于新手驾驶员(即，驾驶经验相对较少的驾驶员)，他们渴望学习如何驾驶并提升他们的驾驶技能。
发明内容
本公开旨在提供一种应用于自主车辆中的、能够方便新手驾驶员驾驶的方法和设备。
根据本公开的一些示例性实施例，提供了一种应用于自主车辆中的方法，其特征在于，包括：接收来自车辆上的多个环境感知传感器的数据和来自车辆上的多个车辆运动传感器的数据；至少基于所接收的数据，生成用于包括加速装置、制动装置和转向装置的控制装置的控制参数；以及将所接收的数据和所生成的控制参数输出给驾驶员。
在一些实施例中，生成控制参数可以包括：基于所接收的数据和地图信息，利用机器学习技术生成控制参数。
在一些实施例中，控制参数可以包括：针对加速装置的加速开始时间、加速结束时间和加速度；针对制动装置的制动开始时间、制动结束时间和加速度；以及针对转向装置的转向开始时间、转向结束时间和转向角度。
在一些实施例中，方法还可以包括：在驾驶员手动驾驶车辆的情况下，接收来自被安装在控制装置中的多个位置传感器的数据；将来自多个位置传感器的数据与对应的控制参数进行比较，以生成对驾驶员驾驶技术的评估；以及输出对驾驶员驾驶技能的评估。
在一些实施例中，方法还可以包括：在驾驶员手动驾驶车辆的情况下，接收来自被安装在控制装置中的多个位置传感器的数据；将来自多个位置传感器的数据与对应的控制参数进行比较，以生成用于提升驾驶员驾驶技能的建议；以及输出用于提升驾驶员驾驶技能的建议。
在一些实施例中，方法还可以包括：在驾驶员手动驾驶车辆的情况下，接收来自被安装在控制装置中的多个位置传感器的数据；基于来自多个位置传感器的数据、来自多个环境感知传感器的数据以及来自多个车辆运动传感器的数据来预测即将到来的驾驶情况；以及如果预测存在危险，则向驾驶员输出警告或干预驾驶。
在一些实施例中，方法还可以包括：在驾驶员手动驾驶车辆的情况下，接收来自车辆上的多个驾驶员监测传感器的数据；基于来自多个驾驶员监测传感器的数据，确定是否存在异常；以及如果确定存在异常，则向驾驶员输出警告或干预驾驶。
根据本公开的一些其他示例性实施例，提供了一种应用于自主车辆中的设备。
根据本公开的其他一些示例性实施例，提供了一种应用于自主车辆中的系统。
根据本公开的其他一些示例性实施例，提供了一种非暂态计算机可读介质和一种自主车辆。
根据下文给出的详细描述，本公开的进一步适用范围将变得显而易见。然而，应当理解，详细描述和具体实施例虽然指示了本公开的优选实施例，但仅通过例示的方式给出，因为对于本领域技术人员而言，根据以下详细描述，本公开的精神和范围内的各种改变和修改将变得显而易见。
附图说明
被包含在说明书中并构成说明书一部分的附图图示了本公开的实施例，并且在非限制的情况下，这些附图与说明书一起用于解释本公开的原理。在附图中，相似的附图标记用于表示相似的项。不一定按比例绘制的附图描绘了被选择的例示性实施例并且不旨在限制本公开的范围。
图1是根据本公开的一些实施例的应用于自主车辆中的示例性设备的框图。
图2是图示了根据本公开的一些实施例的应用于自主车辆中的示例性方法的流程图。
图3是根据本公开的一些实施例的应用于自主车辆中的另一示例性设备的框图。
图4是图示了根据本公开的一些实施例的应用于自主车辆中的另一示例性方法的流程图。
图5是图示了根据本公开的一些实施例的应用于自主车辆中的示例性警告方法的流程图。
图6是图示了根据本公开的一些实施例的应用于自主车辆中的另一示例性警告方法的流程图。
图7图示了根据本公开的一些示例性实施例的本公开可应用于其中的通用硬件环境。
具体实施方式
在以下详细描述中，阐述了许多具体细节来提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些特定细节中的一些或全部特定细节的情况下实践所描述的实施例。在所描述的示例性实施例中，为了避免不必要地模糊本公开的概念，没有详细描述众所周知的结构或过程步骤。
下文所示的每个框图内的框可以通过硬件、软件、固件或其任何组合来实现，以实施本公开的原理。本领域技术人员可以理解，每个框图中描述的框可以被组合或分离为子框来实现本公开的原理。
本公开中提出的方法的步骤旨在是说明性的。在一些实施例中，方法可以利用未描述的一个或多个附加步骤和/或在没有所讨论的一个或多个步骤的情况下被实现。附加地，所图示和描述的方法步骤的顺序并非旨在是限制性的。
本说明书中使用的术语“车辆”指代机动车辆，包括但不限于轿车、卡车、公共汽车等。除非另有说明，否则贯穿本说明书使用的术语“A或B”指代“A和B”和“A或B”，而不是指A和B是排他的。
贯穿说明书使用的术语“自主车辆”指代具有完全自主驾驶功能的车辆。并且，在本公开中，作为输出对象的驾驶员指代新手驾驶员或驾驶经验相对较少的驾驶员。
图1是根据本公开的一些实施例的应用于自主车辆中的示例性设备100的框图。
如图1所示，设备100(或驾驶辅助设备)可以包括：接收单元110，其被配置为接收来自车辆上的多个环境感知传感器的数据和来自车辆上的多个车辆运动传感器的数据；决策单元120，其被配置为至少基于所接收的数据，生成用于包括加速装置、制动装置和转向装置的控制装置的控制参数；以及输出单元130，其被配置为将所接收的数据和所生成的控制参数输出给驾驶员。
图2是图示了根据本公开的一些实施例的应用于自主车辆中的示例性方法200的流程图。方法200(或驾驶辅助方法)可以包括：步骤S210，接收来自车辆上的多个环境感知传感器的数据和来自车辆上的多个车辆运动传感器的数据；步骤S220，至少基于所接收的数据，生成用于包括加速装置、制动装置和转向装置的控制装置的控制参数；以及步骤S230，将所接收的数据和所生成的控制参数输出给驾驶员。
接下来，将参考图3至图6来描述本公开的一些示例性实施例。
图3示出了根据本公开的一些实施例的应用于自主车辆中的另一示例性设备300的框图。
如图3所示，设备300可以包括接收单元310、决策单元320、比较单元330、预测单元340、驾驶员监测单元350和输出单元360。
接收单元310接收来自车辆上的多个环境感知传感器的数据(在下文中被称为环境感知数据)、来自车辆上的多个车辆运动传感器的数据(在下文中被称为车辆运动数据)、来自车辆上的多个驾驶员监测传感器的数据(在下文中被称为驾驶员监测数据)、以及来自被安装在车辆的控制装置中的多个位置传感器的数据(在下文中被称为位置数据)。
环境感知传感器可以包括以下至少一项：激光雷达、毫米波雷达、摄像头、超声波传感器。环境感知数据可以反映诸如车辆、自行车、行人、树木、建筑物等的周围物体的位置、取向、速度等。车辆运动传感器可以包括以下至少一项：速度传感器、角速度传感器、惯性传感器和全球定位系统。车辆运动数据可以反映车辆本身的位置、取向、速度等。驾驶员监测传感器可以包括以下至少一项：摄像头和生物电传感器。驾驶员监测数据可以反映驾驶员的状态，例如驾驶员是否困倦、紧张等，并且可以反映驾驶员注视的地方。驾驶员监测数据还可以反映驾驶员的健康状况。
控制装置可以包括诸如油门等的加速装置、诸如制动器等的制动装置、以及诸如方向盘等的转向装置。被安装在控制装置中的位置传感器是本领域技术人员已知的。在驾驶员手动驾驶车辆的情况下，位置数据可以在对应的控制装置上反映操纵量。例如，来自被安装在方向盘中的位置传感器的位置数据可以反映驾驶员转动方向盘的角度。位置数据可以包括指示对应操纵时间的时间信息。在此，“手动驾驶”指代完全手动驾驶或半手动驾驶(即，半自主驾驶)。
决策单元320至少基于环境感知数据和车辆运动数据来生成用于控制装置的控制参数。具体地，决策单元320基于环境感知数据、车辆运动数据和地图信息，通过利用机器学习技术来生成控制参数。地图信息可以是高清地图片段，并且可以被预先存储在车辆上的存储装置(未示出)中。地图信息可以指示车道线、交叉路口、速度限制等。机器学习技术可以是任何一种已知的机器学习技术。此外，决策单元320将所生成的控制参数传输至对应的控制装置，以实现对车辆的控制。
具体地，机器学习技术利用专家经验知识库来训练决策模型，并且然后利用经训练的决策模型进行决策。做出的决策可以包括所规划的行进路径和/或特定的控制参数。在此，专家经验是指有经验的驾驶员的经验。专家经验知识库可以包含从大量有经验的驾驶员(诸如驾驶年限超过5年的驾驶员)收集的操纵参数。操纵参数可以包括对控制装置的操纵量和操纵次数。
更具体地，在训练阶段，机器学习技术使用环境感知数据、车辆运动数据和地图信息作为输入，并且使用来自专家经验知识库的对应操纵参数作为输出来训练决策模型。然后在决策阶段，机器学习技术利用经训练的决策模型，以环境感知数据、车辆运动数据和地图信息作为输入，来生成控制参数。即，在自主车辆的完全自主驾驶期间，所生成的控制参数反映了有经验的驾驶员的操纵行为。
比较单元330将在驾驶员手动驾驶车辆期间接收的位置数据与对应的控制参数进行比较，以生成对驾驶员驾驶技能的评估和提升驾驶员驾驶技能的建议。下文将详细描述比较单元330的操作。
预测单元340基于在驾驶员手动驾驶车辆期间接收的位置数据、环境感知数据和车辆运动数据来预测即将到来的驾驶情况。更具体地，预测单元340使用预先存储的(多个)算法，基于这样的传感器数据和地图信息来执行预测。在此可以使用本领域技术人员已知的任何预测算法。
驾驶员监测单元350基于驾驶员监测数据来确定驾驶员是否存在异常。具体地，驾驶员监测单元350通过分析驾驶员监测数据来做出确定。在此可以使用本领域技术人员已知的各种分析算法。
下文将详细描述预测单元340和驾驶员监测单元350的操作。
输出单元360将环境感知数据、车辆运动数据以及所生成的控制参数输出给驾驶员，以教导驾驶员如何驾驶。换言之，输出单元360将决策过程呈现给驾驶员，使得驾驶员可以向有经验的驾驶员学习驾驶经验。输出单元360还可以结合上述项输出地图信息。此外，输出单元360可以输出与驾驶员驾驶技能有关的评估和建议。此外，输出单元360可以在必要时输出警告。
以下将进一步详细描述图3所示的每个单元的操作。
图4是图示了根据本公开的一些实施例的应用于自主车辆中的另一示例性方法400的流程图。
方法400从步骤S410开始，在步骤S410处，接收单元310接收一系列传感器数据，其包括环境感知数据、车辆运动数据、驾驶员监测数据和位置数据。接收单元310将一系列传感器数据传送到决策单元320。
方法400进行到步骤S420，在步骤S420处，决策单元320基于环境感知数据、车辆运动数据和地图信息，通过使用决策模型来生成用于控制装置的控制参数，决策模型通过使用专家经验知识库而被训练。
控制参数可以包括对控制装置的操作次数和操作量。例如，对于加速装置，控制参数可以包括加速开始时间和加速结束时间以及加速度。对于制动装置，控制参数可以包括制动开始时间和制动结束时间以及加速度。而对于转向装置，控制参数可以包括转向开始时间和转向结束时间以及转向角度。
方法400进行到步骤S430，在步骤S430处，输出单元360向驾驶员输出环境感知数据、车辆运动数据、可选地图信息、以及控制参数，使得驾驶员可以学习如何驾驶。
上述项可以被输出给车辆内的显示器和/或扬声器或驾驶员的移动通信设备。移动通信设备可以包括智能电话、平板PC等。具体地，上述项可以被输出给驾驶员的移动通信设备中提供的应用。输出可以经由人机界面(HMI)来实现。
在一些实施例中，上述项可以以视觉方式输出。例如，输出单元360可以随着车辆移动动态地显示地图图像，诸如附近车辆和行人的周围物体的图像(即，环境感知数据的图像形式)、车辆本身的图像(即，车辆运动数据的图像形式)以及控制参数，诸如何时加速、制动或转向以及在哪个级别执行加速、制动和转向也被动态地显示。
备选地，上述项可以以听觉方式输出。例如，输出单元360可以输出与控制参数相对应的语音指令。具体地，输出单元360可以输出如下语音指令：“现在将方向盘向右转180度”、“有行人从右侧跑过来，赶紧踩下刹车”等。在这种情况下，输出单元360可以利用语音来实时地指示驾驶员何时加速、制动或转向以及在哪个级别执行加速、制动和转向。
请注意，输出单元360可以在车辆的完全自主驾驶状态或半自主驾驶状态或完全手动驾驶状态下执行输出。
在输出单元360输出环境感知数据、车辆运动数据、可选地图信息和控制参数的情况下，我们可以称之为教导/指导模式。经由这样的教导/指导模式，驾驶员可以学习驾驶规则并积累驾驶经验。
方法400进行至步骤S440，在步骤S440处，比较单元330将在手动驾驶期间接收的位置数据与由决策单元320所生成的控制参数进行比较，并且生成对驾驶员的评估及建议。
在手动驾驶期间，控制参数可以被生成，但不用于车辆的控制。
在一些实施例中，比较单元330将位置数据所反映的驾驶员操纵次数和操作量与对应的控制参数进行比较。基于它们之间的差异，驾驶员的驾驶技能可以被评估为不同的等级。可以理解，差异越小，等级越高。如果给定五个等级，等级1到等级5，其中评估逐渐降低，等级1和等级2可以被视为驾驶员具有完全手动驾驶的能力，而等级3至等级5可以被视为驾驶员不具备完全手动驾驶的能力。
具体地，比较单元330可以基于在手动驾驶期间接收的位置数据，生成反映相应操纵参数随时间流逝的变化的多个驾驶曲线。此外，比较单元330可以以相同的方式，基于对应控制参数来生成反映相应控制参数随时间流逝的变化的多个控制曲线。接着，比较单元330可以计算对应驾驶曲线与控制曲线之间的相似度，以生成对驾驶员驾驶技能的评估。基于所计算的相似度，驾驶员的驾驶技能可以被评估为不同的等级。可以理解，相似度越高，等级越高。
在一些实施例中，基于比较，比较单元330还可以生成用于提升驾驶员驾驶技能的建议。具体地，比较单元330可以找出驾驶曲线中与对应的控制曲线存在一定差异的一个或多个部分，并且针对这些部分生成建议。例如，建议的示例可以包括：“你可以在启动器件少加油门以提高效率”、“你可以在高速公路上使用巡航控制”、“你可以在左转时更多地转动方向盘”等。换言之，比较单元330可以找到驾驶员的驾驶行为与自主驾驶(即，成熟的)驾驶行为之间的差异，并且可以指出驾驶员可以做得更好的地方。
方法400进行到步骤S450，在步骤S450处，输出单元360输出在步骤S440中生成的评估和建议。
步骤S450中的输出与步骤S430中的输出类似。评估和建议可以在预定的驾驶时段之后输出。评估和建议可以以文本或语音的方式输出。驾驶数据与控制数据之间的比较、特别是驾驶曲线与控制曲线之间的比较可以例如在图形中连同评估和建议被输出，使得驾驶员了解评估和建议的依据。
如果评估和建议被传输到驾驶员的移动通信设备，则驾驶员可以在离开车辆后查看自己的驾驶行为，这有利于提升驾驶员的驾驶技术。
在输出单元360输出评估和建议的情况下，我们可以称其为评估和建议模式。经由这样的评估和建议模式，首先，设备能够对驾驶员的驾驶技能进行评估，其次，设备能够以为驾驶员量身定制的方式提供建议。
请注意，在步骤S440和S450中，评估和建议二者均被生成并输出。但是可以理解，评估、建议或两者可以被生成并输出。
图5是图示了根据本公开的一些实施例的应用于自主车辆中的示例性警告方法的流程图。
方法500开始于步骤S510，在步骤S510处，接收单元310接收一系列传感器数据。步骤S510与步骤S410类似，并且因此在此不再赘述。
方法500进行至步骤S520，在步骤S520处，预测单元340基于在手动驾驶期间接收的位置数据、环境感知数据、车辆运动数据、所规划的行驶路径以及地图信息，预测即将到来的驾驶情况。
在一些实施例中，预测单元340可以预测紧急情况。例如，如果环境感知数据指示有行人从右侧向车辆跑来，并且预测单元340预测该行人将与车辆发生碰撞，则预测单元340预测存在危险。又例如，当车辆试图变到相邻车道，并且环境感知数据指示相邻车道上有高速行驶的后方车辆时，预测单元340预测如果车辆继续变道则将发生碰撞。于是，预测单元340预测存在危险。
在一些实施例中，预测单元340可以预测某个驾驶任务不能完成。例如，当车辆在左转时，如果驾驶员太晚转动方向盘，则预测单元340预测车辆无法成功左转。于是，预测单元340预测存在危险。
方法500然后进行至步骤S530，在步骤S530处，如果在步骤S520中预测到危险，则决策单元320指示输出单元360输出警告，或者决策单元320决定干预驾驶。
例如，在预测到危险的情况下，警告经由动画、经由警告声音和/或经由振动而被输出。振动装置可以被提供在车辆内或驾驶员的移动通信设备内。此外，决策单元320可以控制控制装置，以干预驾驶。例如，决策单元320可以控制控制装置立即停止车辆、暂时禁止驾驶员变道、或者更多地转动方向盘来完成转向任务。备选地，决策单元320可以决定切换到完全自主驾驶，以接管驾驶员的所有特权。即，决策单元320可以通过各种方式干预驾驶，以避免危险的发生或某项任务的未完成。
在预测被执行并且采取对应的(多个)措施的情况下，我们可以将其称为预测模式。经由这样的预测方式，可以保证驾驶安全。此外，可以在保证驾驶安全的同时实现上述的教导/指导模式以及评估和建议模式。
图6是图示了根据本公开的一些实施例的应用于自主车辆中的另一示例性警告方法的流程图。
方法600从步骤S610开始，在步骤S610处，接收单元310接收一系列传感器数据。步骤S610与步骤S410类似，并且因此在此不再赘述。
方法600进行到步骤S620，在步骤S620处，驾驶员监测单元350分析所接收的驾驶员监测数据并确定是否存在异常。
在一些实施例中，驾驶员监测单元350可以基于来自用于拍摄驾驶员照片的一个或多个摄像头的数据来确定驾驶员是否困倦或紧张。此外，驾驶员监测单元350可以基于来自驾驶员可接触的一个或多个生物电传感器的数据来确定驾驶员是否有突发的健康问题。
方法600然后进行至步骤S630，在步骤S630处，如果在步骤S620中确定异常，则决策单元320指示输出单元360输出警告，或者决策单元320决定干预驾驶。例如，如果可能的话，决策单元320可以决定接管驾驶员的所有特权或停止车辆。
在对驾驶员进行监测并采取对应的(多个)措施的情况下，我们可以称其为监测模式。经由这样的监测方式，可以保证驾驶安全。此外，可以在保证驾驶安全的同时实现上述教导/指导模式和评估和建议模式。
在一些实施例中，评估或建议可以进一步基于干预的发生而被提供。例如，如果在预定时间段期间的干预次数非常少，例如，为零，则可以提供驾驶员具有完全手动驾驶的能力的评估。又例如，如果干预频繁发生，则干预发生的原因可以被总结并输出给驾驶员，并且同时相关建议可以被输出。
此外，在一些实施例中，响应于评估驾驶员具有完全手动驾驶的能力，可以向驾驶员开放更多甚至所有手动驾驶特权。例如，可以不再设置最高速度限制、最高功率输出限制等。
如上所述的教导/指导模式、评估和建议模式、预测模式、以及监测模式中的至少一个模式可以构成新手驾驶员模式。新手驾驶员模式可以使用硬件或软件按钮来激活。备选地，新手驾驶员模式可以使用用户名和/或密码来激活。备选地，新手驾驶员模式可以利用语音指令来激活。新手驾驶员模式可以很好地方便新手驾驶员的驾驶，同时保证驾驶安全。此外，这样的新手驾驶员模式增强了人机交互。
图7图示了根据本公开的一些示例性实施例的本公开可应用于其中的通用硬件环境700。
参考图7，现在将描述计算设备700，计算设备700是可以应用于本公开的各方面的硬件设备的示例。计算设备700可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助理、智能电话、车载电脑或其任意组合。前述设备100或设备300可以全部或至少部分地由计算设备700或类似的设备或系统来实现。
计算设备700可以包括可能经由一个或多个接口与总线702连接或通信的元件。例如，计算设备700可以包括总线702、一个或多个处理器704、一个或多个输入设备706和一个或多个输出设备708。一个或多个处理器704可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专用处理芯片)。输入设备706可以是可以向计算设备输入信息的任何种类的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备708可以是可以呈现信息的任何种类的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备700还可以包括或连接非暂态存储设备710，非暂态存储设备710可以是非暂态的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动装置、光存储设备、固态存储装置、软盘、柔性盘、硬盘、磁带或任何其他磁介质、光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存和/或任何其他存储芯片或盒式磁带、和/或计算机可以从中读取数据、指令和/或代码的任何其他介质。非暂态存储设备710可以从接口拆卸。非暂态存储设备710可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备700还可以包括通信设备712。通信设备712可以是能够与外部设备和/或网络进行通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，诸如蓝牙设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设施等。如前所述的(多个)收发器107可以例如由通信设备712来实现。
当计算设备700被用作车载设备时，它也可以连接到外部设备，例如GPS接收器、用于感测不同环境数据的传感器(诸如加速度传感器)、轮速传感器、陀螺仪等。以这种方式，计算设备700可以例如接收指示车辆行驶状况的位置数据和传感器数据。当计算设备700被用作车载设备时，它也可以被连接到其他设施(诸如发动机系统、雨刷器、防抱死制动系统等)，以控制车辆的行驶和操作。
附加地，非暂态存储设备710可以具有地图信息和软件元素，使得处理器704可以执行路线引导处理。附加地，输出设备706可以包括用于显示地图、车辆的位置标记以及指示车辆行驶状况的图像的显示器。输出设备706还可以包括扬声器或带有用于音频引导的耳机的接口。
总线702可以包括但不限于工业标准架构(ISA)总线、微信道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。具体地，对于车载设备，总线702还可以包括控制器局域网(CAN)总线或被设计用于汽车上的应用的其他架构。
计算设备700还可以包括工作存储器714，工作存储器714可以是可以存储对处理器704的工作有用的指令和/或数据的任何种类的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储设备。
软件元素可以位于工作存储器714中，软件元素包括但不限于操作系统716、一个或多个应用程序718、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序718中，并且上述设备100或设备300的模块可以通过处理器704读取并执行一个或多个应用程序718的指令来实现。更具体地，上述设备100的接收单元110可以例如由处理器704在执行具有执行步骤210的指令的应用718时实现。设备100的决策单元120可以例如在执行具有执行步骤220的指令的应用718时由处理器704实现。并且，设备100的决策单元130可以例如由处理器704在执行具有执行步骤230的指令的应用718时实现。类似地，上述设备300的单元也可以例如由处理器704在执行具有执行上述相应步骤中的一个或多个的指令的应用718时实现。软件元素的指令的可执行代码或源代码可以被存储在非暂态计算机可读存储介质(诸如上述(多个)存储设备710)中，并且可以可能连同编译和/或安装被读入工作存储器714。软件元素的指令的可执行代码或源代码也可以从远程位置下载。
本领域技术人员通过上述实施例可以清楚地了解到，本公开可以通过软件配合必要的硬件来实现，也可以通过硬件、固件等方式来实现。基于这样的理解，本发明的实施例可以部分地以软件的形式来体现。计算机软件可以被存储在计算机的软盘、硬盘、光盘或闪存等可读存储介质中。计算机软件包括使得计算机(例如，个人计算机、服务站或网络终端)执行根据本公开的各个实施例的方法或其一部分的一系列指令。
如此描述了本公开，显然可以以多种方式改变本公开。此类变型不应被视为脱离本公开的精神和范围，并且对于本领域技术人员而言显而易见的是，所有此类修改旨在被包括在所附权利要求的范围内。

Claims (16)

1.一种应用于自主车辆中的方法，其特征在于，包括：
接收来自所述车辆上的多个环境感知传感器的数据和来自所述车辆上的多个车辆运动传感器的数据，
至少基于所接收的数据，生成用于控制装置的控制参数，所述控制装置包括加速装置、制动装置和转向装置，以及
将所接收的数据和所生成的控制参数输出给驾驶员。
2.根据权利要求1所述的方法，其中生成所述控制参数包括：基于所接收的数据和地图信息，利用机器学习技术来生成所述控制参数。
3.根据权利要求1所述的方法，其中所述控制参数包括：
针对所述加速装置的加速开始时间、加速结束时间和加速度；
针对所述制动装置的制动开始时间、制动结束时间和加速度，以及
针对所述转向装置的转向开始时间、转向结束时间和转向角度。
4.根据权利要求1所述的方法，还包括：
在所述驾驶员手动驾驶所述车辆的情况下，接收来自被安装在所述控制装置中的多个位置传感器的数据；
将来自所述多个位置传感器的所述数据与对应的所述控制参数进行比较，从而生成对所述驾驶员的驾驶技能的评估，以及
输出对所述驾驶员的驾驶技能的所述评估。
5.根据权利要求1所述的方法，还包括：
在所述驾驶员手动驾驶所述车辆的情况下，接收来自被安装在所述控制装置中的多个位置传感器的数据；
将来自所述多个位置传感器的所述数据与对应的所述控制参数进行比较，从而生成用于提升所述驾驶员的驾驶技能的建议，以及
输出用于提升所述驾驶员的驾驶技能的所述建议。
6.根据权利要求1所述的方法，还包括：
在所述驾驶员手动驾驶所述车辆的情况下，接收来自被安装在所述控制装置中的多个位置传感器的数据；
基于来自所述多个位置传感器的数据、来自所述多个环境感知传感器的数据、和来自所述多个车辆运动传感器的数据，预测即将到来的驾驶情况，以及
如果预测到存在危险，则向所述驾驶员输出警告，或者干预驾驶。
7.根据权利要求1所述的方法，还包括：
在所述驾驶员手动驾驶所述车辆的情况下，接收来自所述车辆上的多个驾驶员监测传感器的数据；
基于来自所述多个驾驶员监测传感器的所述数据，确定是否存在异常；以及
如果确定存在异常，则向所述驾驶员输出警告或干预驾驶。
8.根据权利要求1-7中任一项所述的方法，其中所述输出包括：输出给所述车辆内的显示器和/或扬声器，或者输出给所述驾驶员的移动通信设备。
9.根据权利要求1-7中任一项所述的方法，其中所述输出以听觉方式、视觉方式和/或振动方式来实现。
10.根据权利要求1所述的方法，其中所述环境感知传感器包括以下至少一项：激光雷达、毫米波雷达、摄像头、超声波传感器，并且所述车辆运动传感器包括以下至少一项：速度传感器、角速度传感器、惯性传感器和全球定位系统。
11.根据权利要求7所述的方法，其中所述驾驶员监测传感器包括以下至少一项：摄像头和生物电传感器。
12.一种应用于自主车辆中的设备，其特征在于，包括：用于执行根据权利要求1至11中任一项所述的方法的部件。
13.一种应用于自主车辆中的设备，其特征在于，包括：
存储器，被配置为存储一系列计算机可执行指令；以及
处理器，被配置为执行所述一系列计算机可执行指令，
其中所述一系列计算机可执行指令在被所述处理器执行时，使所述处理器执行根据权利要求1-11中任一项所述的方法。
14.一种应用于自主车辆中的系统，其特征在于，包括：
根据权利要求13所述的设备；
显示器，用于向所述驾驶员输出图像和/或视频；以及
扬声器，用于向所述驾驶员输出声音。
15.一种非暂态计算机可读介质，其特征在于，在所述非暂态计算机可读介质上存储有指令，所述指令在由处理器执行时，使所述处理器执行根据权利要求1-11中任一项所述的方法。
16.一种自主车辆，其特征在于，包括根据权利要求13所述的设备。
CN201980098253.8A 2019-07-08 2019-07-08 应用于自主车辆中的方法和设备 Pending CN114126943A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/095074 WO2021003636A1 (en) 2019-07-08 2019-07-08 Method and apparatus applied in autonomous vehicle

Publications (1)

Publication Number Publication Date
CN114126943A true CN114126943A (zh) 2022-03-01

Family

ID=74113848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098253.8A Pending CN114126943A (zh) 2019-07-08 2019-07-08 应用于自主车辆中的方法和设备

Country Status (3)

Country Link
US (1) US20220306148A1 (zh)
CN (1) CN114126943A (zh)
WO (1) WO2021003636A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104890670A (zh) * 2014-03-06 2015-09-09 鸿富锦精密工业（深圳）有限公司 驾驶辅助系统及驾驶辅助方法
CN105313899A (zh) * 2014-07-10 2016-02-10 现代摩比斯株式会社 车辆搭载状况感应装置及其方法
CN105539432A (zh) * 2014-10-23 2016-05-04 通用汽车环球科技运作有限责任公司 用于减轻受削弱驾驶员的影响的方法和系统
CN107249954A (zh) * 2014-12-29 2017-10-13 罗伯特·博世有限公司 用于使用个性化驾驶简档操作自主车辆的系统和方法
US20180101172A1 (en) * 2016-10-12 2018-04-12 Electronics And Telecommunications Research Institute Apparatus and method for sharing and learning driving environment data to improve decision intelligence of autonomous vehicle
US20180237027A1 (en) * 2017-02-21 2018-08-23 Allstate Insurance Company Data Processing System for Guidance, Control, and Testing Autonomous Vehicle Features and Driver Response
CN109131356A (zh) * 2018-09-07 2019-01-04 邱实 人机混合增强智能驾驶系统及电动汽车
CN109478063A (zh) * 2016-09-21 2019-03-15 宝马股份公司 车辆的自动自主驾驶

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130325202A1 (en) * 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
US10239525B2 (en) * 2015-03-27 2019-03-26 Mitsubishi Electric Corporation Driving support information generation device, driving support information generation method, driving support device, and driving support method
CN107640154B (zh) * 2016-07-20 2020-07-31 大陆汽车电子（连云港）有限公司 新手司机驾驶辅助系统
JP6555648B2 (ja) * 2017-03-30 2019-08-07 マツダ株式会社 車両運転支援システム
US10134279B1 (en) * 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
US10357195B2 (en) * 2017-08-01 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition
US11392131B2 (en) * 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104890670A (zh) * 2014-03-06 2015-09-09 鸿富锦精密工业（深圳）有限公司 驾驶辅助系统及驾驶辅助方法
CN105313899A (zh) * 2014-07-10 2016-02-10 现代摩比斯株式会社 车辆搭载状况感应装置及其方法
CN105539432A (zh) * 2014-10-23 2016-05-04 通用汽车环球科技运作有限责任公司 用于减轻受削弱驾驶员的影响的方法和系统
CN107249954A (zh) * 2014-12-29 2017-10-13 罗伯特·博世有限公司 用于使用个性化驾驶简档操作自主车辆的系统和方法
CN109478063A (zh) * 2016-09-21 2019-03-15 宝马股份公司 车辆的自动自主驾驶
US20180101172A1 (en) * 2016-10-12 2018-04-12 Electronics And Telecommunications Research Institute Apparatus and method for sharing and learning driving environment data to improve decision intelligence of autonomous vehicle
US20180237027A1 (en) * 2017-02-21 2018-08-23 Allstate Insurance Company Data Processing System for Guidance, Control, and Testing Autonomous Vehicle Features and Driver Response
CN109131356A (zh) * 2018-09-07 2019-01-04 邱实 人机混合增强智能驾驶系统及电动汽车

Also Published As

Publication number Publication date
US20220306148A1 (en) 2022-09-29
WO2021003636A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
EP3361466B1 (en) Risk-based driver assistance for approaching intersections of limited visibility
CA3054171C (en) Data processing system for guidance, control, and testing autonomous vehicle features and driver response
CN113366497B (zh) 自主载具的智能体优先级划分
KR102343684B1 (ko) 규칙에 근거하여 운전자를 지원하기 위한 제어 데이터의 생성 방법
US10496889B2 (en) Information presentation control apparatus, autonomous vehicle, and autonomous-vehicle driving support system
US20190391582A1 (en) Apparatus and method for controlling the driving of a vehicle
US11260852B2 (en) Collision behavior recognition and avoidance
US11142190B2 (en) System and method for controlling autonomous driving vehicle
US20190087668A1 (en) Electronic device and control method thereof
US11643092B2 (en) Vehicle lane change prediction
JP2019206327A (ja) 自動運転車両の軌道の生成方法
US20200307589A1 (en) Automatic lane merge with tunable merge behaviors
US10336252B2 (en) Long term driving danger prediction system
CN111613091A (zh) 利用外部驾驶员数据增强移动设备操作
CN106292432B (zh) 信息处理方法、装置和电子设备
JP2021026720A (ja) 運転支援装置、車両の制御方法、およびプログラム
CN114303041A (zh) 确定因素的各自影响
KR102418921B1 (ko) 보험료를 산정하기 위하여 자율 주행 차량의 운전자 개입 여부를 판단하는 시스템 및 방법
JP2007072809A (ja) 交通シミュレーション装置、方法及びプログラム
CN111278708B (zh) 用于辅助驾驶的方法和装置
CN114126943A (zh) 应用于自主车辆中的方法和设备
CN115017824A (zh) 评估自主驾驶模块的方法、介质和电子设备
JP6330868B2 (ja) 車両制御装置
CN109649398B (zh) 导航辅助系统和方法
WO2021140621A1 (ja) 情報生成装置、警告装置、情報生成方法、警告方法、情報生成プログラム、および警告プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination