CN109624990A - 用于基于关键帧的自主车辆操作的系统及计算机实现方法 - Google Patents

用于基于关键帧的自主车辆操作的系统及计算机实现方法 Download PDF

Info

Publication number
CN109624990A
CN109624990A CN201811106953.0A CN201811106953A CN109624990A CN 109624990 A CN109624990 A CN 109624990A CN 201811106953 A CN201811106953 A CN 201811106953A CN 109624990 A CN109624990 A CN 109624990A
Authority
CN
China
Prior art keywords
autonomous vehicle
key frame
limit value
environment
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811106953.0A
Other languages
English (en)
Other versions
CN109624990B (zh
Inventor
P·帕拉沙尔
藤村希久雄
A·纳卡埃·赛尔维达尼
A·考斯冈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN109624990A publication Critical patent/CN109624990A/zh
Application granted granted Critical
Publication of CN109624990B publication Critical patent/CN109624990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0003In analogue systems, e.g. continuous systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture

Abstract

本公开涉及用于基于关键帧的自主车辆操作的系统及计算机实现方法。具体地,根据一个方面,基于关键帧的自主车辆操作可以包括收集车辆状态信息和收集环境状态信息。可以确定所述环境内的物体的大小、所述物体与所述自主车辆之间的距离,以及所述自主车辆正在行驶穿过其中的所述环境的车道结构。可以基于所述物体的所述大小、从所述物体到所述自主车辆的所述距离、所述环境的所述车道结构以及所述车辆状态信息来选择一个匹配的关键帧模型。可以基于所选择的关键帧模型生成与自主车辆操作相关联的驾驶参数的建议限值。可以命令所述自主车辆根据所述驾驶参数的所述建议限值来自主地操作。

Description

用于基于关键帧的自主车辆操作的系统及计算机实现方法
相关申请的交叉引用
本申请要求2017年10月6日提交的名称为“LEARNING GENERALIZABLE AUTONOMOUSDRIVING CONSTRAINTS USING KEYFRAMES AND VARIATIONS FROM USER DEMONSTRATIONS”的美国临时专利申请序列号62/569431(代理人案卷号HRA-43272)的权益;上面提到的一个或多个申请的全部内容以引用方式并入本文。
技术领域
本申请涉及自主车辆领域,具体地,涉及用于基于关键帧的自主车辆操作的系统。
背景技术
自主车辆可以包括便于自主驾驶的自动驾驶系统。例如,当其他车辆或行人以可预测的方式在自主车辆周围移动时,可以利用轨迹规划。但在自主车辆的自主操作期间,却可能出现意料之外的情况或场景。
发明内容
根据一个方面,一种用于基于关键帧的自主车辆操作的系统可以包括传感器、特征提取器、推理逻辑器和电子控制单元(ECU)。传感器可以收集与自主车辆相关联的车辆状态信息、以及环境状态信息,该环境状态信息包括与位于自主车辆正在行驶穿过其中的环境内的遮挡物体相关联的信息。特征提取器可以确定遮挡物体的大小、遮挡物体与自主车辆之间的距离,以及自主车辆正在行驶穿过其中的环境的车道结构。推理逻辑器可以基于遮挡物体的大小、从遮挡物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型。推理逻辑器可以基于所选择的关键帧模型、车辆状态信息、遮挡物体的大小、从遮挡物体到自主车辆的距离以及环境的车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值。ECU可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。
车辆状态信息可以包括自主车辆的定位、自主车辆的航向,以及自主车辆的速率。环境状态信息可以包括遮挡物体的定位。环境的车道结构可以包括双车道道路结构或四车道道路结构。当自主车辆的定位小于到遮挡物体的定位的阈值距离时,ECU可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。在自主车辆已经经过遮挡物体、而仍位于到遮挡物体的定位的阈值距离内之后,ECU可以命令自主车辆无视驾驶参数的最大建议限值和最小建议限值。
这组关键帧模型可以基于三次样条或五次样条来构建。车辆状态信息可以包括自主车辆的定位,该定位按照自主车辆正在行驶穿过其中的车道内的子车道来限定。传感器可以包括雷达单元、光探测和测距(LIDAR)单元或图像捕获传感器。驾驶参数可以是自主车辆的速率、加速度或转向角。
根据一个方面,一种用于基于关键帧的自主车辆操作的系统可以包括传感器、特征提取器、推理逻辑器和电子控制单元(ECU)。传感器可以收集与自主车辆相关联的车辆状态信息、以及环境状态信息,该环境状态信息包括与位于自主车辆正在行驶穿过其中的环境内的物体相关联的信息。特征提取器可以确定物体的大小、物体与自主车辆之间的距离,以及自主车辆正在行驶穿过其中的环境的车道结构。推理逻辑器可以基于物体的大小、从物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型。推理逻辑器可以基于所选择的关键帧模型、车辆状态信息、物体的大小、从物体到自主车辆的距离以及环境的车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值。ECU可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。
当自主车辆的定位小于到物体的定位的阈值距离时,ECU可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。这组关键帧模型可以基于三次样条或五次样条来构建。车辆状态信息可以包括自主车辆的定位,该定位按照自主车辆正在行驶穿过其中的车道内的子车道来限定。传感器可以包括雷达单元、光探测和测距(LIDAR)单元或图像捕获传感器。驾驶参数可以是自主车辆的速率、加速度或转向角。
根据一个方面,一种用于基于关键帧的自主车辆操作的计算机实现的方法可以包括:收集与自主车辆相关联的车辆状态信息、以及环境状态信息,该环境状态信息包括与位于自主车辆正在行驶穿过其中的环境内的物体相关联的信息;确定物体的大小、物体与自主车辆之间的距离,以及自主车辆正在行驶穿过其中的环境的车道结构;基于物体的大小、从物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型;基于所选择的关键帧模型、车辆状态信息、物体的大小、从物体到自主车辆的距离以及环境的车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值;以及命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。
该方法可以包括:收集环境状态信息,该环境状态信息包括与位于自主车辆正在行驶穿过其中的环境内的第二物体相关联的信息;确定第二物体的大小,以及第二物体与自主车辆之间的距离;以及基于物体的大小和第二物体的大小、从物体和第二物体的平均居中定位到自主车辆的距离、环境的车道结构以及车辆状态信息,从这组关键帧模型中选择关键帧模型。车辆状态信息可以包括自主车辆的定位、自主车辆的航向,以及自主车辆的速率。环境状态信息可以包括物体的定位。
附图说明
图1是根据一个方面的一种用于基于关键帧的自主车辆操作的系统的示例部件图的图示。
图2是图1的用于基于关键帧的自主车辆操作的系统的一个示例性使用场景的图示。
图3A至图3B是与图1的用于基于关键帧的自主车辆操作的系统相关联的一个示例性训练场景的图示。
图4A至图4B是与图1的用于基于关键帧的自主车辆操作的系统相关联的一个示例性使用场景的图示。
图5是根据一个方面的一种用于基于关键帧的自主车辆操作的方法的示例流程图的图示。
图6是根据一个方面的示例计算机可读介质或计算机可读装置的图示,该计算机可读介质或计算机可读装置包括被配置为体现本文所列出的规定中的一个或多个的处理器可执行指令。
图7是根据一个方面的示例计算环境的图示,在该计算环境中实现了本文所列出的规定中的一个或多个。
具体实施方式
在本公开通篇中使用了以下术语,这里提供了这些术语的定义,以帮助理解本公开的一个或多个方面。
如本文所用,“车辆”是指能够承载一名或多名人类乘员并且由任何形式的能量驱动的任何移动车辆。在一些情况下,机动车辆包括一个或多个发动机。术语“车辆”还可以指由任何形式的能量驱动的自主车辆和/或自动驾驶车辆。车辆可以承载一名或多名人类乘员或其他货物。另外,术语“车辆”可以包括具有预先确定的路径或自由移动的自动化或非自动化车辆。
如本文所用,“操作环境”可以包括一条或多条道路,一个或多个道路段、其他车辆、物体、障碍、障碍物、动物、建筑物、碎片、坑洼、交通筒、交通锥等。一些物体可能被其他物体遮挡,称之为“遮挡物体”。遮挡物体可以是固定的或静止的物体,或者是移动物体,诸如其他车辆。
如本文所用,“模块”或“部件”包括但不限于存储有指令的非暂态计算机可读介质、在机器上执行的指令、硬件、固件、在机器上执行的软件和/或前述每一者的组合,用于执行一种或多种功能或者一种或多种动作,并且/或者从另一模块、方法和/或系统引起功能或动作。模块或部件可以包括逻辑器、软件控制的微处理器、离散逻辑电路、模拟电路、数字电路、编程的逻辑装置、包含执行指令或可执行指令的存储器装置、逻辑门、门的组合,以及/或者其他电路部件,诸如模块、系统、装置、单元或图1所示部件中的任一种。多个模块或部件可以组合成一个模块或部件,并且单个模块或部件可以分布在多个模块或部件之中。
如本文所用,“总线”是指互连的架构,该架构可操作地连接到计算机内部或任何两台计算机之间的其他计算机部件。总线可以在任何两个计算机部件之间传输数据。总线可以是存储器总线、存储器处理器、外围总线、外部总线、纵横开关和/或局部总线及其他总线。总线还可以是使用诸如媒体导向系统传输(MOST)、控制器区域网络(CAN)、局域互连网络(LIN)等协议来互连车辆内部的部件的车辆总线。
如本文所用,“通信”是指两个或更多个计算装置(例如,计算机、个人数字助理、蜂窝电话、网络装置)和/或部件之间的通信,并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输,等等。计算机通信可以跨例如无线系统(例如,IEEE 802.11)、以太网系统(例如,IEEE 802.3)、令牌环系统(例如,IEEE 802.5)、局域网(LAN)、广域网(WAN)、点到点系统、电路交换系统、分组交换系统等发生。
如本文所用,“可操作的连接”或实体借助其“可操作地连接”的连接是指其中可以发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电接口。例如,图1所示部件中的一个或多个可以彼此可操作地连接,从而便于它们之间的通信。
如本文所用,“推断”通常是指从经由事件或数据等捕获的一个或多个观察结果推理或推断出系统、部件、环境、用户的状态的过程。例如,可以采用推断来识别背景或动作,或者可以采用推断来生成状态上概率分布。推断可以是概率推断。例如,基于对数据或事件的考虑来计算感兴趣的状态上概率分布。推断还可以指用于由一组事件或数据组成更高层次事件的技术。这种推断可以导致由一组观察到的事件或存储的事件数据构建新事件或新动作,无论这些事件是否因在时间上紧密接近而相互关联,也无论这些事件和数据是来自一个还是若干个事件源和数据源,皆是如此。
图1是根据一个方面的一种用于基于关键帧的自主车辆操作的系统100的示例部件图的图示。
模拟
用于基于关键帧的自主车辆操作的系统100可以使用一个或多个关键帧模型来命令自主车辆,或者说以自主方式操作该自主车辆。这些关键帧模型可以基于下列各项来构建:观察结果,从演示过程中学习,或在模拟阶段期间通过演示来学习。因为模拟可以在驾驶模拟器102上或在受控环境中完成,所以用于基于关键帧的自主车辆操作的系统100可以从在不使用尝试错误法的情况下就可以创建的模型中学习,从而减轻在模拟阶段期间发生实际碰撞的可能。
驾驶模拟器102可以包括显示器104、设置界面106和观察结果收集器108。此外,驾驶模拟器102可以被设置为跨条件横截面或不同场景捕获或观察一种或多种驾驶特性。换句话说,驾驶模拟器102可以创建对一个或多个不同目标驾驶场景的模拟。这些驾驶场景可以包括物体、遮挡物体或其他路旁障碍、人行道上的行人、人行横道上的行人,或与遮挡物体相关联的行人。例如,在该模拟阶段中,隐藏于车辆驾驶员视野之外的行人可能从遮挡物体后面走出,从而迫使驾驶员改变路线。基于从观察结果收集器108收集的观察结果,可以构建一个或多个关键帧模型。以这种方式,驾驶模拟器102可以在模拟阶段期间从人类参与者收集数据,该数据可以用于对先前未观察到的行人或物体突然从被遮挡区域(例如,遮挡物体)出现时自主车辆可以作出的反应建模。
用于基于关键帧的自主车辆操作的系统100的益处之一是,自主车辆通过确定某个物体是与有行人隐藏在该物体后面的风险相关联的遮挡物体,在探测到物体或行人之前就可以作出反应。此外,与现实生活中的训练场景不同,不需要用不利的情况(例如,车祸或碰撞)来训练关键帧模型。
设置界面106可以用于基于一个或多个遮挡因子(例如,可以调整的独立变量)来设置该模拟。这些遮挡因子可以是影响驾驶行为的因子。例如,这些遮挡因子可以包括遮挡物体的大小、从遮挡物体到自主车辆的距离,以及自主车辆正在行驶穿过其中的环境的车道结构。设置界面106可以被配置为设置该模拟,使得在人类参与者看来遮挡物体(例如,可以是另一车辆)落入第一大小类别、第二大小类别、第三大小类别等。换句话说,设置界面106可以用于调整遮挡物体的大小(小号、中号、大号等)。尽管讨论遮挡物体(或遮挡车辆,如本文所述)的大小时参考了第一大小或第二大小(例如,中号或大号),但是应当认识到,设置界面106可以根据需要允许存在附加的大小类别。
类似地,设置界面106可以将遮挡物体与车辆之间的距离配置在第一距离范围、第二距离范围、第三距离范围等内。换句话说,设置界面106可以用于调整遮挡物体与正由人类参与者驾驶的车辆之间的距离(近(<1m)、中等(2m-3m)、远(>3m)等)。尽管讨论遮挡物体与车辆之间的距离时参考了第一距离或第二距离(例如,近或远),但是应当认识到,设置界面106可以根据需要允许存在附加的距离范围。
设置界面106还可以在模拟期间调整车辆的道路或环境的车道结构。换句话说,设置界面106可以用于修改在紧邻车辆行驶车道右侧的车道中是否存在交通行为。再次解释,这意味着设置界面106可以使该模拟中的道路能够表现为单向道路、双向道路、双车道道路、四车道道路等。尽管本文把车道结构作为双车道道路结构或四车道道路结构讨论,但是应当认识到,设置界面106可以使得能够为该模拟设置多种车道结构。
以这种方式,设置界面106可以用于控制与模拟阶段相关联、并且与用于基于关键帧的自主车辆操作的系统100相结合的一个或多个独立变量(即,遮挡因子)。假设前面提及的三个独立变量(例如,物体的大小、从物体到车辆的距离,以及车道结构)中的每一个都被控制为具有两项设置(例如,中号与大号、近与远、两车道与四车道),则可以创建八种(即23种)不同的可能模拟场景(因而关键帧模型)。应当指出,可以通过为前述独立变量中的一种或多种添加附加的类别或通过添加附加的独立变量(例如,天气、可见度、道路状况等),来创建附加的场景和关键帧模型。可以基于对不同人类驾驶员的t检验和Wilcoxon检验来检验前述独立变量中的一种或多种的显著性。
许多人类驾驶员可以通过上述不同的可能模拟场景中的每一个模拟运行一次或多次,并且观察结果收集器108可以针对这些不同模拟场景中的每一个记录一种或多种驾驶特性。换句话说,当人类驾驶员正在对应的模拟环境中导航时,观察结果收集器108可以捕获与第一模型(中号遮挡物体,靠近车辆(1m之内),在双车道道路上)相关联的一种或多种驾驶特性(例如,速率、加速度或转向角等)。观察结果收集器108可以捕获下列模型的这些驾驶特性:第二模型(大号遮挡物体,靠近车辆(1m之内),在双车道道路上)、第三模型(中号遮挡物体,远离车辆(>3m),在双车道道路上)、第四模型(大号遮挡物体,远离车辆(>3m),在双车道道路上)、第五模型(中号遮挡物体,靠近车辆(1m之内),在四车道道路上)、第六模型(大号遮挡物体,靠近车辆(1m之内),在四车道道路上)、第七模型(中号遮挡物体,远离车辆(>3m),在四车道道路上)、第八模型(大号遮挡物体,远离车辆(>3m),在四车道道路上)等。以这种方式,可以为不同场景中的每个场景构建关键帧模型。
在生成关键帧模型之前,可以先把驾驶特性存储在观察结果收集器108上或服务器114的数据库112上。由于可以捕获多名人类驾驶员的驾驶特性,所以可以针对一般人群捕获对于被有差别地建模的场景(例如,由设置界面106创建)中的每个场景作出响应的驾驶特性,用于基于关键帧的自主车辆操作的系统100因而可以学习对于相应场景通常是恰当的响应看上去应当是什么样子。驾驶特性可以包括训练车辆在该模拟内的定位、物体的定位、训练车辆的航向、训练车辆的速率、遮挡物体的大小、道路或车道结构的性质或类型、道路车道限值,等等。根据一个方面,训练车辆在该模拟内的定位可以由子车道定位划分或限定,其中每个子车道具有预定的宽度(例如,0.2m、0.25m、0.5m等)。这些子车道也可以由数字N限定,其中0是最靠近遮挡物体的子车道,N是离遮挡物体最远的子车道。因此,车辆状态信息可以包括自主车辆的定位,该定位按照自主车辆正在行驶穿过其中的车道内的子车道来限定。
设置界面106可以基于阈值(例如,大小阈值、距离阈值、车道数目阈值或车道宽度阈值等)确定独立变量(例如,物体的大小、从物体到车辆的距离(可以被划分为横向距离分量和纵向距离分量),以及车道结构)分类的差异。不管怎样,驾驶模拟器102都可以基于这些对应的阈值对独立变量或遮挡因子进行分类,并且相应地捕获用于针对不同场景创建不同模型的数据。以这种方式,驾驶模拟器102可以记录人类如何对潜在的遮挡场景作出反应,因此,可以执行广义学习以基于此创建关键帧模型。驾驶模拟器102或其一个或多个部件可以经由计算机上的处理器或处理单元实现,并且/或者存储在存储器、存储装置等上,如将参考下面的图6至图7所描述的。
使用从关键帧学习(LfK)的训练模型
可以利用关键帧模型构建器110,基于遮挡物体的大小、从遮挡物体到自主车辆的距离以及环境的车道结构来构建一组或多组关键帧模型。例如,对双向道路车道结构的约束可以构建得更严格(相比对单向道路车道结构的约束),而外缘可以构建得更保守并且保持在其自身的车道宽限之内。不管怎样,关键帧模型构建器110都可以用于基于上文参考模拟阶段所述的独立变量或遮挡因子来训练一个或多个关键帧模型。因为关键帧模型是基于这些特征来训练的,所以与级联架构相关联,这使得用于基于关键帧的自主车辆操作的系统100的部件能够处理关键帧建模时遇到的复杂情况。关键帧模型内的关键帧可以指示短轨迹的相关联驾驶参数(例如,与距离(诸如1m)或时间相关联)。
关键帧模型构建器110可以按照对驾驶员的行为和从遮挡物体后面走出来的行人的行为这两者建模的方式构建关键帧模型中的一个或多个模型,关键帧模型是可以在被建模场景的那些在实践或训练中未必已被观察到的不同变型形式上推广使用的解决方案。换句话说,因为关键帧模型基于训练驾驶员的观察结果(例如,车辆状态信息)和与环境有关的观察结果(例如,环境状态信息),所以在模拟阶段期间未记录或遇到的场景可能动态地占据一席之地。例如,即使关键帧模型构建器110基于与一个路旁物体(例如,单个遮挡物体)相关联的场景仅构建了一个模型,也可以利用该模型生成对其他场景(诸如具有依次排列的多个遮挡物体的场景)的约束,如本文将讨论的。如本文所用,约束可以意味着驾驶参数的范围或建议范围。驾驶参数的实例可以包括自主车辆的速率、加速度或转向角。
关键帧模型构建器110可以构建一个或多个关键帧模型,用于包括一个或多个前提条件。例如,前提条件可以是当前状态条件,它可以在执行或使用对应的关键帧或关键帧模型之前加以匹配。以这种方式,可以结合使用人工痕迹(例如,前提条件或原语)在运行时间期间动态地创建任务计划或关键帧模型,以到达目标(例如,在存在遮挡物体的环境中提供自主驾驶指令或命令)。此外,关键帧模型构建器110可以将独立变量或遮挡因子作为输入变换为规范的、以自我为中心的内部表示,该内部表示将工作状态与环境变化隔离(例如,不管遮挡物体是在左侧还是右侧,也不管遮挡物体的数目是多少,等等)。
根据一个方面,关键帧模型构建器110可以经由计算机上的处理器或处理单元实现,并且/或者存储在存储器、存储装置等上,如将参考下面的图6至图7所描述的。此外,关键帧模型构建器110可以使用关键帧作为任务里程碑或原语来构建一个或多个关键帧模型。根据一个方面,关键帧模型构建器110可以通过在学习次佳约束与基于优化进行规划之间分解任务来构建关键帧模型中的一个或多个。另外,关键帧模型或其关键帧中的一个或多个可以表示与对应的驾驶参数相关联的原语库或原语动作库。例如,可以存在与自主车辆的速率、加速度或转向角等中的每一者相关联的一组关键帧模型。
关键帧模型或多组关键帧模型可以存储在服务器114的数据库112上,并且可以能够由用于基于关键帧的自主车辆操作的系统100访问、由自主车辆访问,或由可以与自主车辆或用于基于关键帧的自主车辆操作的系统100通信的移动装置(例如,智能电话、平板电脑等)访问。
此外,关键帧模型构建器110可以基于观察到的驾驶特性中的一种或多种特性来确定D阈值。作为另一实例,关键帧模型构建器110可以使用预定的D阈值。根据其他方面,与不同的关键帧模型相关联的不同驾驶参数可以实现它们自己的D阈值。关键帧模型构建器110可以构建关键帧模型,同时在道路或车道结构的性质与来自类似交通场景的比较观察结果之间加以区别。在任何情况下,D阈值都可以是人类驾驶员通常开始对该模拟内的遮挡物体作出反应的距离。
自主驾驶
用于基于关键帧的自主车辆操作的系统100可以包括传感器120、特征提取器130、导航装置140、推理逻辑器142、总线150和控制器160。控制器160可以控制自主车辆的一个或多个部件,诸如转向机构162、节流机构164或制动机构166。
传感器120可以收集车辆状态信息和环境状态信息,并且可以包括雷达单元、光探测和测距(LIDAR)单元或图像捕获传感器。例如,车辆状态信息可以是与自主车辆相关联的信息,诸如自主车辆的当前航向或方位、当前速率、当前加速度、当前转向角、当前轨迹、当前定位等。环境状态信息可以是与位于自主车辆正在行驶穿过其中的环境内的遮挡物体相关联的信息。例如,环境状态信息可以指示遮挡物体的大小、遮挡物体相对于自主车辆的定位、遮挡物体与自主车辆之间的距离、道路的性质、环境的车道结构、道路车道的数目、道路车道的限值(例如车道宽度)等。
特征提取器130可以提取或确定与车辆状态信息或环境状态信息相关联的特征,以便于选择匹配模型。换句话说,根据一个方面,由特征提取器130提取的特征可以例如用于最接近地匹配上面讨论的八个模型中的一个。换句话说,特征提取器130可以确定遮挡物体的大小、遮挡物体与自主车辆之间的距离,以及自主车辆正在行驶穿过其中的环境的车道结构。这些提取的特征可以对应于在上述模拟阶段期间由设置界面106控制的独立变量中的一个或多个。在任何情况下,由特征提取器130提取的特征(例如,遮挡物体的大小、遮挡物体与自主车辆之间的距离、自主车辆的子车道定位,以及车道结构)都可以由推理逻辑器142用于例如将关键帧视作进度度量,从而相应地选择匹配的关键帧模型。换句话说,因为特征提取器130提取前述特征作为关键帧或原语,所以这些特征可以被看作可以线性组合的进度标记,从而使得推理逻辑器142能够选择一个或多个匹配的关键帧模型,然后将多个关键帧接合或“缝合”在一起以形成一个内聚性模型。
以这种方式,可以利用关键帧或原语,基于所选择的关键帧模型自定义响应(例如,作为确定的或生成的驾驶参数或其他多组约束),使其符合与一个或多个遮挡物体相关联的所感测或探测到的场景,从而使得用于基于关键帧的自主车辆操作的系统100能够充当框架,来跨确定针对不同驾驶场景的驾驶参数的源任务的变型形式传输约束。由于关键帧或原语可以按这样的方式串在一起,所以推理逻辑器142可以学习已知容许行为的变型形式,并且在运行时间期间(例如,实时地)将这些变型形式实施为针对给定驾驶参数的经修改建议范围形式的约束。以这种方式,可以提供最佳路线,同时在自主操作期间提升自主车辆及其乘员的安全性。
导航装置140可以生成用于自主车辆的一条或多条轨迹,诸如从起始位置到目的地位置的一条或多条轨迹,并且可以生成或输出轨迹约束包络和/或速度约束包络作为对全球范围内的轨迹规划的指导、或者以其他方式提供顶层类型导航规划(例如,基于地图信息生成从第一位置到第二位置的路线,该地图信息可以存储在服务器114上,包括道路网络信息)。换句话说,导航装置140可以生成从第一位置到第二位置的路线。根据一个方面,导航装置140可以生成驾驶参数,诸如速度、速率、加速度,或用于高层次规划的其他轨迹约束。
推理逻辑器142可以便于作出低层次或中层次的决策(例如,时时刻刻选择自主车辆的子车道定位、速率、加速度、轨迹等)。以这种方式,推理逻辑器142可以利用遮挡物体与自主车辆之间的距离作为选择对应的匹配关键帧模型的一个因素,从而提供真实人类驾驶员在类似场景中对遮挡物体作出反应的方式的所估计指示。这使得ECU 160能够命令自主车辆据此自主地操作。推理逻辑器142可以在架构上被设置为遵循漏斗式规划生成范例,或以其他方式生成针对运行时间加以优化的驾驶参数。例如,推理逻辑器142可以位于导航逻辑层次体系的中间层,并且生成速度约束和轨迹约束,作为针对被传感器120探测到的场景的驾驶参数,这些场景诸如被探测到的遮挡物体(例如,指示潜在的盲点)和/或从遮挡物体后面出现的实际障碍物。因此,根据一个方面,可以利用由推理逻辑器142生成的约束或驾驶参数来增补或替换由导航装置140生成的驾驶参数。
换句话说,推理逻辑器142可以基于遮挡物体的大小、从遮挡物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型,并且基于所选择的关键帧模型、车辆状态信息、遮挡物体的大小、从遮挡物体到自主车辆的距离以及环境的车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值。
推理逻辑器142可以通过将轨迹视作用于外推的曲线,来选择匹配的关键帧模型。可以使用不同阶次的样条来内插输入轨迹,方式为:使用起点和终点,然后添加具有最大误差的轨迹点,作为中间关键帧。换句话说,与观察到的驾驶特性相关联的轨迹的第一设定点和最后设定点可以与样条(例如,三次样条、五次样条等)配合。在将上边界和下边界确定为给定驾驶参数的最大建议限值和最小建议限值时,考虑了平均值度量、方差度量和其他统计度量。将该有序元组(μKx,σKx)保存为关键帧模型。该操作可以重复进行,直到外推轨迹与实际轨迹之间的误差小于预定阈值为止。以这种方式,关键帧模型可以充当任务里程碑标识符,在这种情况下,关键帧被对齐和聚类以提供平均关键帧,然后可以利用这些平均关键帧在运行时间或实时地外推轨迹或其他驾驶参数。由于推理逻辑器142将关键帧或关键帧模型当作里程碑,所以这些里程碑可以被看作进度的度量和执行的检查点。
例如,传感器120可以连续地收集与自主车辆相关联的车辆状态信息、以及环境状态信息,该环境状态信息包括与位于自主车辆正在行驶穿过其中的环境内的遮挡物体相关联的信息。特征提取器130可以连续地确定遮挡物体的大小、遮挡物体与自主车辆之间的距离,以及自主车辆正在行驶穿过其中的环境的车道结构。推理逻辑器142可以基于遮挡物体的大小、从遮挡物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从这组关键帧模型中连续地选择匹配的关键帧模型。推理逻辑器142还可以基于所选择的关键帧模型、车辆状态信息、遮挡物体的大小、从遮挡物体到自主车辆的距离以及环境的车道结构,连续地生成驾驶参数的最大建议限值和最小建议限值。
由于关键帧可以被看作进度标记,所以推理逻辑器142可以通过线性地将针对对应的驾驶场景的相应关键帧组合在一起,而生成针对具有多个遮挡物体的各种驾驶场景的约束(例如,驾驶参数的最大建议限值和最小建议限值)。换句话说,推理逻辑器142可以“随插即用”或“剪切并粘贴”各个关键帧、多组关键帧或多个子组的关键帧,以相应地生成多组参数,诸如驾驶参数的最大建议限值或最小建议限值。以这种方式,与每个关键帧相关联的动作可以按不同的方式连接在一起,以解决域内的任务。
在任何情况下,推理逻辑器142都可以接收自主车辆的当前定位(例如,该当前定位可以包括自主车辆的子车道)、遮挡物体或物体的定位、自主车辆的当前航向、自主车辆的当前速率、与遮挡物体相关联的大小、与环境相关联的道路或车道结构的类型,并且输出或以其他方式生成一个或多个驾驶参数。对于每个驾驶参数,推理逻辑器142可以在一个时间段或时间范围(例如,5秒)内生成最大建议限值和最小建议限值,作为建议的操作范围。推理逻辑器142可以使用该时间范围和当前速度来计算对应的距离范围、所存储方差的自我中心值,以及匹配的关键帧模型的三次样条,以将建议的边界或限值创建为距离范围上的外推曲线,如图4A至图4B中的x-轴所指示。
控制器160可以是自主车辆的电子控制单元(ECU)。ECU 160或控制器可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。这可以在一个或多个时间间隔或者一个或多个定位间隔处完成,如图4A至图4B中沿x-轴(例如,在竖直方向或上下方向上)的线条所指示。在任何情况下,ECU 160都可以致使匹配的关键帧模型的各方面在对应的车辆部件上执行(例如,如果即将到来的关键帧的驾驶参数与速率相关,并且大于车辆的当前速率,则增大节流阀开度)。换句话说,ECU160可以根据匹配的关键帧模型,通过改变自主车辆的车辆部件(即,转向机构162、节流机构164或制动机构166)中的一个或多个部件的状态来实现自主驾驶,诸如当自主车辆位于遮挡物体的D阈值之内时。以这种方式,当自主车辆的定位小于到遮挡物体的定位的阈值距离(D阈值)时,ECU 160可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。
根据一个或多个方面,用于基于关键帧的自主车辆操作的系统100可以依次探测两个或更多个遮挡物体,诸如第一遮挡物体、第二遮挡物体等。换句话说,由传感器120收集的环境状态信息可以包括与位于自主车辆正在行驶穿过其中的环境内的第一遮挡物体和第二遮挡物体相关联的信息。特征提取器130可以确定第二遮挡物体的大小、第二遮挡物体与自主车辆之间的距离。如前所讨论,这些距离可以被分解为纬度分量和纵向分量。推理逻辑器142可以基于第二遮挡物体的大小、从第二遮挡物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从一组关键帧模型中选择一个或多个匹配的关键帧模型。在使用所选择的一个或多个关键帧模型的情况下,推理逻辑器142可以基于所选择的一个或多个关键帧模型、车辆状态信息、第二遮挡物体的大小、从第二遮挡物体到自主车辆的距离以及环境的车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值。
根据一个方面,推理逻辑器142可以将后来的遮挡物体当作具有其自身的阈值距离(D阈值)的孤立物体。如果第一遮挡物体和第二遮挡物体彼此之间的距离足够大,使得D阈值1(对应于第一遮挡物体)和D阈值2(对应于第二遮挡物体)以及相应的活动行为时间不会发生冲突,则推理逻辑器142可以分别实现对应的关键帧模型。然而,如果第一遮挡物体和第二遮挡物体彼此之间的距离使得D阈值1(对应于第一遮挡物体)和D阈值2(对应于第二遮挡物体)以及相应的活动行为时间确实发生了重叠,则推理逻辑器142可以一起实现对应的关键帧模型,诸如通过使用从第一遮挡物体一直到第一遮挡物体的中心点CPh1的关键帧生成约束(例如,驾驶参数的最大建议限值和最小建议限值),并将该操作连同从第二遮挡物体到第二遮挡物体的中心点CPh2(位于CPh1之后)的关键帧串在一起。推理逻辑器142可以基于三次样条将与第一遮挡物体和第二遮挡物体相关联的关键帧串在一起。换句话说,可以使用三次样条将多组关键帧组合在一起。
根据一个方面,推理逻辑器142可以通过确定第一遮挡物体的中心点CPh1与第二遮挡物体的中心点CPh2之间的平均点(AP(h1,h2))来实现对应的关键帧模型。例如,这可以是从第一物体和第二物体的平均居中定位到自主车辆的距离。这里,推理逻辑器142可以将第一遮挡物体和第二遮挡物体当作孤立物体,并且在全球域中检索方差关键帧。推理逻辑器142可以选择前向分量小于AP(h1,h2)的所有h1关键帧,并且将这些下面的h2关键帧与大于AP(h1,h2)的前向分量堆叠在一起。该组合可以与三次样条一起用于生成对重叠的遮挡物体的约束。
图2是图1的用于基于关键帧的自主车辆操作的系统100的一个示例性使用场景的图示。如前所讨论,可以实现D阈值,使得每个驾驶参数都具有其自身的D阈值,但是D阈值可以在这些驾驶参数之中共用。在任何情况下,D阈值都可以指示人类驾驶员对遮挡物体210(例如,与出现行人或障碍的可能性相关联)作出反应的距离。
根据一个方面,当自主车辆的定位小于到遮挡物体210的定位的阈值距离(诸如D阈值)时,ECU 160可以命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作。换句话说,一旦自主车辆到达D阈值,ECU 160就可以激活与驾驶参数相关联的约束。在自主车辆移动距离Dab(即,在参加与关键帧模型相关联的活动行为时的距离)时,这些驾驶参数可以保持激活或保持处于使用状态。在这些驾驶参数得到激活期间,推理逻辑器142拍摄当前特征或驾驶参数的快照,并且将这些驾驶参数变换为以自我为中心的维度。如图2中看到的,遮挡物体210可以是与两个因素即大小和中心定位CPh相关联的危险h。
然而,在经过遮挡物体210之后,ECU 160可以实现驾驶参数的其他范围或建议限值。换句话说,在自主车辆已经经过遮挡物体210、而仍位于到遮挡物体210的定位的阈值距离内之后(诸如,在行驶了阈值距离Dab之后),ECU可以命令自主车辆无视驾驶参数的最大建议限值和最小建议限值。
图3A至图3B是与图1的用于基于关键帧的自主车辆操作的系统100相关联的一个示例性训练场景的图示。如图3A中看到的,遮挡物体310可以表示潜在盲点的场景,其中行人320可能从遮挡物体后面走出。这在图3B中描绘。如前所讨论,在训练或模拟阶段期间,可以在人类驾驶员进行测试运行期间记录或存储诸如车辆特性之类的信息,并且可以使用该信息来构建关键帧模型。自主车辆可以基于这些关键帧模型来操作。
图4A至图4B是与图1的用于基于关键帧的自主车辆操作的系统100相关联的一个示例性使用场景的图示。图4A至图4B是不同驾驶参数的示例性边界(例如,最大建议限值和最小建议限值)。如图4A至图4B中看到的,与包络相关联的范围(例如,介于最大建议限值与最小建议限值之间)不必是对称的。尽管图4B的右边界是转向运动较小的更紧的边界,但是左边界更加弯弯曲曲,并且在朝“躲避”物体方面的权重更大。这些形成鲜明对比的边界代表驾驶员的不同行为定势,诸如以目标为导向、做出最小可能运动的行为定势,以及以安全为导向、做出夸大动作的行为定势。根据一个方面,可以实现LfD,以基于自主车辆的用户或乘员的人口统计数据来使行为适合于用户。通过记录用户对行为的偏好,用于基于关键帧的自主车辆操作的系统100的框架可以更新关键帧和方差模型以反映用户偏好,从而推动行为控制器实现与两个极端中的一个(例如,最小或最大)相关联的驾驶参数。
图5是根据一个方面的一种用于基于关键帧的自主车辆操作的方法的示例流程图的图示。该方法可以包括收集502与自主车辆相关联的车辆状态信息并且收集504环境状态信息,该环境状态信息包括与位于自主车辆正在行驶穿过其中的环境内的物体相关联的信息;确定506物体的大小、物体与自主车辆之间的距离,以及自主车辆正在行驶穿过其中的环境的车道结构;基于物体的大小、从物体到自主车辆的距离、环境的车道结构以及车辆状态信息,从一组关键帧模型中选择508一个匹配的关键帧模型;基于所选择的关键帧模型、车辆状态信息、物体的大小、从物体到自主车辆的距离以及环境的车道结构,生成510与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值;以及命令自主车辆根据驾驶参数的最大建议限值和最小建议限值来自主地操作512。
又一个方面涉及一种计算机可读介质,该计算机可读介质包括处理器可执行指令,这些指令被配置为实现本文所提出的技术的一个方面。以这些方式设计的计算机可读介质或计算机可读装置的一个实施方案在图6中展示,其中具体实施600包括在其上编码有计算机可读数据606的计算机可读介质608,诸如CD-R、DVD-R、闪存驱动器、硬盘驱动器的盘片等。该编码的计算机可读数据606(诸如包括如606中所示的多个零和一的二进制数据)进而包括一组处理器可执行计算机指令604,这些指令被配置为根据本文所列出的原理中的一个或多个来工作。在一个这样的实施方案600中,处理器可执行计算机指令604可以被配置为执行方法602,诸如图5的方法500。在另一个方面,处理器可执行计算机指令604可以被配置为实现一个系统,诸如图1的系统100。本领域的普通技术人员可以设计许多这样的计算机可读介质,这些介质被配置为根据本文所提出的技术来工作。
如本申请中所用,术语“部件”、“模块”、“系统”、“界面”等通常旨在指代与计算机相关的实体,要么是硬件、硬件与软件的组合、软件,要么是执行中的软件。例如,部件可以是、但不限于是正在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序或计算机。以举例说明的方式,正在控制器上运行的应用和控制器这两者都可以是部件。驻留在进程或执行线程和部件内的一个或多个部件可以定位在一台计算机上或分布在两台或更多台计算机之间。
另外,所要求保护的发明主题被实现为使用标准的编程技术或工程技术来产生软件、固件、硬件或它们的任意组合以控制计算机实现所公开的发明主题的方法、设备或制造品。如本文所用的术语“制造品”旨在涵盖可从任何计算机可读装置、载体或介质访问的计算机程序。当然,在不脱离所要求保护的发明主题的范围或实质的前提下,可以对该配置作出许多修改。
图7和以下的讨论提供了对用于实现本文所列出的规定中的一个或多个的各方面的合适计算环境的描述。图7的操作环境仅仅是合适的操作环境的一个实例,并不旨在对操作环境的使用范围或功能提出任何限制。示例的计算装置包括但不限于个人计算机、服务器计算机、手持式或膝上型装置、移动装置(诸如移动电话)、个人数字助理(PDA)、媒体播放器等,多处理器系统、消费性电子产品、小型计算机、大型计算机、包括上述系统或装置中的任一种的分布式计算环境,等等。
一般来讲,在由一个或多个计算装置执行的“计算机可读指令”的一般语境中描述各实施方案或各方面。计算机可读指令可以经由计算机可读介质来分布,如下文将讨论的。计算机可读指令可以实现为程序模块,诸如功能、对象、应用编程接口(API)、数据结构等,这些程序模块执行一个或多个任务、或者实现一种或多种抽象数据类型。典型地,这些计算机可读指令的功能在各种环境中根据需要加以组合或分布。
图7展示了包括计算装置712的系统700,该计算装置被配置为实现本文所提供的一个方面。在一种配置中,计算装置712包括至少一个处理单元716和存储器718。取决于该计算装置的确切配置和类型,存储器718可以是易失性的(诸如RAM)、非易失性的(诸如ROM)、闪存存储器等,或者这两者的组合。该配置在图7中由虚线714展示。
在其他方面,计算装置712包括附加的特征或功能。例如,计算装置712可以包括附加的存储装置,诸如可移动的存储装置或不可移动的存储装置,包括但不限于磁存储装置、光学存储装置等。这种附加的存储装置在图7中由存储装置720展示。在一个方面,用于实现本文所提供的一个方面的计算机可读指令位于存储装置720中。存储装置720可以存储其他计算机可读指令,以便实现操作系统、应用程序等。例如,计算机可读指令可以被加载到存储器718中,以供处理单元716执行。
如本文所用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。存储器718和存储装置720是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置,或者可以用于存储期望的信息并且可以由计算装置712访问的任何其他介质。任何这样的计算机存储介质都是计算装置712的一部分。
术语“计算机可读介质”包括通信介质。通信介质典型地以“调制的数据信号”(诸如载波或其他传送机制)来体现计算机可读指令或其他数据,并且包括任何信息传递介质。术语“调制的数据信号”包括其特征中的一种或多种特征以对该信号中的信息进行编码这样的方式加以设置或改变的信号。
计算装置712包括一个或多个输入装置724,诸如键盘、鼠标、笔、语音输入装置、触摸输入装置、红外相机、视频输入装置或任何其他输入装置。一个或多个输出装置722(诸如一个或多个显示器、扬声器、打印机或任何其他输出装置)可以与计算装置712包括在一起。一个或多个输入装置724和一个或多个输出装置722可以经由有线连接、无线连接或它们的任意组合连接到计算装置712。在一个方面,来自另一个计算装置的输入装置或输出装置可以用作计算装置712的一个或多个输入装置724或者一个或多个输出装置722。计算装置712可以包括一个或多个通信连接726,以促进(诸如通过网络728)与一个或多个其他装置730进行通信。
尽管已用结构特征或方法动作专用的语言描述了发明主题,但是应当理解,所附权利要求书的主题不必限于上述的具体特征或动作。相反,上述的具体特征和动作作为示例的实施方案公开。
本文提供了多个实施方案的各种操作。描述这些操作中的一种或多种或者全部的次序不应被解释为暗示这些操作必须依赖于次序。基于该描述,将认识到可以存在替代性的排序方式。另外,并非所有操作都可能必须存在于本文所提供的每个实施方案中。
如本申请中所用,“或”旨在意味着包容性的“或”,而非排他性的“或”。另外,包容性的“或”可以包括它的任意组合(例如,A、B,或者它们的任意组合)。此外,如本申请中所用的“一个”和“一种”通常被解释为意味着“一个或多个”、“一种或多种”,除非另外指明或从上下文可以清楚看出它指向单数形式。此外,A和B中的至少一者和/或类似说法通常意味着A或B、或者A和B两者。另外,“包括”、“具有”或它们的变型在具体实施方式或权利要求的范围内使用时,这些术语旨在以与术语“包括”类似的方式以包容性的用法使用。
另外,除非另外指明,否则“第一”、“第二”等并不旨在暗示时间方面、空间方面、排序等。相反,这些术语仅仅用作特征、要素、项目等的标识符、名称等。例如,第一信道和第二信道通常对应于信道A和信道B,或者两个不同或两个相同的信道,或者同一个信道。此外,“包括”、“包含”等词通常意味着包括(或包含)但不限于。
应当认识到,可能期望将以上公开的各种特征和功能以及其他的特征和功能或者它们的替代物或变型组合到许多其他不同的系统或应用中。而且,本领域的技术人员随后可以作出各种目前无法预料或不曾预料到的替代、修改、变化或改进,这些内容也旨在被所附各项权利要求所涵盖。

Claims (20)

1.一种用于基于关键帧的自主车辆操作的系统,其包括:
传感器,所述传感器收集与自主车辆相关联的车辆状态信息、以及环境状态信息,所述环境状态信息包括与位于所述自主车辆正在行驶穿过其中的环境内的遮挡物体相关联的信息;
特征提取器,所述特征提取器经由电子控制单元ECU的处理器实现,用于确定所述遮挡物体的大小、所述遮挡物体与所述自主车辆之间的距离,以及所述自主车辆正在行驶穿过其中的所述环境的车道结构;
推理逻辑器,所述推理逻辑器经由所述ECU的所述处理器实现,用于:
基于所述遮挡物体的所述大小、从所述遮挡物体到所述自主车辆的所述距离、所述环境的所述车道结构以及所述车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型;以及
基于所选择的关键帧模型、所述车辆状态信息、所述遮挡物体的所述大小、从所述遮挡物体到所述自主车辆的所述距离以及所述环境的所述车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值;并且
其中所述ECU命令所述自主车辆根据所述驾驶参数的所述最大建议限值和所述最小建议限值来自主地操作。
2.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述车辆状态信息包括所述自主车辆的定位、所述自主车辆的航向,以及所述自主车辆的速率。
3.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述环境状态信息包括所述遮挡物体的定位。
4.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述环境的所述车道结构包括双车道道路结构或四车道道路结构。
5.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中当所述自主车辆的定位小于到所述遮挡物体的定位的阈值距离时,所述ECU命令所述自主车辆根据所述驾驶参数的所述最大建议限值和所述最小建议限值来自主地操作。
6.根据权利要求5所述的用于基于关键帧的自主车辆操作的系统,其中在所述自主车辆已经经过所述遮挡物体、而仍位于到所述遮挡物体的所述定位的所述阈值距离内之后,所述ECU命令所述自主车辆无视所述驾驶参数的所述最大建议限值和所述最小建议限值。
7.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述一组关键帧模型基于三次样条或五次样条。
8.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述车辆状态信息包括所述自主车辆的定位,所述定位按照所述自主车辆正在行驶穿过其中的车道内的子车道来限定。
9.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述传感器包括雷达单元、光探测和测距LIDAR单元或图像捕获传感器。
10.根据权利要求1所述的用于基于关键帧的自主车辆操作的系统,其中所述驾驶参数是所述自主车辆的速率、加速度或转向角。
11.一种用于基于关键帧的自主车辆操作的系统,其包括:
传感器,所述传感器收集与自主车辆相关联的车辆状态信息、以及环境状态信息,所述环境状态信息包括与位于所述自主车辆正在行驶穿过其中的环境内的物体相关联的信息;
特征提取器,所述特征提取器经由电子控制单元ECU的处理器实现,用于确定所述物体的大小、所述物体与所述自主车辆之间的距离,以及所述自主车辆正在行驶穿过其中的所述环境的车道结构;
推理逻辑器,所述推理逻辑器经由所述ECU的所述处理器实现,用于:
基于所述物体的所述大小、从所述物体到所述自主车辆的所述距离、所述环境的所述车道结构以及所述车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型;以及
基于所选择的关键帧模型、所述车辆状态信息、所述物体的所述大小、从所述物体到所述自主车辆的所述距离以及所述环境的所述车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值;并且
其中所述ECU命令所述自主车辆根据所述驾驶参数的所述最大建议限值和所述最小建议限值来自主地操作。
12.根据权利要求11所述的用于基于关键帧的自主车辆操作的系统,其中当所述自主车辆的定位小于到所述物体的定位的阈值距离时,所述ECU命令所述自主车辆根据所述驾驶参数的所述最大建议限值和所述最小建议限值来自主地操作。
13.根据权利要求11所述的用于基于关键帧的自主车辆操作的系统,其中所述一组关键帧模型基于三次样条或五次样条。
14.根据权利要求11所述的用于基于关键帧的自主车辆操作的系统,其中所述车辆状态信息包括所述自主车辆的定位,所述定位按照所述自主车辆正在行驶穿过其中的车道内的子车道来限定。
15.根据权利要求11所述的用于基于关键帧的自主车辆操作的系统,其中所述传感器包括雷达单元、光探测和测距LIDAR单元或图像捕获传感器。
16.根据权利要求11所述的用于基于关键帧的自主车辆操作的系统,其中所述驾驶参数是所述自主车辆的速率、加速度或转向角。
17.一种用于基于关键帧的自主车辆操作的计算机实现的方法,其包括经由电子控制单元ECU的处理器执行下列各项:
收集与自主车辆相关联的车辆状态信息、以及环境状态信息,所述环境状态信息包括与位于所述自主车辆正在行驶穿过其中的环境内的物体相关联的信息;
确定所述物体的大小、所述物体与所述自主车辆之间的距离,以及所述自主车辆正在行驶穿过其中的所述环境的车道结构;
基于所述物体的所述大小、从所述物体到所述自主车辆的所述距离、所述环境的所述车道结构以及所述车辆状态信息,从一组关键帧模型中选择一个匹配的关键帧模型;
基于所选择的关键帧模型、所述车辆状态信息、所述物体的所述大小、从所述物体到所述自主车辆的所述距离以及所述环境的所述车道结构,生成与自主车辆操作相关联的驾驶参数的最大建议限值和最小建议限值;以及
命令所述自主车辆根据所述驾驶参数的所述最大建议限值和所述最小建议限值来自主地操作。
18.根据权利要求17所述的计算机实现的方法,其包括:
收集环境状态信息,所述环境状态信息包括与位于所述自主车辆正在行驶穿过其中的所述环境内的第二物体相关联的信息;
确定所述第二物体的大小,以及所述第二物体与所述自主车辆之间的距离;以及
基于所述物体的所述大小和所述第二物体的所述大小、从所述物体和所述第二物体的平均居中定位到所述自主车辆的距离、所述环境的所述车道结构以及所述车辆状态信息,从所述一组关键帧模型中选择所述关键帧模型。
19.根据权利要求17所述的计算机实现的方法,其中所述车辆状态信息包括所述自主车辆的定位、所述自主车辆的航向,以及所述自主车辆的速率。
20.根据权利要求17所述的计算机实现的方法,其中所述环境状态信息包括所述物体的定位。
CN201811106953.0A 2017-10-06 2018-09-21 用于基于关键帧的自主车辆操作的系统及计算机实现方法 Active CN109624990B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762569431P 2017-10-06 2017-10-06
US62/569,431 2017-10-06
US15/947,210 2018-04-06
US15/947,210 US10739774B2 (en) 2017-10-06 2018-04-06 Keyframe based autonomous vehicle operation

Publications (2)

Publication Number Publication Date
CN109624990A true CN109624990A (zh) 2019-04-16
CN109624990B CN109624990B (zh) 2023-05-16

Family

ID=65992607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811106953.0A Active CN109624990B (zh) 2017-10-06 2018-09-21 用于基于关键帧的自主车辆操作的系统及计算机实现方法

Country Status (3)

Country Link
US (1) US10739774B2 (zh)
JP (1) JP7283844B2 (zh)
CN (1) CN109624990B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147747A (zh) * 2020-01-06 2021-07-23 株式会社万都 用于辅助车辆驾驶的设备及其方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443192B1 (en) 2015-08-30 2016-09-13 Jasmin Cosic Universal artificial intelligence engine for autonomous computing devices and software applications
US9864933B1 (en) 2016-08-23 2018-01-09 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using visual surrounding for autonomous object operation
US10452974B1 (en) 2016-11-02 2019-10-22 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using a device's circumstances for autonomous device operation
US10607134B1 (en) 2016-12-19 2020-03-31 Jasmin Cosic Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation
US11300963B1 (en) 2017-08-18 2022-04-12 Amazon Technologies, Inc. Robot movement constraint system
US11422565B1 (en) * 2017-08-18 2022-08-23 Amazon Technologies, Inc. System for robot movement that is informed by cultural conventions
DE102017124951A1 (de) * 2017-10-25 2019-04-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs und selbstfahrendes Kraftfahrzeug
US10474934B1 (en) 2017-11-26 2019-11-12 Jasmin Cosic Machine learning for computing enabled systems and/or devices
WO2020264222A1 (en) * 2019-06-25 2020-12-30 DeepMap Inc. Image-based keypoint generation
US11835958B2 (en) * 2020-07-28 2023-12-05 Huawei Technologies Co., Ltd. Predictive motion planning system and method
CN111950434B (zh) * 2020-08-07 2022-06-17 武汉中海庭数据技术有限公司 一种基于离散点扫描的车道线结构化方法及系统
US20230350699A1 (en) * 2022-04-29 2023-11-02 Toyota Research Institute, Inc. Schema driven user interface creation to develop autonomous driving applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2739989A1 (en) * 2008-10-24 2010-04-29 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US20150142248A1 (en) * 2013-11-20 2015-05-21 Electronics And Telecommunications Research Institute Apparatus and method for providing location and heading information of autonomous driving vehicle on road within housing complex
CN104812645A (zh) * 2012-09-27 2015-07-29 谷歌公司 基于车辆行为确定驾驶环境的改变
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作
US9645577B1 (en) * 2016-03-23 2017-05-09 nuTonomy Inc. Facilitating vehicle driving and self-driving
US20170253241A1 (en) * 2016-03-01 2017-09-07 Ford Global Technologies, Llc Autonomous vehicle operation based on interactive model predictive control

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8843236B2 (en) 2012-03-15 2014-09-23 GM Global Technology Operations LLC Method and system for training a robot using human-assisted task demonstration
US20130325202A1 (en) 2012-06-01 2013-12-05 GM Global Technology Operations LLC Neuro-cognitive driver state processing
US9070202B2 (en) 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
EP2979246A1 (en) * 2013-03-27 2016-02-03 Thomson Licensing Method and apparatus for automatic keyframe extraction
WO2015023634A2 (en) * 2013-08-12 2015-02-19 Flyby Media, Inc. Visual-based inertial navigation
JP6156067B2 (ja) * 2013-11-01 2017-07-05 富士通株式会社 移動量推定装置及び移動量推定方法
US9737990B2 (en) 2014-05-16 2017-08-22 Microsoft Technology Licensing, Llc Program synthesis for robotic tasks
US9403273B2 (en) 2014-05-23 2016-08-02 GM Global Technology Operations LLC Rapid robotic imitation learning of force-torque tasks
JP6308032B2 (ja) * 2014-06-04 2018-04-11 株式会社デンソー 運転操作を生成するシステムおよび方法
CN107134006B (zh) * 2016-02-29 2020-11-24 株式会社理光 创建物理场景模型的方法和装置、辅助驾驶的方法和装置
US9760827B1 (en) 2016-07-22 2017-09-12 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
KR20180060784A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 비정상 객체 판단 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2739989A1 (en) * 2008-10-24 2010-04-29 Gray & Company, Inc. Control and systems for autonomously driven vehicles
CN104812645A (zh) * 2012-09-27 2015-07-29 谷歌公司 基于车辆行为确定驾驶环境的改变
US20150142248A1 (en) * 2013-11-20 2015-05-21 Electronics And Telecommunications Research Institute Apparatus and method for providing location and heading information of autonomous driving vehicle on road within housing complex
CN105835878A (zh) * 2015-01-29 2016-08-10 丰田自动车工程及制造北美公司 在乘员视野和传感器检测受阻环境中的自主车辆操作
US20170253241A1 (en) * 2016-03-01 2017-09-07 Ford Global Technologies, Llc Autonomous vehicle operation based on interactive model predictive control
US9645577B1 (en) * 2016-03-23 2017-05-09 nuTonomy Inc. Facilitating vehicle driving and self-driving

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113147747A (zh) * 2020-01-06 2021-07-23 株式会社万都 用于辅助车辆驾驶的设备及其方法

Also Published As

Publication number Publication date
JP2019069758A (ja) 2019-05-09
US10739774B2 (en) 2020-08-11
US20190107839A1 (en) 2019-04-11
CN109624990B (zh) 2023-05-16
JP7283844B2 (ja) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109624990A (zh) 用于基于关键帧的自主车辆操作的系统及计算机实现方法
Zeng et al. Dsdnet: Deep structured self-driving network
Chen et al. A deep learning algorithm for simulating autonomous driving considering prior knowledge and temporal information
US11667301B2 (en) Symbolic modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems
US11710303B2 (en) Systems and methods for prioritizing object prediction for autonomous vehicles
Ding et al. A survey on safety-critical driving scenario generation—A methodological perspective
US11551414B2 (en) Simulation architecture for on-vehicle testing and validation
Ding et al. Online vehicle trajectory prediction using policy anticipation network and optimization-based context reasoning
US10401852B2 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US9507346B1 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US11731652B2 (en) Systems and methods for reactive agent simulation
KR102589587B1 (ko) 자율 주행 차량용 동적 모델 평가 패키지
Wong et al. Testing the safety of self-driving vehicles by simulating perception and prediction
Yan et al. Learning naturalistic driving environment with statistical realism
US11810365B1 (en) Perception error modeling
Karnchanachari et al. Towards learning-based planning: The nuPlan benchmark for real-world autonomous driving
Huang Safe intention-aware maneuvering of autonomous vehicles
Bhattacharyya Modeling Human Driving from Demonstrations
US20230278582A1 (en) Trajectory value learning for autonomous systems
Roche Multimodal machine learning for intelligent mobility
Nasernejad Modeling pedestrian behavior in pedestrian-vehicle near misses using inverse reinforcement learning algorithms
US11891088B1 (en) Adversarial agent controls generation and problematic scenario forecasting
US20240124004A1 (en) Synthetic scene generation for autonomous vehicle testing
Hruschka Risk assessment for integral safety in operational motion planning of automated driving
Yan Simulating Naturalistic Driving Environment for Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant