CN107697070B - 驾驶行为预测方法和装置、无人车 - Google Patents

驾驶行为预测方法和装置、无人车 Download PDF

Info

Publication number
CN107697070B
CN107697070B CN201710791181.8A CN201710791181A CN107697070B CN 107697070 B CN107697070 B CN 107697070B CN 201710791181 A CN201710791181 A CN 201710791181A CN 107697070 B CN107697070 B CN 107697070B
Authority
CN
China
Prior art keywords
driving behavior
driving
sequence
vector
scene information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710791181.8A
Other languages
English (en)
Other versions
CN107697070A (zh
Inventor
郁浩
闫泳杉
郑超
唐坤
张云飞
姜雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710791181.8A priority Critical patent/CN107697070B/zh
Publication of CN107697070A publication Critical patent/CN107697070A/zh
Priority to PCT/CN2018/098984 priority patent/WO2019047651A1/zh
Application granted granted Critical
Publication of CN107697070B publication Critical patent/CN107697070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了驾驶行为预测方法和装置、无人车。所述方法的一具体实施方式包括：获取预定的连续时间段内的驾驶行为序列，各驾驶行为包括驾驶操作和与驾驶操作对应的场景信息；将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量；以及将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。该实施方式训练后的驾驶行为预测模型预测得到的驾驶行为向量具有多个在时间上连续且相互关联的驾驶行为的特征，从而可以确保基于预测得到的驾驶行为向量生成的驾驶行为序列中所包含的各个驾驶行为之间的相互关联性。

Description

驾驶行为预测方法和装置、无人车
技术领域
本申请涉及计算机技术领域，具体涉及无人驾驶技术领域，尤其涉及驾驶行为预测方法和装置、无人车。
背景技术
无人驾驶汽车，是指主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目标的汽车。随着深度学习技术的迅速发展以及人工智能领域的深入研究，汽车工业特别是无人驾驶汽车领域，正在进行着革命性的变化。
在现有的应用深度学习技术的无人驾驶汽车中，车载大脑通常可以通过预先的对模型的训练和学习来根据具体驾驶场景的需求输出对车辆的控制指令。
一般而言，现有的无人驾驶汽车中，车载大脑通常可以通过学习单幅图像的特征来进行预测，从而得到单个驾驶行为。
然而，仅针对单幅图像的特征来预测，无法捕捉到图像之间的时序关联，相邻预测结果之间相互独立且不相关联，无法保证相邻预测结果的连续性。预测得到的多个行为之间具有较大的发散性，相互之间没有约束关系，使得预测结果不符合真实人的驾驶习惯。
发明内容
本申请的目的在于提出一种改进的驾驶行为预测方法和装置、无人车，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种驾驶行为预测方法，方法包括：获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与驾驶操作对应的场景信息；将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量；以及将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
在一些实施例中，在将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型之后，方法还包括：响应于接收到当前场景信息，将所接收到的当前场景信息输入训练后的驾驶行为预测模型，以得到与所接收到的当前场景信息对应的驾驶行为向量；以及将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
在一些实施例中，获取预定的连续时间段内的驾驶行为序列还包括：将采集得到的连续驾驶行为切分成为多个预定的连续时间段内的驾驶行为序列。
在一些实施例中，将驾驶行为序列映射生成驾驶行为向量还包括：将驾驶行为序列输入预先训练的多层神经网络模型以得到与驾驶行为序列对应的驾驶行为向量。
在一些实施例中，将预测得到的驾驶行为向量反向映射生成驾驶行为序列还包括：将预测得到的驾驶行为向量输入预先训练的多层神经网络模型，以反向映射生成驾驶行为序列。
第二方面，本申请提供了一种驾驶行为预测装置，装置包括：获取模块，用于获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与驾驶操作对应的场景信息；映射模块，用于将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量；以及训练模块，用于将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
在一些实施例中，装置还包括：预测模块，用于响应于接收到当前场景信息，将所接收到的当前场景信息输入训练后的驾驶行为预测模型，以预测得到与所接收到的当前场景信息对应的驾驶行为向量；反向映射模块，用于将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
在一些实施例中，获取模块还用于：将采集得到的连续驾驶行为切分成为多个预定的连续时间段内的驾驶行为序列。
在一些实施例中，映射模块还用于：将驾驶行为序列输入预先训练的多层神经网络模型以得到与驾驶行为序列对应的驾驶行为向量。
在一些实施例中，反向映射模块还用于：将预测得到的驾驶行为向量输入预先训练的多层神经网络模型，以反向映射生成驾驶行为序列。
第三方面，本申请提供了一种无人车，包括车载处理模块，车载处理模块用于：获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与所述驾驶操作对应的场景信息；将所述驾驶行为序列映射生成驾驶行为向量，其中，所述驾驶行为向量的维数小于所述驾驶行为序列所包含的驾驶行为的数量；以及将所述驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，所述驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
在一些实施例中，车载处理模块还用于：响应于接收到场景信息，将所接收到的场景信息输入训练后的驾驶行为预测模型，以得到与所接收到的场景信息对应的驾驶行为向量；以及将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
第四方面，本申请提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上的驾驶行为预测方法。
第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的驾驶行为预测方法。
本申请提供的驾驶行为预测方法和装置、无人车，通过获取预定的连续时间段内的驾驶行为序列，将驾驶行为序列映射成维数较低的驾驶行为向量，再利用驾驶行为向量作为训练样本来训练预先建立的驾驶行为预测模型。这样一来，由于训练样本中包含了多个在时间上连续的驾驶行为的特征，使得训练后的驾驶行为预测模型预测得到的驾驶行为向量具有多个在时间上连续且相互关联的驾驶行为的特征，从而可以确保基于预测得到的驾驶行为向量生成的驾驶行为序列中所包含的各个驾驶行为之间的相互关联性。另一方面，由于采用维数较低的驾驶行为向量作为训练样本，可以减小训练预先建立的驾驶行为预测模型时的运算量，有利于提升训练效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的驾驶行为预测方法的一个实施例的流程图；
图3是根据本申请的驾驶行为预测方法的又一个实施例的流程图；
图4是根据本申请的驾驶行为预测方法的一个应用场景的示意图；
图5是根据本申请的驾驶行为预测装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的车辆避障方法或车辆避障装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括车辆(例如，无人车)101，安装在车辆101上的车载传感器102和车载处理模块103、以及服务器104。其中车辆101可以为无人驾驶车辆，车载处理模块103可以通过网络与服务器104连接，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
车载传感器102可以采集无人驾驶车辆行驶过程中的场景信息和驾驶操作数据。车载传感器102例如可以包括车载摄像头、激光雷达传感器、毫米波雷达传感器、速度传感器、空气压力传感器等。车载处理模块103可以为ECU(Electronic Control Unit，电子控制单元)，或者可以为车载电脑，用于对车辆的各部件的工作状态进行分析和控制。车载处理模块103可以获取车载传感器102采集的数据，并对数据进行处理和响应，还可以控制车载传感器采集的数据的存储和传输。
服务器104可以通过网络与车载处理模块103建立连接，车载处理模块103可以将传感器数据发送至服务器104。服务器104可以对传感器数据进行分析，将分析结果反馈至车载处理模块103。车载处理模块103可以根据接收到的分析结果进行响应。
需要说明的是，本申请实施例所提供的驾驶行为预测方法可以由车载处理模块103或服务器104执行，相应地，驾驶行为预测装置也可以设置于车载处理模块103或服务器104中。
应该理解，图1中的车辆、车载传感器、车载处理模块和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的无人驾驶车辆、车载传感器、车载处理模块和服务器。
继续参考图2，示出了根据本申请的驾驶行为预测方法的一个实施例的流程200。所述的驾驶行为预测方法，包括以下步骤：
步骤210，获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与所述驾驶操作对应的场景信息。
在这里，驾驶行为序列中可以包括多个具有时间关联的驾驶行为。例如，驾驶行为序列可以包括在t1时刻采集的驾驶行为a，在t2时刻采集的驾驶行为b，在tn时刻采集的驾驶行为n等等。
此外，本实施例中，驾驶行为可以包括驾驶操作和与各驾驶操作相对应的场景信息。驾驶操作可以是任何对无人车执行的、可以改变无人车的当前行驶状态的操作。例如，驾驶操作可以是改变无人车当前行进方向的操作，和/或，驾驶操作可以是改变无人车当前行进速度的操作等等。场景信息例如可以是由无人车的车载传感器采集到的用于表征无人车当前所处场景的信息。例如，场景信息可以是由车载摄像头采集到的图像信息，和/或，由激光雷达传感器采集到的无人车当前车速、位置信息，和/或，由毫米波雷达传感器采集到的无人车与障碍物之间的距离信息等等。
需要说明的是，驾驶行为序列中的每一个驾驶行为可以包括一个驾驶操作，或者，也可以包括在同一时刻采集得到的多个驾驶操作。类似地，驾驶行为序列中的每一个驾驶行为可以包括由某一个车载传感器采集得到的场景信息，或者，也可以包括在同一时刻由多个车载传感器分别采集得到的场景信息。
在本实施例中，驾驶行为预测方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式获取由其它电子设备(例如，车载传感器)采集得到的驾驶行为序列。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤220，将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量。
在一些可选的实现方式中，可以通过提取驾驶行为序列中各个驾驶行为的特征，来映射得到驾驶行为向量。
在这里，例如可以采用机器学习的方式来提取各个驾驶行为的特征，从而得到维数更低、更为致密的驾驶行为向量。
步骤230，将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
在一些可选的实现方式中，例如，可以通过机器学习的方法来训练预设的驾驶行为预测模型。在这里，机器学习方法例如可以包括但不限于：决策树模型、人工神经网络、支持向量机等等。
在这里，“预设”的含义例如可以是，模型的结构是预先设定的。在训练过程中，可以通过循环迭代的方式来调整模型中的各个参数，在达到预设的条件(例如，完成预先设定的迭代次数，或者相邻两次训练的参数值偏差小于某一预设的阈值)之后，可以视为完成了对模型的训练。
本实施例的驾驶行为预测方法，通过获取预定的连续时间段内的驾驶行为序列，将驾驶行为序列映射成维数较低的驾驶行为向量，再利用驾驶行为向量作为训练样本来训练预先建立的驾驶行为预测模型。这样一来，由于训练样本中包含了多个在时间上连续的驾驶行为的特征，使得训练后的驾驶行为预测模型预测得到的驾驶行为向量具有多个在时间上连续且相互关联的驾驶行为的特征，从而可以确保基于预测得到的驾驶行为向量生成的驾驶行为序列中所包含的各个驾驶行为之间的相互关联性。另一方面，由于采用维数较低的驾驶行为向量作为训练样本，可以减小训练预先建立的驾驶行为预测模型时的运算量，有利于提升训练效率。
进一步参考图3，其示出了驾驶行为预测方法的又一个实施例的流程300。该驾驶行为预测方法的流程300，包括以下步骤：
步骤310，获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与所述驾驶操作对应的场景信息。
步骤320，将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量。
步骤330，将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
本实施例的上述步骤310～步骤330的执行方式与图2所示的实施例中的步骤210～步骤230的执行方式类似，在此不再赘述。
与图2所示的实施例不同的是，本实施例的驾驶行为预测方法进一步包括：
步骤340，响应于接收到当前场景信息，将所接收到的当前场景信息输入训练后的驾驶行为预测模型，以得到与所接收到的当前场景信息对应的驾驶行为向量。
也即是说，在完成了预设的驾驶行为预测模型的训练之后，可以将训练后的驾驶行为预测模型用于预测驾驶行为。
具体地，可以在接收到当前场景信息之后，将该当前场景信息输入训练后的驾驶行为预测模型，从而得到相应的驾驶行为向量。
步骤350，将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
由于预测得到的驾驶行为向量维数较低，因此，将驾驶行为向量作为驾驶行为预测模型的预测输出，可以相应地减小驾驶行为预测模型的运算量，提升预测的效率和实时性。
然而，在控制无人车进执行相应的指令或动作时，无人车的执行机构往往无法直接地识别出驾驶行为向量所对应的执行或动作。因此，在本步骤中，通过将将预测得到的驾驶行为向量反向映射生成驾驶行为序列，可以方便无人车的各个执行机构识别出需要执行的指令，有利于执行机构执行指令的实时性。
在本实施例的一些可选的实现方式中，单个驾驶行为可以包含多个驾驶操作，在这些可选的实现方式中，在反向映射生成驾驶行为序列之后，本实施例的驾驶行为预测方法运行其上的电子设备可以将单个驾驶行为所包含的各个驾驶操作分别发送至与各驾驶操作相对应的执行机构，从而控制这些执行机构进行作动。
本实施例的驾驶行为预测方法，应用训练得到的驾驶行为预测模型来预测得到驾驶行为向量，并且将驾驶行为向量反向映射得到驾驶行为序列，有利于减少驾驶行为预测模型的运算量，提升驾驶行为预测模型的预测效率和实时性。
在本申请的驾驶行为预测方法的一些可选的实现方式中，步骤210、步骤310中的获取预定的连续时间段内的驾驶行为序列还可以进一步包括：将采集得到的连续驾驶行为切分成为多个预定的连续时间段内的驾驶行为序列。
在这些可选的实现方式的一些应用场景中，可以通过人工驾驶的方式来采集连续驾驶行为。具体地，可以由驾驶员驾驶设置有车载传感器的车辆，并连续地采集驾驶行为，例如，由不同的车载传感器分别采集驾驶操作和相应的场景信息。
接着，再按照预定的连续时间段以及预设的起始时刻，来将采集得到的驾驶行为进行区分，形成多个预定的连续时段内的驾驶行为序列。
在一些可选的实现方式中，步骤220、步骤320中的将驾驶行为序列映射生成驾驶行为向量可以进一步包括：将驾驶行为序列输入预先训练的多层神经网络模型以得到与驾驶行为序列对应的驾驶行为向量。
在这些可选的实现方式中的一些应用场景中，多层神经网络模型例如可以是包括多个卷积层的卷积神经网络模型。一般而言，卷积神经网络包括卷积层(convolutionallayer)和池化层(pooling layer)。在开始训练卷积神经网络前，所有的卷积核参数都可采用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因卷积核参数值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化卷积核参数，则网络无能力学习。通过把网络训练出来的结果和真实类别进行比对来修正误差卷积神经网络的解译误差。通过调整卷积核参数使误差最小化来不断优化卷积神经网络。
或者，在另一些应用场景中，预先训练的多层神经网络模型也可以是其它的非卷积神经网络模型，例如，长短期记忆网络(Long Short-Term Memory，LSTM)。
此外，在一些可选的实现方式中，步骤350的将预测得到的驾驶行为向量反向映射生成驾驶行为序列可以进一步包括：将预测得到的驾驶行为向量输入预先训练的多层神经网络模型，以反向映射生成驾驶行为序列。
在这些可选的实现方式中，可以采用同一个多层神经网络模型通过互换输入、输出，来实现驾驶行为序列和驾驶行为向量的相互映射。
进一步参考图4，其示出了本申请的驾驶行为预测方法的一个应用场景的示意图。
具体地，如附图标记410所示，可以利用地图采集车来采集得到驾驶行为。例如，通过安装在地图采集车上的车载摄像头来采集地图采集车行进过程中的视频，通过角度传感器来采集地图采集车行进过程中的方向盘角度，通过压力传感器来采集施加在油门和/或刹车踏板上的压力，从而换算得到车速和/或加速度信息。
接着，如附图标记420所示，将采集得到的驾驶行为进行切分，例如，以一分钟为一段，将采集到的驾驶行为切分成多个驾驶行为序列。
接着，如附图标记430所示，将切分形成的驾驶行为序列输入预先训练的多层神经网络，以分别映射为驾驶行为向量。例如，可以借鉴自然语言处理(Natural LanguageProcessing，NLP)领域中得到词向量的方式，来将驾驶行为序列分别映射为驾驶行为向量。
接着，如附图标记440所示，将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型。
接着，如附图标记450所示，在完成预先建立的驾驶行为预测模型的训练之后，若接收到当前场景信息，则将当前场景信息输入该训练后的驾驶行为预测模型，从而预测得到驾驶行为向量。
最后，如附图标记460所示，将预测得到的驾驶行为向量输入至预先训练的多层神经网络，从而得到与该预测得到的驾驶行为向量相对应的驾驶行为序列。
这样一来，由于训练样本中包含了多个在时间上连续的驾驶行为的特征，使得训练后的驾驶行为预测模型预测得到的驾驶行为向量具有多个在时间上连续且相互关联的驾驶行为的特征，从而可以确保基于预测得到的驾驶行为向量生成的驾驶行为序列中所包含的各个驾驶行为之间的相互关联性。另一方面，由于采用维数较低的驾驶行为向量作为训练样本和预测输出，可以减小训练和预测时的运算量，有利于提升训练效率和预测的实时性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种驾驶行为预测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的驾驶行为预测装置500包括：获取模块510、映射模块520和训练模块530。
其中，获取模块510可用于获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与驾驶操作对应的场景信息。
映射模块520可用于将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量。
训练模块530可用于将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
在一些可选的实现方式中，本实施例的驾驶行为预测装置还可以包括预测模块540和反向映射模块550。
其中，预测模块540可用于响应于接收到当前场景信息，将所接收到的当前场景信息输入训练后的驾驶行为预测模型，以预测得到与所接收到的当前场景信息对应的驾驶行为向量。
反向映射模块550可用于将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
在一些可选的实现方式中，获取模块510还可用于将采集得到的连续驾驶行为切分成为多个预定的连续时间段内的驾驶行为序列。
在一些可选的实现方式中，映射模块520还可用于将驾驶行为序列输入预先训练的多层神经网络模型以得到与驾驶行为序列对应的驾驶行为向量。
在一些可选的实现方式中，反向映射模块550还可用于将预测得到的驾驶行为向量输入预先训练的多层神经网络模型，以反向映射生成驾驶行为序列。
本领域技术人员可以理解，上述驾驶行为预测装置500还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图5中未示出。
此外，本申请实施例还公开了一种无人车，包括车载处理模块。车载处理模块可以用于：获取预定的连续时间段内的驾驶行为序列，各驾驶行为包括驾驶操作和与驾驶操作对应的场景信息；将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量；以及将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
在一些可选的实现方式中，车载处理模块还可以进一步用于：响应于接收到场景信息，将所接收到的场景信息输入训练后的驾驶行为预测模型，以得到与所接收到的场景信息对应的驾驶行为向量；以及将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、解析模块、信息选取模块和生成模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“用于获取预定的连续时间段内的驾驶行为序列的模块”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当一个或者多个程序被一个设备执行时，使得设备：获取预定的连续时间段内的驾驶行为序列，驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与驾驶操作对应的场景信息；将驾驶行为序列映射生成驾驶行为向量，其中，驾驶行为向量的维数小于驾驶行为序列所包含的驾驶行为的数量；以及将驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种驾驶行为预测方法，其特征在于，包括：
获取预定的连续时间段内的驾驶行为序列，所述驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与所述驾驶操作对应的场景信息，所述场景信息包括由车载传感器采集得到的以下至少一者：图像信息以及与障碍物之间的距离信息；
将所述驾驶行为序列映射生成驾驶行为向量，其中，所述驾驶行为向量的维数小于所述驾驶行为序列所包含的驾驶行为的数量；以及
将所述驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，所述驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
2.根据权利要求1所述的方法，其特征在于，在所述将所述驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型之后，所述方法还包括：
响应于接收到当前场景信息，将所接收到的当前场景信息输入训练后的驾驶行为预测模型，以得到与所接收到的当前场景信息对应的驾驶行为向量；以及
将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
3.根据权利要求1所述的方法，其特征在于，所述获取预定的连续时间段内的驾驶行为序列还包括：
将采集得到的连续驾驶行为切分成为多个预定的连续时间段内的驾驶行为序列。
4.根据权利要求2所述的方法，其特征在于，所述将所述驾驶行为序列映射生成驾驶行为向量还包括：
将所述驾驶行为序列输入预先训练的多层神经网络模型以得到与所述驾驶行为序列对应的驾驶行为向量。
5.根据权利要求4所述的方法，其特征在于，所述将预测得到的驾驶行为向量反向映射生成驾驶行为序列还包括：
将预测得到的驾驶行为向量输入所述预先训练的多层神经网络模型，以反向映射生成驾驶行为序列。
6.一种驾驶行为预测装置，其特征在于，包括：
获取模块，用于获取预定的连续时间段内的驾驶行为序列，所述驾驶行为序列包括多个驾驶行为，各驾驶行为包括驾驶操作和与所述驾驶操作对应的场景信息，所述场景信息包括由车载传感器采集得到的以下至少一者：图像信息以及与障碍物之间的距离信息；
映射模块，用于将所述驾驶行为序列映射生成驾驶行为向量，其中，所述驾驶行为向量的维数小于所述驾驶行为序列所包含的驾驶行为的数量；以及
训练模块，用于将所述驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，所述驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
预测模块，用于响应于接收到当前场景信息，将所接收到的当前场景信息输入训练后的驾驶行为预测模型，以预测得到与所接收到的当前场景信息对应的驾驶行为向量；
反向映射模块，用于将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
8.根据权利要求6所述的装置，其特征在于，所述获取模块还用于：
将采集得到的连续驾驶行为切分成为多个预定的连续时间段内的驾驶行为序列。
9.根据权利要求7所述的装置，其特征在于，所述映射模块还用于：
将所述驾驶行为序列输入预先训练的多层神经网络模型以得到与所述驾驶行为序列对应的驾驶行为向量。
10.根据权利要求9所述的装置，其特征在于，所述反向映射模块还用于：
将预测得到的驾驶行为向量输入所述预先训练的多层神经网络模型，以反向映射生成驾驶行为序列。
11.一种无人车，其特征在于，包括车载处理模块，所述车载处理模块用于：
获取预定的连续时间段内的驾驶行为序列，所述驾驶行为序列包括多个驾驶行为，各所述驾驶行为包括驾驶操作和与所述驾驶操作对应的场景信息，所述场景信息包括由车载传感器采集得到的以下至少一者：图像信息以及与障碍物之间的距离信息；
将所述驾驶行为序列映射生成驾驶行为向量，其中，所述驾驶行为向量的维数小于所述驾驶行为序列所包含的驾驶行为的数量；以及
将所述驾驶行为向量作为训练样本训练预先建立的驾驶行为预测模型，其中，所述驾驶行为预测模型用于基于接收到的当前场景信息预测驾驶行为向量。
12.根据权利要求11所述的无人车，其特征在于，所述车载处理模块还用于：
响应于接收到场景信息，将所接收到的场景信息输入训练后的驾驶行为预测模型，以得到与所接收到的场景信息对应的驾驶行为向量；以及
将预测得到的驾驶行为向量反向映射生成驾驶行为序列。
13.一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任意一项所述的驾驶行为预测方法。
14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5任意一项所述的驾驶行为预测方法。
CN201710791181.8A 2017-09-05 2017-09-05 驾驶行为预测方法和装置、无人车 Active CN107697070B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710791181.8A CN107697070B (zh) 2017-09-05 2017-09-05 驾驶行为预测方法和装置、无人车
PCT/CN2018/098984 WO2019047651A1 (zh) 2017-09-05 2018-08-06 驾驶行为预测方法和装置、无人车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710791181.8A CN107697070B (zh) 2017-09-05 2017-09-05 驾驶行为预测方法和装置、无人车

Publications (2)

Publication Number Publication Date
CN107697070A CN107697070A (zh) 2018-02-16
CN107697070B true CN107697070B (zh) 2020-04-07

Family

ID=61172037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710791181.8A Active CN107697070B (zh) 2017-09-05 2017-09-05 驾驶行为预测方法和装置、无人车

Country Status (2)

Country Link
CN (1) CN107697070B (zh)
WO (1) WO2019047651A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107697070B (zh) * 2017-09-05 2020-04-07 百度在线网络技术（北京）有限公司 驾驶行为预测方法和装置、无人车
CN108596266A (zh) * 2018-05-02 2018-09-28 深圳市易成自动驾驶技术有限公司 基于半监督学习的融合决策方法、装置及存储介质
CN108921044A (zh) * 2018-06-11 2018-11-30 大连大学 基于深度卷积神经网络的驾驶员决策特征提取方法
CN108944947A (zh) * 2018-07-15 2018-12-07 北京三快在线科技有限公司 驾驶设备决策的预测方法和装置
US10678245B2 (en) * 2018-07-27 2020-06-09 GM Global Technology Operations LLC Systems and methods for predicting entity behavior
CN110824912B (zh) * 2018-08-08 2021-05-18 华为技术有限公司 训练用于生成自动驾驶策略的控制策略模型的方法和装置
CN110893858B (zh) * 2018-09-12 2021-11-09 华为技术有限公司 一种智能驾驶方法及智能驾驶系统
US10832140B2 (en) * 2019-01-30 2020-11-10 StradVision, Inc. Method and device for providing information for evaluating driving habits of driver by detecting driving scenarios occurring during driving
CN109739245A (zh) * 2019-02-19 2019-05-10 东软睿驰汽车技术（沈阳）有限公司 一种基于无人驾驶的端到端模型评估方法及装置
CN111738037B (zh) * 2019-03-25 2024-03-08 广州汽车集团股份有限公司 一种自动驾驶方法及其系统、车辆
CN110459051B (zh) * 2019-06-21 2020-09-04 平安国际智慧城市科技股份有限公司 路段特征模型训练方法、装置、终端设备及存储介质
WO2021056327A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for analyzing human driving behavior
CN111284485B (zh) * 2019-10-10 2021-06-18 中国第一汽车股份有限公司 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质
CN110667597B (zh) * 2019-10-14 2021-07-23 吉林大学 基于车辆控制器局域网数据信息的驾驶风格状态辨识方法
CN110796856B (zh) * 2019-10-16 2022-03-25 腾讯科技（深圳）有限公司 车辆变道意图预测方法及变道意图预测网络的训练方法
CN112364882B (zh) * 2019-12-30 2023-04-07 致讯科技(天津)有限公司 一种基于感知赋能的增强自动驾驶方法和系统
CN111367968B (zh) * 2020-03-16 2023-09-05 斑马网络技术有限公司 驾驶数据处理方法、装置、设备及存储介质
CN111581887B (zh) * 2020-05-16 2023-04-07 郑州轻工业大学 一种虚拟环境中基于仿真学习的无人车智能训练方法
CN111694973B (zh) * 2020-06-09 2023-10-13 阿波罗智能技术(北京)有限公司 自动驾驶场景的模型训练方法、装置、电子设备
CN111775949B (zh) * 2020-07-09 2023-11-21 中国人民解放军国防科技大学 一种人机共驾控制系统的个性化驾驶员转向行为辅助方法
CN113968234B (zh) * 2021-11-29 2023-05-02 深圳市科莱德电子有限公司 一种车辆辅助驾驶控制方法、装置及车载控制器
CN114782926B (zh) * 2022-06-17 2022-08-26 清华大学 驾驶场景识别方法、装置、设备、存储介质和程序产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5904226B2 (ja) * 2014-02-26 2016-04-13 株式会社豊田中央研究所 車両挙動予測装置及びプログラム
JP6443381B2 (ja) * 2015-09-30 2018-12-26 株式会社デンソー 運転支援装置
CN105320966A (zh) * 2015-10-30 2016-02-10 东软集团股份有限公司 一种车辆行驶状态识别方法及装置
US9791861B2 (en) * 2015-11-12 2017-10-17 International Business Machines Corporation Autonomously servicing self-driving vehicles
CN105530061A (zh) * 2016-01-22 2016-04-27 江苏大学 一种车联网与图像融合的前向车辆驾驶人驾驶行为预测系统
CN105718750B (zh) * 2016-01-29 2018-08-17 长沙理工大学 一种车辆行驶轨迹的预测方法及系统
CN106203626A (zh) * 2016-06-30 2016-12-07 北京奇虎科技有限公司 汽车驾驶行为检测方法及装置、汽车
CN106682602B (zh) * 2016-12-16 2020-01-21 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106740864B (zh) * 2017-01-12 2019-03-19 北京交通大学 一种驾驶行为意图判断与预测方法
CN107697070B (zh) * 2017-09-05 2020-04-07 百度在线网络技术（北京）有限公司 驾驶行为预测方法和装置、无人车

Also Published As

Publication number Publication date
WO2019047651A1 (zh) 2019-03-14
CN107697070A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
CN107697070B (zh) 驾驶行为预测方法和装置、无人车
CN107491072B (zh) 车辆避障方法和装置
CN110850854A (zh) 自动驾驶员代理和为自动驾驶员代理提供策略的策略服务器
CN110850861A (zh) 基于注意的分层变道深度强化学习
US11107228B1 (en) Realistic image perspective transformation using neural networks
US12005922B2 (en) Toward simulation of driver behavior in driving automation
CN109693672B (zh) 用于控制无人驾驶汽车的方法和装置
US11100372B2 (en) Training deep neural networks with synthetic images
CN112784885A (zh) 基于人工智能的自动驾驶方法、装置、设备、介质及车辆
US20230153623A1 (en) Adaptively pruning neural network systems
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
CN113379654A (zh) 动态路由的块鉴别器
US11745766B2 (en) Unseen environment classification
US20230162480A1 (en) Frequency-based feature constraint for a neural network
US20220188621A1 (en) Generative domain adaptation in a neural network
US11620475B2 (en) Domain translation network for performing image translation
US20230162039A1 (en) Selective dropout of features for adversarial robustness of neural network
DE102022124848A1 (de) System und prozess unter verwendung homomorpher verschlüsselung, um parameter neuronaler netze für ein kraftfahrzeug zu sichern
US20220207348A1 (en) Real-time neural network retraining
US10977783B1 (en) Quantifying photorealism in simulated data with GANs
US11462020B2 (en) Temporal CNN rear impact alert system
US20210103800A1 (en) Certified adversarial robustness for deep reinforcement learning
US20220172062A1 (en) Measuring confidence in deep neural networks
US20230139521A1 (en) Neural network validation system
US11068749B1 (en) RCCC to RGB domain translation with deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant