CN111553242A - 用于预测驾驶行为的生成对抗网络的训练方法和电子设备 - Google Patents

用于预测驾驶行为的生成对抗网络的训练方法和电子设备 Download PDF

Info

Publication number
CN111553242A
CN111553242A CN202010331971.XA CN202010331971A CN111553242A CN 111553242 A CN111553242 A CN 111553242A CN 202010331971 A CN202010331971 A CN 202010331971A CN 111553242 A CN111553242 A CN 111553242A
Authority
CN
China
Prior art keywords
driving behavior
generator
picture
discriminator
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010331971.XA
Other languages
English (en)
Other versions
CN111553242B (zh
Inventor
于海泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Shanghai Automotive Technologies Ltd
Original Assignee
Uisee Shanghai Automotive Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Shanghai Automotive Technologies Ltd filed Critical Uisee Shanghai Automotive Technologies Ltd
Priority to CN202010331971.XA priority Critical patent/CN111553242B/zh
Publication of CN111553242A publication Critical patent/CN111553242A/zh
Application granted granted Critical
Publication of CN111553242B publication Critical patent/CN111553242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例涉及一种用于预测驾驶行为的生成对抗网络的训练方法、电子设备和存储介质，应用于智能驾驶车辆，所述生成对抗网络包括：生成器和判别器；所述方法包括：获取车辆周围环境的视觉图片、分割图片、车辆定位值序列和历史驾驶行为；所述生成器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为；所述判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为的第一判别值；基于所述第一判别值更新所述生成器的参数；所述判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成对真实驾驶行为的第二判别值；基于所述第一判别值和第二判别值更新所述判别器的参数。

Description

用于预测驾驶行为的生成对抗网络的训练方法和电子设备
技术领域
本公开实施例涉及智能驾驶技术领域，具体涉及一种用于预测驾驶行为的生成对抗网络的训练方法、电子设备和存储介质。
背景技术
目前，基于端到端神经网络训练智能驾驶行为策略的网络，大多是基于单一的视觉图片和普通的卷积神经网络，训练出来的效果比较差，普通的卷积神经网络没有体现行为策略决策的连贯性，且单一的图片易受到光照、遮挡等干扰，并且训练出的网络容易出现较大的累积误差无法修正。
上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。
发明内容
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种用于预测驾驶行为的生成对抗网络的训练方法、电子设备和存储介质。
第一方面，本公开实施例提出一种用于预测驾驶行为的生成对抗网络的训练方法，应用于智能驾驶车辆，所述生成对抗网络包括：生成器和判别器；所述方法包括：
获取车辆周围环境的视觉图片、分割图片、车辆定位值序列和历史驾驶行为；
所述生成器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为；
所述判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为的第一判别值；
基于所述第一判别值更新所述生成器的参数；
所述判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成对真实驾驶行为的第二判别值；
基于所述第一判别值和第二判别值更新所述判别器的参数。
第二方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。
第三方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。
可见，本公开的至少一个实施例中，生成器基于视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为，其中低等级视觉图片和高等级分割图片包含车辆周围环境的宏观信息和细节信息，相比单一图片易受光照、遮挡等干扰，可提高预测驾驶行为的抗干扰性；另外采用生成对抗网络使行为决策具有连贯性，通过生成对抗的方式进行驾驶行为的模仿学习，相比卷积神经网络易出现较大的累积误差无法修正，可降低训练过程中的累积误差。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种用于预测驾驶行为的生成对抗网络的示例性架构图；
图2是本公开实施例提供的另一种用于预测驾驶行为的生成对抗网络的示例性架构图；
图3是本公开实施例提供的一种电子设备的示例性框图；
图4是本公开实施例提供的一种用于预测驾驶行为的生成对抗网络的训练方法的示例性流程图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本公开实施例提供了一种用于预测驾驶行为的生成对抗网络的训练方法、电子设备或存储介质，通过生成器基于视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为，其中低等级视觉图片和高等级分割图片包含车辆周围环境的宏观信息和细节信息，相比单一图片易受光照、遮挡等干扰，可提高预测驾驶行为的抗干扰性；另外采用生成对抗网络使行为决策具有连贯性，通过生成对抗的方式进行驾驶行为的模仿学习，相比卷积神经网络易出现较大的累积误差无法修正，可降低训练过程中的累积误差，可以应用于智能驾驶车辆，还可以应用于电子设备。所述智能驾驶车辆为搭载不同等级智能驾驶系统的车辆，智能驾驶系统例如包括：无人驾驶系统、辅助驾驶系统、驾驶辅助系统、高度自动驾驶系统、完全自动驾驶车辆等等。所述电子设备可安装有智能驾驶系统，例如电子设备可用于测试智能驾驶算法，又例如电子设备可以为车载设备，在一些实施例中，电子设备还可以应用到其他领域，例如游乐场具有智能驾驶功能的游乐设施，又例如景区无人驾驶的游览车。应当理解的是，本申请的方法的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以将本申请应用于其他类似情景。以下为了能够更清楚无误的阐述，本公开实施例以智能驾驶车辆为例对所述用于预测驾驶行为的生成对抗网络的训练方法、电子设备或存储介质进行说明。
图1为本公开实施例提供的一种用于预测驾驶行为的生成对抗网络的示例性整体架构图。所述生成对抗网络应用于智能驾驶车辆或智能驾驶系统。如图1所示，所述生成对抗网络包括：生成器和判别器。
在一些实施例中，所述生成器和所述判别器互相博弈学习进行训练：所述生成器生成预测驾驶行为；所述判别器判断所述预测驾驶行为是真实行为的概率或是预测行为的概率，所述生成器基于所述概率更新所述生成器的参数，而所述判别器基于对预测驾驶行为的第一判别值和对真实驾驶行为的第二判别值更新所述判别器的参数。通过不断的对抗迭代，使得生成对抗网络中的判别器能更加精准地判断所接收到的驾驶行为是真实行为还是预测行为，使得生成器能够生成以假乱真的预测驾驶行为，完成训练目标。
所述的“训练目标”可以为生成对抗网络的生成器生成的预测驾驶行为是否满足要求的预设目标。在一些实施例中，所述训练目标为所述判别器判断所述生成器生成的驾驶行为是真实行为的概率或是预测行为的概率均收敛。驾驶行为是真实行为的概率与预测行为的概率之和为1，由于函数的收敛性质，生成对抗网络的训练目标例如可以是所预测的驾驶行为是真实行为的概率或为预测行为的概率均接近0.5。当判断未能达到训练目标时，可以持续对抗迭代训练，直到判别器判断出为真实行为或为预测行为的概率满足要求(均接近0.5)。
例如，假设生成器是g，z是一个随机噪声，而生成器将这个随机噪声转化为数据类型x，即g(z)＝x。以预测驾驶行为场景举例，这里生成器的输出为预测驾驶行为。针对判别器D，对任何输入x，D(x)的输出是0-1范围内的一个实数，用来判断x是真实行为或预测行为的概率是多大。令Pr和Pg分别代表真实行为的分布与预测行为的分布，获得判别器的目标函数如下：
Figure BDA0002465267760000051
类似的生成器的目标是让判别器无法区分生成器生成的预测驾驶行为是真实行为还是预测行为，那么整个的优化目标函数如下：
Figure BDA0002465267760000052
上述最大最小化目标函数的优化方式有多种，最直观的处理办法可以为，分别对判别器参数和生成器参数进行交互迭代，固定生成器参数，优化判别器参数，一段时间后，固定判别器参数再优化生成器参数，直到过程收敛(例如收敛至0.5)。
所述生成器基于视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为。
在一些实施例中，视觉图片为图像传感器采集的图像经过低等级特征(Low LevelFeature)提取得到，其中所述图像传感器安装于所述智能驾驶车辆，用于采集车辆周围的环境图片。所述低等级特征(Low Level Feature)提取方式例如为：通过滤波器、SIFT(尺度不变特征变换)、HOG(定向梯度直方图)或神经网络等进行提取。在一些实施例中，所述低等级特征(Low Level Feature)例如边缘(edge)、纹理(texture)、角(corner)、颜色(color)、像素(pixel)、梯度(gradient)等。在一些实施例中，所述视觉图片可以为所述图像传感器采集的图像，也即不经过低等级特征提取，直接输入生成器和判别器。
在一些实施例中，分割图片为所述视觉图片经过高等级特征(High LevelFeature)提取得到，其中所述高等级特征(High Level Feature)提取方式例如为：通过神经网络等进行提取。在一些实施例中，所述分割图片为所述视觉图片中的语义信息，包括从所述视觉图片中检测的目标，例如障碍物、车辆、行人等。
在一些实施例中，车辆定位值序列可以是所述智能驾驶车辆的运动轨迹上多个位置信息构成的序列。在一些实施例中，车辆定位值序列中所包括的定位值的数量为预设数量，例如车辆定位值序列共有10个定位值，在所述智能驾驶车辆行驶过程中，所述车辆定位置序列会持续更新，并输出为10个定位值。在一些实施例中，所述车辆定位置序列可由所述智能驾驶车辆的定位装置提供。所述定位装置例如包括但不限于：GPS(GlobalPositioning System，全球定位系统)。
在一些实施例中，历史驾驶行为属于真实驾驶行为。所述历史驾驶行为可基于所述车辆定位值序列进行获取。在一些实施例中，可将所述智能驾驶车辆行驶过程中的真实驾驶行为记录为历史驾驶行为，并且将所述车辆定位值序列与所述历史驾驶行为进行关联，进而基于关联关系，通过所述车辆定位值序列确定对应的历史驾驶行为。在一些实施例中，所述历史驾驶行为例如包括但不限于：方向盘转角、加速(油门)踏板开度、制动(刹车)踏板开度等用于驱动车辆运动的参数值。
在一些实施例中，所述生成器基于所述判别器生成的预测驾驶行为的第一判别值更新所述生成器的参数，所述第一判别值用于判断所述预测驾驶行为是真实行为的概率或是预测行为的概率。通过更新生成器参数以使所述判别器生成的预测驾驶行为的第一判别值接近于1。在一些实施例中，所述生成器采用强化学习里面的TRPO或者ppo等方法进行加速迭代更新，并且在训练的时候考虑一阶马尔可夫性。
所述判别器基于视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为的第一判别值或生成真实驾驶行为的第二判别值。其中所述第一判别值用于判断所述预测驾驶行为是真实行为的概率或是预测行为的概率；所述第二判别值用于判断所述真实驾驶行为是真实行为的概率或是预测行为的概率。
在一些实施例中，所述判别器基于所述生成器生成的预测驾驶行为，也即所述预测驾驶行为作为所述判别器的输入信息，所述判别器可生成所述预测驾驶行为的第一判别值。
在一些实施例中，所述判别器基于真实驾驶行为，例如历史驾驶行为，也即所述真实驾驶行为作为所述判别器的输入信息，所述判别器可生成所述真实驾驶行为的第二判别值。
在一些实施例中，所述判别器基于所述预测驾驶行为的第一判别值和所述真实驾驶行为的第二判别值更新所述判别器的参数，以使所述第一判别值接近于0，所述第二判别值接近于1。
图2为本公开实施例提供的一种用于预测驾驶行为的生成对抗网络的示例性架构图。在一些实施例中，图2所示的生成对抗网络可以实现为图1中的生成对抗网络或者为其一部分。如图2所示，生成对抗网络包括生成器和判别器。
所述生成器和所述判别器均包括：第一神经网络、第二神经网络和全连接网络。
所述第一神经网络对视觉图片和分割图片进行特征提取。在一些实施例中，第一神经网络例如为CNN网络。在一些实施例中，所述生成器的第一神经网络包括信道注意机制，其中，所述信道注意机制是基于senet网络。senet网络学习了信道之间的相关性，筛选出了哪些信道的特征作用更大，哪些信道的特征作用更小。在一些实施例中，所述生成器的第一神经网络基于空间注意力机制提取所述分割图片的特征，其中所述空间注意力机制用于提升道路区域权重，降低道路以外区域权重。在一些实施例中，所述分割图片为增加空间注意力的分割图片，例如所述分割图片经过一个增加空间注意力机制的神经网络后得到增加空间注意力的分割图片。
在一些实施例中，所述第二神经网络为RNN网络。在一些实施例中，所述生成器的第二神经网络基于所述生成器的第一神经网络的提取特征、所述车辆定位值序列和所述历史驾驶行为生成所述预测驾驶行为特征。在一些实施例中，所述判别器的第二神经网络基于所述判别器的第一神经网络的提取特征、所述车辆定位值序列和所述历史驾驶行为生成所述预测驾驶行为的第一判别值，或，生成真实驾驶行为的第二判别值。
在一些实施例中，所述生成器的全连接网络对所述生成器的第二神经网络的输出进行处理，得到预测驾驶行为。所述判别器的全连接网络对所述判别器的第二神经网络的输出进行处理，得到所述预测驾驶行为的第一判别值或真实驾驶行为的第二判别值。
图3是本公开实施例提供的一种电子设备的结构示意图。
如图3所示，电子设备包括：至少一个处理器301、至少一个存储器302和至少一个通信接口303。电子设备中的各个组件通过总线系统304耦合在一起。通信接口303，用于与外部设备之间的信息传输。可理解地，总线系统304用于实现这些组件之间的连接通信。总线系统304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图3中将各种总线都标为总线系统304。
可以理解，本实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器302存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例提供的用于预测驾驶行为的生成对抗网络的训练方法的程序可以包含在应用程序中。
在本公开实施例中，处理器301通过调用存储器302存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器301用于执行本公开实施例提供的用于预测驾驶行为的生成对抗网络的训练方法各实施例的步骤。
本公开实施例提供的用于预测驾驶行为的生成对抗网络的训练方法可以应用于处理器301中，或者由处理器301实现。处理器301可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的用于预测驾驶行为的生成对抗网络的训练方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成方法的步骤。
图4为本公开实施例提供的一种用于预测驾驶行为的生成对抗网络的训练方法的示例性流程图。该方法的执行主体为电子设备。所述生成对抗网络包括：生成器和判别器。为便于描述，以下实施例中以电子设备为执行主体说明用于预测驾驶行为的生成对抗网络的训练方法的流程。
如图4所示，在步骤401中，所述电子设备获取车辆周围环境的视觉图片、分割图片、车辆定位值序列和历史驾驶行为。
在一些实施例中，视觉图片为图像传感器采集的图像经过低等级特征提取得到，其中所述图像传感器安装于所述智能驾驶车辆，用于采集车辆周围的环境图片。所述低等级特征提取方式例如为：通过滤波器、SIFT、HOG或神经网络等进行提取。在一些实施例中，所述低等级特征例如边缘、纹理、角、颜色、像素、梯度等。在一些实施例中，所述视觉图片可以为所述图像传感器采集的图像，也即不经过低等级特征提取，直接输入生成器和判别器。
在一些实施例中，分割图片为所述视觉图片经过高等级特征提取得到，其中所述高等级特征提取方式例如为：通过神经网络等进行提取。在一些实施例中，所述分割图片为所述视觉图片中的语义信息，包括从所述视觉图片中检测的目标，例如障碍物、车辆、行人等。
在一些实施例中，车辆定位值序列可以是所述智能驾驶车辆的运动轨迹上多个位置信息构成的序列。在一些实施例中，车辆定位值序列中所包括的定位值的数量为预设数量，例如车辆定位值序列共有10个定位值，在所述智能驾驶车辆行驶过程中，所述车辆定位置序列会持续更新，并输出为10个定位值。在一些实施例中，所述车辆定位置序列可由所述智能驾驶车辆的定位装置提供。所述定位装置例如包括但不限于GPS。
在一些实施例中，历史驾驶行为属于真实驾驶行为。所述历史驾驶行为可基于所述车辆定位值序列进行获取。在一些实施例中，可将所述智能驾驶车辆行驶过程中的真实驾驶行为记录为历史驾驶行为，并且将所述车辆定位值序列与所述历史驾驶行为进行关联，进而基于关联关系，通过所述车辆定位值序列确定对应的历史驾驶行为。在一些实施例中，所述历史驾驶行为例如包括但不限于：方向盘转角、加速(油门)踏板开度、制动(刹车)踏板开度等用于驱动车辆运动的参数值。
在步骤402中，所述电子设备中生成器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为。
在一些实施例中，所述生成器包括：第一神经网络；所述第一神经网络对所述视觉图片和所述分割图片进行特征提取。在一些实施例中，第一神经网络例如为CNN网络。在一些实施例中，所述生成器的第一神经网络包括信道注意机制，其中，所述信道注意机制是基于senet网络。senet网络学习了信道之间的相关性，筛选出了哪些信道的特征作用更大，哪些信道的特征作用更小。在一些实施例中，所述生成器的第一神经网络基于空间注意力机制提取所述分割图片的特征，其中所述空间注意力机制用于提升道路区域权重，降低道路以外区域权重。在一些实施例中，所述分割图片为增加空间注意力的分割图片，例如所述分割图片经过一个增加空间注意力机制的神经网络后得到增加空间注意力的分割图片。
在一些实施例中，所述生成器包括：第二神经网络；所述第二神经网络为RNN网络。在一些实施例中，所述生成器的第二神经网络基于所述生成器的第一神经网络的提取特征、所述车辆定位值序列和所述历史驾驶行为生成所述预测驾驶行为特征。
在一些实施例中，所述生成器包括：全连接网络。在一些实施例中，所述生成器的全连接网络对所述生成器的第二神经网络的输出进行处理，得到预测驾驶行为。
在步骤403中，所述电子设备中的判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为的第一判别值。
在一些实施例中，所述判别器包括：第一神经网络；所述第一神经网络对视觉图片和分割图片进行特征提取。在一些实施例中，所述第一神经网络例如为CNN网络。
在一些实施例中，所述判别器包括：第二神经网络；所述第二神经网络为RNN网络。在一些实施例中，所述判别器的第二神经网络基于所述判别器的第一神经网络的提取特征、所述车辆定位值序列和所述历史驾驶行为生成所述预测驾驶行为的第一判别值。
在一些实施例中，所述判别器包括：全连接网络；所述判别器的全连接网络对所述判别器的第二神经网络的输出进行处理，得到所述预测驾驶行为的第一判别值。
在一些实施例中，所述判别器基于所述生成器生成的预测驾驶行为，也即所述预测驾驶行为作为所述判别器的输入信息，所述判别器可生成所述预测驾驶行为的第一判别值。
在步骤404中，所述电子设备基于所述第一判别值更新所述生成器的参数。所述第一判别值用于判断所述预测驾驶行为是真实行为的概率或是预测行为的概率。通过更新生成器参数以使所述判别器生成的预测驾驶行为的第一判别值接近于1。
在步骤405中，所述电子设备中的判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成对真实驾驶行为的第二判别值。所述第二判别值用于判断所述真实驾驶行为是真实行为的概率或是预测行为的概率。
在一些实施例中，所述判别器基于真实驾驶行为，例如历史驾驶行为，也即所述真实驾驶行为作为所述判别器的输入信息，所述判别器可生成所述真实驾驶行为的第二判别值。
在步骤406中，所述电子设备基于所述第一判别值和第二判别值更新所述判别器的参数，以使所述第一判别值接近于0，所述第二判别值接近于1。
在一些实施例中，所述方法还可包括：所述电子设备获取边界框(bounding box)信息；基于边界框信息确定损失函数。在一些实施例中，所述电子设备确定所述边界框与其他检测目标边界框的距离；确定所述至少一个边界框的交并比(Intersection overUnion，IoU)；基于所述距离与所述交并比，确定所述生成对抗网络的损失函数。可见，本实施例中，loss除了的gan loss和trpo或者ppo loss外，还将自身的bounding box与其他目标的bounding box进行距离计算和iou计算得到响应的loss。
在一些实施例中，所述方法还包括：所述电子设备基于碰撞信息确定惩罚值；基于所述惩罚值确定所述生成对抗网络的损失值。通过加入碰撞等强化信号提升驾驶行为学习的效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如用于预测驾驶行为的生成对抗网络的训练方法各实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种用于预测驾驶行为的生成对抗网络的训练方法，其特征在于，应用于智能驾驶车辆，所述生成对抗网络包括：生成器和判别器；所述方法包括：
获取车辆周围环境的视觉图片、分割图片、车辆定位值序列和历史驾驶行为；
所述生成器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为；
所述判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成预测驾驶行为的第一判别值；
基于所述第一判别值更新所述生成器的参数；
所述判别器基于所述视觉图片、分割图片、车辆定位值序列和历史驾驶行为生成对真实驾驶行为的第二判别值；
基于所述第一判别值和第二判别值更新所述判别器的参数。
2.根据权利要求1所述的方法，其特征在于，
所述视觉图片为图像传感器采集的图像经过低等级特征提取得到；
所述分割图片为所述视觉图片经过高等级特征提取得到。
3.根据权利要求1所述的方法，其特征在于，
所述生成器和所述判别器均包括：第一神经网络；
所述第一神经网络对所述视觉图片和所述分割图片进行特征提取。
4.根据权利要求3所述的方法，其特征在于，所述生成器的第一神经网络包括信道注意机制，其中，所述信道注意机制是基于senet网络。
5.根据权利要求4所述的方法，其特征在于，所述生成器的第一神经网络基于空间注意力机制提取所述分割图片的特征，其中所述空间注意力机制用于提升道路区域权重，降低道路以外区域权重。
6.根据权利要求3所述的方法，其特征在于，
所述生成器和所述判别器还包括：第二神经网络；
所述生成器的第二神经网络基于所述生成器的第一神经网络的提取特征、所述车辆定位值序列和所述历史驾驶行为生成所述预测驾驶行为特征；
所述判别器的第二神经网络基于所述判别器的第一神经网络的提取特征、所述车辆定位值序列和所述历史驾驶行为生成所述预测驾驶行为的第一判别值或真实驾驶行为的第二判别值。
7.根据权利要求6所述的方法，其特征在于，
所述生成器和所述判别器还包括：全连接网络；所述生成器的全连接网络对所述生成器的第二神经网络的输出进行处理，得到预测驾驶行为；
所述判别器的全连接网络对所述判别器的第二神经网络的输出进行处理，得到所述预测驾驶行为的第一判别值或真实驾驶行为的第二判别值。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取边界框信息；
基于边界框信息确定损失函数。
9.根据权利要求8所述的方法，其特征在于，所述基于边界框信息确定损失函数，包括：
确定所述边界框与其他检测目标边界框的距离；
确定所述至少一个边界框的交并比；
基于所述距离与所述交并比，确定所述生成对抗网络的损失函数。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于碰撞信息确定惩罚值；
基于所述惩罚值确定所述生成对抗网络的损失值。
11.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至10任一项所述方法的步骤。
12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至10任一项所述方法的步骤。
CN202010331971.XA 2020-04-24 2020-04-24 用于预测驾驶行为的生成对抗网络的训练方法和电子设备 Active CN111553242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010331971.XA CN111553242B (zh) 2020-04-24 2020-04-24 用于预测驾驶行为的生成对抗网络的训练方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010331971.XA CN111553242B (zh) 2020-04-24 2020-04-24 用于预测驾驶行为的生成对抗网络的训练方法和电子设备

Publications (2)

Publication Number Publication Date
CN111553242A true CN111553242A (zh) 2020-08-18
CN111553242B CN111553242B (zh) 2023-09-19

Family

ID=72001409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010331971.XA Active CN111553242B (zh) 2020-04-24 2020-04-24 用于预测驾驶行为的生成对抗网络的训练方法和电子设备

Country Status (1)

Country Link
CN (1) CN111553242B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706777A (zh) * 2020-12-28 2021-04-27 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况调整用户驾驶行为的方法及装置
CN113276863A (zh) * 2021-07-01 2021-08-20 浙江吉利控股集团有限公司 车辆控制方法、装置、设备、介质及程序产品
CN114493781A (zh) * 2022-01-25 2022-05-13 工银科技有限公司 用户行为预测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
CN109131348A (zh) * 2018-07-24 2019-01-04 大连理工大学 一种基于生成式对抗网络的智能车驾驶决策方法
US20190094867A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generative adversarial inverse trajectory optimization for probabilistic vehicle forecasting
CN109840612A (zh) * 2018-07-24 2019-06-04 上海赢科信息技术有限公司 用户驾驶行为分析方法及系统
CN110675632A (zh) * 2019-11-11 2020-01-10 重庆邮电大学 针对多特征空间和数据稀疏的车辆短时轨迹预测控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学（武汉） 一种智能辅助驾驶方法及系统
US20190094867A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generative adversarial inverse trajectory optimization for probabilistic vehicle forecasting
CN109131348A (zh) * 2018-07-24 2019-01-04 大连理工大学 一种基于生成式对抗网络的智能车驾驶决策方法
CN109840612A (zh) * 2018-07-24 2019-06-04 上海赢科信息技术有限公司 用户驾驶行为分析方法及系统
CN110675632A (zh) * 2019-11-11 2020-01-10 重庆邮电大学 针对多特征空间和数据稀疏的车辆短时轨迹预测控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEBADITYA ROY 等: ""Vehicle Trajectory Prediction at Intersections using Interaction based Generative Adversarial Networks"" *
刘创: ""无人驾驶车辆多目标容错跟踪与轨迹预测研究"" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706777A (zh) * 2020-12-28 2021-04-27 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况调整用户驾驶行为的方法及装置
CN112706777B (zh) * 2020-12-28 2022-05-10 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况调整用户驾驶行为的方法及装置
CN113276863A (zh) * 2021-07-01 2021-08-20 浙江吉利控股集团有限公司 车辆控制方法、装置、设备、介质及程序产品
CN114493781A (zh) * 2022-01-25 2022-05-13 工银科技有限公司 用户行为预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111553242B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US11543830B2 (en) Unsupervised real-to-virtual domain unification for end-to-end highway driving
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN111553242B (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN113362491B (zh) 一种车辆轨迹预测及驾驶行为分析方法
CN111079533B (zh) 无人车驾驶决策方法、无人车驾驶决策装置及无人车
US20230281974A1 (en) Method and system for adaptation of a trained object detection model to account for domain shift
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
KR102143034B1 (ko) 객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템
CN113592041A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN113139696A (zh) 一种轨迹预测模型构建方法及轨迹预测方法、装置
Balemans et al. Resource efficient sensor fusion by knowledge-based network pruning
CN114549369A (zh) 数据修复方法、装置、计算机及可读存储介质
CN113793371B (zh) 目标分割追踪方法、装置、电子设备和存储介质
CN111401143A (zh) 一种行人跟踪系统及方法
CN118429921A (zh) 适用于路端自动驾驶场景的多任务学习方法、系统及设备
CN114692295A (zh) 车辆性能边界的确定方法、装置、终端设备及存储介质
US20230154198A1 (en) Computer-implemented method for multimodal egocentric future prediction
US11574143B2 (en) Systems and methods with robust classifiers that defend against patch attacks
US20230064387A1 (en) Perceptual fields for autonomous driving
CN115457274A (zh) 一种基于深度学习的车载视角遮挡目标检测方法及装置
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
Pezzementi et al. Perception robustness testing at different levels of generality.
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
CN115661556B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant