CN110796856A - 车辆变道意图预测方法及变道意图预测网络的训练方法 - Google Patents

车辆变道意图预测方法及变道意图预测网络的训练方法 Download PDF

Info

Publication number
CN110796856A
CN110796856A CN201910984614.0A CN201910984614A CN110796856A CN 110796856 A CN110796856 A CN 110796856A CN 201910984614 A CN201910984614 A CN 201910984614A CN 110796856 A CN110796856 A CN 110796856A
Authority
CN
China
Prior art keywords
vehicle
lane change
feature extraction
change intention
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910984614.0A
Other languages
English (en)
Other versions
CN110796856B (zh
Inventor
王珏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910984614.0A priority Critical patent/CN110796856B/zh
Publication of CN110796856A publication Critical patent/CN110796856A/zh
Priority to PCT/CN2020/117384 priority patent/WO2021073389A1/zh
Priority to EP20877235.0A priority patent/EP4009300A4/en
Priority to US17/553,696 priority patent/US20220105961A1/en
Application granted granted Critical
Publication of CN110796856B publication Critical patent/CN110796856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4043—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/803—Relative lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本公开提供一种车辆变道意图预测方法、变道意图预测网络的训练方法、车辆变道意图预测装置、变道意图预测网络的训练装置及电子设备；涉及人工智能技术领域。该方法包括：将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。本公开中的方法能够在一定程度上解决了车辆变道意图的预测问题，提升了车辆变道意图预测准确率。

Description

车辆变道意图预测方法及变道意图预测网络的训练方法
技术领域
本公开涉及人工智能技术领域，具体而言，涉及一种车辆变道意图预测方法、变道意图预测网络的训练方法、车辆变道意图预测装置、变道意图预测网络的训练装置及电子设备。
背景技术
人们通常需要对未来的事情进行预测，如，预测明天是否下雨、预测收成等。同样的，人们在开车时也会下意识地预测其他车辆的行为，以根据其他车辆的变道意图确定本车的行车路线，这样能够一定程度地规避可能发生的危险。
随着科技的进步和发展，人们开始研究可以应用于自动驾驶领域的车辆自动驾驶技术，使得车辆能够实现自动驾驶，解放人们的双手。车辆实现自动驾驶不仅需要自动的启动、行驶、刹车以及停车等，还需要在驾驶过程中模拟人类的预测行为，准确的识别出周围车辆的变道意图，进而可以通过周围车辆的变道意图调整行驶路线，降低交通事故的发生概率。因此，预测车辆的变道意图成为了自动驾驶领域亟需解决的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种车辆变道意图预测方法、变道意图预测网络的训练方法、车辆变道意图预测装置、变道意图预测网络的训练装置及电子设备，在一定程度上解决了车辆变道意图的预测问题，提升了车辆变道意图预测准确率。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种车辆变道意图预测方法，包括：
将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。
根据本公开的第二方面，提供一种变道意图预测网络的训练方法，其特征在于，包括：
将样本数据输入变道意图预测网络；其中，样本数据包括多种类型的车辆行驶信息以及标注车辆变道意图，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图；
根据车辆变道意图以及标注车辆变道意图，对变道意图预测网络进行参数调整。
根据本公开的第三方面，提供一种车辆变道意图预测装置，包括信息输入单元、特征提取单元、特征融合单元以及车辆变道意图预测单元，其中：
信息输入单元，用于将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元，用于通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元，用于将各子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元，用于根据特征融合结果预测车辆变道意图。
根据本公开的第四方面，提供一种变道意图预测网络的训练装置，包括信息输入单元、特征提取单元、特征融合单元、车辆变道意图预测单元以及参数调整单元，其中：
信息输入单元，用于将样本数据输入变道意图预测网络；其中，样本数据包括多种类型的车辆行驶信息以及标注车辆变道意图，所述变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元，用于通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元，用于将各子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元，用于根据特征融合结果预测车辆变道意图；
参数调整单元，用于根据车辆变道意图以及标注车辆变道意图，对变道意图预测网络进行参数调整。
根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的车辆变道意图预测方法中，可以将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，如，处理各行驶时刻对应的车辆状态信息的子网络、处理周边车辆交互信息的子网络、处理路网信息的子网络等，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；进而，可以通过子网络分别对各车辆行驶信息进行特征提取，并将各子网络输出的特征提取结果进行特征融合，根据特征融合结果预测车辆变道意图，输出特征提取结果，如，保持直行、左变道或右变道。依据上述方案描述，本公开一方面能够解决车辆变道意图的预测问题，进而可以协助自动驾驶车辆判断周围道路环境中车辆变道意图，为本车的自动驾驶决策提供依据；另一方面，相较传统的不同场景对应不同的预测方式，本公开的实施例能够在无需设计过多预设规则的情况下使得变道意图预测网络应用于多种复杂场景，提升了变道意图预测网络的泛化适用能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种车辆变道意图预测方法、应用于车辆驾驶的路线规划方法、变道意图预测网络的训练方法、车辆变道意图预测装置、应用于车辆驾驶的路线规划装置、变道意图预测网络的训练装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的车辆变道意图预测方法的流程图；
图4示意性示出了根据本公开的一个实施例的子网络中特征提取窗口对车辆行驶信息进行特征提取的流程图；
图5示意性示出了根据本公开的一个实施例的LSTM单元的信号流转图；
图6示意性示出了根据本公开的一个实施例的变道意图预测网络的架构图；
图7示意性示出了根据本公开的一个实施例的车辆变道意图预测结果示意图；
图8示意性示出了根据本公开的一个实施例的应用于车辆驾驶的路线规划方法的流程图；
图9示意性示出了根据本公开的一个实施例的变道意图预测网络的训练方法的流程图；
图10示意性示出了根据本公开的一个实施例的变道意图预测网络的训练过程结合预测过程的流程图；
图11示意性示出了根据本公开的一个实施例中的车辆变道意图预测装置的结构框图；
图12示意性示出了根据本公开的一个实施例中的应用于车辆驾驶的路线规划装置的结构框图；
图13示意性示出了根据本公开的一个实施例中的变道意图预测网络的训练装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种车辆变道意图预测方法、应用于车辆驾驶的路线规划方法、变道意图预测网络的训练方法、车辆变道意图预测装置、应用于车辆驾驶的路线规划装置、变道意图预测网络的训练装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的车辆变道意图预测方法、应用于车辆驾驶的路线规划方法以及变道意图预测网络的训练方法一般由服务器105执行，相应地，车辆变道意图预测装置、应用于车辆驾驶的路线规划装置以及变道意图预测网络的训练装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的车辆变道意图预测方法、应用于车辆驾驶的路线规划方法以及变道意图预测网络的训练方法也可以由终端设备101、102、103执行，相应的，车辆变道意图预测装置、应用于车辆驾驶的路线规划装置以及变道意图预测网络的训练装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
举例而言，在一种示例性实施例中，服务器105可以将多种类型的车辆行驶信息输入变道意图预测网络；通过子网络分别对各车辆行驶信息进行特征提取；将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。此外，服务器105还可以将目标车辆的多种类型的行驶信息输入变道意图预测网络；通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测目标车辆的变道意图；根据各目标车辆的变道意图更新当前车辆的自动驾驶路线。此外，服务器105还可以将样本数据输入变道意图预测网络；通过子网络分别对各车辆行驶信息进行特征提取；将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图；根据车辆变道意图以及标注车辆变道意图，对变道意图预测网络进行参数调整。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，计算机系统200还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
人工智能在驾驶领域的应用较为深入。通过依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，可以让计算机在无人类主动的操作下，自动安全进行操作。自动驾驶系统主要由环境感知、决策协同、控制执行组成。类似于人脑的运作，自动驾驶汽车的传感器感知到的数据会每隔一段时间形成驾驶态势图簇，构成车辆的工作记忆，其中的长期记忆包含了驾驶地图以及各类驾驶先验知识，动机则是智能驾驶的某个路径要求，可以通过人机交互传达给车辆。通过短期记忆、长期记忆以及动机之间的相互作用，车辆可以形成自主决策，传递控制指令给执行机构，以完成整个自动驾驶的过程。
以下对本公开实施例的技术方案进行详细阐述：
在开车的时候人们也会下意识地预测其它车辆的行为，以根据其他车辆的行为确定本车的行车路线，进而规避一些交通事故。但是人类所能捕获到的外部信息是有限的，当遇到一些不那么遵纪守法的司机，或者某辆车在我们的盲区时，预测他们的行为便变得不那么容易了。同时，司机的注意力也很难做到长时间的集中，有时甚至会被一些外部因素所分散，而交通事故往往就发生在这些时刻。
对于未来的无人车，能准确地预测出路面车辆将会发生的行为是尤为重要的。目前的许多研究仅通过考虑特定场景来确定驾驶意图的数量。但是不在同场景下，车辆会有不同可能的驾驶意图。比如在高速场景下，可行的驾驶意图通常分为三种：直行，左变道，和右变道；而在十字路口，可行的驾驶意图除了以上列举的三种，还包括左转弯，右转弯，和直行通过路口。所以，申请人认为需要设计一种方法，使其能够适用于不同场景的意图预测。自动驾驶汽车配有各类传感器，比如微波雷达，激光雷达等。这使得它们具备远超人类的检测感知能力，并且可以做到不间断，全方位地检测周围环境。利用这一点，可以让自动驾驶汽车拥有比人类更好的预测的能力，使其拥有安全、舒适、且具有合作性的驾驶能力。
目前，对车辆变道意图的预测通常是基于一些规则定义变道类型确定的。例如，根据本车的前后车距所满足的预置条件确定车辆的变道意图；或者，从先验导航地图结合驾驶场景中的特定信息学习出基于场景的观测运动模式，进而预测车辆的变道意图；或者，从顶视图中学习场景上下文信息对车辆变道意图进行预测。而上述示例方法均忽略了周围车辆对目标车辆的影响，这会影响对于目标车辆的变道意图的预测准确率；其中，目标车辆可以理解为对本车驾驶路线产生影响的车辆，周围车辆为目标车辆周边的车辆。
基于提出的上述问题，本示例实施方式提供了一种车辆变道意图预测方法。该车辆变道意图预测方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该车辆变道意图预测方法可以包括以下步骤S310至步骤S330：
步骤S310：将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测。
步骤S320：通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果。
步骤S330：将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中，将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测。
本示例实施方式中，车辆行驶信息用于表征不同时刻下的目标车辆的行驶状态。多种类型的车辆行驶信息用于从各方面表征不同时刻下的目标车辆的行驶状态。此外，每个子网络用于处理与其对应的类型的车辆行驶信息，子网络可以为长短期记忆网络(LongShort-Term Memory，LSTM)、门控循环网络(Gated Recurrent Unit，GRU)、其他循环神经网络(Recurrent Neural Networks，RNN)或双向长短时记忆网络(Bi-Long Short-TermMemory，BiLSTM)，本公开的实施例不做限定。
其中，LSTM是一种时间循环神经网络，可以用于解决一般的循环神经网络(Recurrent Neural Network，RNN)存在的长期依赖问题，LSTM的核心思想是通过存储单元保留一定时间内的状态。GRU是LSTM网的一种优化后的变体。RNN是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(或循环单元)按链式连接的递归神经网络。BiLSTM由前向LSTM与后向LSTM组合而成。
本示例实施方式中，多种类型的车辆行驶信息可以包括各行驶时刻对应的车辆状态信息、周边车辆交互信息以及路网信息。此外，多种类型的车辆行驶信息还可以包括交通突发事件对应的信息，如，前方300米处发生车祸，占用了A车道和B车道。其中，车辆状态信息包括目标车辆的当前位置坐标、距离车道中心线的横向距离、车头朝向以及速度信息中一种或多种；周边车辆交互信息包括预设数量的周边车辆的位置信息以及各周边车辆与目标车辆的相对速度信息中一种或多种；路网信息包括车道信息、交通信号、交叉路口以及道路定义中一种或多种。
本示例实施方式中，车辆状态信息用于表示目标车辆的当前行驶状态，周边车辆交互信息用于表示目标车辆与周边车辆的相对位置和相对速度，路网信息用于表示目标车辆所行驶区域的道路信息以及车道信息。此外，行驶时刻用于表示生成车辆行驶信息的时刻，随着目标车辆的不断行驶，目标车辆在不同的行驶时刻对应了不同的车辆行驶信息。
本示例实施方式中，车辆状态信息、周边车辆交互信息以及路网信息分别为三种类型的车辆行驶信息，由于不同行驶时刻的t对应了不同的车辆状态信息、周边车辆交互信息以及路网信息。因此，车辆状态信息、周边车辆交互信息以及路网信息均可以为多个。即，t-n行驶时刻对应的车辆状态信息、周边车辆交互信息以及路网信息，t行驶时刻对应的车辆状态信息、周边车辆交互信息以及路网信息，t+n行驶时刻对应的车辆状态信息、周边车辆交互信息以及路网信息；其中，t和n为正整数。
本示例实施方式中，目标车辆的当前位置坐标可以用(x，y，z)表示，其中，y是Frenet坐标系下的纵坐标，用于表示目标车辆的前进方向以及目标车辆在所行驶道路上的纵向位移；x是Frenet坐标系下的横坐标，用于表示目标车辆在所行驶道路上的横向位移，横轴是与前进方向的法线向量垂直的向量；z是Frenet坐标系下的高度坐标，用于表示目标车辆所行驶的道路的斜度。另外，需要说明的是，Frenet坐标系用于描述目标车辆相对于道路的位置。
本示例实施方式中，速度信息可以包括横向速度、纵向速度、角速度、横向加速度以及纵向加速度中一种或多种，本公开的实施例不作限定。
本示例实施方式中，预设数量(如，8个)的周边车辆的位置信息可以为目标车辆周围“米”字形的车辆的位置信息，即，目标车辆的前方、后方、左方、右方、左前方、右前方、左后方以及右后方的车辆的位置信息；其中，位置信息可以包括周围车辆的坐标以及周围车辆与目标车辆的相对位置。
本示例实施方式中，路网信息可以为高精度地图中的信息，是道路网的精确三维表征。车道信息可以包括目标车辆当前行驶的道路的车道数量以及车道宽度等，交通信号可以包括交通指示牌信息以及交通灯的颜色含义等，交叉路口对应的信息可以包括表示交叉路口的交叉形状，如，三岔路口、十字路口、丁字路口等，道路定义可以包括目标车辆当前行驶的道路的名称等，本公开的实施例不作限定。
其中，高精度地图为也称为高分辨率地图(High Definition Map，HD Map)，是一种专门为无人驾驶服务的地图。与传统导航地图不同的是，高精度地图除了能提供的道路(Road)级别的导航信息外，还能够提供车道(Lane)级别的导航信息。在信息的丰富度和信息的精度方面，均高于传统导航地图。
本示例实施方式中，该车辆变道意图预测方法还可以包括以下步骤：通过GPS、惯性测量单元、激光雷达以及用于进行视觉定位的摄像机中一种或多种获取车辆状态信息和周边车辆交互信息，本公开的实施例不作限定。其中，惯性导航单元中设置有陀螺仪。
本示例实施方式中，该车辆变道意图预测方法还包括以下步骤：
确定目标车辆的当前所在位置以及当前所在位置的所属区域，并确定所属区域对应的路网信息。
本示例实施方式中，确定目标车辆的当前所在位置以及当前所在位置的所属区域的方式具体可以为：通过GPS可以确定目标车辆的经纬度；进而，根据经纬度可以确定出目标车辆对应的国家、省、市、区等地域信息，该地域信息可以用于表征目标车辆的所属区域。
本示例实施方式中，路网信息可以为目标车辆所属区的高精度地图，也可以为目标车辆所属市的高精度地图，也可以为目标车辆所属省的高精度地图，也可以为目标车辆所属国家的高精度地图，本公开的实施例不作限定。
可见，实施本公开的实施例，能够根据目标车辆的位置加载相应的路网信息，这样能够降低对于计算资源的浪费，提升资源利用率。
在步骤S320中，通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果。
本示例实施方式中，变道意图预测网络中可以包括用于处理车辆状态信息的LSTM子网络、用于处理周边车辆交互信息的LSTM子网络以及用于处理路网信息的LSTM子网络。其中，各LSTM子网络中均包含多个特征提取窗口，也可以理解为多个特征提取单元。每个特征提取单元进行特征提取的方式均为图4所示的子网络中特征提取窗口对车辆行驶信息进行特征提取的流程图中的特征提取方式。
本示例实施方式中，通过子网络分别对各车辆行驶信息进行特征提取，包括：
根据子网络中多个特征提取窗口对车辆行驶信息按照行驶时刻顺序依次进行特征提取；其中，针对一特征提取窗口的特征提取过程包括：
根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，生成当前特征提取窗口的隐含状态信息。
举例来说，若用于处理车辆状态信息的LSTM子网络中包含3个特征提取窗口，且对于车辆行驶信息中的车辆状态信息而言，存在t-2时刻对应的车辆状态信息、t-1时刻对应的车辆状态信息以及t时刻对应的车辆状态信息。那么，依照特征提取窗口的逻辑顺序，t-2时刻对应的车辆状态信息输入第一个特征提取窗口，t-1时刻对应的车辆状态信息输入第二个特征提取窗口，t时刻对应的车辆状态信息输入第三个特征提取窗口。
进一步地，请参阅图4，图4示意性示出了根据本公开的一个实施例的子网络中特征提取窗口对车辆行驶信息进行特征提取的流程图。如图4所示，根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，生成当前特征提取窗口的隐含状态信息，包括步骤S410～步骤S450，其中：
步骤S410：根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，计算候选状态信息、候选状态信息的输入权重、前一特征提取窗口的目标状态信息的遗忘权重和当前特征提取窗口的目标状态信息的输出权重。
步骤S420：根据遗忘权重对前一特征提取窗口的目标状态信息进行保留，得到第一中间状态信息。
步骤S430：根据候选状态信息的输入权重对候选状态信息进行保留，得到第二中间状态信息。
步骤S440：根据第一中间状态信息和第二中间状态信息，得到当前特征提取窗口的目标状态信息。
步骤S450：根据当前特征提取窗口的目标状态信息的输出权重对当前特征提取窗口的目标状态信息进行保留，得到当前特征提取窗口的隐含状态信息。
本示例实施方式中，请参阅图5，图5示意性示出了根据本公开的一个实施例的LSTM单元的信号流转图；其中，LSTM单元可以理解为上述的特征提取窗口，LSTM单元通常包括遗忘门、输入门以及输出门。本示例实施方式中，通过一个LSTM单元可以执行一个上述的特征提取过程。
在步骤S410中，根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，计算候选状态信息、候选状态信息的输入权重、前一特征提取窗口的目标状态信息的遗忘权重和当前特征提取窗口的目标状态信息的输出权重。具体地：
遗忘门用于决定从上一特征提取过程的目标状态信息中丢弃多少信息，所以遗忘权重用于表示上一特征提取过程的目标状态信息不被遗忘的(即能够保留的)权重；遗忘权重实质上可以为权重矩阵。示例性的，可以通过用于表征遗忘门的激活函数，对当前特征提取窗口对应的行驶时刻t-n的车辆行驶信息以及上一特征提取过程的隐含状态信息进行编码，映射到0到1之间的数值，得到上一特征提取过程目标状态信息的遗忘权重。其中，0表示完全舍弃，1表示完全保留。例如，可以按照以下公式计算得到上一特征提取过程目标状态信息的遗忘权重ft：
ft＝σ(Wf·[ht-1,St]+bf)
其中，ht-1表示上一特征提取过程的隐含状态信息，St表示当前特征提取窗口对应的行驶时刻t-n的车辆行驶信息，σ表示激活函数Sigmod函数，Wf和bf表示遗忘门中Sigmod函数的参数，[ht-1,St]表示将ht-1和St进行组合，也可以理解为将将ht-1和St进行拼接。Sigmod函数的输出范围是(0，1)，在二分类任务中，sigmoid输出的是事件概率。
输入门用于决定当前输入的车辆行驶信息中，有多少信息是重要且需要保留下来的。示例性的，可以通过用于表征输入门的激活函数，对当前特征提取窗口对应的行驶时刻t-n的车辆行驶信息以及上一转换过程的隐含状态信息进行编码，得到候选状态信息以及所述候选状态信息的输入权重；其中，所述候选状态信息的输入权重用于决定候选状态信息中有多少新的信息可以加入到目标状态信息中。
例如，可以按照以下公式计算得到候选状态信息
Figure BDA0002236301580000152
其中，tanh表示激活函数为正曲双切函数，Wc和bc表示输入门中tanh函数的参数。
并可以按照以下公式计算得到候选状态信息的输入权重it：
it＝σ(Wi·[ht-1,St]+bi)
其中，σ表示激活函数Sigmod函数，Wi和bi表示输入门中Sigmod函数的参数。
输出门用于确定输出至下一个LSTM单元的隐含状态信息中应该包含哪些信息。示例性的，可以通过用于表征输出门的激活函数，对当前特征提取窗口对应的行驶时刻t-n的车辆行驶信息以及上一特征提取过程的隐含状态信息进行编码，得到当前特征提取过程目标状态信息的输出权重。例如，可以按照以下公式计算得到候选状态信息ot：
ot＝σ(Wo·[ht-1,St]+bo)
其中，σ表示激活函数Sigmod函数，Wo和bo表示输出门中Sigmod函数的参数。
在步骤S420中，根据遗忘权重对前一特征提取窗口的目标状态信息进行保留，得到第一中间状态信息。举例而言，得到的第一中间状态信息可以为
Figure BDA0002236301580000153
其中，Ct-1表示上一特征提取过程的目标状态信息。
在步骤S430中，根据候选状态信息的输入权重对候选状态信息进行保留，得到第二中间状态信息。举例而言，得到的第二中间状态信息可以为
Figure BDA0002236301580000154
在步骤S440中，根据第一中间状态信息和第二中间状态信息，得到当前特征提取窗口的目标状态信息。举例而言，当前特征提取过程的目标状态信息可以为
在步骤S450中，根据当前特征提取窗口的目标状态信息的输出权重对当前特征提取窗口的目标状态信息进行保留，得到当前特征提取窗口的隐含状态信息。举例而言，当前特征提取过程的隐含状态信息可以为
Figure BDA0002236301580000162
可见，结合图4所示的子网络中特征提取窗口对车辆行驶信息进行特征提取的流程图以及图5所示的LSTM单元的信号流转图实施本公开的实施例，能够在考虑到周围车辆对目标车辆的影响下预测目标车辆的变道意图，这样确定出的目标车辆变道意图更为准确，进而可以更好的确定本车驾驶路线，降低交通事故的发生概率。
在步骤S330中，将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。
本示例实施方式中，特征提取结果可以为特征向量，如，{A1，A2，A3}，将各子网络输出的特征提取结果进行特征融合的方式具体可以为：将各子网络输出的特征向量(如，{A1，A2，A3}、{B1，B2，B3}和{C1，C2，C3})进行组合，得到新的特征向量(如，{A1，A2，A3，B1，B2，B3，C1，C2，C3})，以实现对于特征提取结果的融合。
本示例实施方式中，车辆变道意图可以为保持直行、左变道或右变道等，本公开的实施例不作限定。
在本公开的一种示例性实施例中，将各子网络输出的特征提取结果进行特征融合，包括：
将各子网络输出的特征提取结果进行拼接，以实现对于特征提取结果的特征融合。
进一步地，将各子网络输出的特征提取结果进行拼接，以实现对于特征提取结果的特征融合，包括：
根据预设权重对各子网络输出的特征提取结果进行加权处理，并将加权处理结果进行拼接，以实现对于特征提取结果的特征融合。
举例来说，预设权重可以为3:2:1，若各子网络输出的特征提取结果为(1,1,1)、(2,2,2)和(3,3,3)，那么，加权处理结果可以为(3,3,3)、(4,4,4)和(3,3,3)，将加权处理结果进行拼接则可以得到(3,3,3,4,4,4,3,3,3)，这样就可以实现对于特征提取结果的特征融合。
可见，实施本公开的实施例，能够通过预设权重将特征提取结果按照重要性进行融合，这样确定出的特征融合结果有利于对目标车辆变道意图的预测，以提升预测准确率。
在本公开的一种示例性实施例中，根据特征融合结果预测车辆变道意图，包括：
根据特征融合结果确定目标车辆属于各类型变道意图的概率分布；
根据概率分布预测车辆变道意图；其中，车辆变道意图包括目标车辆在未来各时刻的车辆状态信息。
本示例实施方式中，根据特征融合结果确定目标车辆属于各类型变道意图的概率分布的方式可以为：
将特征融合结果输入各变道意图对应的分类器中，通过归一化指数函数(softmax)将各分类器输出的数值进行归一化处理，得到目标车辆属于各类型变道意图的概率分布(如，0.013，0.265，0.722)。其中，softmax用于将一个向量压缩到另一个向量中，使得其中每一个元素的范围在(0,1)之间，且概率分布中所有的元素和为1。softmax对应的表达式为：
Figure BDA0002236301580000171
其中，softmax函数的输入为分类器输出的数值zj，j＝1，…，K，K用于表示分类器数量，也可以理解为输出的数值的数量，K为正整数。
本示例实施方式中，概率分布可以表示为向量，根据概率分布预测车辆变道意图的方式具体可以为：
根据概率分布对应的向量确定目标车辆的变道意图序列y(t),y(t+1),…,y(t+n)；其中，y(t)用于表示目标车辆在t时刻的变道意图，y(t+1)用于表示目标车辆在t+1时刻的变道意图，y(t+n)用于表示目标车辆在t+n时刻的变道意图，n为正整数。
可见，实施本公开的实施例，能够对未来各时刻的目标车辆的变道意图的预测，以便根据目标车辆的变道意图确定本车的自动驾驶路线，由于在变道意图预测时考虑了目标车辆周围的车辆对其造成的影响。因此，确定出的变道意图准确性更高，根据该变道意图确定本车驾驶路线能够降低交通事故的发生概率，提升自动驾驶车辆的安全性、可靠性。
可见，实施图3所示的车辆变道意图预测，能够解决车辆变道意图的预测问题，进而可以协助自动驾驶车辆判断周围道路环境中车辆变道意图，为本车的自动驾驶决策提供依据。相较传统的不同场景对应不同的预测方式，本公开的实施例能够在无需设计过多预设规则的情况下使得变道意图预测网络应用于多种复杂场景，提升了变道意图预测网络的泛化适用能力。
请参阅图6，图6示意性示出了根据本公开的一个实施例的变道意图预测网络的架构图。如图6所示，变道意图预测网络的架构图中包括各行驶时刻的车辆状态信息601、各行驶时刻的周边车辆交互信息602、各行驶时刻的路网信息603、车辆状态信息对应的子网络的特征提取结果604、周边车辆交互信息对应的子网络的提取结果605、路网信息对应的子网络的特征提取结果606、融合层607、归一化指数函数608以及车辆变道意图609。
具体地，可以将各行驶时刻的车辆状态信息601输入车辆状态信息对应的子网络的特征提取结果604，将各行驶时刻的周边车辆交互信息602输入周边车辆交互信息对应的子网络的提取结果605，将各行驶时刻的路网信息603输入路网信息对应的子网络的特征提取结果606。进而，通过融合层607可以将车辆状态信息对应的子网络的特征提取结果604、周边车辆交互信息对应的子网络的提取结果605和路网信息对应的子网络的特征提取结果606进行融合，得到特征融合结果，并通过归一化指数函数608和特征融合结果确定各类型变道意图的概率分布，概率分布最高的变道意图可以确定为车辆变道意图609(如，保持直行、左变道或右变道)。其中，车辆变道意图609可以通过序列的形式输出，如，上述的y(t),y(t+1),…,y(t+n)。
可见，结合图6所示的变道意图预测网络的架构图实施本公开的实施例，能够降低现有的基于深度卷积神经网络、循环神经网络以及对抗神经网络构建变道意图预测网络的复杂度，提升对于计算资源的利用率，以及提升车辆变道意图的预测效率和预测准确率。
请参阅图7，图7示意性示出了根据本公开的一个实施例的车辆变道意图预测结果示意图。如图7所示，该预测结果示意图中示意性示出了当前车辆701(即，上述的本车)、目标车辆702、目标车辆703以及目标车辆704。其中，目标车辆703行驶于车道线1与车道线2之间，当前车辆701和目标车辆704行驶于车道线2与车道线3之间，且当前车辆701在目标车辆704之前，目标车辆702行驶于车道线3与车道线4之间。
根据本公开的实施例能够确定出目标车辆702、目标车辆703以及目标车辆704的车辆变道意图分别为预测的车辆变道意图B、预测的车辆变道意图A以及预测的车辆变道意图C，具体地，根据预测的车辆变道意图A可知目标车辆703准备由车道线1与车道线2之间变道为车道线2与车道线3之间，根据预测的车辆变道意图B可知目标车辆702准备由车道线3与车道线4之间变道为车道线2与车道线3之间，根据预测的车辆变道意图C可知目标车辆704准备由车道线2与车道线3之间变道为车道线3与车道线4之间。根据目标车辆702、目标车辆703以及目标车辆704可以确定当前车辆701的自动驾驶路线，这样能够在考虑到周围车辆对目标车辆的影响下预测目标车辆的变道意图，这样确定出的目标车辆变道意图更为准确，进而可以更好的确定本车驾驶路线，降低交通事故的发生概率。
此外，本示例实施方式提供了一种应用于车辆驾驶的路线规划方法。该应用于车辆驾驶的路线规划方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图8所示，该应用于车辆驾驶的路线规划方法可以包括以下步骤S810至步骤S840，其中：
步骤S810：将目标车辆的多种类型的行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测。
步骤S820：通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果。
步骤S830：将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测目标车辆的变道意图。
步骤S840：根据各目标车辆的变道意图更新当前车辆的自动驾驶路线。
具体地，上述的多种类型的行驶信息等同于图3中的多种类型的车辆行驶信息。根据本公开的实施例，能够在确定出目标车辆的变道意图之后不断更新当前车辆的自动驾驶路线，体现了驾驶路线更新的实时性。
此外，需要说明的是，步骤S810至步骤S830与步骤S310至步骤S330所述内容等同，具体实施方式请参阅前述实施例，此处不再赘述。
可见，实施图8所示的应用于车辆驾驶的路线规划方法，能够在考虑到周围车辆对目标车辆的影响下预测目标车辆的变道意图，这样确定出的目标车辆变道意图更为准确，进而可以更好的确定本车驾驶路线，降低交通事故的发生概率。
此外，本示例实施方式提供了一种变道意图预测网络的训练方法。该变道意图预测网络的训练方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图9所示，该变道意图预测网络的训练方法可以包括以下步骤S910至步骤S940，其中：
步骤S910：将样本数据输入变道意图预测网络；其中，样本数据包括多种类型的车辆行驶信息以及标注车辆变道意图，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测。
步骤S920：通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果。
步骤S930：将各子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。
步骤S940：根据车辆变道意图以及标注车辆变道意图，对变道意图预测网络进行参数调整。
本示例实施方式中，步骤S910至步骤S940用于表示变道意图预测网络的训练过程，通过上述训练过程可以训练得到多个变道意图预测网络。此外，样本数据可以为训练集中的数据。
进一步地，在步骤S940之后，还可以包括以下步骤：
根据验证集确定参数调整后的各变道意图预测网络的预测准确率，根据预测准确率从各变道意图预测网络中确定出与当前驾驶场景相对应的变道意图预测网络，该变道意图预测网络用于对目标车辆进行变道意图预测。其中，验证集也包括多种类型的车辆行驶信息以及标注车辆变道意图，验证集可以与训练集存在交集也可以不存在交集，本公开的实施例不作限定。
本示例实施方式中，根据车辆变道意图以及标注车辆变道意图，对变道意图预测网络进行参数调整的方式具体可以为：
计算预测得到的车辆变道意图标注车辆变道意图之间的损失函数，根据损失函数对变道意图预测网络进行参数调整，直到损失函数值小于预设损失函数值。
此外，需要说明的是，步骤S910至步骤S930与步骤S310至步骤S330所述内容等同，具体实施方式请参阅前述实施例，此处不再赘述。
可见，实施图9所示的变道意图预测网络的训练方法，能够降低车辆变道意图预测对于预设规则的依赖程度，提升对于变道意图预测模型的训练效率。
请参阅图10，图10示意性示出了根据本公开的一个实施例的变道意图预测网络的训练过程结合预测过程的流程图。如图10所示，该变道意图预测网络的训练过程结合预测过程可以包括以下步骤S1010至步骤S1070，其中：
变道意图预测网络的离线训练、验证过程包括步骤S1010至步骤S1040：
步骤S1010：提取多种类型的车辆行驶信息。
步骤S1020：根据多种类型的车辆行驶信息对变道意图预测网络进行训练。
步骤S1030：对训练后的各变道意图预测网络进行验证。
步骤S1040：根据各变道意图预测网络的验证结果确定与当前驾驶场景相对应的变道意图预测网络。
变道意图预测网络的在线实时预测过程包括步骤S1050至步骤S1070：
步骤S1050：实时数据输入。
步骤S1060：提取多种类型的车辆行驶信息。
步骤S1070：变道意图预测网络根据多种类型的车辆行驶信息预测目标车辆的变道意图对应的时间序列。
在变道意图预测网络的离线训练、验证过程中，可以先提取多种类型的车辆行驶信息，进而根据多种类型的车辆行驶信息对变道意图预测网络进行训练，具体训练过程参见步骤S910至步骤S940及对应的实施例；进而，可以对对训练后的各变道意图预测网络进行验证，以根据各变道意图预测网络的验证结果(如，预测准确率)确定与当前驾驶场景相对应的变道意图预测网络。
在变道意图预测网络的在线实时预测过程中，可以先输入实时数据，其中，实时数据可以为车载传感器采集到的自动驾驶车辆信息，进而可以从自动驾驶车辆信息中提取出多种类型的车辆行驶信息，以使得变道意图预测网络根据多种类型的车辆行驶信息预测目标车辆的变道意图对应的时间序列，具体预测方式请参阅图3所示的步骤及对应的实施例，此处不再赘述。
可见，结合图10所示的流程图实施本公开的实施例，能够解决车辆变道意图的预测问题，进而可以协助自动驾驶车辆判断周围道路环境中车辆变道意图，为本车的自动驾驶决策提供依据。相较传统的不同场景对应不同的预测方式，本公开的实施例能够在无需设计过多预设规则的情况下使得变道意图预测网络应用于多种复杂场景，提升了变道意图预测网络的泛化适用能力。
进一步的，本示例实施方式中，还提供了一种车辆变道意图预测装置。该车辆变道意图预测装置可以应用于服务器或终端设备。参考图11所示，该车辆变道意图预测装置1100可以包括信息输入单元1101、特征提取单元1102、特征融合单元1103以及车辆变道意图预测单元1104，其中：
信息输入单元1101，用于将多种类型的车辆行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元1102，用于通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元1103，用于将各子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元1104，用于根据特征融合结果预测车辆变道意图。
其中，多种类型的车辆行驶信息包括各行驶时刻对应的车辆状态信息、周边车辆交互信息以及路网信息。车辆状态信息包括目标车辆的当前位置坐标、距离车道中心线的横向距离、车头朝向以及速度信息中一种或多种；周边车辆交互信息包括预设数量的周边车辆的位置信息以及各周边车辆与目标车辆的相对速度信息中一种或多种；路网信息包括车道信息、交通信号、交叉路口以及道路定义中一种或多种。
可见，实施图11所示的车辆变道意图预测装置，能够解决车辆变道意图的预测问题，进而可以协助自动驾驶车辆判断周围道路环境中车辆变道意图，为本车的自动驾驶决策提供依据。相较传统的不同场景对应不同的预测方式，本公开的实施例能够在无需设计过多预设规则的情况下使得变道意图预测网络应用于多种复杂场景，提升了变道意图预测网络的泛化适用能力。
在本公开的一种示例性实施例中，该车辆变道意图预测装置1100还可以包括路网信息确定单元(未图示)，其中：
路网信息确定单元，用于确定目标车辆的当前所在位置以及当前所在位置的所属区域，并确定所属区域对应的路网信息。
可见，实施该示例性实施例，能够根据目标车辆的位置加载相应的路网信息，这样能够降低对于计算资源的浪费，提升资源利用率。
在本公开的一种示例性实施例中，特征提取单元1102通过子网络分别对各车辆行驶信息进行特征提取的方式具体可以为：
特征提取单元1102根据子网络中多个特征提取窗口对车辆行驶信息按照行驶时刻顺序依次进行特征提取；其中，针对一特征提取窗口的特征提取过程包括：
特征提取单元1102根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，生成当前特征提取窗口的隐含状态信息。
进一步地，特征提取单元1102根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，生成当前特征提取窗口的隐含状态信息，包括：
特征提取单元1102根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，计算候选状态信息、候选状态信息的输入权重、前一特征提取窗口的目标状态信息的遗忘权重和当前特征提取窗口的目标状态信息的输出权重；
特征提取单元1102根据遗忘权重对前一特征提取窗口的目标状态信息进行保留，得到第一中间状态信息；
特征提取单元1102根据候选状态信息的输入权重对候选状态信息进行保留，得到第二中间状态信息；
特征提取单元1102根据第一中间状态信息和第二中间状态信息，得到当前特征提取窗口的目标状态信息；
特征提取单元1102根据当前特征提取窗口的目标状态信息的输出权重对当前特征提取窗口的目标状态信息进行保留，得到当前特征提取窗口的隐含状态信息。
可见，实施该示例性实施例，能够在考虑到周围车辆对目标车辆的影响下预测目标车辆的变道意图，这样确定出的目标车辆变道意图更为准确，进而可以更好的确定本车驾驶路线，降低交通事故的发生概率。
在本公开的一种示例性实施例中，特征融合单元1103将各子网络输出的特征提取结果进行特征融合的方式具体可以为：
特征融合单元1103将各子网络输出的特征提取结果进行拼接，以实现对于特征提取结果的特征融合。
进一步地，特征融合单元1103将各子网络输出的特征提取结果进行拼接，以实现对于特征提取结果的特征融合的方式具体可以为：
特征融合单元1103根据预设权重对各子网络输出的特征提取结果进行加权处理，并将加权处理结果进行拼接，以实现对于特征提取结果的特征融合。
可见，实施该可选的实施例，能够通过预设权重将特征提取结果按照重要性进行融合，这样确定出的特征融合结果有利于对目标车辆变道意图的预测，以提升预测准确率。
在本公开的一种示例性实施例中，车辆变道意图预测单元1104根据特征融合结果预测车辆变道意图的方式具体可以为：
车辆变道意图预测单元1104根据特征融合结果确定目标车辆属于各类型变道意图的概率分布；
车辆变道意图预测单元1104根据概率分布预测车辆变道意图；其中，车辆变道意图包括目标车辆在未来各时刻的车辆状态信息。
可见，实施该可选的实施例，能够对未来各时刻的目标车辆的变道意图的预测，以便根据目标车辆的变道意图确定本车的自动驾驶路线，由于在变道意图预测时考虑了目标车辆周围的车辆对其造成的影响。因此，确定出的变道意图准确性更高，根据该变道意图确定本车驾驶路线能够降低交通事故的发生概率，提升自动驾驶车辆的安全性、可靠性。
由于本公开的示例实施例的车辆变道意图预测装置的各个功能模块与上述车辆变道意图预测方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的车辆变道意图预测方法的实施例。
更进一步的，本示例实施方式中，还提供了一种应用于车辆驾驶的路线规划装置。该应用于车辆驾驶的路线规划装置可以应用于服务器或终端设备。参考图12所示，该应用于车辆驾驶的路线规划装置1200可以包括信息输入单元1201、特征提取单元1202、特征融合单元1203、车辆变道意图预测单元1204以及路线更新单元1205，其中：
信息输入单元1201，用于将目标车辆的多种类型的行驶信息输入变道意图预测网络；其中，变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元1202，用于通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元1203，用于将各子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元1204，用于根据特征融合结果预测目标车辆的变道意图；
路线更新单元1205，用于根据各目标车辆的变道意图更新当前车辆的自动驾驶路线。
可见，实施图12所示的应用于车辆驾驶的路线规划装置，能够在考虑到周围车辆对目标车辆的影响下预测目标车辆的变道意图，这样确定出的目标车辆变道意图更为准确，进而可以更好的确定本车驾驶路线，降低交通事故的发生概率。
由于本公开的示例实施例的应用于车辆驾驶的路线规划装置的各个功能模块与上述应用于车辆驾驶的路线规划方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的应用于车辆驾驶的路线规划方法的实施例。
再进一步的，本示例实施方式中，还提供了一种变道意图预测网络的训练装置。该变道意图预测网络的训练装置可以应用于服务器或终端设备。参考图13所示，该变道意图预测网络的训练装置1300可以包括信息输入单元1301、特征提取单元1302、特征融合单元1303、车辆变道意图预测单元1304以及参数调整单元1305，其中：
信息输入单元1301，用于将样本数据输入变道意图预测网络；其中，样本数据包括多种类型的车辆行驶信息以及标注车辆变道意图，所述变道意图预测网络包括与多种类型一一对应的多个子网络，变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元1302，用于通过子网络分别对各车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元1303，用于将各子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元1304，用于根据特征融合结果预测车辆变道意图；
参数调整单元1305，用于根据车辆变道意图以及标注车辆变道意图，对变道意图预测网络进行参数调整。
可见，实施图13所示的变道意图预测网络的训练装置，能够降低车辆变道意图预测对于预设规则的依赖程度，提升对于变道意图预测模型的训练效率。
由于本公开的示例实施例的变道意图预测网络的训练装置的各个功能模块与上述变道意图预测网络的训练方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的变道意图预测网络的训练方法的实施例。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种车辆变道意图预测方法，其特征在于，包括：
将多种类型的车辆行驶信息输入变道意图预测网络；其中，所述变道意图预测网络包括与所述多种类型一一对应的多个子网络，所述变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
通过所述子网络分别对各所述车辆行驶信息进行特征提取，输出特征提取结果；
将各所述子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图。
2.根据权利要求1所述的方法，其特征在于，所述多种类型的车辆行驶信息包括各行驶时刻对应的车辆状态信息、周边车辆交互信息以及路网信息。
3.根据权利要求2所述的方法，其特征在于，其中：
所述车辆状态信息包括目标车辆的当前位置坐标、距离车道中心线的横向距离、车头朝向以及速度信息中一种或多种；
所述周边车辆交互信息包括预设数量的周边车辆的位置信息以及各所述周边车辆与所述目标车辆的相对速度信息中一种或多种；
所述路网信息包括车道信息、交通信号、交叉路口以及道路定义中一种或多种。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定目标车辆的当前所在位置以及所述当前所在位置的所属区域，并确定所述所属区域对应的路网信息。
5.根据权利要求1所述的方法，其特征在于，通过所述子网络分别对各所述车辆行驶信息进行特征提取，包括：
根据所述子网络中多个特征提取窗口对所述车辆行驶信息按照行驶时刻顺序依次进行特征提取；其中，针对所述特征提取窗口的特征提取过程包括：
根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，生成所述当前特征提取窗口的隐含状态信息。
6.根据权利要求5所述的方法，其特征在于，根据当前特征提取窗口对应的行驶时刻的车辆行驶信息和前一特征提取窗口输出的隐含状态信息，生成所述当前特征提取窗口的隐含状态信息，包括：
根据所述当前特征提取窗口对应的行驶时刻的车辆行驶信息和所述前一特征提取窗口输出的隐含状态信息，计算候选状态信息、所述候选状态信息的输入权重、所述前一特征提取窗口的目标状态信息的遗忘权重和所述当前特征提取窗口的目标状态信息的输出权重；
根据所述遗忘权重对所述前一特征提取窗口的目标状态信息进行保留，得到第一中间状态信息；
根据所述候选状态信息的输入权重对所述候选状态信息进行保留，得到第二中间状态信息；
根据所述第一中间状态信息和所述第二中间状态信息，得到所述当前特征提取窗口的目标状态信息；
根据所述当前特征提取窗口的目标状态信息的输出权重对所述当前特征提取窗口的目标状态信息进行保留，得到所述当前特征提取窗口的隐含状态信息。
7.根据权利要求1所述的方法，其特征在于，将各所述子网络输出的特征提取结果进行特征融合，包括：
将各所述子网络输出的特征提取结果进行拼接，以实现对于所述特征提取结果的特征融合。
8.根据权利要求7所述的方法，其特征在于，将各所述子网络输出的特征提取结果进行拼接，以实现对于所述特征提取结果的特征融合，包括：
根据预设权重对各所述子网络输出的特征提取结果进行加权处理，并将加权处理结果进行拼接，以实现对于所述特征提取结果的特征融合。
9.根据权利要求1所述的方法，其特征在于，根据特征融合结果预测车辆变道意图，包括：
根据所述特征融合结果确定目标车辆属于各类型变道意图的概率分布；
根据所述概率分布预测车辆变道意图；其中，所述车辆变道意图包括所述目标车辆在未来各时刻的车辆状态信息。
10.根据权利要求1～9任一项所述的方法，其特征在于，根据特征融合结果预测车辆变道意图之后，所述方法还包括：
根据各所述目标车辆的变道意图更新当前车辆的自动驾驶路线。
11.一种变道意图预测网络的训练方法，其特征在于，包括：
将样本数据输入变道意图预测网络；其中，所述样本数据包括多种类型的车辆行驶信息以及标注车辆变道意图，所述变道意图预测网络包括与所述多种类型一一对应的多个子网络，所述变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
通过所述子网络分别对各所述车辆行驶信息进行特征提取，输出特征提取结果；
将各所述子网络输出的特征提取结果进行特征融合，并根据特征融合结果预测车辆变道意图；
根据所述车辆变道意图以及所述标注车辆变道意图，对所述变道意图预测网络进行参数调整。
12.一种车辆变道意图预测装置，其特征在于，包括：
信息输入单元，用于将多种类型的车辆行驶信息输入变道意图预测网络；其中，所述变道意图预测网络包括与所述多种类型一一对应的多个子网络，所述变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元，用于通过所述子网络分别对各所述车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元，用于将各所述子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元，用于根据特征融合结果预测车辆变道意图。
13.一种变道意图预测网络的训练装置，其特征在于，包括：
信息输入单元，用于将样本数据输入变道意图预测网络；其中，所述样本数据包括多种类型的车辆行驶信息以及标注车辆变道意图，所述变道意图预测网络包括与所述多种类型一一对应的多个子网络，所述变道意图预测网络用于对行驶状态下的车辆的变道意图进行预测；
特征提取单元，用于通过所述子网络分别对各所述车辆行驶信息进行特征提取，输出特征提取结果；
特征融合单元，用于将各所述子网络输出的特征提取结果进行特征融合；
车辆变道意图预测单元，用于根据特征融合结果预测车辆变道意图；
参数调整单元，用于根据所述车辆变道意图以及所述标注车辆变道意图，对所述变道意图预测网络进行参数调整。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的方法。
CN201910984614.0A 2019-10-16 2019-10-16 车辆变道意图预测方法及变道意图预测网络的训练方法 Active CN110796856B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910984614.0A CN110796856B (zh) 2019-10-16 2019-10-16 车辆变道意图预测方法及变道意图预测网络的训练方法
PCT/CN2020/117384 WO2021073389A1 (zh) 2019-10-16 2020-09-24 车辆自动控制方法及变道意图预测网络的训练方法
EP20877235.0A EP4009300A4 (en) 2019-10-16 2020-09-24 AUTOMATIC VEHICLE CONTROL METHOD AND LANE CHANGE INTENTION PREDICTION NETWORK LEARNING METHOD
US17/553,696 US20220105961A1 (en) 2019-10-16 2021-12-16 Method for automatic control of vehicle and method for training lane change intention prediction network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910984614.0A CN110796856B (zh) 2019-10-16 2019-10-16 车辆变道意图预测方法及变道意图预测网络的训练方法

Publications (2)

Publication Number Publication Date
CN110796856A true CN110796856A (zh) 2020-02-14
CN110796856B CN110796856B (zh) 2022-03-25

Family

ID=69440330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910984614.0A Active CN110796856B (zh) 2019-10-16 2019-10-16 车辆变道意图预测方法及变道意图预测网络的训练方法

Country Status (4)

Country Link
US (1) US20220105961A1 (zh)
EP (1) EP4009300A4 (zh)
CN (1) CN110796856B (zh)
WO (1) WO2021073389A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746544A (zh) * 2020-07-13 2020-10-09 吉林大学 一种体现驾驶员个性化行为的车道变换方法
CN111753371A (zh) * 2020-06-04 2020-10-09 纵目科技（上海）股份有限公司 一种车身控制网络模型的训练方法、系统、终端和存储介质
CN111754816A (zh) * 2020-06-04 2020-10-09 纵目科技（上海）股份有限公司 一种移动物体意图识别方法、系统、终端和存储介质
CN111845787A (zh) * 2020-08-03 2020-10-30 北京理工大学 一种基于lstm的换道意图预测方法
CN112530202A (zh) * 2020-11-23 2021-03-19 中国第一汽车股份有限公司 一种车辆变道的预测方法、装置、设备及车辆
CN112562328A (zh) * 2020-11-27 2021-03-26 腾讯科技（深圳）有限公司 一种车辆行为预测方法及装置
CN112614373A (zh) * 2020-12-29 2021-04-06 厦门大学 一种基于BiLSTM周车换道意图预测方法
WO2021073389A1 (zh) * 2019-10-16 2021-04-22 腾讯科技（深圳）有限公司 车辆自动控制方法及变道意图预测网络的训练方法
CN113077619A (zh) * 2020-07-08 2021-07-06 中移(上海)信息通信科技有限公司 车辆运动预测的方法、装置、设备及存储介质
CN113548054A (zh) * 2021-07-07 2021-10-26 东风汽车集团股份有限公司 基于时序的车辆变道意图预测方法及系统
CN113568416A (zh) * 2021-09-26 2021-10-29 智道网联科技(北京)有限公司 无人车轨迹规划方法、装置和计算机可读存储介质
CN113793074A (zh) * 2021-02-20 2021-12-14 同济大学 一种自动驾驶车辆社会合作性评价方法
CN114312769A (zh) * 2022-02-11 2022-04-12 清华大学 考虑周车横纵向运动意图的智能车辆紧急制动方法及系统
US11433923B2 (en) 2020-06-10 2022-09-06 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for long-term prediction of lane change maneuver
CN115053277A (zh) * 2020-07-08 2022-09-13 深圳元戎启行科技有限公司 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质
CN116052417A (zh) * 2022-12-21 2023-05-02 浙江零跑科技股份有限公司 一种行驶预测方法、装置、设备和可读存储介质
CN117633519A (zh) * 2024-01-26 2024-03-01 腾讯科技（深圳）有限公司 变道检测方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112937608B (zh) * 2021-03-31 2022-06-21 吉林大学 一种基于轨迹预测的冰雪环境无人驾驶车辆一体化滚动决策方法、装置及存储介质
US11804131B2 (en) * 2021-11-24 2023-10-31 GM Global Technology Operations LLC Communication system for determining vehicle context and intent of a target vehicle based on perceived lane of travel
CN115440317B (zh) * 2022-07-20 2023-05-26 中南大学 一种浸出铀浓度的预测方法及装置、电子设备、存储介质
CN114973684B (zh) * 2022-07-25 2022-10-14 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及系统
CN115571165B (zh) * 2022-12-09 2023-03-31 广汽埃安新能源汽车股份有限公司 车辆控制方法、装置、电子设备和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157731A (ja) * 2002-11-06 2004-06-03 Nissan Motor Co Ltd 車両用推奨操作量生成装置
US20050015203A1 (en) * 2003-07-18 2005-01-20 Nissan Motor Co., Ltd. Lane-changing support system
CN108639048A (zh) * 2018-05-15 2018-10-12 智车优行科技（北京）有限公司 汽车变道辅助方法、系统以及汽车
CN109285348A (zh) * 2018-10-26 2019-01-29 深圳大学 一种基于双向长短时记忆网络的车辆行为识别方法及系统
CN109976334A (zh) * 2019-02-25 2019-07-05 广州文远知行科技有限公司 车辆变道方法、装置、设备和存储介质
CN110103955A (zh) * 2019-04-28 2019-08-09 浙江吉利控股集团有限公司 一种车辆预警方法、装置及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104915A (zh) * 2014-07-21 2014-10-15 四川沛阳科技有限公司 基于移动终端的多功能行车监控预警系统
CN104135650A (zh) * 2014-08-11 2014-11-05 四川沛阳科技有限公司 基于移动终端的带有行车轨迹预测的全景俯视行车监控方法
CN104867329B (zh) * 2015-04-23 2017-04-12 同济大学 一种车联网车辆状态预测方法
CN106981202A (zh) * 2017-05-22 2017-07-25 中原智慧城市设计研究院有限公司 一种基于车道模型的车辆来回变道检测方法
CN109145680B (zh) * 2017-06-16 2022-05-27 阿波罗智能技术(北京)有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
US10579063B2 (en) * 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US11112796B2 (en) * 2017-08-08 2021-09-07 Uatc, Llc Object motion prediction and autonomous vehicle control
CN107697070B (zh) * 2017-09-05 2020-04-07 百度在线网络技术（北京）有限公司 驾驶行为预测方法和装置、无人车
CN107919027B (zh) * 2017-10-24 2020-04-28 北京汽车集团有限公司 预测车辆变道的方法、装置和系统
US10414395B1 (en) * 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
CN110111566B (zh) * 2019-04-19 2021-07-06 腾讯科技（深圳）有限公司 轨迹预测方法、装置和存储介质
CN110164183A (zh) * 2019-05-17 2019-08-23 武汉理工大学 一种在车车通信条件下考虑他车驾驶意图的安全辅助驾驶预警方法
CN110796856B (zh) * 2019-10-16 2022-03-25 腾讯科技（深圳）有限公司 车辆变道意图预测方法及变道意图预测网络的训练方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157731A (ja) * 2002-11-06 2004-06-03 Nissan Motor Co Ltd 車両用推奨操作量生成装置
US20050015203A1 (en) * 2003-07-18 2005-01-20 Nissan Motor Co., Ltd. Lane-changing support system
CN108639048A (zh) * 2018-05-15 2018-10-12 智车优行科技（北京）有限公司 汽车变道辅助方法、系统以及汽车
CN109285348A (zh) * 2018-10-26 2019-01-29 深圳大学 一种基于双向长短时记忆网络的车辆行为识别方法及系统
CN109976334A (zh) * 2019-02-25 2019-07-05 广州文远知行科技有限公司 车辆变道方法、装置、设备和存储介质
CN110103955A (zh) * 2019-04-28 2019-08-09 浙江吉利控股集团有限公司 一种车辆预警方法、装置及电子设备

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073389A1 (zh) * 2019-10-16 2021-04-22 腾讯科技（深圳）有限公司 车辆自动控制方法及变道意图预测网络的训练方法
CN111753371A (zh) * 2020-06-04 2020-10-09 纵目科技（上海）股份有限公司 一种车身控制网络模型的训练方法、系统、终端和存储介质
CN111754816A (zh) * 2020-06-04 2020-10-09 纵目科技（上海）股份有限公司 一种移动物体意图识别方法、系统、终端和存储介质
CN111753371B (zh) * 2020-06-04 2024-03-15 纵目科技（上海）股份有限公司 一种车身控制网络模型的训练方法、系统、终端和存储介质
US11433923B2 (en) 2020-06-10 2022-09-06 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for long-term prediction of lane change maneuver
CN113077619A (zh) * 2020-07-08 2021-07-06 中移(上海)信息通信科技有限公司 车辆运动预测的方法、装置、设备及存储介质
CN115053277A (zh) * 2020-07-08 2022-09-13 深圳元戎启行科技有限公司 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质
CN113077619B (zh) * 2020-07-08 2021-12-07 中移(上海)信息通信科技有限公司 车辆运动预测的方法、装置、设备及存储介质
CN115053277B (zh) * 2020-07-08 2024-04-16 深圳元戎启行科技有限公司 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质
CN111746544A (zh) * 2020-07-13 2020-10-09 吉林大学 一种体现驾驶员个性化行为的车道变换方法
CN111746544B (zh) * 2020-07-13 2021-05-25 吉林大学 一种体现驾驶员个性化行为的车道变换方法
CN111845787A (zh) * 2020-08-03 2020-10-30 北京理工大学 一种基于lstm的换道意图预测方法
CN112530202A (zh) * 2020-11-23 2021-03-19 中国第一汽车股份有限公司 一种车辆变道的预测方法、装置、设备及车辆
CN112530202B (zh) * 2020-11-23 2022-01-04 中国第一汽车股份有限公司 一种车辆变道的预测方法、装置、设备及车辆
CN112562328A (zh) * 2020-11-27 2021-03-26 腾讯科技（深圳）有限公司 一种车辆行为预测方法及装置
CN112614373A (zh) * 2020-12-29 2021-04-06 厦门大学 一种基于BiLSTM周车换道意图预测方法
CN113793074A (zh) * 2021-02-20 2021-12-14 同济大学 一种自动驾驶车辆社会合作性评价方法
CN113793074B (zh) * 2021-02-20 2023-08-29 同济大学 一种自动驾驶车辆社会合作性评价方法
CN113548054B (zh) * 2021-07-07 2022-10-14 东风汽车集团股份有限公司 基于时序的车辆变道意图预测方法及系统
CN113548054A (zh) * 2021-07-07 2021-10-26 东风汽车集团股份有限公司 基于时序的车辆变道意图预测方法及系统
CN113568416A (zh) * 2021-09-26 2021-10-29 智道网联科技(北京)有限公司 无人车轨迹规划方法、装置和计算机可读存储介质
CN114312769A (zh) * 2022-02-11 2022-04-12 清华大学 考虑周车横纵向运动意图的智能车辆紧急制动方法及系统
CN114312769B (zh) * 2022-02-11 2023-11-10 清华大学 考虑周车横纵向运动意图的智能车辆紧急制动方法及系统
CN116052417A (zh) * 2022-12-21 2023-05-02 浙江零跑科技股份有限公司 一种行驶预测方法、装置、设备和可读存储介质
CN117633519A (zh) * 2024-01-26 2024-03-01 腾讯科技（深圳）有限公司 变道检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4009300A1 (en) 2022-06-08
EP4009300A4 (en) 2022-09-07
WO2021073389A1 (zh) 2021-04-22
US20220105961A1 (en) 2022-04-07
CN110796856B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN110796856B (zh) 车辆变道意图预测方法及变道意图预测网络的训练方法
US11899411B2 (en) Hybrid reinforcement learning for autonomous driving
Ma et al. Artificial intelligence applications in the development of autonomous vehicles: A survey
CN112099496B (zh) 一种自动驾驶训练方法、装置、设备及介质
CN110562258B (zh) 一种车辆自动换道决策的方法、车载设备和存储介质
US20230124864A1 (en) Graph Representation Querying of Machine Learning Models for Traffic or Safety Rules
Huang et al. A probabilistic risk assessment framework considering lane-changing behavior interaction
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
JP7421889B2 (ja) イメージ認識モデルのトレーニング装置及び方法並びにイメージ認識方法
CN107310550A (zh) 道路交通工具行驶控制方法和装置
CN112406904B (zh) 自动驾驶策略的训练方法、自动驾驶方法、设备和车辆
US11577723B2 (en) Object trajectory association and tracking
Sequeira et al. A lane merge coordination model for a V2X scenario
JP2023523350A (ja) 乗り物に基づくデータ処理方法、データ処理装置、コンピュータ機器、及びコンピュータプログラム
US11657268B1 (en) Training neural networks to assign scores
CN113276860B (zh) 车辆控制方法、装置、电子设备以及存储介质
CN115062202A (zh) 驾驶行为意图及轨迹的预测方法、装置、设备及存储介质
CN115719547A (zh) 基于多重交互行为的交通参与者轨迹预测方法及系统
Khanum et al. Involvement of Deep Learning for Vision Sensor-Based Autonomous Driving Control: A Review
CN114889608A (zh) 一种基于注意力机制的车辆换道预测方法
CN114428889A (zh) 轨迹绑路方法、模型训练方法、装置、设备及存储介质
EP4231044A1 (en) Object detection and state estimation from deep learned per-point radar representations
Xiao et al. Research on Intelligent Road Navigation System Based on Simulated Traffic Flow and V2I Technology
Zhang et al. Learning-based algorithms with application to urban scene autonomous driving
CN116476861A (zh) 一种基于多模态感知和分层动作的自动驾驶决策系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022077

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant