CN114596553B - 模型训练方法、轨迹预测方法、装置及自动驾驶车辆 - Google Patents

模型训练方法、轨迹预测方法、装置及自动驾驶车辆 Download PDF

Info

Publication number
CN114596553B
CN114596553B CN202210244263.1A CN202210244263A CN114596553B CN 114596553 B CN114596553 B CN 114596553B CN 202210244263 A CN202210244263 A CN 202210244263A CN 114596553 B CN114596553 B CN 114596553B
Authority
CN
China
Prior art keywords
obstacle
action selection
action
model
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210244263.1A
Other languages
English (en)
Other versions
CN114596553A (zh
Inventor
郑欣悦
柳长春
朱振广
孙灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN202210244263.1A priority Critical patent/CN114596553B/zh
Publication of CN114596553A publication Critical patent/CN114596553A/zh
Priority to EP22216178.8A priority patent/EP4134878A3/en
Priority to US18/089,832 priority patent/US20230136303A1/en
Application granted granted Critical
Publication of CN114596553B publication Critical patent/CN114596553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本公开提供了一种模型训练方法、轨迹预测方法、装置及自动驾驶车辆，涉及人工智能领域，尤其涉及深度学习、自动驾驶和智能交通技术领域。具体实现方案包括：根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数；利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略；以及根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。

Description

模型训练方法、轨迹预测方法、装置及自动驾驶车辆
技术领域
本公开涉及人工智能领域，尤其涉及深度学习、自动驾驶和智能交通技术领域，可应用于模型训练和轨迹预测等场景。
背景技术
深度学习在自动驾驶领域中的作用日益凸显，网络模型训练是深度学习技术的核心内容。但是，在一些场景下，网络模型训练存在训练效率低、训练效果不佳的现象。
发明内容
本公开提供了一种模型训练方法、轨迹预测方法及装置、设备、介质、产品及自动驾驶车辆。
根据本公开的一方面，提供了一种模型训练方法，包括：根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数；利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；根据所述轨迹预测结果和所述第一动作选择策略，确定第二动作选择策略；以及根据所述第二动作选择策略，对所述待训练模型的模型参数进行第n+1轮次调整。
根据本公开的另一方面，提供了一种轨迹预测方法，包括：获取待处理的源数据；以及利用轨迹预测模型，进行基于所述源数据的至少一个轨迹预测动作，得到轨迹预测结果，所述轨迹预测模型采用上述任一方面的模型训练方法生成。
根据本公开的另一方面，提供了一种模型训练装置，包括：第一处理模块，用于根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数；第二处理模块，用于利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；第三处理模块，用于根据所述轨迹预测结果和所述第一动作选择策略，确定第二动作选择策略；以及第四处理模块，用于根据所述第二动作选择策略，对所述待训练模型的模型参数进行第n+1轮次调整。
根据本公开的另一方面，提供了一种轨迹预测装置，包括：获取模块，用于获取待处理的源数据；以及第五处理模块，用于利用轨迹预测模型，进行基于所述源数据的至少一个轨迹预测动作，得到轨迹预测结果，所述轨迹预测模型采用上述任一方面的模型训练装置生成。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方面的模型训练方法，或者执行上述任一方面的轨迹预测方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述任一方面的模型训练方法，或者执行上述任一方面的轨迹预测方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任一方面的模型训练方法，或者实现上述任一方面的轨迹预测方法。
根据本公开的另一方面，提供了一种自动驾驶车辆，包括上述的电子设备。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开一实施例的模型训练方法和装置的系统架构；
图2示意性示出了根据本公开一实施例的模型训练方法的流程图；
图3示意性示出了根据本公开另一实施例的模型训练方法的流程图；
图4示意性示出了根据本公开一实施例的模型训练过程的示意图；
图5示意性示出了根据本公开一实施例的轨迹预测方法的流程图；
图6示意性示出了根据本公开一实施例的模型训练装置的框图；
图7示意性示出了根据本公开一实施例的轨迹预测装置的框图；
图8示意性示出了根据本公开的实施例的用于执行模型训练电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包括”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开实施例提供了一种模型训练方法。本方法包括：根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数；利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略；以及根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
图1示意性示出了根据本公开一实施例的模型训练方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据该实施例的系统架构100可以包括请求终端101、网络102和服务器103。网络102用于在请求终端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。
请求终端101通过网络102与服务器103进行交互，以接收或发送数据等。请求终端101例如用于向服务器103发送模型训练请求，请求终端101例如还用于向服务器103提供用于模型训练的训练样本数据。
服务器103可以是提供各种服务的服务器，例如可以是根据由请求终端101提供的训练样本数据进行模型训练的后台处理服务器(仅为示例)。
例如，服务器103用于在接收到来自请求终端101的模型训练请求之后，根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数。服务器103还用于利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果，根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略，以及根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
需要说明的是，本公开实施例所提供的模型训练方法可以由服务器103执行。相应地，本公开实施例所提供的模型训练装置可以设置于服务器103中。本公开实施例所提供的模型训练方法也可以由不同于服务器103且能够与请求终端101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的模型训练装置也可以设置于不同于服务器103且能够与请求终端101和/或服务器103通信的服务器或服务器集群中。
应该理解，图1中的请求终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的请求终端、网络和服务器。
本公开实施例提供了一种模型训练方法，下面结合图1的系统架构，参考图2～图4来描述根据本公开示例性实施方式的模型训练方法。本公开实施例的模型训练方法例如可以由图1所示的服务器103来执行。
图2示意性示出了根据本公开一实施例的模型训练方法的流程图。
如图2所示，本公开实施例的模型训练方法200例如可以包括操作S210～操作S240。
在操作S210，根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数。
在操作S220，利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果。
在操作S230，根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略。
在操作S240，根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
下面示例说明本实施例的模型训练方法的各操作的示例流程。
示例性地，在对待训练模型进行第n轮次训练过程中，可以基于第一动作选择策略，从候选操作模块池中选择x个候选操作模块，x为大于0的整数。候选操作模块例如可以包括道路空间信息的特征融合模块、障碍物时间交互信息的提取模块、障碍物空间交互信息的提取模块、障碍物与道路信息的特征融合模块等。
x个候选操作模块中可能包括被重复选择的候选操作模块。第一动作选择策略可以指示与x个候选操作模块关联的操作模块类别、操作模块数量、操作模块连接顺序、操作模块权重等信息。第一动作选择策略例如可由策略模型生成，策略模型例如可以是基于强化学习算法的Transformer模型或时序性模型，时序性模型例如可以包括RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long Short-Term Memory，长短期记忆)等，强化学习算法例如可以采用Deep Q-learning算法实现。
基于选择出的x个候选操作模块，调整待训练模型的模型参数，得到可以实现x个候选操作模块功能的中间网络模型。中间网络模型可以执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果。换言之，中间网络模型可以执行与x个候选操作模块对应的至少一个模型预测动作，得到轨迹预测结果。
至少一个轨迹预测动作例如可以包括以下动作中的至少之一：针对至少一个障碍物中的目标障碍物，确定针对目标障碍物的时间交互特征、确定目标障碍物与其他障碍物之间的空间交互特征、确定目标障碍物与行驶环境之间的环境交互特征。目标障碍物包括至少一个障碍物中的任意障碍物，其他障碍物包括至少一个障碍物中的除目标障碍物以外的障碍物。
利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果。基于轨迹预测结果，反向调整用于指导模型训练的第一动作选择策略，得到第二动作选择策略，可以有效改善模型训练效率，和有效保证模型训练效果。
单个轨迹预测动作可能对应一个或者多个候选操作模块，单个候选操作模块也可能对应一个或者多个轨迹预测动作，轨迹预测动作与候选操作模块之间具有任意映射关系。
单个候选操作模块中可能包括多个候选操作子模块。示例性地，障碍物空间交互信息的提取模块可以包括位置特征提取子模块、位置特征池化子模块、位置特征拼接子模块、位置特征加权子模块等内容。在单个候选操作模块中包括多个候选操作子模块的情况下，中间网络模型可以执行与多个候选操作子模块对应的至少一个模型预测子动作。
根据第一动作选择策略和由中间网络模型输出的轨迹预测结果，确定第二动作选择策略。示例性地，可以根据轨迹预测结果和由验证样本数据指示的障碍物轨迹标签，确定针对第一动作选择策略的奖励函数值。根据奖励函数值和第一动作选择策略，确定第二动作选择策略。
根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。示例性地，可以根据第二动作选择策略，从候选操作模块池中选择y个候选操作模块，y为大于0的整数。基于选择出的y个候选操作模块，调整待训练模型的模型参数，得到可以实现y个候选操作模块功能的中间网络模型。
示例性地，可以以奖励函数值最大化为训练目标，对动作选择策略进行迭代优化。根据迭代优化后的动作选择策略，选择至少一个候选操作模块。根据选择出的至少一个候选操作模块，对待训练模型的模型参数进行调整，得到经训练的神经网络模型。基于经训练的神经网络模型，得到轨迹预测模型。
通过本公开实施例，根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数，利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果，根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略，以及根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
利用中间网络模型，执行由第一动作选择策略指示的至少一个轨迹预测动作，得到轨迹预测结果，以及基于轨迹预测结果和第一动作选择策略，确定用于指导模型训练的第二动作选择策略。可以有效提升模型训练效率，有效保证模型训练精度，能够有效降低模型训练对专家数据的依赖程度，有利于自动化生成适于无人驾驶场景的神经网络模型，能够有效缩减模型训练过程中人工设计的时间成本消耗，有利于为驾驶辅助控制提供可信的决策支持。
图3示意性示出了根据本公开另一实施例的模型训练方法的流程图。
如图3所示，本公开实施例的模型训练方法300例如可以包括操作S210～S220、S310和S240。
在操作S210，根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数。
在操作S220，利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果。
在操作S310，根据轨迹预测结果和由验证样本数据指示的障碍物轨迹标签，确定针对第一动作选择策略的奖励函数值，以及根据奖励函数值和第一动作选择策略，确定第二动作选择策略。
在操作S240，根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
下面示例说明本实施例的模型训练方法的各操作的示例流程。
示例性地，可以根据第一动作选择策略，确定与待训练模型关联的至少一个候选操作模块。根据至少一个候选操作模块，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数。
利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果。换言之，利用中间网络模型，执行与至少一个候选操作模块对应的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果。
至少一个轨迹预测动作例如可以包括确定针对目标障碍物的时间交互特征、确定目标障碍物与其他障碍物之间的空间交互特征、确定目标障碍物与行驶环境之间的环境交互特征、确定目标障碍物的障碍物类型等。目标障碍物包括至少一个障碍物中的任意障碍物，其他障碍物包括至少一个障碍物中的除目标障碍物以外的障碍物。
一种示例方式，在至少一个轨迹预测动作包括确定时间交互特征的情况下，根据由训练样本数据指示的目标障碍物基于至少一个历史时刻的位置信息，确定针对目标障碍物的时间交互特征。时间交互特征可以指示与目标障碍物关联的基于至少一个历史时刻的位置关联关系。
可以根据目标障碍物基于至少一个历史时刻的位置信息，确定目标障碍物基于至少一个历史时刻的位置特征。对目标障碍物基于至少一个历史时刻的位置特征进行池化，得到针对目标障碍物的时间交互特征。
示例性地，可以基于第一动作选择策略，从候选操作模块池中选择障碍物时间交互信息的提取模块。可以在待训练模型中部署障碍物时间交互信息的提取模块，以执行确定时间交互特征的轨迹预测动作。障碍物时间交互信息的提取模块例如可以包括位置特征提取子模块、池化子模块等内容。
在确定出针对目标障碍物的时间交互特征之后，可以利用中间网络模型基于时间交互特征进行障碍物轨迹预测，得到轨迹预测结果。利用中间网络模型，执行由第一动作选择策略指示的确定时间交互特征的轨迹预测动作，得到轨迹预测结果，能够有效保证模型训练效果，有效提升障碍物轨迹预测的准确度。
另一示例方式，在至少一个轨迹预测动作包括确定空间交互特征的情况下，可以根据由训练样本数据指示的各障碍物基于至少一个历史时刻的位置信息，确定目标障碍物与其他障碍物之间的基于每个历史时刻的空间交互子特征。根据预设的第一注意力矩阵，对基于每个历史时刻的空间交互子特征进行加权，得到空间交互特征。
示例性地，可以根据各障碍物基于至少一个历史时刻的位置信息，确定各障碍物基于至少一个历史时刻的位置特征。对各障碍物基于至少一个历史时刻的位置特征进行池化，得到目标障碍物与其他障碍物之间的基于每个历史时刻的空间交互子特征。
将基于每个历史时刻的空间交互子特征进行拼接，得到空间交互子特征矩阵。根据预设的第一注意力矩阵，对空间交互子特征矩阵进行注意力加权，得到目标障碍物与其他障碍物之间的空间交互特征。第一注意力矩阵例如可由注意力网络根据各障碍物之间的历史空间交互子特征确定。
示例性地，可以基于第一动作选择策略，从候选操作模块池中选择障碍物空间交互信息的提取模块。可以在待训练模型中部署障碍物空间交互信息的提取模块，以执行确定空间交互特征的轨迹预测动作。障碍物空间交互信息的提取模块例如可以包括位置特征提取子模块、池化子模块、特征拼接子模块、注意力网络子模块等内容。
在确定出目标障碍物与其他障碍物之间的空间交互特征之后，可以利用中间网络模型基于空间交互特征进行障碍物轨迹预测，得到轨迹预测结果。利用中间网络模型，执行由第一动作选择策略指示的确定空间交互特征的轨迹预测动作，得到轨迹预测结果，有利于在复杂场景下按需给出符合各上下游功能/需求的预测结果，有利于自动化生成适于无人驾驶场景的神经网络模型。
训练样本数据指示目标障碍物基于至少一个历史时刻的位置信息和行驶环境中的道路信息。另一示例方式，在至少一个轨迹预测动作包括确定环境交互特征的情况下，根据目标障碍物基于至少一个历史时刻的位置信息，确定针对目标障碍物的至少一个轨迹向量。根据行驶环境中的道路信息，确定至少一个道路向量。根据至少一个轨迹向量和至少一个道路向量，确定与目标障碍物关联的环境交互特征。
示例性地，根据目标障碍物基于至少一个历史时刻的位置信息，对目标障碍物的运动轨迹进行等时间间隔取点，得到至少一个轨迹向量。对由道路信息指示的目标道路进行切分，得到至少一个道路向量。针对至少一个轨迹向量中的每个轨迹向量，将轨迹向量和与轨迹向量满足预设距离阈值条件的道路向量连接，生成邻接关系矩阵。基于邻接关系矩阵进行交互信息提取，得到与目标障碍物关联的环境交互特征。
例如，利用图卷积神经网络将至少一个轨迹向量进行连接、将每个轨迹向量和与对应轨迹向量满足预设距离阈值条件的道路向量进行连接，生成邻接关系矩阵。根据预设的第二注意力矩阵，基于邻接关系矩阵进行交互信息提取，得到与目标障碍物关联的环境交互特征。例如，通过自注意力神经网络模块，基于输入的至少一个轨迹向量、至少一个道路向量及邻接关系矩阵进行交互信息提取，得到与目标障碍物关联的环境交互特征。
示例性地，可以基于第一动作选择策略，从候选操作模块池中选择障碍物与道路信息的特征融合模块。可以在待训练模型中部署障碍物与道路信息的特征融合模块，以执行确定环境交互特征的轨迹预测动作。障碍物与道路信息的特征融合模块例如可以包括轨迹向量/道路向量生成子模块、邻接关系矩阵生成子模块、交互信息提取子模块等内容。
在确定出与目标障碍物关联的环境交互特征之后，可以利用中间网络模型基于环境交互特征进行障碍物轨迹预测，得到轨迹预测结果。利用中间网络模型，执行由第一动作选择策略指示的确定环境交互特征的轨迹预测动作，得到轨迹预测结果，能够有效减少模型训练对人工设计和专家数据的依赖程度，有利于有效改善模型训练效率，和有效保证模型训练效果。
可以基于时间交互特征、空间交互特征和环境交互特征中的至少部分特征进行障碍物轨迹预测，得到轨迹预测结果。时间交互特征、空间交互特征和环境交互特征中的至少部分特征可由x个候选操作模块执行对应的轨迹预测动作得到。
第一动作选择策略可以指示与x个候选操作模块关联的操作模块类别、操作模块数量、操作模块连接顺序、操作模块权重等信息。因此，第一动作选择策略也可以指示与各交互特征关联的特征类别、特征权重、特征耦合关系等信息。中间网络模型例如可以是以循环神经网络为隐含层的神经网络模型，在循环神经网络中隐藏层的输入可以包括输入层的输出和在前隐藏层的输出，隐藏层内的节点可以自连，也可以互连。
根据第一动作选择策略和由中间网络模型输出的轨迹预测结果，确定第二动作选择策略。示例性地，可以根据轨迹预测结果和由验证样本数据指示的障碍物轨迹标签，确定针对第一动作选择策略的奖励函数值。根据奖励函数值和第一动作选择策略，确定第二动作选择策略。
训练样本数据可以包括基于指定时间段的障碍物状态数据和行驶环境数据。将训练样本数据作为输入数据，利用中间网络模型预测基于指定时间段之后的至少一个目标时刻的障碍物轨迹，得到轨迹预测结果。验证样本数据指示了与至少一个目标时刻关联的障碍物真实轨迹，将由验证样本数据指示的障碍物真实轨迹作为障碍物轨迹标签。根据轨迹预测结果和障碍物轨迹标签之间的差异程度，确定针对第一动作选择策略的奖励函数值。
奖励函数值可以配置为任何能够指示训练进度的值，例如可以是验证集准确率、相邻训练轮次中模型更新前后的损失函数值之差等。示例性地，可以将障碍物预测轨迹和真实轨迹之间的匹配度，作为针对第一动作选择策略的奖励函数值。另外，还可以将奖励函数值与匹配度进行映射，奖励函数值Reward可以表示为
Figure BDA0003543207930000111
Matg表示障碍物预测轨迹和真实轨迹之间的匹配度，M1表示第一匹配度阈值，M2表示第二匹配度阈值。
第一动作选择策略包括针对至少一个轨迹预测动作的控制参数。针对至少一个轨迹预测动作的控制参数例如用于控制与轨迹预测动作关联的动作类别、动作内容、动作权重、动作执行次序、动作执行频次、动作耦合关系等信息。可以根据奖励函数值，调整第一动作选择策略中针对至少一个轨迹预测动作的控制参数，得到第二动作选择策略。
示例性地，在奖励函数值大于预设奖励阈值的情况下，根据奖励函数值对第一动作选择策略中的控制参数进行调整，得到第二动作选择策略。可以根据奖励函数值确定针对轨迹预测动作的选择概率，选择概率与奖励函数值呈正相关。基于选择概率调整第一动作选择策略中的控制参数，得到第二动作选择策略。
在奖励函数值小于等于预设奖励阈值，或者针对待训练模型的模型参数的调整轮次小于预设轮次阈值的情况下，随机选择动作选择策略，以作为第二动作选择策略。示例性地，也可以采用ε-greedy算法确定第二动作选择策略，ε-greedy算法是一种常用的贪心策略算法，可用于权衡强化学习中的动作选择倾向。ε可以是小于1的整数，ε概率用于随机选择动作选择策略，1-ε概率用于选择已有的奖励函数值最大的动作选择策略。
基于奖励函数值和第一动作选择策略，确定用于指导模型训练的第二动作选择策略，可以有效减少模型训练的计算开销，可以有效提升训练样本数据的利用率，能够有效改善模型训练效率，和有效保证模型训练效果。
根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。对待训练模型的模型参数进行迭代轮次调整，直至达到预设训练终止条件。训练终止条件例如可以包括迭代轮次达到预设轮次阈值、针对动作选择策略的奖励函数值达成收敛、存在动作选择策略的奖励函数值满足预设奖励函数阈值。在达到训练终止条件之后，可以基于经训练的神经网模型，得到轨迹预测模型。
根据轨迹预测结果，确定针对第一动作选择策略的奖励函数值，以及根据奖励函数值和第一动作选择策略，确定用于指导模型训练的第二动作选择策略。通过为第二动作选择策略的确定提供启发式策略，可以基于模型训练目标自适应确定动作选择策略，可以有效减少模型训练对人工设计和专家数据的依赖程度，能够有效提升训练样本数据的利用率，和有效改善模型训练效率。能够减少模型训练的计算资源消耗，通过外部奖励积累可以有效保证模型训练效果，有利于提升障碍物轨迹预测精度，有利于为驾驶辅助控制提供可信的决策支持。
图4示意性示出了根据本公开一实施例的模型训练过程的示意图。
如图4所示，在模型训练过程400中，根据第一动作选择策略401，从候选操作模块池中选择x个候选操作模块402，x为大于0的整数。基于选择出的x个候选操作模块402，对待训练模型403的模型参数进行第n轮次调整，得到可以实现x个候选操作模块402功能的中间网络模型404。
利用中间网络模型404，执行由第一动作选择策略401指示的基于训练样本数据405的至少一个轨迹预测动作，得到轨迹预测结果406。根据轨迹预测结果406和由验证样本数据407指示的障碍物轨迹标签，确定针对第一动作选择策略401的奖励函数值408。根据奖励函数值408和第一动作选择策略401，确定用于指导第n+1轮次模型参数调整的第二动作选择策略409。
根据奖励函数值和第一动作选择策略，确定用于指导模型训练的第二动作选择策略，可以有效提升模型训练速度，和有效保证经训练模型的泛化性能。有利于降低模型训练对专家数据和人工设计的依赖程度，有利于自动化生成适于无人驾驶场景的神经网络模型，有利于为驾驶辅助控制提供可信的决策支持。
图5示意性示出了根据本公开一实施例的轨迹预测方法的流程图。
如图5所示，本公开实施例的轨迹预测方法500例如可以包括操作S510～操作S520。
在操作S510，获取待处理的源数据。
在操作S520，利用轨迹预测模型，进行基于源数据的至少一个轨迹预测动作，得到轨迹预测结果。
示例性地，待处理的源数据例如可以包括至少一个障碍物的运动状态数据和行驶环境数据。将待处理的源数据作为轨迹预测模型的输入数据，利用轨迹预测模型执行基于源数据的至少一个轨迹预测动作，得到与目标障碍物关联的轨迹预测结果。
至少一个轨迹预测动作例如可以包括以下动作中的至少之一：针对至少一个障碍物中的目标障碍物，确定针对目标障碍物的时间交互特征、确定目标障碍物与其他障碍物之间的空间交互特征、确定目标障碍物与行驶环境之间的环境交互特征。目标障碍物包括至少一个障碍物中的任意障碍物，其他障碍物包括至少一个障碍物中的除目标障碍物以外的障碍物。
可以有效保证障碍物轨迹的预测精度，有利于为驾驶辅助控制提供可信的数据支持，有利于保证无人驾驶车辆的安全行驶。
图6示意性示出了根据本公开一实施例的模型训练装置的框图。
如图6所示，本公开实施例的模型训练装置600例如包括第一处理模块610、第二处理模块620、第三处理模块630和第四处理模块640。
第一处理模块610，用于根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数；第二处理模块620，用于利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；第三处理模块630，用于根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略；以及第四处理模块640，用于根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
通过本公开实施例，根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，n＝1，......N，N为大于1的整数，利用中间网络模型，执行由第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果，根据轨迹预测结果和第一动作选择策略，确定第二动作选择策略，以及根据第二动作选择策略，对待训练模型的模型参数进行第n+1轮次调整。
利用中间网络模型，执行由第一动作选择策略指示的至少一个轨迹预测动作，得到轨迹预测结果，以及基于轨迹预测结果和第一动作选择策略，确定用于指导模型训练的第二动作选择策略。可以有效提升模型训练效率，有效保证模型训练精度，能够有效降低模型训练对专家数据的依赖程度，有利于自动化生成适于无人驾驶场景的神经网络模型，能够有效缩减模型训练过程中人工设计的时间成本消耗，有利于为驾驶辅助控制提供可信的决策支持。
根据本公开的实施例，至少一个轨迹预测动作包括以下动作中的至少之一：针对至少一个障碍物中的目标障碍物，确定针对目标障碍物的时间交互特征；确定目标障碍物与其他障碍物之间的空间交互特征；确定目标障碍物与行驶环境之间的环境交互特征。目标障碍物包括至少一个障碍物中的任意障碍物，其他障碍物包括至少一个障碍物中的除目标障碍物以外的障碍物。
根据本公开的实施例，第二处理模块包括：第一处理子模块，用于在至少一个轨迹预测动作包括确定时间交互特征的情况下，根据由训练样本数据指示的目标障碍物基于至少一个历史时刻的位置信息，确定针对目标障碍物的时间交互特征；以及第二处理子模块，用于基于时间交互特征进行障碍物轨迹预测，得到轨迹预测结果。
根据本公开的实施例，第二处理模块包括：第三处理子模块，用于在至少一个轨迹预测动作包括确定空间交互特征的情况下，根据由训练样本数据指示的各障碍物基于至少一个历史时刻的位置信息，确定目标障碍物与其他障碍物之间的基于每个历史时刻的空间交互子特征；第四处理子模块，用于根据预设的第一注意力矩阵，对基于每个历史时刻的空间交互子特征进行加权，得到空间交互特征；以及第五处理子模块，用于基于空间交互特征进行障碍物轨迹预测，得到轨迹预测结果。
根据本公开的实施例，训练样本数据指示目标障碍物基于至少一个历史时刻的位置信息和行驶环境中的道路信息；第二处理模块包括：第六处理子模块，用于在至少一个轨迹预测动作包括确定环境交互特征的情况下，根据目标障碍物基于至少一个历史时刻的位置信息，确定针对目标障碍物的至少一个轨迹向量；第七处理子模块，用于根据行驶环境中的道路信息，确定至少一个道路向量；第八处理子模块，用于根据至少一个轨迹向量和至少一个道路向量，确定与目标障碍物关联的环境交互特征；以及第九处理子模块，用于基于环境交互特征进行障碍物轨迹预测，得到轨迹预测结果。
根据本公开的实施例，第八处理子模块包括：第一处理单元，用于针对至少一个轨迹向量中的每个轨迹向量，将轨迹向量和与轨迹向量满足预设距离阈值条件的道路向量连接，生成邻接关系矩阵；以及第二处理单元，用于基于邻接关系矩阵进行交互信息提取，得到与目标障碍物关联的环境交互特征。
根据本公开的实施例，第三处理模块包括：第十处理子模块，用于根据轨迹预测结果和由验证样本数据指示的障碍物轨迹标签，确定针对第一动作选择策略的奖励函数值；以及第十一处理子模块，用于根据奖励函数值和第一动作选择策略，确定第二动作选择策略。
根据本公开的实施例，第一动作选择策略包括针对至少一个轨迹预测动作的控制参数；第十一处理子模块包括：第三处理单元，用于在奖励函数值大于预设奖励阈值的情况下，根据奖励函数值对第一动作选择策略中的控制参数进行调整，得到第二动作选择策略。
根据本公开的实施例，第十一处理子模块还包括：第四处理单元，用于在奖励函数值小于等于预设奖励阈值，或者针对待训练模型的模型参数的调整轮次小于预设轮次阈值的情况下，随机选择动作选择策略，以作为第二动作选择策略。
图7示意性示出了根据本公开一实施例的轨迹预测装置的框图。
如图7所示，本公开实施例的轨迹预测装置700例如包括获取模块710和第五处理模块720。
获取模块710，用于获取待处理的源数据；以及第五处理模块720，用于利用轨迹预测模型，进行基于源数据的至少一个轨迹预测动作，得到轨迹预测结果，轨迹预测模型采用上述的模型训练方法生成。
可以有效保证障碍物轨迹的预测精度，有利于为驾驶辅助控制提供可信的数据支持，有利于保证无人驾驶车辆的安全行驶。
应该注意的是，本公开的技术方案中，所涉及的信息收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，提供了一种电子设备，包括：至少一个处理器和与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的模型训练方法，或者执行上述的轨迹预测方法。
根据本公开的实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述的模型训练方法，或者执行上述的轨迹预测方法。
根据本公开的实施例，提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述的模型训练方法，或者实现上述的轨迹预测方法。
根据本公开的实施例，还提供了一种自动驾驶车辆，自动驾驶车辆例如包括电子设备，电子设备包括至少一个处理器和与至少一个处理器通信连接的存储器。存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以使至少一个处理器能够执行上述的模型训练方法，或者执行上述的轨迹预测方法。示例性地，本公开实施例的电子设备例如与图8所示的电子设备类似。
图8示意性示出了根据本公开的实施例的用于执行模型训练方法的电子设备的框图。
图8示出了可以用来实施本公开实施例的示例电子设备800的示意性框图。电子设备800旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行深度学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如模型训练方法。例如，在一些实施例中，模型训练方法可被实现为计算机软件程序，其被有形地包括于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程模型训练装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包括或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与对象的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向对象显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，对象可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与对象的交互；例如，提供给对象的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自对象的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形对象界面或者网络浏览器的对象计算机，对象可以通过该图形对象界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包括在本公开保护范围之内。

Claims (21)

1.一种模型训练方法，包括：
根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，其中，n＝1，……N，N为大于1的整数；
利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；
根据所述轨迹预测结果和所述第一动作选择策略，确定第二动作选择策略；以及
根据所述第二动作选择策略，对所述待训练模型的模型参数进行第n+1轮次调整，
针对至少一个障碍物中的目标障碍物，所述至少一个轨迹预测动作包括确定所述目标障碍物与其他障碍物之间的空间交互特征，和/或确定所述目标障碍物与行驶环境之间的环境交互特征，
其中，所述空间交互特征指示了基于所述目标障碍物和所述其他障碍物的障碍物位置之间的关联特征，所述环境交互特征指示了所述目标障碍物的运动轨迹与所述行驶环境中的目标道路之间的关联特征，
所述目标障碍物包括所述至少一个障碍物中的任意障碍物，所述其他障碍物包括所述至少一个障碍物中的除所述目标障碍物以外的障碍物。
2.根据权利要求1所述的方法，其中，所述至少一个轨迹预测动作还包括：确定针对所述目标障碍物的时间交互特征；
所述利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果，包括：
根据由所述训练样本数据指示的所述目标障碍物基于至少一个历史时刻的位置信息，确定针对所述目标障碍物的所述时间交互特征；以及
基于所述时间交互特征进行障碍物轨迹预测，得到所述轨迹预测结果。
3.根据权利要求1所述的方法，其中，所述利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果，包括：
在所述至少一个轨迹预测动作包括确定所述空间交互特征的情况下，根据由所述训练样本数据指示的各障碍物基于至少一个历史时刻的位置信息，确定所述目标障碍物与所述其他障碍物之间的基于每个历史时刻的空间交互子特征；
根据预设的第一注意力矩阵，对所述基于每个历史时刻的空间交互子特征进行加权，得到所述空间交互特征；以及
基于所述空间交互特征进行障碍物轨迹预测，得到所述轨迹预测结果。
4.根据权利要求1所述的方法，其中，
所述训练样本数据指示所述目标障碍物基于至少一个历史时刻的位置信息和所述行驶环境中的道路信息；
所述利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果，包括：
在所述至少一个轨迹预测动作包括确定所述环境交互特征的情况下，根据所述目标障碍物基于至少一个历史时刻的位置信息，确定针对所述目标障碍物的至少一个轨迹向量；
根据所述行驶环境中的道路信息，确定至少一个道路向量；
根据所述至少一个轨迹向量和所述至少一个道路向量，确定与所述目标障碍物关联的所述环境交互特征；以及
基于所述环境交互特征进行障碍物轨迹预测，得到所述轨迹预测结果。
5.根据权利要求4所述的方法，其中，所述根据所述至少一个轨迹向量和所述至少一个道路向量，确定与所述目标障碍物关联的所述环境交互特征，包括：
针对所述至少一个轨迹向量中的每个轨迹向量，将所述轨迹向量和与所述轨迹向量满足预设距离阈值条件的道路向量连接，生成邻接关系矩阵；以及
基于所述邻接关系矩阵进行交互信息提取，得到与所述目标障碍物关联的所述环境交互特征。
6.根据权利要求1所述的方法，其中，所述根据所述轨迹预测结果和所述第一动作选择策略，确定第二动作选择策略，包括：
根据所述轨迹预测结果和由验证样本数据指示的障碍物轨迹标签，确定针对所述第一动作选择策略的奖励函数值；以及
根据所述奖励函数值和所述第一动作选择策略，确定所述第二动作选择策略。
7.根据权利要求6所述的方法，其中，
所述第一动作选择策略包括针对所述至少一个轨迹预测动作的控制参数；
所述根据所述奖励函数值和所述第一动作选择策略，确定所述第二动作选择策略，包括：
在所述奖励函数值大于预设奖励阈值的情况下，根据所述奖励函数值对所述第一动作选择策略中的所述控制参数进行调整，得到所述第二动作选择策略。
8.根据权利要求7所述的方法，其中，所述根据所述奖励函数值和所述第一动作选择策略，确定所述第二动作选择策略，还包括：
在所述奖励函数值小于等于所述预设奖励阈值，或者针对所述待训练模型的模型参数的调整轮次小于预设轮次阈值的情况下，随机选择动作选择策略，以作为所述第二动作选择策略。
9.一种轨迹预测方法，包括：
获取待处理的源数据；以及
利用轨迹预测模型，进行基于所述源数据的至少一个轨迹预测动作，得到轨迹预测结果，其中，所述轨迹预测模型采用如权利要求1至8中任一项所述的方法生成。
10.一种模型训练装置，包括：
第一处理模块，用于根据第一动作选择策略，对待训练模型的模型参数进行第n轮次调整，得到中间网络模型，其中，n＝1，……N，N为大于1的整数；
第二处理模块，用于利用所述中间网络模型，执行由所述第一动作选择策略指示的基于训练样本数据的至少一个轨迹预测动作，得到轨迹预测结果；
第三处理模块，用于根据所述轨迹预测结果和所述第一动作选择策略，确定第二动作选择策略；以及
第四处理模块，用于根据所述第二动作选择策略，对所述待训练模型的模型参数进行第n+1轮次调整，
针对至少一个障碍物中的目标障碍物，所述至少一个轨迹预测动作包括确定所述目标障碍物与其他障碍物之间的空间交互特征，和/或确定所述目标障碍物与行驶环境之间的环境交互特征，
其中，所述空间交互特征指示了基于所述目标障碍物和所述其他障碍物的障碍物位置之间的关联特征，所述环境交互特征指示了所述目标障碍物的运动轨迹与所述行驶环境中的目标道路之间的关联特征，
所述目标障碍物包括所述至少一个障碍物中的任意障碍物，所述其他障碍物包括所述至少一个障碍物中的除所述目标障碍物以外的障碍物。
11.根据权利要求10所述的装置，其中，所述至少一个轨迹预测动作还包括：确定针对所述目标障碍物的时间交互特征；
所述第二处理模块包括：
第一处理子模块，用于根据由所述训练样本数据指示的所述目标障碍物基于至少一个历史时刻的位置信息，确定针对所述目标障碍物的所述时间交互特征；以及
第二处理子模块，用于基于所述时间交互特征进行障碍物轨迹预测，得到所述轨迹预测结果。
12.根据权利要求10所述的装置，其中，所述第二处理模块包括：
第三处理子模块，用于在所述至少一个轨迹预测动作包括确定所述空间交互特征的情况下，根据由所述训练样本数据指示的各障碍物基于至少一个历史时刻的位置信息，确定所述目标障碍物与所述其他障碍物之间的基于每个历史时刻的空间交互子特征；
第四处理子模块，用于根据预设的第一注意力矩阵，对所述基于每个历史时刻的空间交互子特征进行加权，得到所述空间交互特征；以及
第五处理子模块，用于基于所述空间交互特征进行障碍物轨迹预测，得到所述轨迹预测结果。
13.根据权利要求10所述的装置，其中，所述训练样本数据指示所述目标障碍物基于至少一个历史时刻的位置信息和所述行驶环境中的道路信息；所述第二处理模块包括：
第六处理子模块，用于在所述至少一个轨迹预测动作包括确定所述环境交互特征的情况下，根据所述目标障碍物基于至少一个历史时刻的位置信息，确定针对所述目标障碍物的至少一个轨迹向量；
第七处理子模块，用于根据所述行驶环境中的道路信息，确定至少一个道路向量；
第八处理子模块，用于根据所述至少一个轨迹向量和所述至少一个道路向量，确定与所述目标障碍物关联的所述环境交互特征；以及
第九处理子模块，用于基于所述环境交互特征进行障碍物轨迹预测，得到所述轨迹预测结果。
14.根据权利要求13所述的装置，其中，所述第八处理子模块包括：
第一处理单元，用于针对所述至少一个轨迹向量中的每个轨迹向量，将所述轨迹向量和与所述轨迹向量满足预设距离阈值条件的道路向量连接，生成邻接关系矩阵；以及
第二处理单元，用于基于所述邻接关系矩阵进行交互信息提取，得到与所述目标障碍物关联的所述环境交互特征。
15.根据权利要求10所述的装置，其中，所述第三处理模块包括：
第十处理子模块，用于根据所述轨迹预测结果和由验证样本数据指示的障碍物轨迹标签，确定针对所述第一动作选择策略的奖励函数值；以及
第十一处理子模块，用于根据所述奖励函数值和所述第一动作选择策略，确定所述第二动作选择策略。
16.根据权利要求15所述的装置，其中，所述第一动作选择策略包括针对所述至少一个轨迹预测动作的控制参数；所述第十一处理子模块包括：
第三处理单元，用于在所述奖励函数值大于预设奖励阈值的情况下，根据所述奖励函数值对所述第一动作选择策略中的所述控制参数进行调整，得到所述第二动作选择策略。
17.根据权利要求16所述的装置，其中，所述第十一处理子模块还包括：
第四处理单元，用于在所述奖励函数值小于等于所述预设奖励阈值，或者针对所述待训练模型的模型参数的调整轮次小于预设轮次阈值的情况下，随机选择动作选择策略，以作为所述第二动作选择策略。
18.一种轨迹预测装置，包括：
获取模块，用于获取待处理的源数据；以及
第五处理模块，用于利用轨迹预测模型，进行基于所述源数据的至少一个轨迹预测动作，得到轨迹预测结果，其中，所述轨迹预测模型采用如权利要求10至17中任一项所述的装置生成。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8任一项所述的方法，或者执行权利要求9所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至8任一项所述的方法，或者执行权利要求9所述的方法。
21.一种自动驾驶车辆，包括如权利要求19所述的电子设备。
CN202210244263.1A 2022-03-11 2022-03-11 模型训练方法、轨迹预测方法、装置及自动驾驶车辆 Active CN114596553B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210244263.1A CN114596553B (zh) 2022-03-11 2022-03-11 模型训练方法、轨迹预测方法、装置及自动驾驶车辆
EP22216178.8A EP4134878A3 (en) 2022-03-11 2022-12-22 Method and apparatus for training a model, and method and apparatus for predicting a trajectory
US18/089,832 US20230136303A1 (en) 2022-03-11 2022-12-28 Method of training model, method of predicting trajectory, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210244263.1A CN114596553B (zh) 2022-03-11 2022-03-11 模型训练方法、轨迹预测方法、装置及自动驾驶车辆

Publications (2)

Publication Number Publication Date
CN114596553A CN114596553A (zh) 2022-06-07
CN114596553B true CN114596553B (zh) 2023-01-24

Family

ID=81808727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210244263.1A Active CN114596553B (zh) 2022-03-11 2022-03-11 模型训练方法、轨迹预测方法、装置及自动驾驶车辆

Country Status (3)

Country Link
US (1) US20230136303A1 (zh)
EP (1) EP4134878A3 (zh)
CN (1) CN114596553B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115873A (zh) * 2022-06-08 2022-09-27 中国船舶集团有限公司系统工程研究院 基于可微分网络结构搜索的图像分类方法及装置
CN115687764B (zh) * 2022-11-01 2023-12-01 北京百度网讯科技有限公司 车辆轨迹评估模型的训练方法、车辆轨迹评估方法和装置
CN116088537B (zh) * 2023-04-06 2023-06-13 禾多科技（北京）有限公司 车辆避障方法、装置、电子设备和计算机可读介质
CN116540602B (zh) * 2023-04-28 2024-02-23 金陵科技学院 一种基于路段安全级别dqn的车辆无人驾驶方法
CN116562156B (zh) * 2023-05-15 2024-02-06 南栖仙策(南京)高新技术有限公司 一种控制决策模型的训练方法、装置、设备及存储介质
CN116562357B (zh) * 2023-07-10 2023-11-10 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置
CN117455918B (zh) * 2023-12-25 2024-03-26 深圳市辉熙智能科技有限公司 基于图像分析的防堵送料方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235148A (zh) * 2016-11-03 2019-09-13 渊慧科技有限公司 训练动作选择神经网络
CN112015847A (zh) * 2020-10-19 2020-12-01 北京三快在线科技有限公司 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN113264066A (zh) * 2021-06-03 2021-08-17 阿波罗智能技术(北京)有限公司 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113276883A (zh) * 2021-04-28 2021-08-20 南京大学 基于动态生成环境的无人车行驶策略规划方法及实现装置
CN113341941A (zh) * 2021-08-04 2021-09-03 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及装置
CN113485313A (zh) * 2021-06-25 2021-10-08 杭州玳数科技有限公司 自动驾驶车辆的抗干扰方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014232508A (ja) * 2013-05-30 2014-12-11 トヨタ自動車株式会社 回避軌道予測装置
CN109927719B (zh) * 2017-12-15 2022-03-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN110647839B (zh) * 2019-09-18 2022-08-12 深圳信息职业技术学院 自动驾驶策略的生成方法、装置及计算机可读存储介质
WO2021058588A1 (en) * 2019-09-25 2021-04-01 Deepmind Technologies Limited Training action selection neural networks using hindsight modelling
CN112256037B (zh) * 2020-11-03 2021-07-30 智邮开源通信研究院(北京)有限公司 应用于自动驾驶的控制方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235148A (zh) * 2016-11-03 2019-09-13 渊慧科技有限公司 训练动作选择神经网络
CN112015847A (zh) * 2020-10-19 2020-12-01 北京三快在线科技有限公司 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN113276883A (zh) * 2021-04-28 2021-08-20 南京大学 基于动态生成环境的无人车行驶策略规划方法及实现装置
CN113264066A (zh) * 2021-06-03 2021-08-17 阿波罗智能技术(北京)有限公司 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113485313A (zh) * 2021-06-25 2021-10-08 杭州玳数科技有限公司 自动驾驶车辆的抗干扰方法和装置
CN113341941A (zh) * 2021-08-04 2021-09-03 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及装置

Also Published As

Publication number Publication date
US20230136303A1 (en) 2023-05-04
CN114596553A (zh) 2022-06-07
EP4134878A2 (en) 2023-02-15
EP4134878A3 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
CN114596553B (zh) 模型训练方法、轨迹预测方法、装置及自动驾驶车辆
EP4020326A1 (en) Method and apparatus of training model, device, storage medium, and program product
US20230068238A1 (en) Method and apparatus for processing image, electronic device and storage medium
CN110531996B (zh) 一种多微云环境下基于粒子群优化的计算任务卸载方法
CN112528160B (zh) 智能推荐、模型训练方法、装置、电子设备及存储介质
CN114715145B (zh) 一种轨迹预测方法、装置、设备及自动驾驶车辆
CN114771572A (zh) 一种自动驾驶轨迹预测方法、装置、设备和存储介质
CN113739811A (zh) 关键点检测模型的训练和高精地图车道线的生成方法设备
CN115471805A (zh) 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN113902696A (zh) 图像处理方法、装置、电子设备和介质
CN112561167A (zh) 出行推荐方法、装置、电子设备及存储介质
CN115631381A (zh) 分类模型训练方法、图像分类方法、装置及电子设备
CN113705515A (zh) 语义分割模型的训练和高精地图车道线的生成方法和设备
CN114781654A (zh) 联邦迁移学习方法、装置、计算机设备及介质
KR20220042315A (ko) 교통 데이터 예측 방법, 장치 및 전자 기기
CN113688920A (zh) 模型训练及目标检测方法、装置、电子设备以及路侧设备
CN115730630A (zh) 智能体的控制方法、装置、电子设备和存储介质
CN114565170A (zh) 污染物溯源方法及装置、设备、介质和产品
CN114819095A (zh) 业务数据处理模型的生成方法、装置及电子设备
CN115273148A (zh) 行人重识别模型训练方法、装置、电子设备及存储介质
CN114742035A (zh) 基于注意力机制优化的文本处理方法、网络模型训练方法
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN117032247B (zh) 海上救援搜索路径规划方法、装置及设备
CN115018009B (zh) 对象描述方法、网络模型的训练方法及装置
CN115240171B (zh) 道路结构感知方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant