CN116680656B - 基于生成型预训练变换器的自动驾驶运动规划方法及系统 - Google Patents

基于生成型预训练变换器的自动驾驶运动规划方法及系统 Download PDF

Info

Publication number
CN116680656B
CN116680656B CN202310945270.9A CN202310945270A CN116680656B CN 116680656 B CN116680656 B CN 116680656B CN 202310945270 A CN202310945270 A CN 202310945270A CN 116680656 B CN116680656 B CN 116680656B
Authority
CN
China
Prior art keywords
type
voxel
automatic driving
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310945270.9A
Other languages
English (en)
Other versions
CN116680656A (zh
Inventor
丁勇
刘瑞香
戴行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Haipu Microelectronics Co ltd
Original Assignee
Hefei Haipu Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Haipu Microelectronics Co ltd filed Critical Hefei Haipu Microelectronics Co ltd
Priority to CN202310945270.9A priority Critical patent/CN116680656B/zh
Publication of CN116680656A publication Critical patent/CN116680656A/zh
Application granted granted Critical
Publication of CN116680656B publication Critical patent/CN116680656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了基于生成型预训练变换器的自动驾驶运动规划方法及系统，包括以下步骤：获取至少一个感知传感器采集的模态数据；提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征；将第一类型体素特征进行特征融合，得到第二类型体素特征；将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息；获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务。既能够有效地降低多个独立模型的方式会带来的深度学习模型训练成本和部署难度，又能充分利用丰富的自动驾驶数据来预训练自动驾驶统一大模型，获得感知/预测/规划特定任务的性能上的提升。

Description

基于生成型预训练变换器的自动驾驶运动规划方法及系统
技术领域
本发明涉及自动驾驶技术领域，尤其涉及基于生成型预训练变换器的自动驾驶运动规划方法及系统。
背景技术
自动驾驶（Autonomous Driving）技术带来了汽车工业的产业革命，它的发展离不开自动驾驶感知、预测和规划技术的不断创新和进步。随着统一大模型在人工智能领域的不断发展，人工智能技术具备高效、准确地解决实际生活中各种问题的潜力，并逐步进入通用人工智能（Artificial general intelligence）阶段。因此，如何在统一大模型框架下，完成自动驾驶特定任务，是迈向完全自动驾驶的核心问题。
随着自动驾驶感知传感器技术和人工智能算法性能的不断提升，自动驾驶车辆可以获得更加准确、全面的场景信息，完成自动驾驶感知（Perception）、预测（Prediction）和规划（Planning）任务，从而实现更加安全、高效的行驶。感知是自动驾驶车辆获得周围丰富的自动驾驶场景信息的关键途径，预测是自动驾驶车辆周围物体行进轨迹的判断方式，规划是自动驾驶车辆对自身驾驶行为的核心决策，它们是迈向完全自动驾驶的关键技术。
感知传感器技术主要涉及激光雷达、毫米波雷达和摄像头，当前主流自动驾驶技术利用来自这多种类型的感知传感器采集的多模态数据，使用多个独立的深度学习模型分别完成自动驾驶感知、预测和规划任务。这种作法带来不少弊端：多模态数据特征提取网络是各自动驾驶任务共有的深度学习网络结构，并且是模型结构的主要组成之一。因此，多个独立模型的解决方式会带来模型训练成本的增加；独立模型需要单独提升各自动驾驶任务的精度；多个独立模型增加了深度学习模型的部署成本。因此，自动驾驶统一大模型是自动驾驶技术发展的必然趋势，也是本发明解决的核心问题。
发明内容
为解决背景技术中存在的技术问题，本发明提出基于生成型预训练变换器的自动驾驶运动规划方法及系统。
本发明提出的基于生成型预训练变换器的自动驾驶运动规划方法，包括以下步骤：
S1、获取至少一个感知传感器采集的模态数据；
S2、提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征；
S3、将第一类型体素特征进行特征融合，得到第二类型体素特征；
S4、通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息；
S5、获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务；
“S3”具体包括：
第一类型体素特征通过一一对应的深度神经网络生成体素特征自适应融合的权重并进行数值归一化；
第一类型体素特征与一一对应的自适应融合的权重先相乘后相加，获得自适应融合的第二类型体素特征。
优选地，所述采集的模态数据包括但不限于摄像头传感器采集的图像、激光雷达传感器采集的点云/>、毫米波雷达传感器采集的点云/>。
优选地，“S2”具体包括：
通过模态数据一一对应的体素特征提取网络，提取所述模态数据的体素特征；
将体素特征设置为统一的特征维度C和分辨率，得到第一类型体素特征。
优选地，“S4”具体包括：
通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征编码生成构建体素环境相关的Key与Value，得到第二类型体素特征的编码信息。
优选地，所述自动驾驶任务的Query请求包括但不限于自动驾驶的感知、预测、规划。
基于生成型预训练变换器的自动驾驶运动规划系统，包括：
数据采集模块，用于获取至少一个感知传感器采集的模态数据；
特征提取模块，用于提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征；
特征融合模块，用于将第一类型体素特征进行特征融合，得到第二类型体素特征；
“将第一类型体素特征进行特征融合，得到第二类型体素特征”具体包括：
第一类型体素特征通过一一对应的深度神经网络生成体素特征自适应融合的权重并进行数值归一化；
第一类型体素特征与一一对应的自适应融合的权重先相乘后相加，获得自适应融合的第二类型体素特征；
AD-GPT编码器模块，用于通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息；
AD-GPT解码器模块，用于获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务。
优选地，所述采集的模态数据包括但不限于摄像头传感器采集的图像、激光雷达传感器采集的点云/>、毫米波雷达传感器采集的点云/>。
优选地，“提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征”具体包括：
通过模态数据一一对应的体素特征提取网络，提取所述模态数据的体素特征；
将体素特征设置为统一的特征维度C和分辨率，得到第一类型体素特征。
本发明中，所提出的基于生成型预训练变换器的自动驾驶运动规划方法及系统，包括多模态体素特征生成和融合、自动驾驶生成型预训练变换器编码及解码多个阶段。在模态体素特征生成阶段，能够处理摄像头、激光雷达及毫米波雷达等多种传感器数据，将其融合到统一的体素空间，既可以灵活支持传感器数量的增删，还可以满足后续多种任务的特征需求。在自动驾驶生成型预训练变换器编码和解码阶段，对融合的体素特征进行特征编码，随后实现与Query对应的特征解码，完成自动驾驶感知/预测/规划特定任务的输出结果，从而构建自动驾驶统一大模型，这样既能够有效地降低多个独立模型的方式会带来的深度学习模型训练成本和部署难度，又能充分利用丰富的自动驾驶数据来预训练自动驾驶统一大模型，获得感知/预测/规划特定任务的性能上的提升。
附图说明
图1为本发明提出的基于生成型预训练变换器的自动驾驶运动规划方法的工作流程的结构示意图；
图2为本发明提出的基于生成型预训练变换器的自动驾驶运动规划方法的内部组成的结构示意图；
图3为本发明提出的基于生成型预训练变换器的自动驾驶运动规划系统的模块构成的结构示意图。
具体实施方式
参照图1和图2，本发明提出的基于生成型预训练变换器的自动驾驶运动规划方法，包括以下步骤：
S1、获取至少一个感知传感器采集的模态数据。
在本实施例中，感知传感器采用激光雷达、毫米波雷达、摄像头等采集自动驾驶场景下的模态数据。相应的采集的模态数据包括但不限于摄像头传感器采集的图像、激光雷达传感器采集的点云/>、毫米波雷达传感器采集的点云/>。
S2、提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征。
第一类型体素特征包括图像模态体素特征、激光雷达点云模态体素特征/>、毫米波雷达点云模态体素特征/>。
通过模态数据一一对应的体素特征提取网络，提取模态数据的体素特征。
提取过程：
将摄像头传感器采集的图像输入基于图像的体素特征提取网络/>，生成图像模态体素特征/>：/>将激光雷达传感器采集的点云/>输入基于激光雷达点云的体素特征生成网络/>，生成激光雷达点云模态体素特征/>：将毫米波雷达传感器采集的点云/>输入基于毫米波雷达点云的体素特征生成网络/>，生成毫米波雷达点云模态体素特征/>：/>将体素特征设置为统一的特征维度C和分辨率/>，得到第一类型体素特征。
统一具体过程：
上述生成的体素特征、/>及/>均设置为相同的特征维度/>和分辨率。该特征维度可设置为128。该分辨率/>可设置为/>或者更大，可在真实三维空间的X、Y和Z方向上映射至/>或者更大的覆盖范围。
S3、将第一类型体素特征进行特征融合，得到第二类型体素特征。
第二类型体素特征为融合体素特征。
第一类型体素特征通过一一对应的深度神经网络生成体素特征自适应融合的权重并进行数值归一化；
第一类型体素特征与一一对应的自适应融合的权重先相乘后相加，获得自适应融合的第二类型体素特征。
在本实施例中，由各模态的体素特征生成对应体素特征自适应融合的权重，各模态的体素特征与其对应自适应融合权重相乘后相加，获得自适应融合的多模态体素特征，具体为：图像模态体素特征经由深度神经网络/>，生成图像模态体素特征的自适应融合权重/>：/>激光雷达点云模态体素特征/>经由深度神经网络，生成激光雷达点云模态体素特征的自适应融合权重/>：/>毫米波雷达点云模态体素特征/>经由深度神经网络/>，生成毫米波雷达点云模态体素特征的自适应融合权重/> 将上述生成的融合权重/>、/>及进行数值归一化：/>其中，/>为归一化函数，可采用Softmax函数实现；
各模态的体素特征体素特征、/>、及/>与对应自适应特征融合权重融合权重/>、/>及/>相乘后相加，获得自适应融合的融合体素特征/>：
该融合体素特征具有相同的特征维度/>和分辨率/>，可以灵活适应传感器数量的增加和减少，即输入模态可以兼容多模态（摄像头、激光雷达和毫米波雷达），双模态组合（摄像头和激光雷达；激光雷达和毫米波雷达；摄像头和毫米波雷达），以及单模态（摄像头；激光雷达；毫米波雷达），获得融合体素特征/>。
S4、通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息。
在本实施例中，将获得的融合体素特征，输入到自动驾驶生成型预训练变换器的特征编码器中，编码生成构建体素环境相关的Key与Value，分别记作/>第二类型体素特征先经过多头注意力机制：/>其中，MHA是多头注意力机制，生成的特征/>随后经过相加正则化：/>其中，Norm是正则化过程，获得的特征/>经过前馈网络：/>其中，FFN是前馈网络,生成的特征/>经过相加正则化，生成构建体素环境相关的/> 其中，/>作为融合体素特征的编码信息输入到自动驾驶生成型预训练变换器的解码器中。
通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征编码生成构建体素环境相关的Key与Value，得到第二类型体素特征的编码信息。
特征编码器具体为AD-GPT特征编码器。
在本实施例中，特征编码器包含第一多头注意力机制模块、第一相加并正则化模块、第一前馈网络模块和第二相加并正则化模块；第一多头注意力机制模块、第一相加并正则化模块、第一前馈网络模块和第二相加并正则化模块依次电性连接；将第二类型体素特征和位置编码经过第一多头注意力机制模块、第一相加并正则化模块、第一前馈网络模块和第二相加并正则化模块依次处理后输出至第二多头注意力机制模块。
特别地，特征解码器具体为AD-GPT特征解码器，特征解码器包含第二多头注意力机制模块、第三相加并正则化模块、第二前馈网络模块和第四相加并正则化模块；第二多头注意力机制模块、第三相加并正则化模块、第二前馈网络模块和第四相加并正则化模块依次电性连接；将第二类型体素特征自动驾驶任务的Query请求输入第二多头注意力机制模块，经过第二多头注意力机制模块、第三相加并正则化模块、第二前馈网络模块和第四相加并正则化模块依次处理后完成相应的自动驾驶任务。
具体的，如图2所示，自动驾驶任务的Query请求包括但不限于自动驾驶的感知、预测、规划。
S5、获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务。
在本实施例中，通过自动驾驶生成型预训练变换器（AD-GPT）的解码器（Decoder）进行解码，利用编码后的特征信息，根据不同自动驾驶任务的Query（记作/>）进行特征解码，完成与Query对应的特征解码后，实现自动驾驶感知/预测/规划任务输出结果/>。
具体实现过程如下：
对自动驾驶感知/预测/规划任务输出结果相关的/>对进行学习和更新，该过程基于Transformer结构的计算方式，如下：
其中，/>包括以下计算：其中，/>计算了两者的相关性矩阵；/>函数对相关性矩阵进行归一化，由Softmax函数实现；/>为前馈神经网络，可设置为两层结构；的特征维度，可设置为128，任务输入头/>用于输出自动驾驶感知/预测/规划特定任务结果。
参照图3，基于生成型预训练变换器的自动驾驶运动规划系统，包括：
数据采集模块，用于获取至少一个感知传感器采集的模态数据；
特征提取模块，用于提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征；
特征融合模块，用于将第一类型体素特征进行特征融合，得到第二类型体素特征；
“将第一类型体素特征进行特征融合，得到第二类型体素特征”具体包括：
第一类型体素特征通过一一对应的深度神经网络生成体素特征自适应融合的权重并进行数值归一化；
第一类型体素特征与一一对应的自适应融合的权重先相乘后相加，获得自适应融合的第二类型体素特征；
AD-GPT编码器模块，用于通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息；
AD-GPT解码器模块，用于获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务。
具体的，如图3所示，采集的模态数据包括但不限于摄像头传感器采集的图像、激光雷达传感器采集的点云/>、毫米波雷达传感器采集的点云/>。
具体的，如图3所示，“提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征”具体包括：
通过模态数据一一对应的体素特征提取网络，提取模态数据的体素特征；
将体素特征设置为统一的特征维度C和分辨率，得到第一类型体素特征。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于生成型预训练变换器的自动驾驶运动规划方法，其特征在于，包括以下步骤：
S1、获取至少一个感知传感器采集的模态数据；
S2、提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征；
S3、将第一类型体素特征进行特征融合，得到第二类型体素特征；
S4、通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息；
S5、获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务，所述自动驾驶任务的Query请求包括但不限于自动驾驶的感知、预测、规划；
“S3”具体包括：
第一类型体素特征通过一一对应的深度神经网络生成各模态的体素特征自适应融合的权重并进行数值归一化；
第一类型体素特征与一一对应的数值归一化后的自适应融合的权重先相乘后相加，获得自适应融合的第二类型体素特征。
2.根据权利要求1所述的基于生成型预训练变换器的自动驾驶运动规划方法，其特征在于，所述采集的模态数据包括但不限于摄像头传感器采集的图像、激光雷达传感器采集的点云/>、毫米波雷达传感器采集的点云/>。
3.根据权利要求1所述的基于生成型预训练变换器的自动驾驶运动规划方法，其特征在于，“S2”具体包括：
通过模态数据一一对应的体素特征提取网络，提取所述模态数据的体素特征；
将体素特征设置为统一的特征维度C和分辨率，得到第一类型体素特征。
4.根据权利要求1所述的基于生成型预训练变换器的自动驾驶运动规划方法，其特征在于，“S4”具体包括：
通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征编码生成构建体素环境相关的Key与Value，得到第二类型体素特征的编码信息。
5.基于生成型预训练变换器的自动驾驶运动规划系统，其特征在于，包括：
数据采集模块，用于获取至少一个感知传感器采集的模态数据；
特征提取模块，用于提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征；
特征融合模块，用于将第一类型体素特征进行特征融合，得到第二类型体素特征；
“将第一类型体素特征进行特征融合，得到第二类型体素特征”具体包括：
第一类型体素特征通过一一对应的深度神经网络生成各模态的体素特征自适应融合的权重并进行数值归一化；
第一类型体素特征与一一对应的数值归一化后的自适应融合的权重先相乘后相加，获得自适应融合的第二类型体素特征；
编码器模块，用于通过自动驾驶生成型预训练变换器的特征编码器，将第二类型体素特征进行特征编码，得到第二类型体素特征的编码信息；
解码器模块，用于获取自动驾驶任务的Query请求，利用编码信息，根据Query请求进行特征解码后，完成相应的自动驾驶任务，所述自动驾驶任务的Query请求包括但不限于自动驾驶的感知、预测、规划。
6.根据权利要求5所述的基于生成型预训练变换器的自动驾驶运动规划系统，其特征在于，所述采集的模态数据包括但不限于摄像头传感器采集的图像、激光雷达传感器采集的点云/>、毫米波雷达传感器采集的点云/>。
7.根据权利要求5所述的基于生成型预训练变换器的自动驾驶运动规划系统，其特征在于，“提取模态数据的体素特征，并统一体素特征的特征维度和分辨率，得到第一类型体素特征”具体包括：
通过模态数据一一对应的体素特征提取网络，提取所述模态数据的体素特征；
将体素特征设置为统一的特征维度C和分辨率，得到第一类型体素特征。
CN202310945270.9A 2023-07-31 2023-07-31 基于生成型预训练变换器的自动驾驶运动规划方法及系统 Active CN116680656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310945270.9A CN116680656B (zh) 2023-07-31 2023-07-31 基于生成型预训练变换器的自动驾驶运动规划方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310945270.9A CN116680656B (zh) 2023-07-31 2023-07-31 基于生成型预训练变换器的自动驾驶运动规划方法及系统

Publications (2)

Publication Number Publication Date
CN116680656A CN116680656A (zh) 2023-09-01
CN116680656B true CN116680656B (zh) 2023-11-07

Family

ID=87791276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310945270.9A Active CN116680656B (zh) 2023-07-31 2023-07-31 基于生成型预训练变换器的自动驾驶运动规划方法及系统

Country Status (1)

Country Link
CN (1) CN116680656B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780560A (zh) * 2016-12-29 2017-05-31 北京理工大学 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN114283394A (zh) * 2022-01-03 2022-04-05 南昌智能新能源汽车研究院 一种车载传感器融合的交通目标检测系统
CN115303297A (zh) * 2022-07-25 2022-11-08 武汉理工大学 基于注意力机制与图模型强化学习的城市场景下端到端自动驾驶控制方法及装置
CN115376107A (zh) * 2022-09-05 2022-11-22 纵目科技（上海）股份有限公司 用于智能驾驶的目标检测的方法和装置
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法
CN115730637A (zh) * 2022-11-25 2023-03-03 长安大学 多模态车辆轨迹预测模型训练方法、装置及轨迹预测方法
CN116246119A (zh) * 2023-02-07 2023-06-09 青岛科技大学 3d目标检测方法、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US11462029B2 (en) * 2020-12-07 2022-10-04 Shenzhen Deeproute.Ai Co., Ltd Object detection network and method
US20230159047A1 (en) * 2021-11-24 2023-05-25 Baidu Usa Llc Learning-based critic for tuning a motion planner of autonomous driving vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780560A (zh) * 2016-12-29 2017-05-31 北京理工大学 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN114283394A (zh) * 2022-01-03 2022-04-05 南昌智能新能源汽车研究院 一种车载传感器融合的交通目标检测系统
CN115303297A (zh) * 2022-07-25 2022-11-08 武汉理工大学 基于注意力机制与图模型强化学习的城市场景下端到端自动驾驶控制方法及装置
CN115376107A (zh) * 2022-09-05 2022-11-22 纵目科技（上海）股份有限公司 用于智能驾驶的目标检测的方法和装置
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法
CN115730637A (zh) * 2022-11-25 2023-03-03 长安大学 多模态车辆轨迹预测模型训练方法、装置及轨迹预测方法
CN116246119A (zh) * 2023-02-07 2023-06-09 青岛科技大学 3d目标检测方法、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AI智能驾驶深度报告：Transformer大模型驾驶智能驾驶能力提升;幻影视界库;《https://baijiahao.baidu.com/s?id=1771810278225231952&wfr=spider&for=pc》;第1-13页 *
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving;Aditya Prakash 等;《IEEE》;全文 *
基于 Lembda 网络和 LSTM 的车辆轨迹预测;谭星祥 等;《智能计算机与应用》;全文 *
基于 Ｒadon 变换的自适应模型更新 KCF 跟踪算法;黄鑫城 等;《电光与控制》;全文 *

Also Published As

Publication number Publication date
CN116680656A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
Alonso et al. 3d-mininet: Learning a 2d representation from point clouds for fast and efficient 3d lidar semantic segmentation
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
Lu et al. Edge compression: An integrated framework for compressive imaging processing on cavs
CN113516133B (zh) 一种多模态图像分类方法及系统
CN114418030A (zh) 图像分类方法、图像分类模型的训练方法及装置
CN114863407B (zh) 一种基于视觉语言深度融合的多任务冷启动目标检测方法
CN117079299B (zh) 数据处理方法、装置、电子设备及存储介质
Yang et al. Spatio-temporal domain awareness for multi-agent collaborative perception
CN111507403A (zh) 图像分类方法、装置、计算机设备和存储介质
CN115439507A (zh) 基于多层次互增强与相关金字塔的三维视频目标跟踪方法
CN109903323B (zh) 用于透明物体识别的训练方法、装置、存储介质及终端
CN113065496B (zh) 神经网络机器翻译模型训练方法、机器翻译方法和装置
CN116486422A (zh) 数据处理的方法和相关设备
CN116680656B (zh) 基于生成型预训练变换器的自动驾驶运动规划方法及系统
CN116958700A (zh) 一种基于提示工程和对比学习的图像分类方法
Mobahi et al. An improved deep learning solution for object detection in self-driving cars
CN116704506A (zh) 一种基于交叉环境注意力的指代图像分割方法
CN115775214A (zh) 一种基于多阶段分形组合的点云补全方法及系统
CN111578956A (zh) 一种基于深度学习的视觉slam定位方法
CN114913446A (zh) 使用基于自注意力的机器学习模型对视频流进行分类
CN116665189B (zh) 基于多模态的自动驾驶任务处理方法及系统
CN116902003B (zh) 基于激光雷达与摄像头混合模态的无人驾驶方法
CN116863430B (zh) 一种面向自动驾驶的点云融合方法
CN117333749A (zh) 一种多模态混合的自动驾驶统一3d检测与跟踪方法
CN112801017B (zh) 一种视觉场景描述方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant