CN116863430B - 一种面向自动驾驶的点云融合方法 - Google Patents

一种面向自动驾驶的点云融合方法 Download PDF

Info

Publication number
CN116863430B
CN116863430B CN202310945268.1A CN202310945268A CN116863430B CN 116863430 B CN116863430 B CN 116863430B CN 202310945268 A CN202310945268 A CN 202310945268A CN 116863430 B CN116863430 B CN 116863430B
Authority
CN
China
Prior art keywords
point cloud
voxel
type
perception
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310945268.1A
Other languages
English (en)
Other versions
CN116863430A (zh
Inventor
丁勇
刘瑞香
戴行
李佳乐
孙瑀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Haipu Microelectronics Co ltd
Original Assignee
Hefei Haipu Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Haipu Microelectronics Co ltd filed Critical Hefei Haipu Microelectronics Co ltd
Priority to CN202310945268.1A priority Critical patent/CN116863430B/zh
Publication of CN116863430A publication Critical patent/CN116863430A/zh
Application granted granted Critical
Publication of CN116863430B publication Critical patent/CN116863430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种面向自动驾驶的点云融合方法，包括混合模态体素特征生成、感知、预测以及规划等多个阶段，可以处理毫米波雷达和激光雷达传感器数据，将其自适应地融合到统一的体素特征空间中，满足后续多种任务的特征需求。在多任务输出阶段，结合了感知、预测以及规划等多阶段任务，通过合理的任务分配和共享信息，有效减少了多个独立模型的方式带来的训练成本增加和深度学习模型部署难度，而且能够更有效地利用感知、预测和规划任务之间的联系，以实现它们之间的性能相互促进。

Description

一种面向自动驾驶的点云融合方法
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种面向自动驾驶的点云融合方法。
背景技术
随着自动驾驶技术的不断发展，无人驾驶汽车需要具备高效、可靠、精准的环境感知和预测规划能力。毫米波雷达和激光雷达是目前主流的自动驾驶传感器，分别具有不同的优缺点。毫米波雷达具有全天候、长距离探测能力，但分辨率较低；激光雷达具有高分辨率、精准测距等优点，但在雨雪等特殊气候条件下性能不稳定。利用多传感器采集的数据生成不同模态的体素特征已成为一种常见的方法。这些不同模态的体素特征在表征物体的空间信息、空间尺度以及语义信息方面具有各自的优势。因此，如何有效地将这些不同模态的体素特征进行融合，以在一个统一的方式内完成感知、预测和规划等多个任务，成为当前自动驾驶领域亟待解决的重要技术难题。
发明内容
为解决背景技术中存在的技术问题，本发明提出一种面向自动驾驶的点云融合方法。
本发明提出的一种面向自动驾驶的点云融合方法，包括以下步骤：
S1、同时获取毫米波雷达采集的第一点云模态数据和激光雷达采集的第二点云模态数据；
S2、对第一点云模态数据和第二点云模态数据进行预处理，得到点云模态融合数据；
S3、分别提取第一点云模态数据、第二点云模态数据、点云模态融合数据的体素特征，并进行特征融合，得到自适应的融合的第一类型体素特征；
S4、获取感知任务，将第一类型体素特征输入感知输出头完成感知任务的输出；
S5、将感知任务的输出输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆周围物体动作预测以及驾驶行为规划的任务。
优选地，所述预处理具体为：将第一点云模态数据和第二点云模态数据输入点云融合网络进行初步的叠加融合，得到点云模态融合数据。
优选地，所述Transformer模型具体包括：周围物体动作预测Transformer网络、驾驶行为规划Transformer网络；
“S5”具体包括：
通过感知任务的输出构建多类型感知相关的Key与Value；
将多类型感知相关的Key与Value和第一类型体素特征输入体素特征筛选器，得到与多类型感知相关的、稀疏的、感兴趣的体素特征，用作为体素环境相关的第一类型Key与Value；
将多类型感知相关的Key与Value、第一类型Key与Value输入周围物体动作预测Transformer网络，完成自动驾驶车辆周围物体动作预测的任务；
通过周围物体动作预测输出构建动作预测相关的第二类型Key和Value；
将多类型感知相关的Key与Value、第一类型Key与Value、第二类型Key和Value输入驾驶行为规划Transformer网络，完成自动驾驶车辆驾驶行为规划的任务。
优选地，“S3”具体包括：
通过第一点云模态数据、第二点云模态数据、点云模态融合数据分别对应的体素特征生成网络提取对应的体素特征；
将对应的体素特征统一特征维度和分辨率后，输入自适应体素特征融合网络进行特征融合，得到自适应地融合不同模态的第一类型体素特征。
优选地，所述感知任务包括但不限于三维目标跟踪、在线地图生成、三维语义分割。
优选地，还包括：所述自动驾驶车辆周围物体动作预测以及驾驶行为规划的任务经由一一对应的输出头进行任务输出。
优选地，所述驾驶行为规划的任务包括但不限于保持直行、左转、右转、加速、减速及停车。
本发明中，所提出的一种面向自动驾驶的点云融合方法，包括混合模态体素特征生成、感知、预测以及规划等多个阶段，可以处理毫米波雷达和激光雷达传感器数据，将其自适应地融合到统一的体素特征空间中，满足后续多种任务的特征需求。在多任务输出阶段，本方法结合了感知、预测以及规划等多阶段任务，通过合理的任务分配和共享信息，有效减少了多个独立模型的方式带来的训练成本增加和深度学习模型部署难度，而且能够更有效地利用感知、预测和规划任务之间的联系，以实现它们之间的性能相互促进。当自动驾驶系统需要完成多个任务时，例如感知(Perception)、预测(Prediction)和规划(Planning)，多任务统一处理方式可以避免每个任务之间的冲突和竞争，减少决策的复杂性，提高系统的响应速度。此外，多任务统一处理还可以通过共享信息和参数来提高效率，多任务统一处理还可以提高系统的鲁棒性和可靠性。当系统在完成一个任务时遇到了错误或异常情况，例如传感器故障或数据缺失，多任务统一处理可以通过其他任务提供的信息和数据进行补偿，使系统能够更好地适应不同的情况，减少系统故障的概率。通过合理的任务分配和共享信息，可以提高系统的效率和可靠性，使其更加适应各种复杂的场景，从而实现更安全、更智能的自动驾驶。将两种传感器融合起来，能够充分发挥各自的优势，弥补单一传感器的不足，可以得到更完整、更准确的环境信息。这有助于提高深度学习算法的泛化能力和鲁棒性，使其能够更好地适应各种复杂场景，包括交通堵塞、天气变化等情况，更有助于提高自动驾驶系统的感知能力和安全性，减少错误判断和风险。
附图说明
图1为本发明提出的一种面向自动驾驶的点云融合方法的工作流程的结构示意图；
图2为本发明提出的一种面向自动驾驶的点云融合方法的内部结构示意图。
具体实施方式
参照图1和图2，本发明提出的一种面向自动驾驶的点云融合方法，包括以下步骤：
S1、同时获取毫米波雷达采集的第一点云模态数据和激光雷达采集的第二点云模态数据。
通过毫米波雷达、激光雷达采集在自动驾驶应用场景下的模态数据，相应的毫米波雷达采集的第一点云模态数据记作Rradar和激光雷达采集的第二点云模态数据记作Rlidar。
S2、对第一点云模态数据和第二点云模态数据进行预处理，得到点云模态融合数据。
所述预处理具体为：将第一点云模态数据和第二点云模态数据输入点云融合网络进行初步的叠加融合，得到点云模态融合数据记作Rradar-lidar。
在本实施例中，这里的点云融合是将两张点云图中的点云叠加到一张图上。
S3、分别提取第一点云模态数据、第二点云模态数据、点云模态融合数据的体素特征，并进行特征融合，得到自适应的融合的第一类型体素特征。
通过第一点云模态数据、第二点云模态数据、点云模态融合数据分别对应的体素特征生成网络提取对应的体素特征；
将对应的体素特征统一特征维度和分辨率后，输入自适应体素特征融合网络进行特征融合，得到自适应地融合不同模态的第一类型体素特征。
体素特征提取过程如下：
将第一点云模态数据Rradar输入第一体素特征生成网络Ψradar生成第一点云模态数据的体素特征Vradar：
Vradar＝Ψradar(Rradar)；
将第二点云模态数据Rlidar输入第二体素特征生成网络Ψlidar生成第二点云模态数据的体素特征Vlidar：
Vlidar＝Ψlidar(Rlidar)；
将点云模态融合数据Rradar-lidar输入混合体素特征生成网络Ψradar-lidar生成点云模态融合数据的体素特征Vradar-lidar：
Vradar-lidar＝Ψradar-lidar(Rradar-lidar)；
将体素特征Vradar、Vlidar、Vradar-lidar统一空间分辨率D×W×H和相同特征维度C。
特别地，特征维度C可设置为128；分辨率可设置为512×512×40；用于在真实的三维空间进行映射，可以XYZ三个方向上映射至51.2m×51.2m×4m；分辨率以及映射范围均可根据实际修改。
其中，Ψ为由人工神经网络搭建而成的体素特征生成网络，将来自毫米波雷达传感器和激光雷达传感器的不同输入数据统一转换为体素特征。该体素特征的维度为C×D×W×H，其中D×W×H覆盖了当前的三维空间，第一维表示在当前三维空间中的每个位置的体素的特征维度均为C。因此生成的体素特征Vradar、Vlidar、Vradar-lidar分别为两个传感器及融合点云对当前三维空间中各个位置的环境信息描述，这些体素特征将被融合起来。
特征融合通过自适应体素特征融合网络Γ实现，特征融合的过程如下：
S3.1、由第一点云模态数据的体素特征Vradar生成体素特征对应的自适应融合权重Wradar：
Wradar＝Γradar(Vradar)；
S3.2、由第二点云模态数据的体素特征Vlidar生成体素特征对应的自适应融合权重Wlidar：
Wlidar＝Γlidar(Vlidar)；
S3.3、由点云模态融合数据的体素特征Vradar-lidar生成体素特征对应的自适应融合权重Wradar-lidar：
Wradar-lidar＝Γradar-lidar(Vradar-lidar)；
S3.4、利用归一化函数对自适应融合权重Wradar、Wlidar、Wradar-lidar进行数值归一化，如下：
[Wradar,Wlidar,Wradar-lidar]＝σ([Wradar,Wlidar,Wradar-lidar])
其中，σ为归一化函数，可采用Softmax函数实现；
S3.5、对体素特征Vradar、Vlidar、Vradar-lidar与自适应融合权重Wradar、Wlidar、Wradar-lidar输入MLP网络，获得自适应融合的体素特征G，其中：
这里Vradar分别与Wradar和Wradar-lidar相乘后相加，而Vlidar分别与Wlidar和Wradar-lidar相乘后相加；表示拼接操作，这里实现两组C维的特征拼接成2C维的特征；MLP网络用于将特征维度转换为C维。
该融合后的体素特征G∈RC×D×W×H、和Vradar、Vlidar及Vradar-lidar具有相同的特征维度和分辨率，对于传感器数量的变化有着高度的适应性。
S4、获取感知任务，将第一类型体素特征输入感知输出头完成感知任务的输出。
感知任务包括但不限于三维目标跟踪、在线地图生成、三维语义分割。
在本实施例中，感知任务的输出结果记作Opcep；利用Opcep用于构建多类型感知相关的Key与Value，分别记作Kpcep与Vpcep。
S5、将感知任务的输出输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆周围物体动作预测以及驾驶行为规划的任务。
具体的，如图1所示，所述预处理具体为：将第一点云模态数据和第二点云模态数据输入点云融合网络进行初步的叠加融合，得到点云模态融合数据。
具体的，如图1所示，Transformer模型具体包括：周围物体动作预测Transformer网络、驾驶行为规划Transformer网络；
特别地，周围物体动作预测Transformer网络记作Tpred，驾驶行为规划Transformer网络记作Tplan。
“S5”具体包括：
通过感知任务的输出构建多类型感知相关的Key与Value；
将多类型感知相关的Key与Value和第一类型体素特征输入体素特征筛选器，得到与多类型感知相关的、稀疏的、感兴趣的体素特征，用作为体素环境相关的第一类型Key与Value；
特别地，第一类型Key与Value分别记作Kvoxel与Vvoxel。
将多类型感知相关的Key与Value、第一类型Key与Value输入周围物体动作预测Transformer网络，完成自动驾驶车辆周围物体动作预测的任务。
在本实施例中，Tpred中的Tpred1部分基于Transformer结构对周围物体动作预测的Query(记作Qpred)进行学习和更新，使用以上Kpcep与Vpcep，该过程具体的计算方式如下：
Qpred＝Tpred1(Qpred,Kpcep,Vpcep)
其中，Tpred1包括以下计算：
Qpred＝Qpred+FFN(Qpred)
用于计算两者的相关性矩阵；σ函数为Softmax函数，用于对相关性矩阵进行归一化；FFN为两层的前馈神经网络；Cpred为Qpred的特征维度，可设置为128。
Tpred中的Tpred1部分基于Transformer结构对周围物体动作预测的Query(记作Qpred)进行进一步的学习和更新，该过程具体的计算方式如下：
Qpred＝Tpred2(Qpred,Kvoxel,Vvoxel)
更新后的Qpred作为周围物体动作预测输出头Hpred的输入，而Hpred的输出则为自动驾驶车辆周围物体的动作预测结果Opred：
Opred＝Hpred(Qpred)
通过周围物体动作预测输出构建动作预测相关的第二类型Key和Value。特别地，更新后的Qpred还被用作动作预测相关的Key与Value，即第二类型Key和Value，记作Kpred与Vpred。
将多类型感知相关的Key与Value、第一类型Key与Value、第二类型Key和Value输入驾驶行为规划Transformer网络，完成自动驾驶车辆驾驶行为规划的任务。
驾驶行为规划的任务包括但不限于保持直行、左转、右转、加速、减速及停车。
在本实施例中，该基于Transformer结构中的使用多类型感知相关的Kpcep与Vpcep对驾驶行为规划Query(记作Qplan)进行学习和更新，计算过程如下：
Qplan＝Tplan1(Qplan,Kpcep,Vpcep)
Tplan中的Tplan2部分基于Transformer结构对Qplan进行进一步的学习和更新，使用体素环境相关的Kvoxel与Vvoxel，计算方式如下：
Qplan＝Tplan2(Qplan,Kvoxel,Vvoxel)
Tplan中的Tplan3部分基于Transformer结构对Qplan进行进一步的学习和更新，使用动作预测相关的Kpred与Vpred，计算方式如下：
Qplan＝Tplan3(Qplan,Kperd,Vperd)
将上述的Qplan作为驾驶行为规划输出头Hplan的输入，用于输出自动驾驶车辆的驾驶行为规划预测结果Oplan：
Oplan＝Hplan(Qplan)
其中，该结果输出Oplan为车辆的具体驾驶行为，包括但不限于保持直行、左转、右转、加速、减速及停车。
具体的，如图2所示，还包括：自动驾驶车辆周围物体动作预测以及驾驶行为规划的任务经由一一对应的输出头进行任务输出。
在具体实施方式中，当自动驾驶系统需要完成多个任务时，例如感知(Perception)、预测(Prediction)和规划(Planning)，多任务统一处理可以提高系统的效率和可靠性。这种处理方式可以避免每个任务之间的冲突和竞争，减少决策的复杂性，提高系统的响应速度。此外，多任务统一处理还可以通过共享信息和参数来提高效率，多任务统一处理还可以提高系统的鲁棒性和可靠性。当系统在完成一个任务时遇到了错误或异常情况，例如传感器故障或数据缺失，多任务统一处理可以通过其他任务提供的信息和数据进行补偿，使系统能够更好地适应不同的情况，减少系统故障的概率。通过合理的任务分配和共享信息，可以提高系统的效率和可靠性，使其更加适应各种复杂的场景，从而实现更安全、更智能的自动驾驶。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种面向自动驾驶的点云融合方法，其特征在于，包括以下步骤：
S1、同时获取毫米波雷达采集的第一点云模态数据和激光雷达采集的第二点云模态数据；
S2、对第一点云模态数据和第二点云模态数据进行预处理，得到点云模态融合数据；
S3、分别提取第一点云模态数据、第二点云模态数据、点云模态融合数据的体素特征，并进行特征融合，得到自适应的融合的第一类型体素特征；
S4、获取感知任务，将第一类型体素特征输入感知输出头完成感知任务的输出；
S5、将感知任务的输出输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆周围物体动作预测以及驾驶行为规划的任务；
所述预处理具体为：将第一点云模态数据和第二点云模态数据输入点云融合网络进行初步的叠加融合，得到点云模态融合数据；
所述Transformer模型具体包括：周围物体动作预测Transformer网络、驾驶行为规划Transformer网络；
步骤S3具体包括：
通过将第一点云模态数据、第二点云模态数据、点云模态融合数据分别输入对应的体素特征生成网络提取对应的体素特征；
将对应的体素特征统一特征维度和分辨率后，输入自适应体素特征融合网络进行特征融合，得到自适应的融合不同模态的第一类型体素特征；
步骤S5具体包括：
通过感知任务的输出构建多类型感知相关的Key与Value；
将多类型感知相关的Key与Value和第一类型体素特征输入体素特征筛选器，得到与多类型感知相关的、稀疏的、感兴趣的体素特征，用作为体素环境相关的第一类型Key与Value；
将多类型感知相关的Key与Value、第一类型Key与Value输入周围物体动作预测Transformer网络，完成自动驾驶车辆周围物体动作预测的任务；
通过周围物体动作预测输出构建动作预测相关的第二类型Key和Value；
将多类型感知相关的Key与Value、第一类型Key与Value、第二类型Key和Value输入驾驶行为规划Transformer网络，完成自动驾驶车辆驾驶行为规划的任务。
2.根据权利要求1所述的一种面向自动驾驶的点云融合方法，其特征在于，所述感知任务包括三维目标跟踪、在线地图生成、三维语义分割。
3.根据权利要求1所述的一种面向自动驾驶的点云融合方法，其特征在于，还包括：所述自动驾驶车辆周围物体动作预测以及驾驶行为规划的任务经由一一对应的输出头进行任务输出。
4.根据权利要求1所述的一种面向自动驾驶的点云融合方法，其特征在于，所述驾驶行为规划的任务包括保持直行、左转、右转、加速、减速及停车。
CN202310945268.1A 2023-07-31 2023-07-31 一种面向自动驾驶的点云融合方法 Active CN116863430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310945268.1A CN116863430B (zh) 2023-07-31 2023-07-31 一种面向自动驾驶的点云融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310945268.1A CN116863430B (zh) 2023-07-31 2023-07-31 一种面向自动驾驶的点云融合方法

Publications (2)

Publication Number Publication Date
CN116863430A CN116863430A (zh) 2023-10-10
CN116863430B true CN116863430B (zh) 2023-12-22

Family

ID=88230444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310945268.1A Active CN116863430B (zh) 2023-07-31 2023-07-31 一种面向自动驾驶的点云融合方法

Country Status (1)

Country Link
CN (1) CN116863430B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290370A (zh) * 2020-03-03 2020-06-16 腾讯科技（深圳）有限公司 一种自动驾驶性能检测方法和装置
CN111695504A (zh) * 2020-06-11 2020-09-22 重庆大学 一种融合型自动驾驶目标检测方法
CN113313154A (zh) * 2021-05-20 2021-08-27 四川天奥空天信息技术有限公司 一体化融合多传感器自动驾驶智能感知装置
CN114005142A (zh) * 2021-11-17 2022-02-01 南昌航空大学 基于多尺度和注意特征聚合的行人重识别模型及识别方法
CN114648739A (zh) * 2020-12-18 2022-06-21 上海禾赛科技有限公司 数据处理方法及数据处理设备、自动驾驶系统
CN114782785A (zh) * 2022-03-22 2022-07-22 华为技术有限公司 多传感器信息融合方法及装置
CN116030445A (zh) * 2022-12-13 2023-04-28 大连理工大学 一种结合点云形状特征的自动驾驶实时三维目标检测方法
CN116051846A (zh) * 2022-12-15 2023-05-02 影石创新科技股份有限公司 图像特征提取方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763475A (zh) * 2021-09-24 2021-12-07 北京百度网讯科技有限公司 定位方法、装置、设备、系统、介质和自动驾驶车辆

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290370A (zh) * 2020-03-03 2020-06-16 腾讯科技（深圳）有限公司 一种自动驾驶性能检测方法和装置
CN111695504A (zh) * 2020-06-11 2020-09-22 重庆大学 一种融合型自动驾驶目标检测方法
CN114648739A (zh) * 2020-12-18 2022-06-21 上海禾赛科技有限公司 数据处理方法及数据处理设备、自动驾驶系统
CN113313154A (zh) * 2021-05-20 2021-08-27 四川天奥空天信息技术有限公司 一体化融合多传感器自动驾驶智能感知装置
CN114005142A (zh) * 2021-11-17 2022-02-01 南昌航空大学 基于多尺度和注意特征聚合的行人重识别模型及识别方法
CN114782785A (zh) * 2022-03-22 2022-07-22 华为技术有限公司 多传感器信息融合方法及装置
CN116030445A (zh) * 2022-12-13 2023-04-28 大连理工大学 一种结合点云形状特征的自动驾驶实时三维目标检测方法
CN116051846A (zh) * 2022-12-15 2023-05-02 影石创新科技股份有限公司 图像特征提取方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多模态融合的自动驾驶感知及计算;张燕咏 等;计算机研究与发展;第57卷(第9期);第1781-1799页 *

Also Published As

Publication number Publication date
CN116863430A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
US10733755B2 (en) Learning geometric differentials for matching 3D models to objects in a 2D image
Chen et al. Parallel planning: A new motion planning framework for autonomous driving
Muhammad et al. Deep learning for safe autonomous driving: Current challenges and future directions
CN114384920B (zh) 一种基于局部栅格地图实时构建的动态避障方法
WO2022052406A1 (zh) 一种自动驾驶训练方法、装置、设备及介质
US9286524B1 (en) Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
JP2022016419A (ja) 軌跡予測方法及び装置
WO2022100107A1 (en) Methods and systems for predicting dynamic object behavior
JP6979228B2 (ja) Ｖ２ｖ通信によって取得された、他の自律走行車両の空間探知結果を自身の自律走行車両の空間探知結果と統合する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｎｔｅｇｒａｔｉｎｇ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ａｃｑｕｉｒｅｄ ｔｈｒｏｕｇｈ ｖ２ｖ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｆｒｏｍ ｏｔｈｅｒ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ｗｉｔｈ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｇｅｎｅｒａｔｅｄ ｂｙ ｐｒｅｓｅｎｔ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US11586865B2 (en) Apparatus, system and method for fusing sensor data to do sensor translation
Xu et al. Deep convolutional neural network-based autonomous marine vehicle maneuver
CN113496510A (zh) 使用神经网络进行逼真的图像透视变换
DE112021005607T5 (de) Systeme und Verfahren für kamera-LiDAR-fusionierte Objektdetektion
Zhou et al. Design and implementation of a novel obstacle avoidance scheme based on combination of CNN-based deep learning method and liDAR-based image processing approach
Gao et al. Autonomous driving of vehicles based on artificial intelligence
Kawasaki et al. Multimodal trajectory predictions for autonomous driving without a detailed prior map
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN116863430B (zh) 一种面向自动驾驶的点云融合方法
CN114332845A (zh) 一种3d目标检测的方法及设备
CN114926823B (zh) 基于wgcn的车辆驾驶行为预测方法
CN114326821B (zh) 基于深度强化学习的无人机自主避障系统及方法
CN116227620A (zh) 用于确定相似场景的方法、训练方法和训练控制器
CN116880462A (zh) 自动驾驶模型、训练方法和自动驾驶方法和车辆
CN116902003B (zh) 基于激光雷达与摄像头混合模态的无人驾驶方法
Wang et al. A Front Water Recognition Method Based on Image Data for Off‐Road Intelligent Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant