CN115471805B - 点云处理和深度学习模型训练方法、装置及自动驾驶车辆 - Google Patents

点云处理和深度学习模型训练方法、装置及自动驾驶车辆 Download PDF

Info

Publication number
CN115471805B
CN115471805B CN202211219778.2A CN202211219778A CN115471805B CN 115471805 B CN115471805 B CN 115471805B CN 202211219778 A CN202211219778 A CN 202211219778A CN 115471805 B CN115471805 B CN 115471805B
Authority
CN
China
Prior art keywords
point cloud
sample
loss
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219778.2A
Other languages
English (en)
Other versions
CN115471805A (zh
Inventor
董嘉蓉
王昊
尚子钰
周嘉琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN202211219778.2A priority Critical patent/CN115471805B/zh
Publication of CN115471805A publication Critical patent/CN115471805A/zh
Application granted granted Critical
Publication of CN115471805B publication Critical patent/CN115471805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种深度学习模型的训练方法，涉及人工智能技术领域，尤其涉及自动驾驶和智能交通技术领域。具体实现方案为：将第一样本点云输入深度学习模型，得到第一样本点云的处理结果；将处理结果和第一样本点云的历史伪标签进行融合，得到更新的伪标签，其中，历史伪标签是根据第一样本点云的历史处理结果确定的；根据处理结果和更新的伪标签，确定深度学习模型的损失；以及根据损失调整深度学习模型的参数。本公开还提供了一种点云处理方法、装置、电子设备、自动驾驶车辆和存储介质。

Description

点云处理和深度学习模型训练方法、装置及自动驾驶车辆
技术领域
本公开涉及人工智能技术领域，尤其涉及自动驾驶和智能交通技术。更具体地，本公开提供了一种深度学习模型的训练方法、点云处理方法、装置、电子设备、自动驾驶车辆和存储介质。
背景技术
在自动驾驶领域，点云采集设备(例如Lidar传感器)存在频繁更新的情况。传感器更新换代，使用旧传感器采集的数据训练出来的目标检测模型，对新传感器采集的数据的检测基本失效。
发明内容
本公开提供了一种深度学习模型的训练方法、点云处理方法、装置、电子设备、自动驾驶车辆以及存储介质。
根据第一方面，提供了一种深度学习模型的训练方法，该方法包括：将第一样本点云输入深度学习模型，得到第一样本点云的处理结果；将处理结果和第一样本点云的历史伪标签进行融合，得到更新的伪标签，其中，历史伪标签是根据第一样本点云的历史处理结果确定的；根据处理结果和更新的伪标签，确定深度学习模型的损失；以及根据损失调整深度学习模型的参数
根据第二方面，提供了一种点云处理方法，该方法包括：获取待处理点云；将待处理点云输入深度学习模型，得到待处理点云的位置和类别；其中，深度学习模型是根据上述深度学习模型的训练方法训练得到的。
根据第三方面，提供了一种深度学习模型的训练装置，该装置包括：第一处理模块，用于将第一样本点云输入深度学习模型，得到第一样本点云的处理结果；融合模块，用于将处理结果和第一样本点云的历史伪标签进行融合，得到更新的伪标签，其中，历史伪标签是根据第一样本点云的历史处理结果确定的；第一确定模块，用于根据处理结果和更新的伪标签，确定深度学习模型的损失；以及调整模块，用于根据损失调整深度学习模型的参数。
根据第四方面，提供了一种点云处理装置，该装置包括：第二获取模块，用于获取待处理点云；第五处理模块，用于将待处理点云输入深度学习模型，得到待处理点云的位置和类别；其中，深度学习模型是根据上述深度学习模型的训练装置训练得到的。
根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据第六方面，提供了一种自动驾驶车辆，该自动驾驶车辆包括第五方面提供的电子设备。
根据第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据第八方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1A是根据本公开一个实施例的可以应用深度学习模型的训练方法和/或点云处理方法的示例性系统架构示意图；
图1B是根据本公开另一个实施例的可以应用深度学习模型的训练方法和/或点云处理方法的场景图；
图2是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
图3是根据本公开的一个实施例的深度学习模型的训练方法的示意图；
图4是根据本公开的另一个实施例的深度学习模型的训练方法的示意图；
图5是根据本公开的一个实施例的确定样本点云的方法的示意图；
图6是根据本公开的另一个实施例的深度学习模型的训练方法的示意图；
图7是根据本公开的一个实施例的点云处理方法的流程图；
图8是根据本公开的一个实施例的深度学习模型的训练装置的框图；
图9是根据本公开的一个实施例的点云处理装置的框图；
图10是根据本公开的一个实施例的深度学习模型的训练方法和/或点云处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目标检测模型可以是使用点云采集设备(以下简称为传感器)采集的点云数据进行训练得到的深度学习模型。该深度学习模型可以用于检测点云数据中的对象的位置和类别(例如行人、车辆、树木等)。
传感器更新换代，旧传感器采集到的点云数据可以称为旧传感器数据，新传感器采集到的点云数据可以称为新传感器数据。深度学习模型的检测效果在新传感器数据方面存在冷启动的问题，需要重新积累数据。如何快速将深度学习模型的检测能力从旧传感器数据迁移到新传感器数据，并且快速发挥新传感器的作用，是目前自动驾驶领域所需要解决的痛点问题。
传感器更新的情况下，提升深度学习模型的检测能力有两个难点。一是使用旧传感器数据训练出来的模型，对新传感器数据进行检测的效果较差。二是标注足量新传感器数据需要花费大量的人力和时间。
一种跨传感器的点云检测能力迁移方法，可以采用点云补全模型补全新旧传感器数据之间的差距。例如，不同传感器采集到的数据的差距包括疏密度不同、反射值强度不同等。点云补全模型可以通过复杂的升采样操作对密度较低的点云进行加密，使得低密度点云的密度范围与高密度点云的密度范围一致，使用密度范围一致的来自不同传感器的点云数据进行深度学习模型的训练，能够实现跨传感器的点云检测能力迁移。但是，点云补全模型过于复杂、耗时较长，且只适用于离线检测，无法部署到自动驾驶车辆中。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
图1A是根据本公开一个实施例的可以应用深度学习模型的训练方法和/或点云处理方法的示例性系统架构示意图。
如图1A所示，根据该实施例的系统架构可以包括自动驾驶车辆110，网络120和服务器130。自动驾驶车辆110可以包括点云采集设备111，点云采集设备111可以在自动驾驶车辆110进行自动驾驶的过程中采集周围环境的点云数据。
点云采集设备111可以将采集到的点云数据通过网络120传输给服务器130，网络120可以包括各种连接类型，例如有线和/或无线通信链路等等。
可以理解，在服务器130中用于进行深度学习模型的训练的点云数据可以来自于点云采集设备111。点云采集设备111可以将点云数据直接通过网络120传输给服务器130，也可以将点云数据通过终端设备的中转传输给服务器130。例如，点云采集设备111将点云数据通过有线或无线的方式传输给终端设备，终端设备再将点云数据通过网络120传输给服务器130。终端设备可以是具有数据传输能力的各种电子设备，例如计算机、笔记本、车载设备等。
点云数据的传输可以是在自动驾驶车辆110进行自动驾驶的过程中进行的，也可以是在自动驾驶完成后进行的。本实施例不对此进行限制。
本公开实施例所提供的深度学习模型的训练方法和/或点云处理方法中的至少之一可以由服务器130执行。相应地，本公开实施例所提供的深度学习模型的训练装置和/或点云处理装置中的至少之一可以设置于服务器130中。
例如，本公开实施例所提供的深度学习模型的训练方法由服务器130执行。服务器130使用点云数据进行深度学习模型的训练，可以得到经训练的深度学习模型140。
深度学习模型140可以部署在服务器130中，由服务器130执行本公开实施例提供的点云处理方法。深度学习模型140还可以部署在自动驾驶车辆110中，由自动驾驶车辆110执行本公开实施例提供的点云处理方法。
图1B是根据本公开另一个实施例的可以应用深度学习模型的训练方法和/或点云处理方法的场景图。
如图1B所示，自动驾驶车辆150包括点云采集设备151和电子设备152。本公开实施例所提供的深度学习模型的训练方法和/或点云处理方法中的至少之一可以由电子设备152执行。相应地，本公开实施例所提供的深度学习模型的训练装置和/或点云处理装置中的至少之一可以设置于电子设备152中。
例如，服务器130执行深度学习模型的训练方法，得到深度学习模型140。将深度学习模型140部署在电子设备152中，可以由电子设备152执行本公开实施例提供的点云处理方法。
例如，点云采集设备151可以将采集的点云数据发送给电子设备152，电子设备152利用深度学习模型140可以进行点云处理，得到点云数据中的障碍物的位置和类别，自动驾驶车辆150根据障碍物的位置和类别可以进行运动决策和控制。运动决策和控制例如包括避开障碍物、减速慢行、刹车等，保证了自动驾驶车辆的安全行驶。
本公开实施例的深度学习模型可以部署在自动驾驶车辆中进行离线检测，相比于置于外部服务器中，能够节省数据传输时间，提高数据处理效率，进一步保障自动驾驶的安全性。
需要注意的是，图1A～图1B所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
图2是根据本公开的一个实施例的深度学习模型的训练方法的流程图。
如图2所示，该深度学习模型的训练方法200可以包括操作S210～操作S240。
在操作S210，将第一样本点云输入深度学习模型，得到第一样本点云的处理结果。
例如，第一样本点云可以是新传感器采集的、且是未标注的点云数据。深度学习模型可以是对预训练模型的参数进行初始化后的模型，预训练模型可以是使用旧传感器数据进行训练的模型。
例如，第一样本点云的处理结果可以包括第一样本点云的位置信息和类别信息。位置信息可以包括表示第一样本点云所在空间位置的三维框，三维框可以包括中点坐标以及三维框的长、宽和高。类别信息可以包括第一样本点云属于各个类别的概率，各个类别可以包括行人、车辆、树木等各种障碍物。
在操作S220，将处理结果和第一样本点云的历史伪标签进行融合，得到更新的伪标签。
例如，历史伪标签可以是根据第一样本点云的历史处理结果确定的，且历史伪标签根据新的处理结果不断被更新。例如历史伪标签的更新是以融合的方式实现的。
例如，深度学习模型进行当前轮次的训练所输出的处理结果包括第一样本点云的当前位置和当前类别，当前位置包括当前三维框的中点坐标和长宽高，当前类别包括第一样本点云属于各个类别的当前概率。
例如，第一样本点云的历史伪标签包括历史位置标签和历史类别标签，历史位置标签包括历史标签三维框的中心点坐标和长宽高，历史类别标签包括第一样本点云属于各个类别的历史标签概率。
例如，可以将当前三维框的中点坐标和长宽高分别与历史标签三维框的中心点坐标和长宽高进行加权平均，得到更新的三维框，作为第一样本点云的更新的位置标签。示例性地，由于历史标签三维框包含了更多的历史位置信息，因此历史标签三维框的权重可以高于当前三维框的权重。
例如，可以将第一样本点云属于各个类别的当前概率和第一样本点云属于各个类别的历史标签概率进行加权平均，得到第一样本点云属于各个类别的新的概率，作为第一样本点云的更新的类别标签。示例性地，由于各个类别的历史标签概率包含了更多的历史概率信息，因此，历史标签概率的权重可以高于当前概率的权重。
可以理解，由于历史伪标签并不是被新的处理结果替换，而是不断根据新的处理结果以融合的方式进行更新，因此，历史伪标签包含了所有历史处理结果的信息。相比于使用新的处理结果替换历史伪标签的方式，以融合的方式更新历史伪标签，得到的更新的伪标签包含了更多的历史处理结果信息，因此准确性更高。
在操作S230，根据处理结果和更新的伪标签，确定深度学习模型的损失。
在操作S240，根据损失调整深度学习模型的参数。
例如，可以对第一样本点云的当前位置(包括当前三维框的中点坐标和长宽高)和更新的位置标签(包括更新的三维框的中点坐标和长宽高)计算交叉熵，得到第一样本点云的位置损失。对第一样本点云的当前类别(包括各个类别的当前概率)和更新的类别标签(包括各个类别的新的概率)计算交叉熵，得到第一样本点云的类别损失。
例如，可以将位置损失和类别损失进行求和或者加权求和，得到深度学习模型的损失。并根据损失计算模型参数的梯度，将梯度反传更新模型参数，直到模型收敛，得到最优的深度学习模型。
本公开的实施例在模型训练过程中，将当前处理结果和历史伪标签进行融合，更新历史伪标签，提高伪标签的准确性。
可以理解，模型训练过程中，以融合的方式不断更新历史伪标签，可以促进模型精度的提高，进一步地，模型精度的提高促进伪标签准确性的提高，使用模型输出的伪标签作为标注数据，可以提高第一样本点云的标注准确性，并且能够避免人工标注的人力和时间成本。
图3是根据本公开的一个实施例的深度学习模型的训练方法的示意图。
如图3所示，第一样本点云310可以是来自新传感器的点云数据。深度学习模型320可以是对预训练模型的参数进行初始化后的模型，预训练模型可以是使用旧传感器数据进行训练的模型。
在每一轮的训练过程中，将第一样本点云310输入深度学习模型320，得到第一样本点云310的处理结果，该处理结果包括当前位置和当前类别，将当前位置和当前类别分别与第一样本点云的位置伪标签和类别伪标签进行融合，得到更新的位置伪标签和类别伪标签。根据当前位置和更新的位置伪标签可以确定第一样本点云310的位置损失，根据当前类别和更新的类别伪标签可以确定第一样本点云310的类别损失。
第一样本点云310的处理结果还可以包括该第一样本点云310为真实对象的概率，该概率可以作为该第一样本点云310的置信度。可以理解，传感器采集的点云数据可以包括行人、车辆等真实对象，也可以包括灰尘、水雾等干扰对象，这些干扰对象可以称为噪声。因此，第一样本点云可能是真实对象的点云，也可能是噪声点云。
例如，根据第一样本点云310的置信度，可以将样本点云划分为正样本311、中间样本312和负样本313中的之一。
例如，可以将置信度大于第一阈值(例如0.6)的第一样本点云310确定为正样本311，将置信度在预设范围(例如0.2～06)的第一样本点云310确定为中间样本312，将置信度小于第二阈值(例如0.2)的第一样本点云310确定为负样本313。可以理解，正样本311可以认为是真实对象的点云，负样本330可以认为是噪声点云，中间样本320可以认为是难以区分是真实对象还是噪声的点云。
例如，根据置信度可以确定第一样本点云310的噪声损失。针对不同样本，可以设计对应的噪声损失函数，使得各类样本的噪声损失具有不同的学习权重，从而提高深度学习模型320对噪声的学习能力。
例如，可以根据如下公式(1)计算正样本311的噪声损失：
Loss1＝-logp (1)
其中，Loss1表示正样本310的噪声损失，p表示该正样本310的置信度，0＜p＜1，p越大，Loss1越小。
可以根据如下公式(2)计算负样本313的噪声损失：
Loss2＝-log(1-p) (2)
其中，Loss2表示负样本313的噪声损失，p表示该负样本313的置信度，0＜p＜1，p越大，Loss2越大。
可以理解，针对正样本311，置信度越高，噪声损失越小，正样本311在噪声方面的学习权重也越小。针对负样本313，置信度越高，噪声损失越大，负样本313在噪声方面的学习权重也越大。对于中间样本132，由于难以区分是真实对象还是噪声，可以不参与噪声损失的计算。
可以理解，针对负样本313，由于认为是噪声，不应影响深度学习模型320的检测能力，因此，负样本313不应参与位置损失和类别损失的计算。
因此，针对正样本311，对应的损失321可以包括位置损失、类别损失和噪声损失。针对中间样本312，对应的损失322可以包括位置损失和类别损失。针对负样本313，对应的损失323可以包括噪声损失。
损失321、损失322和损失323可以合并(例如求和或加权求和)在一起，作为整体损失，用来调整深度学习模型320的损失。
图4是根据本公开的另一个实施例的深度学习模型的训练方法的示意图。
如图4所示，第一样本点云410可以是来自新传感器的点云数据，第二样本点云420也可以是来自上述新传感器点云数据，第三样本点云430可以是来自旧传感器的点云数据。第一样本点云410具有伪标签411，第二样本点云具有人工标注的真实标签421，第三样本点云具有人工标注的真实标签431。
深度学习模型440可以是对预训练模型的参数进行初始化后的模型，预训练模型可以是使用旧传感器数据进行训练的模型。
第一样本点云410输入深度学习模型440，得到第一样本点云410的处理结果。第二样本点云420输入深度学习模型440，得到第二样本点云420的处理结果。第三样本点云430输入深度学习模型440，得到第三样本点云430的处理结果。
深度学习模型440的损失450可以包括第一样本点云410的损失、第二样本点云420的损失以及第三样本点云430的损失。第一样本点云410的损失可以根据第一样本点云410的处理结果与伪标签411之间的差异(例如交叉熵)确定。第二样本点云420的损失可以根据第二样本点云420的处理结果与真实标签421之间的差异(例如交叉熵)确定。第三样本点云430的损失可以根据第三样本点云430的处理结果与真实标签431之间的差异(例如交叉熵)确定。
损失450可以是第一样本点云410的损失、第二样本点云420的损失以及第三样本点云430的损失之和(或者加权求和的结果)。根据损失450可以调整深度学习模型440的参数，针对调整后的深度学习模型440，重复上述训练过程，直至深度学习模型440收敛，训练结束，得到经训练的深度学习模型440。
本公开实施例将来自新旧不同的传感器的样本点云混合在一起，使用混合样本点云进行深度学习模型的训练，能够使得经训练的深度学习模型具有跨传感器的点云检测迁移能力。可以理解，经训练的深度学习模型440对来自新传感器的点云数据具有良好的检测效果，能够使新传感器快速发挥点云检测的作用。
根据本公开实施例，第一样本点云来自第一目标样本集，第二样本点云来自第二目标样本集，第三样本点云来自第三目标样本集。下面对各样本点云的确定方法进行详细说明。
图5是根据本公开的一个实施例的确定样本点云的方法的示意图。
如图5所示，第一点云数据集51可以是来自新传感器的点云数据，第二点云数据集52也可以是来自上述新传感器点云数据，第三点云数据集53可以是来自旧传感器的点云数据。第一点云数据集51、第二点云数据集52以及第三点云数据集53可以是针对不同场景的点云数据。
可以理解，使用针对不同场景的点云数据作为混合样本，可以使得深度学习模型具有跨场景的目标检测迁移能力。
针对每一轮训练，可以从第一点云数据集51、第二点云数据集52以及第三点云数据集53中确定参与当前训练的样本点云。例如，针对第k(k为大于1的整数)轮训练，可以从第一点云数据集51、第二点云数据集52以及第三点云数据集53分别确定用于参与当前训练的样本点云。在第k轮训练结束之后，针对第k+1轮训练，返回从第一点云数据集51、第二点云数据集52以及第三点云数据集53分别确定用于参与当前训练的样本点云的步骤。
针对第一点云数据集51、第二点云数据集52以及第三点云数据集53，可以分别设置对应的采样概率，各数据集的采样概率可以是不同的(有偏的)。例如第一点云数据集51的采样概率τ1为0.4，第二点云数据集52的采样概率τ2为0.25，第三点云数据集53的采样概率τ3为0.35。可以理解，点云数据集的采样概率越大，该数据集被采样的概率越大。
例如，针对第一点云数据集51，按照采样概率τ1进行随机采样，得到第一初始样本集510。针对第二点云数据集52，按照采样概率τ2进行随机采样，得到第二初始样本集520。针对第三点云数据集53，按照采样概率τ3进行随机采样，得到第三初始样本集530。
可以理解，针对每个数据集，由于针对每个轮次的训练，均采取有偏的随机采样方式确定样本点云，因此，该数据集每个轮次被采样的样本一般是不同的。例如，与多个轮次各自对应的多个第一初始样本集510彼此之间存在差异。来自同一数据集的各个轮次的样本之间存在差异，可以使得参与训练的样本具有多样性，提高模型鲁棒性，进而提高点云检测效果。
可以理解，由于各数据集来自不同的传感器，不同传感器采集的数据的点云分布存在较大差异，因此，来自不同数据集的各初始样本集之间的点云分布也存在较大差异。而点云分布是传感器的特性，并不是刻画对象(障碍物)的有效特征。因此，为了让深度学习模型能够忽略点云分布特征，从而捕捉障碍物本质特征，可以针对来自不同数据集的各初始样本集进行特定的数据增广方式，使得进行数据增广后的各样本集具有相似的分布特征。
例如，点云分布特征包括密度特征，数据增广方式可以包括降采样处理。针对第一初始样本集510、第二初始样本集520以及第三初始样本集530，可以分别设置对应的采样比例范围，按照各自的采样比例范围进行降采样处理，得到第一目标样本集511、第二目标样本集521和第三目标样本集531，使得第一目标样本集511、第二目标样本集521和第三目标样本集531各自的密度范围具有交集。
例如，新传感器每帧可以输出30W个点，旧传感器每帧可以输出20W个点。针对来自新传感器的第一初始样本集510和第二初始样本集520，采样比例范围可以是0.5～1。针对第一初始样本集510和第二初始样本集520，分别在该采样比例范围内进行随机降采样，得到的第一目标样本集511和第二目标样本集521的密度范围约为18W～25W。针对第三初始样本集530，采样比例范围可以是0.7～1。针对第三初始样本集530，在该采样比例范围内进行随机降采样，得到的第三目标样本集531的密度范围约为17W～20W。因此，第一目标样本集511、第二目标样本集521和第三目标样本集531的密度范围具有交集18W～20W。
可以理解，采用样降采样的方式进行数据增广，使得进行数据增广后的各样本集具有相似的分布特征，相比于采样升采样的方式对低密度点云进行加密，操作更加简便。
可以理解，同一目标对象可以在多个轮次被采样到对应的初始样本集中，但由于各个初始样本集需进行随机降采样处理得到对应的目标样本集，因此，多个目标样集本中的同一目标对象的点云也存在差异，该差异也可以提高样本的多样性，提高模型鲁棒性，进而提高点云检测效果。
图6是根据本公开的另一个实施例的深度学习模型的训练方法的示意图。
如图6所示，本实施例包括混合训练分支610和自学习分支620。数据集包括第一点云数据集601、第二点云数据集602以及第三点云数据集603。第一点云数据集601可以是来自新传感器的点云数据，第二点云数据集602也可以是来自上述新传感器点云数据，第三点云数据集603可以是来自旧传感器的点云数据。第一点云数据集601、第二点云数据集602以及第三点云数据集603可以是针对不同场景的点云数据。
混合训练分支610包括有偏采样模块611、数据增广模块612和深度学习模型613。
有偏采样模块611用于针对第一点云数据集601、第二点云数据集602和第三点云数据集603，分别按照各自对应的采样概率进行采样。例如，针对第一点云数据集601，有偏采样模块611按照采样概率τ1(例如0.4)进行随机采样，得到第一初始样本集。针对第二点云数据集602，按照采样概率τ2(例如0.25)进行随机采样，得到第二初始样本集。针对第三点云数据集603，按照采样概率τ3(例如0.35)进行随机采样，得到第三初始样本集。
数据增广模块612用于对针对第一初始样本集、第二初始样本集和第三初始样本集，分别按照各自对应的采样比例范围进行降采样处理，得到第一目标样本集、第二目标样本集和第三目标样本集。例如，针对第一初始样本集和第二初始样本集，在0.5～1的采样比例范围内进行随机降采样，得到的第一目标样本集和第二目标样本集。针对第三初始样本集，在0.7～1的采样比例范围内进行随机降采样，得到的第三目标样本集。通过降采样的方式进行数据增广，使得第一目标样本集、第二目标样本集和第三目标样本集具有相似的分布特征。
第一目标样本集具有伪标签631，第二目标样本集具有人工标注的真实标签632，第三目标样本集具有人工标注的真实标签633。将第一目标样本集、第二目标样本集和第三目标样本集输入深度学习模型613，分别得到第一目标样本集的处理结果、第二目标样本集的处理结果和第三目标样本集的处理结果。根据第一目标样本集的处理结果和伪标签631可以确定第一目标样本集的损失，根据第二目标样本集的处理结果和真实标签632可以确定第二目标样本集的损失，根据第三目标样本集的处理结果和真实标签633可以确定第三目标样本集的损失。第一目标样本集、第二目标样本集和第三目标样本集各自的损失之和可以确定深度学习模型613的损失614。
第一目标样本集包括多个第一样本点云，每个第一样本点云的伪标签631可以是通过自学习分支620对第一样本点云的历史伪标签进行更新得到的。
自学习分支620包括更新模块621和划分模块623。更新模块621用于将第一样本点云的当前处理结果和第一样本点云的历史伪标签进行融合，得到更新的伪标签622。划分模块623用于将具有更新的伪标签622的第一样本点云划分为正样本、中间样本和负样本中的之一。
例如，第一点云数据集601包括多个原始样本点云，将第一点云数据集601输入深度学习模型6221，得到第一点云数据集601中各个原始样本点云的初始处理结果，可以作为第一点云数据集601的初始伪标签集合。可以理解，深度学习模型6221和深度学习模型613可以为同一深度学习模型。
可以理解，第一目标样本集中的第一样本点云来自于第一点云数据集601。第一点云数据集601的初始伪标签集合会根据第一目标样本集的历史处理结果不断被更新，因此，第一点云数据集601具有历史伪标签集合6212。第一样本点云的历史伪标签来自该历史伪标签集合6212。
下面对从历史伪标签集合中确定第一样本点云的历史伪标签的方法进行说说明。
历史伪标签集合6212中包括多个原始样本点云的历史位置伪标签，历史位置伪标签包括历史三维框标签。第一样本点云的处理结果包括第一样本点云的当前位置，当前位置包括当前三维框。可以将当前三维框和历史伪标签集合中的各个原始样本点云的对象的历史三维框标签进行匹配，重合度高于一定阈值(例如50％)的原始样本点云和第一样本点云可以认为是同一目标对象的点云。
因此，可以将属于同一目标对象的原始样本点云的历史伪标签作为对应的第一样本点云的历史伪标签，并根据第一样本点云的当前处理结果更新历史伪标签，得到更新的伪标签622。
可以理解，用于计算损失614的伪标签631为更新的伪标签622。针对具有更新的伪标签622的第一样本点云，可能是真实对象的点云，也可能是干扰对象的点云(噪声)，为避免噪声的影响，属于噪声的点云的位置损失和类别损失不应参与损失614的计算。因此，本实施例通过划分模块623将第一样本点云划分为正样本、中间样本和负样本，针对不同样本进行不同的损失计算。下面进行具体说明。
第一样本点云输入深度学习模型613，还可以得到第一样本点云的置信度，置信度高于第一阈值(例如0.6)的第一样本点云可以确定为正样本，置信度在预设范围(例如0.2～06)的第一样本点云可以确定为中间样本，置信度小于第二阈值(例如0.2)的第一样本点云可以确定为负样本330。可以理解，正样本可以认为是真实对象的点云，负样本可以认为是噪声的点云，中间样本可以认为是难以区分是真实对象还是噪声的点云。
因此，负样本可以不参与位置损失和类别损失的计算。伪标签631包含正样本的伪标签和中间样本的伪标签，正样本和中间样本的损失可以作为第一目标样本集的损失。
为提高深度学习模型613对噪声的检测能力，还可以引入噪声损失，噪声损失可以是根据第一样本点云的置信度确定的。正样本和负样本可以参与噪声损失的计算，中间样本由于难以区分是真实对象还是噪声，因此可以不参与噪声损失的计算。
因此，损失614的总体损失包括正样本的位置损失、类别损失和噪声损失、中间样本的位置损失和类别损失、负样本的噪声损失、第二目标样本集各自的位置损失和类别损失、第三目标样本集的位置损失和类别损失。
本实施例针对不同样本，具有对应的损失确定方式，能够使得各类样本的损失具有不同的学习权重，提高深度学习模型的检测能力，进而提高点云检测效果。
图7是根据本公开的一个实施例的点云处理方法的流程图。
如图7所示，点云处理方法700包括操作S710～操作S720。
在操作S710，获取待处理点云。
在操作S720，将待处理点云输入深度学习模型，得到待处理点云的位置和类别。
例如，深度学习模型是根据上述深度学习模型的训练方法训练得到的。
待处理点云可以是自动驾驶车辆上的点云采集设备在自动驾驶过程中采集到的周围环境的点云数据。将待处理点云输入经训练的深度学习模型，可以得到周围环境中的车辆、行人、垃圾桶、树木、减速带等障碍物的位置和类别。自动驾驶车辆根据障碍物的位置和类别，可以进行运动决策和控制。运动决策和控制例如包括避开障碍物、减速慢行和刹车等。
图8是根据本公开的一个实施例的深度学习模型的训练装置的框图。
如图8所示，该深度学习模型的训练装置800包括第一处理模块801、融合模块802、第一确定模块803和调整模块804。
第一处理模块801用于将第一样本点云输入深度学习模型，得到第一样本点云的处理结果。
融合模块802用于将处理结果和第一样本点云的历史伪标签进行融合，得到更新的伪标签，其中，历史伪标签是根据第一样本点云的历史处理结果确定的。
第一确定模块803用于根据处理结果和更新的伪标签，确定深度学习模型的损失。
调整模块804用于根据损失调整深度学习模型的参数。
根据本公开的实施例，处理结果包括当前位置和当前类别，历史伪标签包括历史位置标签和历史类别标签；融合模块802包括第一融合单元和第二融合单元。
第一融合单元用于将当前位置的信息和历史位置标签的信息进行加权平均，得到更新的位置标签。
第二融合单元，用于将当前类别的信息和历史类别标签的信息进行加权平均，得到更新的类别标签。
处理结果还包括第一样本点云为真实对象的置信度；第一确定模块包括第一确定单元、第二确定单元、第三确定单元和第四确定单元。
第一确定单元用于根据当前位置和更新的位置标签，确定第一样本点云的位置损失。
第二确定单元用于根据当前类别和更新的类别标签，确定第一样本点云的类别损失。
第三确定单元用于根据置信度，确定第一样本点云的噪声损失。
第四确定单元用于根据位置损失、类别损失和噪声损失，确定深度学习模型的损失。
深度学习模型的训练装置800还包括划分模块。
划分模块用于根据置信度，将第一样本点云划分为正样本、负样本以及中间样本中的之一。
上述第四确定单元包括第一确定子单元、第二确定子单元、第三确定子单元和第四确定子单元。
第一确定子单元用于根据正样本的位置损失和中间样本的位置损失，确定第一部分位置损失。
第二确定子单元用于根据正样本的类别损失和中间样本的类别损失，确定第一部分类别损失。
第三确定子单元根据正样本的噪声损失和负样本的噪声损失，确定噪声损失。
第四确定子单元用于根据第一部分位置损失、第一部分类别损失和噪声损失，确定深度学习模型的损失。
深度学习模型的训练装置800还包括第二处理模块、第三处理模块、第二确定模块和第三确定模块。
第二处理模块用于将第二样本点云输入深度学习模型，得到第二样本点云的位置和类别，其中，第二样本点云与第一样本点云来自相同的传感器。
第三处理模块用于将第三样本点云输入深度学习模型，得到第三样本点云的位置和类别，其中，第三样本点云与第一样本点云来自不同的传感器。
第二确定模块用于根据第二样本点云的位置、类别以及第二样本点云的真实标签，确定第二部分位置损失和第二部分类别损失。
第三确定模块用于根据第三样本点云的位置、类别以及第三样本点云的真实标签，确定第三部分位置损失和第三部分类别损失。
上述第四确定单元用于根据第一部分位置损失、第一部分类别损失、噪声损失、第二部分位置损失、第二部分类别损失、第三部分位置损失和第三部分类别损失，确定深度学习模型的损失。
第一样本点云来自第一目标样本集，第二样本点云来自第二目标样本集，第三样本点云来自第三目标样本集；深度学习模型的训练装置800还包括第一获取模块、采样模块和增广模块。
第一获取模块用于获取第一点云数据集、第二点云数据集和第三点云数据集，其中，第二点云数据集和第一点云数据集来自相同的传感器，第三点云数据集和第一点云数据集来自不同的传感器。
采样模块用于针对第一点云数据集、第二点云数据集和第三点云数据集，分别按照各自对应的采样概率进行采样，得到第一初始样本集、第二初始样本集和第三初始样本集。
增广模块用于对第一初始样本集、第二初始样本集和第三初始样本集的点云分布特征进行一致性处理，得到第一目标样本集、第二目标样本集和第三目标样本集。
点云分布特征包括点云密度；增广模块用于针对第一初始样本集、第二初始样本集和第三初始样本集，分别按照各自对应的采样比例范围进行降采样处理，得到第一目标样本集、第二目标样本集和第三目标样本集；其中，第一目标样本集、第二目标样本集和第三目标样本集各自的密度范围具有交集。
根据本公开的实施例，在调整模块根据损失调整深度学习模型的参数之后，返回执行采样模块。
深度学习模型的训练装置800还包括第四处理模块。
第四处理模块，用于将第一点云数据集输入深度学习模型，得到第一点云数据集的处理结果，作为初始伪标签集合。
上述历史伪标签来自历史伪标签集合，历史伪标签集合是根据历史处理结果对初始伪标签集合进行更新得到的；装置还包括第四确定模块。
第四确定模块用于根据处理结果与历史伪标签集合的重合部分，确定第一样本点云的历史伪标签。
图9是根据本公开的一个实施例的点云处理装置的框图。
如图9所示，该点云处理装置900可以包括第二获取模块901和第五处理模块902。
第二获取模块901用于获取待处理点云。
第五处理模块902用于将待处理点云输入深度学习模型，得到待处理点云的位置和类别。
其中，深度学习模型是根据上述深度学习模型的训练装置训练得到的。
根据本公开的实施例，本公开还提供了一种电子设备、一种自动驾驶车辆、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如深度学习模型的训练方法和/或点云处理方法。例如，在一些实施例中，深度学习模型的训练方法和/或点云处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算单元1001执行时，可以执行上文描述的深度学习模型的训练方法和/或点云处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习模型的训练方法和/或点云处理方法。
本公开的实施例提供的自动驾驶车辆可以包括点云采集设备和如图10所示的电子设备。点云采集设备可以将采集到的点云数据发送给电子设备，电子设备例如实现上文所描述的点云处理方法和/或机器学习模型的训练方法，得到点云检测结果。自动驾驶车辆根据点云检测结果可以进行运动决策和控制。运动决策和控制例如包括避开障碍物、减速慢行和刹车等。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种跨传感器点云检测深度学习模型的训练方法，包括：
将第一样本点云输入所述深度学习模型，得到所述第一样本点云的处理结果，其中，所述第一样本点云是新传感器采集的点云数据，所述深度学习模型是对预训练模型的参数进行初始化的模型，所述预训练模型是使用旧传感器采集的点云数据进行训练得到的；
将所述处理结果和所述第一样本点云的历史伪标签进行融合，得到更新的伪标签，其中，所述历史伪标签是根据所述第一样本点云的历史处理结果确定的；
根据所述处理结果和所述更新的伪标签，确定所述深度学习模型的损失；以及
根据所述损失调整所述深度学习模型的参数。
2. 根据权利要求1所述的方法，其中，所述处理结果包括当前位置和当前类别，所述历史伪标签包括历史位置标签和历史类别标签；所述将所述当前处理结果和所述第一样本点云的历史伪标签进行融合，得到更新的伪标签包括：
将所述当前位置的信息和所述历史位置标签的信息进行加权平均，得到更新的位置标签；以及
将所述当前类别的信息和所述历史类别标签的信息进行加权平均，得到更新的类别标签。
3.根据权利要求2所述的方法，其中，所述处理结果还包括所述第一样本点云为真实对象的置信度；所述根据所述处理结果和所述更新的伪标签，确定所述深度学习模型的损失包括：
根据所述当前位置和所述更新的位置标签，确定所述第一样本点云的位置损失；
根据所述当前类别和所述更新的类别标签，确定所述第一样本点云的类别损失；
根据所述置信度，确定所述第一样本点云的噪声损失；以及
根据所述位置损失、类别损失和噪声损失，确定所述深度学习模型的损失。
4.根据权利要求3所述的方法，还包括：
根据所述置信度，将所述第一样本点云划分为正样本、负样本以及中间样本中的之一；
所述根据所述位置损失、类别损失和噪声损失，确定所述深度学习模型的损失包括：
根据所述正样本的位置损失和所述中间样本的位置损失，确定第一部分位置损失；
根据所述正样本的类别损失和所述中间样本的类别损失，确定第一部分类别损失；
根据所述正样本的噪声损失和所述负样本的噪声损失，确定所述噪声损失；以及
根据所述第一部分位置损失、第一部分类别损失和噪声损失，确定所述深度学习模型的损失。
5.根据权利要求4所述的方法，还包括：
将第二样本点云输入所述深度学习模型，得到所述第二样本点云的位置和类别，其中，所述第二样本点云与所述第一样本点云来自相同的传感器；
将第三样本点云输入所述深度学习模型，得到所述第三样本点云的位置和类别，其中，所述第三样本点云与所述第一样本点云来自不同的传感器；
根据所述第二样本点云的位置、类别以及所述第二样本点云的真实标签，确定第二部分位置损失和第二部分类别损失；
根据所述第三样本点云的位置、类别以及所述第三样本点云的真实标签，确定第三部分位置损失和第三部分类别损失；
所述根据所述位置损失、类别损失和噪声损失，确定所述深度学习模型的损失包括：
根据所述第一部分位置损失、第一部分类别损失、噪声损失、第二部分位置损失、第二部分类别损失、第三部分位置损失和第三部分类别损失，确定所述深度学习模型的损失。
6.根据权利要求5所述的方法，其中，所述第一样本点云来自第一目标样本集，所述第二样本点云来自第二目标样本集，所述第三样本点云来自第三目标样本集；所述方法还包括：
获取第一点云数据集、第二点云数据集和第三点云数据集，其中，所述第二点云数据集和所述第一点云数据集来自相同的传感器，所述第三点云数据集和所述第一点云数据集来自不同的传感器；
针对所述第一点云数据集、第二点云数据集和第三点云数据集，分别按照各自对应的采样概率进行采样，得到第一初始样本集、第二初始样本集和第三初始样本集；以及
对所述第一初始样本集、第二初始样本集和第三初始样本集的点云分布特征进行一致性处理，得到所述第一目标样本集、第二目标样本集和第三目标样本集。
7.根据权利要求6所述的方法，其中，所述点云分布特征包括点云密度；所述对所述第一初始样本集、第二初始样本集和第三初始样本集的点云分布进行一致性处理，得到所述第一目标样本集、第二目标样本集和第三目标样本集包括：
针对所述第一初始样本集、第二初始样本集和第三初始样本集，分别按照各自对应的采样比例范围进行降采样处理，得到所述第一目标样本集、第二目标样本集和第三目标样本集；
其中，所述第一目标样本集、第二目标样本集和第三目标样本集各自的密度范围具有交集。
8.根据权利要求6所述的方法，还包括：
在根据所述损失调整所述深度学习模型的参数之后，返回所述针对所述第一点云数据集、第二点云数据集和第三点云数据集，分别按照各自对应的采样概率进行采样的步骤。
9.根据权利要求6所述的方法，还包括：
将所述第一点云数据集输入所述深度学习模型，得到第一点云数据集的处理结果，作为初始伪标签集合；
其中，所述历史伪标签来自历史伪标签集合，所述历史伪标签集合是根据所述历史处理结果对所述初始伪标签集合进行更新得到的；所述方法还包括：
根据所述处理结果与所述历史伪标签集合的重合部分，确定所述第一样本点云的历史伪标签。
10. 一种点云处理方法，包括：
获取待处理点云；以及
将所述待处理点云输入深度学习模型，得到所述待处理点云的位置和类别；
其中，所述深度学习模型是根据权利要求1至9中任一项所述的方法训练得到的。
11.一种跨传感器点云检测深度学习模型的训练装置，包括：
第一处理模块，用于将第一样本点云输入所述深度学习模型，得到所述第一样本点云的处理结果，其中，所述第一样本点云是新传感器采集的点云数据，所述深度学习模型是对预训练模型的参数进行初始化的模型，所述预训练模型是使用旧传感器采集的点云数据进行训练得到的；
融合模块，用于将所述处理结果和所述第一样本点云的历史伪标签进行融合，得到更新的伪标签，其中，所述历史伪标签是根据所述第一样本点云的历史处理结果确定的；
第一确定模块，用于根据所述处理结果和所述更新的伪标签，确定所述深度学习模型的损失；以及
调整模块，用于根据所述损失调整所述深度学习模型的参数。
12. 根据权利要求11所述的装置，其中，所述处理结果包括当前位置和当前类别，所述历史伪标签包括历史位置标签和历史类别标签；所述融合模块包括：
第一融合单元，用于将所述当前位置的信息和所述历史位置标签的信息进行加权平均，得到更新的位置标签；以及
第二融合单元，用于将所述当前类别的信息和所述历史类别标签的信息进行加权平均，得到更新的类别标签。
13.根据权利要求12所述的装置，其中，所述处理结果还包括所述第一样本点云为真实对象的置信度；所述第一确定模块包括：
第一确定单元，用于根据所述当前位置和所述更新的位置标签，确定所述第一样本点云的位置损失；
第二确定单元，用于根据所述当前类别和所述更新的类别标签，确定所述第一样本点云的类别损失；
第三确定单元，用于根据所述置信度，确定所述第一样本点云的噪声损失；以及
第四确定单元，用于根据所述位置损失、类别损失和噪声损失，确定所述深度学习模型的损失。
14.根据权利要求13所述的装置，还包括：
划分模块，用于根据所述置信度，将所述第一样本点云划分为正样本、负样本以及中间样本中的之一；
所述第四确定单元包括：
第一确定子单元，用于根据所述正样本的位置损失和所述中间样本的位置损失，确定第一部分位置损失；
第二确定子单元，用于根据所述正样本的类别损失和所述中间样本的类别损失，确定第一部分类别损失；
第三确定子单元，根据所述正样本的噪声损失和所述负样本的噪声损失，确定所述噪声损失；以及
第四确定子单元，用于根据所述第一部分位置损失、第一部分类别损失和噪声损失，确定所述深度学习模型的损失。
15.根据权利要求14所述的装置，还包括：
第二处理模块，用于将第二样本点云输入所述深度学习模型，得到所述第二样本点云的位置和类别，其中，所述第二样本点云与所述第一样本点云来自相同的传感器；
第三处理模块，用于将第三样本点云输入所述深度学习模型，得到所述第三样本点云的位置和类别，其中，所述第三样本点云与所述第一样本点云来自不同的传感器；
第二确定模块，用于根据所述第二样本点云的位置、类别以及所述第二样本点云的真实标签，确定第二部分位置损失和第二部分类别损失；
第三确定模块，用于根据所述第三样本点云的位置、类别以及所述第三样本点云的真实标签，确定第三部分位置损失和第三部分类别损失；
所述第四确定单元，用于根据所述第一部分位置损失、第一部分类别损失、噪声损失、第二部分位置损失、第二部分类别损失、第三部分位置损失和第三部分类别损失，确定所述深度学习模型的损失。
16.根据权利要求15所述的装置，其中，所述第一样本点云来自第一目标样本集，所述第二样本点云来自第二目标样本集，所述第三样本点云来自第三目标样本集；所述装置还包括：
第一获取模块，用于获取第一点云数据集、第二点云数据集和第三点云数据集，其中，所述第二点云数据集和所述第一点云数据集来自相同的传感器，所述第三点云数据集和所述第一点云数据集来自不同的传感器；
采样模块，用于针对所述第一点云数据集、第二点云数据集和第三点云数据集，分别按照各自对应的采样概率进行采样，得到第一初始样本集、第二初始样本集和第三初始样本集；以及
增广模块，用于对所述第一初始样本集、第二初始样本集和第三初始样本集的点云分布特征进行一致性处理，得到所述第一目标样本集、第二目标样本集和第三目标样本集。
17.根据权利要求16所述的装置，其中，所述点云分布特征包括点云密度；所述增广模块用于针对所述第一初始样本集、第二初始样本集和第三初始样本集，分别按照各自对应的采样比例范围进行降采样处理，得到所述第一目标样本集、第二目标样本集和第三目标样本集；其中，所述第一目标样本集、第二目标样本集和第三目标样本集各自的密度范围具有交集。
18.根据权利要求16所述的装置，其中，在所述调整模块根据所述损失调整所述深度学习模型的参数之后，返回执行所述采样模块。
19.根据权利要求16所述的装置，还包括：
第四处理模块，用于将所述第一点云数据集输入所述深度学习模型，得到第一点云数据集的处理结果，作为初始伪标签集合；
其中，所述历史伪标签来自历史伪标签集合，所述历史伪标签集合是根据所述历史处理结果对所述初始伪标签集合进行更新得到的；所述装置还包括：
第四确定模块，用于根据所述处理结果与所述历史伪标签集合的重合部分，确定所述第一样本点云的历史伪标签。
20.一种点云处理装置，包括：
第二获取模块，用于获取待处理点云；
第五处理模块，用于将所述待处理点云输入深度学习模型，得到所述待处理点云的位置和类别；
其中，所述深度学习模型是根据权利要求11至19中任一项所述的装置训练得到的。
21. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
22.一种自动驾驶车辆，包括如权利要求21所述的电子设备。
23.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至10中任一项所述的方法。
CN202211219778.2A 2022-09-30 2022-09-30 点云处理和深度学习模型训练方法、装置及自动驾驶车辆 Active CN115471805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219778.2A CN115471805B (zh) 2022-09-30 2022-09-30 点云处理和深度学习模型训练方法、装置及自动驾驶车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219778.2A CN115471805B (zh) 2022-09-30 2022-09-30 点云处理和深度学习模型训练方法、装置及自动驾驶车辆

Publications (2)

Publication Number Publication Date
CN115471805A CN115471805A (zh) 2022-12-13
CN115471805B true CN115471805B (zh) 2023-09-05

Family

ID=84335967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219778.2A Active CN115471805B (zh) 2022-09-30 2022-09-30 点云处理和深度学习模型训练方法、装置及自动驾驶车辆

Country Status (1)

Country Link
CN (1) CN115471805B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484744B (zh) * 2023-05-12 2024-01-16 北京百度网讯科技有限公司 物体仿真方法、模型训练方法、装置、设备及存储介质
CN117197593A (zh) * 2023-11-06 2023-12-08 天河超级计算淮海分中心 一种医学影像伪标签生成系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830385A (zh) * 2018-07-10 2018-11-16 北京京东金融科技控股有限公司 深度学习模型训练方法和装置及计算机可读存储介质
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN114648676A (zh) * 2022-03-25 2022-06-21 北京百度网讯科技有限公司 点云处理模型的训练和点云实例分割方法及装置
CN114863201A (zh) * 2022-03-24 2022-08-05 深圳元戎启行科技有限公司 三维检测模型的训练方法、装置、计算机设备和存储介质
CN114881129A (zh) * 2022-04-25 2022-08-09 北京百度网讯科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN115019135A (zh) * 2022-06-24 2022-09-06 美的集团(上海)有限公司 模型训练、目标检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220261617A1 (en) * 2021-02-18 2022-08-18 Volkswagen Aktiengesellschaft Apparatus, system and method for translating sensor data
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830385A (zh) * 2018-07-10 2018-11-16 北京京东金融科技控股有限公司 深度学习模型训练方法和装置及计算机可读存储介质
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN114863201A (zh) * 2022-03-24 2022-08-05 深圳元戎启行科技有限公司 三维检测模型的训练方法、装置、计算机设备和存储介质
CN114648676A (zh) * 2022-03-25 2022-06-21 北京百度网讯科技有限公司 点云处理模型的训练和点云实例分割方法及装置
CN114881129A (zh) * 2022-04-25 2022-08-09 北京百度网讯科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN115019135A (zh) * 2022-06-24 2022-09-06 美的集团(上海)有限公司 模型训练、目标检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115471805A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN115471805B (zh) 点云处理和深度学习模型训练方法、装置及自动驾驶车辆
CN108256446B (zh) 用于确定道路中的车道线的方法、装置和设备
CN109212530B (zh) 用于确定障碍物速度的方法和装置
CN113264066B (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113378760A (zh) 训练目标检测模型和检测目标的方法及装置
CN113870334B (zh) 深度检测方法、装置、设备以及存储介质
CN113378693A (zh) 生成目标检测系统和检测目标的方法及装置
CN114140759A (zh) 高精地图车道线位置确定方法、装置及自动驾驶车辆
CN114677655A (zh) 多传感器目标检测方法、装置、电子设备以及存储介质
CN111126209B (zh) 车道线检测方法及相关设备
CN114882198A (zh) 一种目标确定方法、装置、设备及介质
CN113177980B (zh) 用于自动驾驶的目标对象速度确定方法、装置及电子设备
CN113723607A (zh) 时空数据处理模型的训练方法、装置、设备及存储介质
CN113378694A (zh) 生成目标检测和定位系统及目标检测和定位的方法及装置
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质
CN113689125A (zh) 信息推送方法和装置
CN113361379B (zh) 生成目标检测系统和检测目标的方法及装置
CN115240171B (zh) 道路结构感知方法及装置
CN114620055B (zh) 道路数据处理方法、装置、电子设备及自动驾驶车辆
CN114584949B (zh) 车路协同确定障碍物属性值的方法、设备及自动驾驶车辆
CN114596552B (zh) 信息处理方法、训练方法、装置、设备、车辆及介质
CN115431968B (zh) 车辆控制器、车辆及车辆控制方法
CN114817430A (zh) 轨迹数据处理方法、模型训练方法、装置及自动驾驶车辆
CN116311142A (zh) 多传感器障碍物类别融合的方法、设备及自动驾驶车辆
CN117669686A (zh) 模型处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant