CN113673622B - 激光点云数据标注方法、装置、设备及产品 - Google Patents

激光点云数据标注方法、装置、设备及产品 Download PDF

Info

Publication number
CN113673622B
CN113673622B CN202111013628.1A CN202111013628A CN113673622B CN 113673622 B CN113673622 B CN 113673622B CN 202111013628 A CN202111013628 A CN 202111013628A CN 113673622 B CN113673622 B CN 113673622B
Authority
CN
China
Prior art keywords
point cloud
cloud data
laser point
marked
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111013628.1A
Other languages
English (en)
Other versions
CN113673622A (zh
Inventor
李银
贺志国
罗衡荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Special Vehicle Co Ltd
Original Assignee
Sany Special Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Special Vehicle Co Ltd filed Critical Sany Special Vehicle Co Ltd
Priority to CN202111013628.1A priority Critical patent/CN113673622B/zh
Publication of CN113673622A publication Critical patent/CN113673622A/zh
Application granted granted Critical
Publication of CN113673622B publication Critical patent/CN113673622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Laser Beam Processing (AREA)

Abstract

本发明提供一种激光点云数据标注方法、装置、设备及产品，本发明提供的激光点云数据标注方法、装置、设备及产品，通过预先获得的精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行半监督优化训练获得优化标注模型，利用优化标注模型得到待标注激光点云数据的粗标注结果，进一步调整得到精标注结果，由于每次对待标注数据进行标注前都要经过一次半监督训练过程，使得半监督训练得到的模型在粗标注环节可以获得更加准确的粗标注结果，有效降低了精标注环节的工作量。

Description

激光点云数据标注方法、装置、设备及产品
技术领域
本发明涉及机器学习技术领域，尤其涉及一种激光点云数据标注方法、装置、设备及产品。
背景技术
在目标检测领域中，通常使用包含大量激光点云样本数据的训练集对目标检测模型进行训练，在将训练集放入目标检测模型进行训练前，需要对训练集中的激光点云样本数据进行标注。现有技术中一般采用人工标注和自动标注两种标注方式。采用人工标注方式虽然准确度较高，但需要雇佣大量的人力资源才能满足机器学习不断迭代过程中的数据标注需求，耗费人力物力，且效率低下。
采用基于网络模型的方法来自动化标注样本数据，虽然能够在很大程度上缩短标注时间，提高标注效率。但是，由于网络模型在前期训练时采用全监督的训练方式，在不断迭代更新模型参数的过程中，如果新采集的激光点云数据和原有数据库中的激光点云数据差异性较大，用原有数据库训练得到的网络模型在预测差异性较大的新数据时，得到的粗标签效果并不理想，需要花大量时间和精力进行人工调整，难以满足准确度更高的数据标注需求。
因此，现在亟需一种更加准确的激光点云数据标注方法来解决上述问题。
发明内容
本发明提供一种激光点云数据标注方法、装置、设备及产品，用以解决现有技术中基于全监督训练方式的点云数据标注方法在差异性大的激光点云数据上不够准确的缺陷。
第一方面，本发明提供一种激光点云数据标注方法，包括：
获取待标注的激光点云数据；
将所述待标注的激光点云数据输入优化标注模型，得到所述优化标注模型输出的粗标注结果；其中，所述优化标注模型是基于精标注的激光点云数据和所述待标注的激光点云数据对初步标注模型进行优化训练得到的；
对所述粗标注结果进行调整，得到所述待标注的激光点云数据对应的精标注结果。
根据本发明提供的激光点云数据标注方法，所述精标注的激光点云数据的生成过程包括：
将未标注的激光点云数据输入所述初步标注模型，得到所述初步标注模型输出的粗标注的激光点云数据；
对所述粗标注的激光点云数据进行调整，得到精标注的激光点云数据。
根据本发明提供的激光点云数据标注方法，所述初步标注模型是基于未标注的激光点云数据和已标注的激光点云数据对神经网络进行半监督训练得到的。
根据本发明提供的激光点云数据标注方法，所述初步标注模型的训练过程，包括：
获取未标注的激光点云数据和已标注的激光点云数据；
构建教师和学生互学习网络；其中，所述教师和学生互学习网络包括教师网络、学生网络和网络损失函数；
将未标注的激光点云数据输入所述教师网络，得到所述教师网络生成的伪标签；
将已标注的激光点云数据和未标注的激光点云数据均输入所述学生网络，通过已标注的标签监督训练学生网络中已标注的激光点云数据，并通过所述伪标签监督训练学生网络中未标注的激光点云数据；
根据所述网络损失函数，通过梯度下降算法更新所述学生网络的权重参数，并根据所述学生网络的权重参数通过指数移动平均算法更新所述教师网络的权重参数，直至训练终止，得到初步标注模型。
根据本发明提供的激光点云数据标注方法，将未标注的激光点云数据输入所述教师网络之前还包括：
对所述未标注的激光点云数据进行弱数据增强处理；
将已标注的激光点云数据和未标注的激光点云数据均输入所述学生网络之前，还包括：
分别对所述已标注的激光点云数据和所述未标注的激光点云数据进行强数据增强处理。
根据本发明提供的激光点云数据标注方法，通过所述伪标签监督训练学生网络中未标注的激光点云数据之前，还包括：对所述伪标签进行预处理。
根据本发明提供的激光点云数据标注方法，对所述伪标签进行预处理，包括：
过滤处理：将所述伪标签中类别信息置信度得分、目标信息置信度得分和位置信息置信度得分分别与预设的类别阈值、目标阈值和位置阈值进行比对，对类别信息置信度得分小于类别阈值、目标信息置信度得分小于目标阈值且位置信息置信度得分小于位置阈值的伪标签进行过滤；
去重处理：对过滤处理后的伪标签进行去重处理，去除过滤处理后的伪标签中一半的高重叠框；
后处理：对去重处理后的伪标签进行同等变换处理；其中，所述同等变换处理是与输入学生网络之前所述已标注的激光点云数据和所述未标注的激光点云数据相同的强数据增强操作。
第二方面，本发明还提供一种激光点云数据标注装置，该装置包括：
获取模块，用于获取待标注的激光点云数据；
粗标注模块，用于将所述待标注的激光点云数据输入优化标注模型，得到所述优化标注模型输出的粗标注结果；其中，所述优化标注模型是基于精标注的激光点云数据和所述待标注的激光点云数据对初步标注模型进行优化训练得到的；
精标注模块，用于对所述粗标注结果进行调整，得到所述待标注的激光点云数据对应的精标注结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述激光点云数据标注方法的步骤。
第四方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述激光点云数据标注方法的步骤。
本发明提供的激光点云数据标注方法、装置、设备及产品，通过预先获得的精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行半监督优化训练获得优化标注模型，利用优化标注模型得到待标注激光点云数据的粗标注结果，进一步调整得到精标注结果，由于每次对待标注数据进行标注前都要经过一次半监督训练过程，使得半监督训练得到的模型在粗标注环节可以获得更加准确的粗标注结果，有效降低了精标注环节的工作量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的激光点云数据标注方法的流程示意图；
图2是对初步标注模型进行训练和优化的流程示意图；
图3是对教师和学生互学习网络进行半监督训练的实现原理示意图；
图4是本发明提供的激光点云数据标注装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的激光点云数据标注方法，包括：
S110：获取待标注的激光点云数据；
S120：将待标注的激光点云数据输入优化标注模型，得到优化标注模型输出的粗标注结果；其中，优化标注模型是基于精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行优化训练得到的；
S130：对粗标注结果进行调整，得到待标注的激光点云数据对应的精标注结果。
由于本实施例提供的激光点云数据标注方法在对待标注的激光点云数据进行标注前，需要预先训练获得初步标注模型，本实施例中初步标注模型是基于未标注的激光点云数据和已标注的激光点云数据对神经网络进行半监督训练得到的；对初步标注模型进行进一步优化训练能够获得优化标注模型。参见附图2，下面对初步标注模型的训练和优化的整体流程进行说明，该过程具体如下：
首先，获取未标注的激光点云数据和已标注的激光点云数据；
本实施例通过人工标注少量激光点云数据，获得上述已标注的激光点云数据，并预先获取大量未标注的激光点云数据，从而构建得到初步标注模型训练用的数据集。
接着，将未标注的激光点云数据和已标注的激光点云数据输入教师和学生互学习网络进行半监督训练，得到初步标注模型。
然后，将未标注的激光点云数据输入初步标注模型，得到初步标注模型输出的粗标注的激光点云数据。
之后，对粗标注的激光点云数据进行调整，得到精标注的激光点云数据；具体的，本实施例采用人工精修方式对粗标注的激光点云数据中粗标签内的目标类别、3D框位置以及目标朝向等信息进行调整，从而得到更加准确的精标注数据。
最后，将精标注的激光点云数据与待标注的激光点云数据一起对初步标注模型进行半监督优化训练，可以得到优化标注模型，本实施例通过不断迭代优化初步标注模型，可以不断提高点云数据的粗标注精度。
图3示出了本实施例中对初步标注模型进行半监督训练的过程，该过程具体包括：
第一步：准备训练用的数据集，人工手动标注一小部分激光点云数据{Xl,Yl}，同时准备一批未标注的点云数据{Xu}，其中，Xl表示已标注的激光点云数据，Yl表示已标注的激光点云数据对应的标签，即已标注标签，Xu表示未标注的激光点云数据。
第二步：构建教师和学生互学习网络，利用师生相互学习框架学习点云数据的标注能力，本实施例中教师和学生互学习网络包括一个学习能力弱的教师网络、一个学习能力强的学生网络以及网络损失函数。教师网络的参数通过学生网络来更新，学生网络的参数通过已标注标签和教师网络产生的伪标签计算得到的损失来更新。本实施例中网络损失函数如下：
L＝Ll({Xl},{Yl})+αLu({Xu},{Yu})           (1)
其中，Ll表示有监督损失，Lu表示无监督损失，α表示无监督损失权重。
第三步：更新教师和学生互学网络参数，将{Xl,Xu}经过强数据增强后送入学生网络，本实施例中强数据增强处理包括随机翻转、随机旋转、随机均匀缩放等操作，并将{Xu}进行弱增强处理后送入教师网络，本实施例中弱增强处理指对未标注的激光点云数据经过随机子抽样进行扩充；这样，每一个训练批数据中都包含标注的样本数据和未标注的样本数据，对于教师网络，其从未标注数据中预测出来的结果为Yt u，对于标注的样本数据，即已标注的激光点云数据，使用已标注的标签Yl进行监督训练，得到学生网络从标注数据中预测出来的结果Ys l；对于未标注的样本数据，即未标注的激光点云数据，使用由教师网络产生的伪标签进行监督训练，得到学生网络从未标注数据中预测出来的结果Ys u。
第四步：为了提高伪标签的质量，本实施例在使用伪标签对未标注的激光点云数据进行监督训练前，还会对初始的伪标签Yt u进行预处理操作，得到优化后的伪标签Yu，该过程具体包括：
过滤处理：将伪标签中类别信息置信度得分、目标信息置信度得分和位置信息置信度得分分别与预设的类别阈值τclass、目标阈值τobj和位置阈值τiou进行比对，将类别信息置信度得分小于类别阈值、目标信息置信度得分小于目标阈值且位置信息置信度得分小于位置阈值的伪标签过滤掉。
去重处理：对过滤处理后的伪标签进行去重处理，本实施例采用IoU(Intersection over Union，交并比)指导的下半抑制方法去除过滤处理后的伪标签中一半的高重叠框。
后处理：对去重处理后的伪标签，进行与输入学生网络之前已标注的激光点云数据和未标注的激光点云数据相同的强数据增强操作，即进行同等变换。
第五步：半监督训练，将经过过滤、去重和后处理过后的伪标签选择性监督学生网络中未标注的激光点云数据，用已标注的标签监督学生网络中已标注的激光点云数据，利用上述网络损失函数，通过梯度下降算法来更新学生网络的权重参数，之后教师网络的权重参数基于学生网络的权重参数并通过指数移动平均算法更新，指数移动平均公式如下：
Figure BDA0003239667680000081
其中，
Figure BDA0003239667680000082
表示教师网络在t+1时刻的权重参数，
Figure BDA0003239667680000083
表示教师网络在t时刻的权重参数，
Figure BDA0003239667680000084
表示学生网络在t时刻的权重参数。
当整个网络模型的损失值保持稳定或网络模型的性能在验证数据集上达到最佳时，则终止训练，得到初步标注模型，并保存初步标注模型的权重文件。
可以理解的是，网络模型的性能优劣，可以通过公知的mAP(mean AveragePrecision，平均精度均值)这一指标进行评估。
后续利用训练好的初步标注模型对未标注的激光点云数据进行预测，可以得到包含激光点云数据的目标类别、3D框位置以及目标朝向的粗标注信息，即粗标注的激光点云数据。
利用点云标注软件加载粗标注的激光点云数据，人工适当精修，即可快速得到未标注点云数据的精标注信息，即精标注的激光点云数据，同时也验证了初步标注模型的检测效果。
在实际应用中，当有新的点云数据需要标注时，只需要将已经精标注的激光点云数据和待标注的激光点云数据输入已获得的初步标注模型进行半监督优化训练，得到优化标注模型，之后用优化标注模型的学生网络对待标注的激光点云数据进行预测，即可得到待标注的激光点云数据对应的粗标注结果，进一步通过简单的人工精修，得到最终的精标注结果。
本实施例提供的激光点云数据标注方法，通过先标注小部分样本数据，将已经标注的小部分样本数据(即已标注的激光点云数据)和大量未标注样本数据(即未标注的激光点云数据)一起放入教师和学生互学习网络中进行半监督训练，得到初步标注模型，之后使用该初步标注模型去预测上述大量未标注样本数据，此时得到未标注样本数据对应的粗标注信息(即粗标注的激光点云数据)，人工适当调整粗标注信息，得到大量未标注样本数据的精标注信息(即精标注的激光点云数据)。
当有新的待标注的激光点云数据需要标注的时候，将该待标注的激光点云数据和精标注的激光点云数据一起对初步标注模型进行半监督优化训练，使用训练好的优化标注模型预测待标注的激光点云数据，可以得到粗标注结果，人工适当调整粗标注结果，即可得到精标注结果。
当有新数据需要标注的时候就重复以上步骤，由于该方法中初步标注模型在不断的根据新数据进行优化调整，使得每次进行数据标注前训练得到的模型，在差异性较大的新数据上有较好的泛化能力。因此，采用本实施例提供的激光点云数据标注方法，可以快速、准确的标注新数据，减少了人工干预操作，提高了不同场景下点云数据的自动标注精度。
下面对本发明提供的激光点云数据标注装置进行描述，下文描述的激光点云数据标注装置与上文描述的激光点云数据标注方法可相互对应参照。
图4示出了本发明实施例提供的激光点云数据标注装置，该装置包括：
获取模块410，用于获取待标注的激光点云数据；
粗标注模块420，用于将待标注的激光点云数据输入优化标注模型，得到优化标注模型输出的粗标注结果；其中，优化标注模型是基于精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行优化训练得到的；
精标注模块430，用于对粗标注结果进行调整，得到待标注的激光点云数据对应的精标注结果。
需要说明的是，粗标注模块420对待标注的激光点云数据进行粗标注，是通过预先由初步标注模型优化训练得到的优化标注模型实现的，初步标注模型是基于未标注的激光点云数据和已标注的激光点云数据对神经网络进行半监督训练得到的。
本实施例中初步标注模型和优化标注模型的生成过程具体如下：
首先，获取少量未标注的激光点云数据和大量已标注的激光点云数据。
接着，将未标注的激光点云数据和已标注的激光点云数据输入教师和学生互学习网络进行半监督训练，得到初步标注模型。
然后，将大量未标注的激光点云数据输入初步标注模型，得到初步标注模型输出的粗标注的激光点云数据。
之后，对粗标注的激光点云数据进行调整，得到精标注的激光点云数据。
最后，将精标注的激光点云数据与待标注的激光点云数据一起对初步标注模型进行半监督优化训练，可以得到优化标注模型。
后续将待标注的激光点云数据输入该优化标注模型即可得到相应的粗标注结果，进一步对粗标注结果进行调整即可得到精标注结果。
不难发现，本实施例提供的激光点云数据标注装置，每次在对新的点云样本数据进行标注前，都会先利用已有的精标注数据和当前待标注数据对初步标注模型进行一次优化训练，这样优化训练后的模型可以输出更加准确的粗标注结果，从而大大提高了对激光点云数据的粗标注精度。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行激光点云数据标注方法，该方法包括：获取待标注的激光点云数据；将待标注的激光点云数据输入优化标注模型，得到优化标注模型输出的粗标注结果；其中，优化标注模型是基于精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行优化训练得到的；对粗标注结果进行调整，得到待标注的激光点云数据对应的精标注结果。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的激光点云数据标注方法，该方法包括：获取待标注的激光点云数据；将待标注的激光点云数据输入优化标注模型，得到优化标注模型输出的粗标注结果；其中，优化标注模型是基于精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行优化训练得到的；对粗标注结果进行调整，得到待标注的激光点云数据对应的精标注结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的激光点云数据标注方法，该方法包括：获取待标注的激光点云数据；将待标注的激光点云数据输入优化标注模型，得到优化标注模型输出的粗标注结果；其中，优化标注模型是基于精标注的激光点云数据和待标注的激光点云数据对初步标注模型进行优化训练得到的；对粗标注结果进行调整，得到待标注的激光点云数据对应的精标注结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种激光点云数据标注方法，其特征在于，包括：
获取待标注的激光点云数据；
将所述待标注的激光点云数据输入优化标注模型，得到所述优化标注模型输出的粗标注结果；其中，所述优化标注模型是在对所述待标注的激光点云数据进行标注前，基于精标注的激光点云数据和所述待标注的激光点云数据对初步标注模型进行半监督优化训练得到的；所述初步标注模型是基于未标注的激光点云数据和已标注的激光点云数据对神经网络进行半监督训练得到的；
对所述粗标注结果进行调整，得到所述待标注的激光点云数据对应的精标注结果；
所述初步标注模型的训练过程，包括：
获取未标注的激光点云数据和已标注的激光点云数据；
构建教师和学生互学习网络；其中，所述教师和学生互学习网络包括教师网络、学生网络和网络损失函数；
将未标注的激光点云数据输入所述教师网络，得到所述教师网络生成的伪标签；
将已标注的激光点云数据和未标注的激光点云数据均输入所述学生网络，通过已标注标签监督训练学生网络中已标注的激光点云数据，并通过所述伪标签监督训练学生网络中未标注的激光点云数据；
根据所述网络损失函数，通过梯度下降算法更新所述学生网络的权重参数，并根据所述学生网络的权重参数通过指数移动平均算法更新所述教师网络的权重参数，直至训练终止，得到初步标注模型。
2.根据权利要求1所述的一种激光点云数据标注方法，其特征在于，所述精标注的激光点云数据的生成过程包括：
将未标注的激光点云数据输入所述初步标注模型，得到所述初步标注模型输出的粗标注的激光点云数据；
对所述粗标注的激光点云数据进行调整，得到精标注的激光点云数据。
3.根据权利要求1所述的一种激光点云数据标注方法，其特征在于，将未标注的激光点云数据输入所述教师网络之前还包括：
对所述未标注的激光点云数据进行弱数据增强处理；
将已标注的激光点云数据和未标注的激光点云数据均输入所述学生网络之前，还包括：
分别对所述已标注的激光点云数据和所述未标注的激光点云数据进行强数据增强处理。
4.根据权利要求3所述的一种激光点云数据标注方法，其特征在于，通过所述伪标签监督训练学生网络中未标注的激光点云数据之前，还包括：对所述伪标签进行预处理。
5.根据权利要求4所述的一种激光点云数据标注方法，其特征在于，对所述伪标签进行预处理，包括：
过滤处理：将所述伪标签中类别信息置信度得分、目标信息置信度得分和位置信息置信度得分分别与预设的类别阈值、目标阈值和位置阈值进行比对，对类别信息置信度得分小于类别阈值、目标信息置信度得分小于目标阈值且位置信息置信度得分小于位置阈值的伪标签进行过滤；
去重处理：对过滤处理后的伪标签进行去重处理，去除过滤处理后的伪标签中一半的高重叠框；
后处理：对去重处理后的伪标签进行同等变换处理；其中，所述同等变换处理是与输入学生网络之前所述已标注的激光点云数据和所述未标注的激光点云数据相同的强数据增强操作。
6.一种激光点云数据标注装置，其特征在于，包括：
获取模块，用于获取待标注的激光点云数据；
粗标注模块，用于将所述待标注的激光点云数据输入优化标注模型，得到所述优化标注模型输出的粗标注结果；其中，所述优化标注模型是在对所述待标注的激光点云数据进行标注前，基于精标注的激光点云数据和所述待标注的激光点云数据对初步标注模型进行半监督优化训练得到的；所述初步标注模型是基于未标注的激光点云数据和已标注的激光点云数据对神经网络进行半监督训练得到的；
精标注模块，用于对所述粗标注结果进行调整，得到所述待标注的激光点云数据对应的精标注结果；
所述初步标注模型的训练过程，包括：
获取未标注的激光点云数据和已标注的激光点云数据；
构建教师和学生互学习网络；其中，所述教师和学生互学习网络包括教师网络、学生网络和网络损失函数；
将未标注的激光点云数据输入所述教师网络，得到所述教师网络生成的伪标签；
将已标注的激光点云数据和未标注的激光点云数据均输入所述学生网络，通过已标注标签监督训练学生网络中已标注的激光点云数据，并通过所述伪标签监督训练学生网络中未标注的激光点云数据；
根据所述网络损失函数，通过梯度下降算法更新所述学生网络的权重参数，并根据所述学生网络的权重参数通过指数移动平均算法更新所述教师网络的权重参数，直至训练终止，得到初步标注模型。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述激光点云数据标注方法的步骤。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述激光点云数据标注方法的步骤。
CN202111013628.1A 2021-08-31 2021-08-31 激光点云数据标注方法、装置、设备及产品 Active CN113673622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111013628.1A CN113673622B (zh) 2021-08-31 2021-08-31 激光点云数据标注方法、装置、设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111013628.1A CN113673622B (zh) 2021-08-31 2021-08-31 激光点云数据标注方法、装置、设备及产品

Publications (2)

Publication Number Publication Date
CN113673622A CN113673622A (zh) 2021-11-19
CN113673622B true CN113673622B (zh) 2023-04-07

Family

ID=78547665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111013628.1A Active CN113673622B (zh) 2021-08-31 2021-08-31 激光点云数据标注方法、装置、设备及产品

Country Status (1)

Country Link
CN (1) CN113673622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399731B (zh) * 2021-12-31 2022-12-20 中国科学院大学 一种单粗点监督下的目标定位方法
CN114519850A (zh) * 2022-04-20 2022-05-20 宁波博登智能科技有限公司 一种二维图像自动目标检测的标注系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029036A1 (ja) * 2019-08-14 2021-02-18 駿河精機株式会社 機械学習装置、データ処理システム及び機械学習方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263652B (zh) * 2019-05-23 2021-08-03 杭州飞步科技有限公司 激光点云数据识别方法及装置
CN110176078B (zh) * 2019-05-26 2022-06-10 魔门塔(苏州)科技有限公司 一种训练集数据的标注方法及装置
JP7111671B2 (ja) * 2019-09-05 2022-08-02 株式会社東芝 学習装置、学習システム、および学習方法
CN110728210A (zh) * 2019-09-25 2020-01-24 上海交通大学 一种三维点云数据的半监督目标标注方法和系统
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN112232416B (zh) * 2020-10-16 2021-09-14 浙江大学 一种基于伪标签加权的半监督学习方法
CN112488006A (zh) * 2020-12-05 2021-03-12 东南大学 一种基于小麦图像的目标检测算法
CN112950642A (zh) * 2021-02-25 2021-06-11 中国工商银行股份有限公司 点云实例分割模型的训练方法、装置、电子设备和介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029036A1 (ja) * 2019-08-14 2021-02-18 駿河精機株式会社 機械学習装置、データ処理システム及び機械学習方法

Also Published As

Publication number Publication date
CN113673622A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US11983245B2 (en) Unmanned driving behavior decision-making and model training
CN113947196A (zh) 网络模型训练方法、装置和计算机可读存储介质
CN113673622B (zh) 激光点云数据标注方法、装置、设备及产品
US11847541B2 (en) Training neural networks using data augmentation policies
CN113378940B (zh) 神经网络训练方法、装置、计算机设备及存储介质
CN112990222B (zh) 一种基于图像边界知识迁移的引导语义分割方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN116362322A (zh) 基于知识蒸馏的生成式模型迁移学习方法、设备及介质
CN116166812A (zh) 知识图谱补全方法、装置、电子设备和存储介质
CN110795934A (zh) 语句分析模型的训练方法及装置、语句分析方法及装置
CN117253071B (zh) 基于多级伪标签增强的半监督目标检测方法及系统
CN117058394A (zh) 一种零样本语义分割方法
CN116563604A (zh) 端到端目标检测模型训练、图像目标检测方法及相关设备
CN116052168A (zh) 基于单目标域图像的跨域语义分割模型生成方法及装置
CN113886578A (zh) 一种表单分类方法及装置
CN113516583A (zh) 基于生成对抗网络的甲骨文单字风格迁移方法及装置
CN114020922B (zh) 文本分类方法、装置及存储介质
CN111161193A (zh) 一种超声图像质量的优化方法、存储介质及终端设备
CN114708471B (zh) 跨模态图像生成方法、装置、电子设备与存储介质
CN112766156B (zh) 一种骑行属性识别方法及装置、存储介质
CN116129300A (zh) 一种视频分类模型的训练方法及视频分类方法
CN106874849A (zh) 基于视频的飞鸟检测方法及装置
CN117351268A (zh) 一种基于人工智能的纺织品定性分类方法
CN117935305A (zh) 一种域适应点云行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211119

Assignee: Sany Automobile Manufacturing Co.,Ltd.

Assignor: SANY SPECIAL PURPOSE VEHICLE Co.,Ltd.

Contract record no.: X2024980010904

Denomination of invention: Laser point cloud data annotation method, device, equipment and product

Granted publication date: 20230407

License type: Common License

Record date: 20240801